V4L2视频采集应用原理

　V4L2支持内存映射方式(mmap)和直接读取方式(read)来采集数据，前者一般用于连续视频数据的采集，后者常用于静态图片数据的采集，本文重点讨论内存映射方式的视频采集。

　　应用程序通过V4L2接口采集视频数据分为五个步骤：

　　首先，打开视频设备文件，进行视频采集的参数初始化，通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式;

　　其次，申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据;

　　第三，将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集;

　　第四，驱动开始视频数据的采集，应用程序从视频采集输出队列取出帧缓冲区，处理完后，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据;

　　第五，停止视频采集。

基于V4L2视频采集缓存机制应用与实现

时间：2010-12-24 来源：现代电子技术 作者：张 辉，李新华，刘 波，钱 翔 安徽大学

关键字：V4L2 视频采集 缓存 机制

摘要：V4L是Linux针对视频设备的应用程序接口，V4L2为其升级版本，它修复了第一版的很多设计缺陷。然而它提供的常规读写函数并不能满足大数据量的高速传输，所以将缓存技术引入到视频采集领域可以提高系统的吞吐量。提出了一种双帧内存映射视频采集机制，由于不需要做数据拷贝动作，减少了读／写时限，因而可以提高视频采集性能。实验结果表明，采用双帧内存映射机制在视频采集时速度快，效率高，达到了预期的实验效果。

关键词：V4L2；Linux；视频采集；内存映射

0 引言

V4L(video for linux)是由Alan Cox开发的针对视频设备的应用程序接口(API)，开始出现是在Linux 2．1．x版本内核中，可以实现图像采集、AM／FM广播和图像编解码等功能。然而，由于它在扩展性和灵活性上的缺陷，渐渐被Bill Dirks设计出的V4L的升级版本V4L2所替代，V4L2开始是在Linux 2．5．x版本内核中集成的，在对视频设备数据的读／写中，应用程序可以通过read／write方法或者内存映射来获得位于内核空间的图像数据。
read／write方法是将数据在内核空间和用户空间之间进行拷贝，而内存映射使应用程序可以直接访问设备内存，减少了从内核态到用户态的数据拷贝，因而可以显著提高系统的吞吐量，下面讨论视频采集中缓存机制的应用和实现。

1 V4L2的视频采集框架

V4L2采用了分层架构，应用程序接口为上层，而下层则是视频设备的驱动程序，一般研究领域都是编写上层的应用程序，通过编程接口来控制视频设备完成相应的操作和功能。利用V4L2开发的视频采集程序具有设备无关性，任何支持V4L2的视频采集设备都可以移植此类程序，因而也提高了视频采集程序的可移植性。

当视频设备连接到主机后，驱动程序会首先注册一个主设备号为81的字符设备，它是硬件惟一的身份标识。驱动程序利用主设备号来识别硬件，而系统内核则是利用主设备号让设备与对应的驱动程序相结合，同时加载驱动程序的成员函数、次设备号以及其他相关信息，使设备可以正常工作。



其中，ioctl函数的功能非常强大，它可以管理设备的I／O通道，设置视频制式和帧格式，还提供查询当前设备属性的功能，主要的ioctl命令如表2所示。



这些函数原型一般定义在include／linux／videodev2．h或者videodev．h中。

视频采集的具体过程描述如下：
(1)打开设备。通过open()函数打开设备文件，返回文件描述符。
(2)初始化设备。首先通过VIDIOC_QUERYCAP查询设备属性，判断该设备是否为一个合法的视频采集设备，并确定其支持的功能有哪些；然后通过 VIDIOC_S_FMT设置图像的格式，例如图像的大小等；通过VIDIOC_REQBUFS和malloc()分别在内核空间和用户空间分配内存缓冲区；最后通过mmap()函数进行内存映射。
(3)图像采集循环。首先通过VIDIOC_QBUF将空缓冲区移入待处理队列，准备接收图像数据；然后通过VIDIOC_QBUF将满缓冲区移出已处理队列，进行图像的显示和处理；最后通过VIDIOC_STREAMON和VIDIOC_STREAMOFF启动和停止采集。
(4)关闭设备。通过close()函数关闭设备文件。

2 双帧缓存数据传输
在视频采集中，首先在内核空间建立2个图像缓冲区，不断将采集到的图像存放到缓冲区中。当应用程序需要图像时，驱动程序并不做拷贝操作，而是建立内核缓冲区到用户空间的映射，也就是利用mmap()函数，存取其返回的指针，相当于存取内核中的图像缓冲区。由于不需要做额外的复制操作，效率大大提高了，图像采集流程如图1所示。



具体说明如下：

(1)程序首先使用VIDIOC_REQBUFS向驱动程序请求图像缓冲区，v412_requestbuffers结构体包含了所要求缓冲区的类型及数量，但驱动程序有权决定最后返回的数量，因此程序仍需要使用系统返回的缓冲区数量，在这里程序返回2个缓冲区。

(2)由于缓冲区数量有2个，调用2次mmap()建立起用户空间和内核空间缓冲区的对应关系，然后读取mmap()所返回的指针就相当于读取图像缓冲区。

(3)此时驱动程序仍然不能对图像缓冲区做读取，调用2次VIDIOC_QBUF ioctl将缓冲区加入到驱动程序内部的采集序列，之后采集的图像就会被储存到这些缓冲区内。

(4)调用VIDIOC_STREAM ioctl后，驱动程序开始采集图像，并将图像放置到缓冲区内。

(5)虽然缓冲区内已经存放有图像了，但直接去读取某个缓冲区还是需要非常小心的，因为缓冲区仍然在驱动程序的图像采集序列中，有可能读取到一半，驱动程序又使用该缓冲区储存新的图像，而图1中的(5)是最后调用VIDIOC_STREAMOFF，以停止图像采集，此时驱动程序会自动将所有缓冲区从图像采集序列中移除，所以不需要手动调用VIDIOC_DQBUF，接着使用munmap()清除所有的存储区映射导致图像前后不一致。因此要在读取缓冲区前，先调用VIDIOC_DQBUG ioctl，通知驱动程序不要使用此缓冲区，在这个阶段中，通常是以如图2所示的顺序来读取每个缓冲区的。