嵌入式LINUX环境下视频采集知识

V4L2是Linux环境下开发视频采集设备驱动程序的一套规范(API)，它为驱动程序的编写提供统一的接口，并将所有的视频采集设备的驱动程序都纳入其的管理之中。V4L2不仅给驱动程序编写者带来极大的方便，同时也方便了应用程序的编写和移植，具有广泛的应用价值。

Video for Linux two(Video4Linux2)简称V4L2，是V4L的改进版。V4L2是linux操作系统下用于采集图片、视频和音频数据的API接口，配合适当的视频采集设备和相应的驱动程序，可以实现图片、视频、音频等的采集。在远程会议、可视电话、视频监控系统和嵌入式多媒体终端中都有广泛的应用。

一、Video for Linux two

在Linux下，所有外设都被看成一种特殊的文件，成为“设备文件”，可以象访问普通文件一样对其进行读写。一般来说，采用V4L2驱动的摄像头设备文件是/dev/v4l/video0。为了通用，可以建立一个到/dev/video0的链接。V4L2支持两种方式来采集图像：内存映射方式(mmap)和直接读取方式(read)。V4L2在include/linux/videodev.h文件中定义了一些重要的数据结构，在采集图像的过程中，就是通过对这些数据的操作来获得最终的图像数据。Linux系统V4L2的能力可在Linux内核编译阶段配置，默认情况下都有此开发接口。V4L2从Linux 2.5.x版本的内核中开始出现。

V4L2规范中不仅定义了通用API元素(Common API Elements)，图像的格式(Image Formats)，输入/输出方法(Input/Output)，还定义了Linux内核驱动处理视频信息的一系列接口(Interfaces)，这些接口主要有：

视频采集接口——Video Capture Interface;
　　视频输出接口—— Video Output Interface;
　　视频覆盖/预览接口——Video Overlay Interface;
　　视频输出覆盖接口——Video Output Overlay Interface;
　　编解码接口——Codec Interface。

二、应用程序通过V4L2进行视频采集的原理

V4L2支持内存映射方式(mmap)和直接读取方式(read)来采集数据，前者一般用于连续视频数据的采集，后者常用于静态图片数据的采集，本文重点讨论内存映射方式的视频采集。
　　应用程序通过V4L2接口采集视频数据分为五个步骤：

打开视频设备文件，进行视频采集的参数初始化，通过V4L2接口设置视频图像的采集窗口、采集的点阵大小和格式；
申请若干视频采集的帧缓冲区，并将这些帧缓冲区从内核空间映射到用户空间，便于应用程序读取/处理视频数据；
将申请到的帧缓冲区在视频采集输入队列排队，并启动视频采集；
驱动开始视频数据的采集，应用程序从视频采集输出队列取出帧缓冲区，处理完后，将帧缓冲区重新放入视频采集输入队列，循环往复采集连续的视频数据；
停止视频采集。

1.视频采集的参数初始化

在Linux下，摄像头硬件已经被映射为设备文件“/dev/video0”，用open函数打开这个设备文件，获得其文件描述符fd_v4l2，然后对这个文件描述符进行参数初始化。

(1) 设置视频的采集窗口参数
　　设置采集窗口就是在摄像头设备的取景范围之内设定一个视频采集区域。主要是对结构体v4l2_crop赋值，v4l2_crop由一个v4l2_buffer_type枚举类型的type和v4l2_rect类型的结构体c构成，来描述视频采集窗口的类型和大小。type设置为视频采集类型V4L2_BUF_TYPE_VIDEO_CAPTURE。c是表示采集窗口的大小的结构体，它的成员Left和Top分别表示视频采集区域的起始横坐标和纵坐标，width和height分别表示采集图像的宽度和高度。赋值后，用ioctl函数通过这个结构体对fd_v4l2进行设置。

struct v4l2_crop { 
    enum v4l2_buf_type type;
　　struct v4l2_rect c;
};

(2)设置视频点阵格式和点阵大小
　　主要是对结构体v4l2_format进行赋值，它由type和联合体fmt构成，来描述视频设备当前行为和数据的格式。
　　把type赋值为视频采集类型V4L2_BUF_TYPE_VIDEO_CAPTURE，表示定义了一个视频采集流类型的buffer。fmt中，pix为表示图形格式的v4l2_pix_format型结构体。需要设定pix里的几个变量，pixelformat表示采集格式，设置为V4L2_PIX_FMT_YUV420；width、height表示图像的宽度、高度，以字节为单位；sizeimage表示图像所占的存储空间大小，以字节为单位；bytesperline表示每一行的字节数。赋值后，用ioctl函数通过这个结构体对fd_ v4l2进行设置。

struct v4l2_format
{ 
    enum v4l2_buf_type type;
　　union
　　{ 
        struct v4l2_pix_format pix; // V4L2_BUF_TYPE_VIDEO_CAPTURE
　　    struct v4l2_window win; // V4L2_BUF_TYPE_VIDEO_OVERLAY
　　    __u8 raw_data[200]; // user-defined
　　} fmt;
};

(3)设置视频采集的帧率
　　结构体v4l2_streamparm来描述视频流的属性，它由type和联合体parm构成。type同上，由于选的是V4L2_BUF_TYPE_VIDEO_CAPTURE，所以仅需设定parm中的v412_capture型结构体capture即可。在其中， v4l2_fract型结构体timeperframe表示平均每一帧所占的时间，由其元素numerator和denominator共同决定，该时长为numerator/denominator;而capturemode则表示采集模式，采集高质量图片值为1，一般设为0。赋值之后，用ioctl函数通过这个结构体对fd_ v4l2进行设置。

struct v4l2_streamparm
{ 
    enum v4l2_buf_type type;
　　union
　　{ 
         struct v4l2_captureparm capture;
　　     struct v4l2_outputparm output;
　　     __u8 raw_data[200]; /* user-defined */
　　} parm;
};

2.申请并设置视频采集的帧缓冲区

　　前期初始化完成后，只是解决了一帧视频数据的格式和大小问题，而连续视频帧数据的采集需要用帧缓冲区队列的方式来解决，即要通过驱动程序在内存中申请几个帧缓冲区来存放视频数据。
　　应用程序通过API接口提供的方法(VIDIOC_REQBUFS)申请若干个视频数据的帧缓冲区，申请帧缓冲区数量一般不低于3个，每个帧缓冲区存放一帧视频数据，这些帧缓冲区在内核空间。
　　应用程序通过API接口提供的查询方法(VIDIOC_QUERYBUF)查询到帧缓冲区在内核空间的长度和偏移量地址。
　　应用程序再通过内存映射方法(mmap)，将申请到的内核空间帧缓冲区的地址映射到用户空间地址，这样就可以直接处理帧缓冲区的数据。
　　(1)将帧缓冲区在视频输入队列排队，并启动视频采集
　　在驱动程序处理视频的过程中，定义了两个队列：视频采集输入队列(incoming queues)和视频采集输出队列(outgoing queues)，前者是等待驱动存放视频数据的队列，后者是驱动程序已经放入了视频数据的队列。如图2所示。
　　应用程序需要将上述帧缓冲区在视频采集输入队列排队(VIDIOC_QBUF)，然后可启动视频采集。
　　(2)循环往复，采集连续的视频数据
　　启动视频采集后，驱动程序开始采集一帧数据，把采集的数据放入视频采集输入队列的第一个帧缓冲区，一帧数据采集完成，也就是第一个帧缓冲区存满一帧数据后，驱动程序将该帧缓冲区移至视频采集输出队列，等待应用程序从输出队列取出。驱动程序接下来采集下一帧数据，放入第二个帧缓冲区，同样帧缓冲区存满下一帧数据后，被放入视频采集输出队列。
　　应用程序从视频采集输出队列中取出含有视频数据的帧缓冲区，处理帧缓冲区中的视频数据，如存储或压缩。
　　最后，应用程序将处理完数据的帧缓冲区重新放入视频采集输入队列,这样可以循环采集，如图1所示。

　　图1 视频采集输入和输出队列示意图

　　(3)最终停止采集，释放内存帧缓冲区

3.用V4L2采集视频的程序流程和相关API

　　V4L2采集视频操作基本按照打开视频设备、设置视频格式、启动视频采集，循环处理视频数据、停止视频采集、关闭视频设备，具体操作通过ioctl等函数来实现。一般操作流程如下：

打开视频设备文件。int fd=open("/dev/video0",O_RDWR)；
查询视频设备的能力，比如是否具有视频输入，或者音频输入输出等。ioctl(fd_v4l, VIDIOC_QUERYCAP, &cap)
设置视频采集的参数

　　设置视频的制式，制式包括PAL/NTSC，使用ioctl(fd_v4l, VIDIOC_S_STD, &std_id)
　　设置视频图像的采集窗口的大小，使用ioctl(fd_v4l, VIDIOC_S_CROP, &crop)
　　设置视频帧格式，包括帧的点阵格式，宽度和高度等，使用ioctl(fd_v4l, VIDIOC_S_FMT, &fmt)
　　设置视频的帧率，使用ioctl(fd_v4l, VIDIOC_S_PARM, &parm)
　　设置视频的旋转方式，使用ioctl(fd_v4l, VIDIOC_S_CTRL, &ctrl)

向驱动申请视频流数据的帧缓冲区

　　请求/申请若干个帧缓冲区，一般为不少于3个,使用ioctl(fd_v4l, VIDIOC_REQBUFS, &req)
　　查询帧缓冲区在内核空间中的长度和偏移量 ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf)

应用程序通过内存映射，将帧缓冲区的地址映射到用户空间，这样就可以直接操作采集到的帧了，而不必去复制。

　　buffers[i].start = mmap (NULL, buffers[i].length, PROT_READ | PROT_WRITE, MAP_SHARED, fd_v4l, buffers[i].offset);

将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)
开始视频流数据的采集。 ioctl (fd_v4l, VIDIOC_STREAMON, &type)
驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列。
应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区。ioctl (fd_v4l, VIDIOC_DQBUF, &buf) ，应用程序处理该帧缓冲区的原始视频数据。
处理完后，应用程序的将该帧缓冲区重新排入输入队列,这样便可以循环采集数据。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

　　重复上述步骤8到10，直到停止采集数据。

停止视频的采集。ioctl (fd_v4l, VIDIOC_STREAMOFF, &type)
释放申请的视频帧缓冲区unmap，关闭视频设备文件close(fd_v4l)。

　　以上的程序流程，包含了视频设备采集连续的视频数据的逻辑关系。而在实际运用中，往往还要加入对视频数据进行处理(如压缩编码)的工作，否则，视频流数据量相当大，需要很大的存储空间和传输带宽。
　　上述过程中，每一个帧缓冲区都有一个对应的状态标志变量，其中每一个比特代表一个状态

　　V4L2_BUF_FLAG_UNMAPPED 0B0000
　　V4L2_BUF_FLAG_MAPPED 0B0001
　　V4L2_BUF_FLAG_ENQUEUED 0B0010
　　V4L2_BUF_FLAG_DONE 0B0100

　　缓冲区的状态转化如图2所示。

　　图2 缓冲区的状态标志转化图

三、结束语