一、硬件知識
1. 攝像頭硬件結構和工作原理，如圖1&圖2
外部光線穿過lens鏡頭，經過紅外濾光片后光學圖像投射到傳感器上，然后光學圖像被轉換成電信號，電信號再經過模數轉換變為數字信號，數字信號經過DSP加工處理，
再被送到接收端進行處理，最終轉換成屏幕上能夠看到的圖像。 其中：
1）濾光片作用：
a. 濾除紅外線，濾除對可見光有干擾的紅外光，使成像效果更清晰。
b. 修整進來的光線，感光芯片由感光體(CELL)構成,最好的光線是直射進來，但為了怕干擾到鄰近感光體
就需要對光線加以修整，因此那片濾光片不是玻璃，而是石英片，利用石英的物理偏光特性，把進來
的光線保留直射部份，反射掉斜射部份，避免去影響旁邊的感光點。
2）常見的sensor傳感器主要有兩種：
a. CCD傳感器（Chagre Couled Device），即電荷耦合器。
b. CMOS傳感器（Complementary Metal-Oxide Semiconductor），即互補性金屬氧化物半導體。
CCD的優勢在於成像質量好，但是制造工藝復雜，成本高昂，且耗電高。在相同分辨率下，CMOS價格
比CCD便宜，但圖像質量相比CCD來說要低一些。CMOS影像傳感器相對CCD具有耗電低的優勢，加上隨
着工藝技術的進步，CMOS的畫質水平也不斷地在提高，所以目前市面上的手機攝像頭都采用CMOS傳感器。
3）DSP (DIGITAL SIGNAL PROCESSING)：
主要是通過一系列復雜的數學算法運算，對數字圖像信號參數進行優化處理，並把處理后的信號通過USB等接口傳到PC等設備。結構框架: ISP(image signal processor)(鏡像信號處理器)、JPEG encoder(JPEG圖像解碼器)、USB device controller(USB設備控制器)
對於低分辨率來說（300W像素以下）， 一般攝像頭自帶DSP/ISP處理模塊，提供簡單的自動白平衡、 gamma、sharpness等功能，而高分辨率或者需要提供更增強功能時，可以使用處理器自帶的ISP模塊（前提是處理器有）。
一般ISP支持輸出YUV、RGB、JPEG格式。
2. 攝像頭引腳作用&硬件連接：
目前攝像頭接口主要采用MIPI CSI & DVP， 前者是串行（多組差分信號線）， 后者是並口傳輸（8/10bit）。 圖3以DVP接口介紹各個引腳作用及硬件連接：
DVP分為三個部分：
1）輸入總線：
a. data為sensor的數據管腳，可輸出8/10bit並口數據到處理器接受端。
b. VSYNC為幀同步信號管腳，一個VSYNC信號結束表示一個畫面的數據已經傳輸完畢。
c. HSYNC為行同步信號管腳，一個HSYNC信號結束表示一行的數據已經傳輸完畢。
p. PCLK為像素同步信號管腳，一個PCLK信號結束表示一個像素的數據（大小取決格式）已經傳輸完畢。
以上管腳的關系如下圖：
2）輸出總線 ：
a. PDN(power down enable), camera使能管腳，當PDN=1時， 一切對camera操作都是無效的。
b. RESET， 復位管腳， 低電平有效。
c. XCLK(MCLK)， sensor的工作時鍾管腳，可由外部晶振或者處理器提供。
d. I2C總線， 處理器與sensor通信管腳， 用於配置sensor。
3）Power：
a. AVDD 模擬電壓
b. DOVDD GPIO口數字電壓
c. DVDD 核工作電壓
二、成像原理
本節主要講解目前主流的bayer格式圖片的成像原理， bayer格式圖片是伊士曼·柯達公司科學家Bryce Bayer發明的，Bryce Bayer所發明的拜耳陣列被廣泛運用數字圖像。
對於彩色圖像，需要采集最基本的顏色，如RGB三種顏色，最簡單的方法就是用濾鏡的方法，紅色的濾鏡透過紅色的波長，綠色的濾鏡透過綠色的波長，藍色的濾鏡透過藍色的波長。如果要同時采集三個基本色，則需要三塊濾鏡，這樣價格昂貴，且不好制造，因為三塊濾鏡都必須保證每一個像素點都對齊。當用bayer格式的時候，很好的解決了這個問題。bayer 格式在每個像素（pixel）上只設置一種顏色濾鏡，外部光線在每個像素點上存儲是單色的， 因此經過ADC轉換出來的原始數據稱為RAW RGB DATA，通過分析人眼對顏色的感知發現，人眼對綠色比較敏感，所以一般bayer格式的圖片綠色格式的像素是是R和B像素的和。
當Image Sensor往外逐行輸出數據時，像素的序列為GRGRGR.../BGBGBG...（交替）。這樣陣列的設計，使得RGB傳感器為全色傳感器的1/3。
每一個像素僅僅包括了光譜的一部分，必須通過插值來實現每個像素的RGB值。為了從Bayer格式得到每個像素的RGB格式，我們需要通過插值填補缺失的2個色彩。插值的方法有很多（包括領域、線性、3*3等），速度與質量權衡，最好是線性插值補償算法。
從圖5 Sensor 像素陣列來看， 存在4中分布格式：
對於圖6（a）（b）來說， G像素的R、B分量分別取兩個鄰域的平均値，由於存在（a）（b）兩種分布情況，所以直接去4個相鄰域的平均値既是G像素的R&B分量。
對於圖6（c）來說，R像素的G分量可以取4個相鄰域的平均值，B分量取外圍4個域的平均值。
對於圖6（d）來說，B像素的G分量可以取4個相鄰域的平均值，R分量取外圍4個域的平均值。
當然， RAW RGB DATA也可以轉換成YUV格式或者 先轉成RGB再轉換YUV，就不詳解了......
三、V4L2軟件架構
1. 概述
Video4 for Linux 2是Linux內核中關於視頻設備的內核驅動框架，為上層的訪問底層的視頻設備提供了統一的接口。凡是內核中的子系統都有抽象底層硬件的差異，為上層提供統一的接口和提取出公共代碼避免代碼冗余等。 V4L2支持三類設備：視頻輸入輸出設備、VBI設備和radio設備(其實還支持更多類型的設備，暫不討論)，分別會在/dev目錄下產生videoX、radioX和vbiX設備節點。 圖7是V4L2在linux系統中的結構圖：
Linux系統中視頻輸入設備主要包括以下四個部分：
字符設備驅動：V4L2本身就是一個字符設備，具有字符設備所有的特性，暴露接口給用戶空間；
V4L2驅動核心：主要是構建一個內核中標准視頻設備驅動的框架，為視頻操作提供統一的接口函數；
平台V4L2設備驅動：在V4L2框架下，根據平台自身的特性實現與平台相關的V4L2驅動部分，包括注冊video_device和v4l2_dev；
具體的sensor驅動：主要上電、提供工作時鍾、視頻圖像裁剪、流IO開啟等，實現各種設備控制方法供上層調用並注冊v4l2_subdev。
2. 詳解V4L2框架
v4L2的核心源碼位於drivers/media/v4l2-core，根據功能可以划分為四類：
字符設備模塊：由v4l2-dev.c實現，主要作用申請字符主設備號、注冊class和提供video device注冊注銷等相關函數；
V4L2基礎框架：由v4l2-device.c、v4l2-subdev.c、v4l2-fh.c、v4l2-ctrls.c等文件構建V4L2基礎框架；
videobuf管理：由videobuf2-core.c、videobuf2-dma-contig.c、videobuf2-dma-sg.c、videobuf2-memops.c、videobuf2-vmalloc.c、v4l2-mem2mem.c等文件實現，完成videobuffer的分配、管理和注銷；
Ioctl框架：由v4l2-ioctl.c文件實現，構建V4L2ioctl的框架。
2.1 V4L2基礎框架如圖8：
上圖V4L2框架是一個標准的樹形結構，v4l2_device充當了父設備，通過鏈表把所有注冊到其下的子設備管理起來，這些設備可以是GRABBER、VBI或RADIO。V4l2_subdev是子設備，v4l2_subdev結構體包含了對設備操作的ops和ctrls，這部分代碼和硬件相關，需要驅動工程師根據硬件實現控制上下電、讀取ID、飽和度、對比度和視頻數據流打開關閉等接口函數。Video_device用於創建子設備節點，把操作設備的接口暴露給用戶空間。V4l2_fh是每個子設備的文件句柄，在打開設備節點文件時設置，方便上層索引到v4l2_ctrl_handler，v4l2_ctrl_handler管理設備的ctrls，這些ctrls(攝像頭設備)包括調節飽和度、對比度和白平衡等。
結構體v4l2_device、video_device、v4l2_subdev和v4l2_ctrl_handler是構成框架的主要元素，現分別介紹：
1. struct v4l2_device ： v4l2_device在v4l2框架中充當所有v4l2_subdev的父設備，管理着注冊在其下的子設備 struct v4l2_device { structlist_head subdevs; //用鏈表管理注冊的subdev charname[V4L2_DEVICE_NAME_SIZE]; //device 名字 structkref ref; //引用計數 ......... }; 可以看出v4l2_device的主要作用是管理注冊在其下的子設備，方便系統查找引用到。 v4l2_device的注冊和注銷： int v4l2_device_register(struct device*dev, struct v4l2_device *v4l2_dev) static void v4l2_device_release(struct kref *ref) 2. struct v4l2_subdev ： v4l2_subdev代表子設備，包含了子設備的相關屬性和操作。結構體原型： struct v4l2_subdev { struct v4l2_device *v4l2_dev; //指向父設備 conststruct v4l2_subdev_ops *ops; //提供一些控制v4l2設備的接口 conststruct v4l2_subdev_internal_ops *internal_ops; //向V4L2框架提供的接口函數 structv4l2_ctrl_handler *ctrl_handler; //subdev控制接口 charname[V4L2_SUBDEV_NAME_SIZE]; struct video_device *devnode; .......... }; 每個子設備驅動都需要實現一個v4l2_subdev結構體，v4l2_subdev可以內嵌到其它結構體中，也可以獨立使用。 結構體中包含了對子設備操作的成員v4l2_subdev_ops和v4l2_subdev_internal_ops struct v4l2_subdev_ops { const struct v4l2_subdev_core_ops *core; //視頻設備通用的操作：初始化、加載FW、上電和RESET等 const struct v4l2_subdev_tuner_ops *tuner; //tuner特有的操作 const struct v4l2_subdev_audio_ops *audio; //audio特有的操作 const struct v4l2_subdev_video_ops *video; //視頻設備的特有操作：裁剪圖像、開關視頻流等 const struct v4l2_subdev_pad_ops *pad; .......... }; struct v4l2_subdev_internal_ops { /* 當subdev注冊時被調用，讀取IC的ID來進行識別 */ int(*registered)(struct v4l2_subdev *sd); void(*unregistered)(struct v4l2_subdev *sd); /* 當設備節點被打開時調用，通常會給設備上電和設置視頻捕捉FMT */ int(*open)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh); int(*close)(struct v4l2_subdev *sd, struct v4l2_subdev_fh *fh); }; 視頻設備通常需要實現core和video成員，這兩個OPS中的操作都是可選的，但是對於視頻流設備video->s_stream(開啟或關閉流IO)必須要實現。v4l2_subdev_internal_ops是向V4L2框架提供的接口，只能被V4L2框架層調用。在注冊或打開子設備時，進行一些輔助性操作。 Subdev的注冊和注銷： int v4l2_device_register_subdev(struct v4l2_device *v4l2_dev, struct v4l2_subdev *sd) void v4l2_device_unregister_subdev(struct v4l2_subdev *sd) 3. struct video_device video_device結構體用於在/dev目錄下生成設備節點文件，把操作設備的接口暴露給用戶空間 struct video_device { const struct v4l2_file_operations *fops; //V4L2設備操作集合 struct cdev *cdev; //字符設備 struct v4l2_device *v4l2_dev; struct v4l2_ctrl_handler *ctrl_handler; struct vb2_queue *queue; //指向video buffer隊列 int vfl_type; /* device type */ intminor; //次設備號 /*ioctl回調函數集，提供file_operations中的ioctl調用 */ const struct v4l2_ioctl_ops *ioctl_ops; .......... }; Video_device分配和釋放, 用於分配和釋放video_device結構體： struct video_device *video_device_alloc(void) void video_device_release(struct video_device *vdev) video_device注冊和注銷，實現video_device結構體的相關成員后，就可以調用下面的接口進行注冊： static inline int __must_check video_register_device(struct video_device *vdev, inttype, int nr) void video_unregister_device(struct video_device*vdev); vdev：需要注冊和注銷的video_device； type：設備類型，包括VFL_TYPE_GRABBER、VFL_TYPE_VBI、VFL_TYPE_RADIO和VFL_TYPE_SUBDEV。 nr：設備節點名編號，如/dev/video[nr]。 4. struct v4l2_ctrl_handler v4l2_ctrl_handler是用於保存子設備控制方法集的結構體，結構體如下： struct v4l2_ctrl_handler { struct list_head ctrls; struct list_head ctrl_refs; struct v4l2_ctrl_ref *cached; struct v4l2_ctrl_ref **buckets; v4l2_ctrl_notify_fnc notify; u16 nr_of_buckets; int error; }; 其中成員ctrls作為鏈表存儲包括設置亮度、飽和度、對比度和清晰度等方法，可以通過v4l2_ctrl_new_xxx()函數創建具體方法並添加到鏈表ctrls。
2.2 videobuf管理
在講解v4l2的buffer管理前，先介紹v4l2的IO訪問， V4L2支持三種不同IO訪問方式(內核中還支持了其它的訪問方式，暫不討論)：
read和write：是基本幀IO訪問方式，通過read讀取每一幀數據，數據需要在內核和用戶之間拷貝，這種方式訪問速度可能會非常慢；
內存映射緩沖區(V4L2_MEMORY_MMAP)：是在內核空間開辟緩沖區，應用通過mmap()系統調用映射到用戶地址空間。這些緩沖區可以是大而連續DMA緩沖區、通過vmalloc()創建的虛擬緩沖區，或者直接在設備的IO內存中開辟的緩沖區(如果硬件支持)；
用戶空間緩沖區(V4L2_MEMORY_USERPTR)：是用戶空間的應用中開辟緩沖區，用戶與內核空間之間交換緩沖區指針。很明顯，在這種情況下是不需要mmap()調用的，但驅動為有效的支持用戶空間緩沖區，其工作將也會更困難。
read和write方式屬於幀IO訪問方式，每一幀都要通過IO操作，需要用戶和內核之間數據拷貝，而后兩種是流IO訪問方式，不需要內存拷貝，訪問速度比較快。內存映射緩沖區訪問方式是比較常用的方式。
現以V4L2_MEMORY_MMAP簡單介紹數據流通過程：
Camera sensor捕捉到圖像數據通過並口或MIPI傳輸到CAMIF(camera interface)，CAMIF可以對圖像數據進行調整(翻轉、裁剪和格式轉換等)。然后DMA控制器設置DMA通道請求AHB將圖像數據傳到分配好的DMA緩沖區。待圖像數據傳輸到DMA緩沖區之后，mmap操作把緩沖區映射到用戶空間，應用就可以直接訪問緩沖區的數據。而為了使設備支持流IO這種方式，v4l2需要實現對video buffer的管理，即實現：
/* vb2_queue代表一個videobuffer隊列，vb2_buffer是這個隊列中的成員，vb2_mem_ops是緩沖內存的操作函數集，vb2_ops用來管理隊列 */ struct vb2_queue { enum v4l2_buf_type type; //buffer類型 unsigned int io_modes; //訪問IO的方式:mmap、userptr etc const struct vb2_ops *ops; //buffer隊列操作函數集合 const struct vb2_mem_ops *mem_ops; //buffer memory操作集合 struct vb2_buffer *bufs[VIDEO_MAX_FRAME]; //代表每個frame buffer unsignedint num_buffers; //分配的buffer個數 .......... }; /* vb2_mem_ops包含了內存映射緩沖區、用戶空間緩沖區的內存操作方法 */ struct vb2_mem_ops { void *(*alloc)(void *alloc_ctx, unsignedlong size); //分配視頻緩存 void (*put)(void *buf_priv); //釋放視頻緩存 /* 獲取用戶空間視頻緩沖區指針 */ void *(*get_userptr)(void *alloc_ctx, unsigned long vaddr, unsignedlong size, int write); void (*put_userptr)(void *buf_priv); //釋放用戶空間視頻緩沖區指針 /* 用於緩存同步 */ void (*prepare)(void *buf_priv); void (*finish)(void *buf_priv); /* 緩存虛擬地址 & 物理地址 */ void *(*vaddr)(void *buf_priv); void *(*cookie)(void *buf_priv); unsignedint (*num_users)(void *buf_priv); //返回當期在用戶空間的buffer數 int (*mmap)(void *buf_priv, structvm_area_struct *vma); //把緩沖區映射到用戶空間 .............. }; /* mem_ops由kernel自身實現並提供了三種類型的視頻緩存區操作方法：連續的DMA緩沖區、集散的DMA緩沖區以及vmalloc創建的緩沖區，分別由videobuf2-dma-contig.c、videobuf2-dma-sg.c和videobuf-vmalloc.c文件實現，可以根據實際情況來使用。*/ /* vb2_ops是用來管理buffer隊列的函數集合，包括隊列和緩沖區初始化等 */ struct vb2_ops { //隊列初始化 int(*queue_setup)(struct vb2_queue *q, const struct v4l2_format *fmt, unsigned int *num_buffers, unsigned int*num_planes, unsigned int sizes[], void *alloc_ctxs[]); //釋放和獲取設備操作鎖 void(*wait_prepare)(struct vb2_queue *q); void(*wait_finish)(struct vb2_queue *q); //對buffer的操作 int(*buf_init)(struct vb2_buffer *vb); int(*buf_prepare)(struct vb2_buffer *vb); int(*buf_finish)(struct vb2_buffer *vb); void(*buf_cleanup)(struct vb2_buffer *vb); //開始/停止視頻流 int(*start_streaming)(struct vb2_queue *q, unsigned int count); int(*stop_streaming)(struct vb2_queue *q); //把VB傳遞給驅動，以填充frame數據 void(*buf_queue)(struct vb2_buffer *vb); };
一個frame buffer(vb2_buffer/v4l2_buffer)可以有三種狀態：
1. 在驅動的輸入隊列中，驅動程序將會對此隊列中的緩沖區進行處理，用戶空間通過IOCTL:VIDIOC_QBUF 把緩沖區放入到隊列。對於一個視頻捕獲設備，傳入隊列中的緩沖區是空的，驅動會往其中填充數據；
2. 在驅動的輸出隊列中，這些緩沖區已由驅動處理過，對於一個視頻捕獲設備，緩存區已經填充了視頻數據，正等用戶空間來認領；
3. 用戶空間狀態的隊列，已經通過IOCTL:VIDIOC_DQBUF傳出到用戶空間的緩沖區，此時緩沖區由用戶空 間擁有，驅動無法訪問。
這三種狀態的切換如下圖所示：
最終落腳點的struct v4l2_buffer結構如下：
struct v4l2_buffer { __u32 index; //buffer 序號 __u32 type; //buffer類型 __u32 bytesused; //緩沖區已使用byte數 structtimeval timestamp; //時間戳，代表幀捕獲的時間 __u32 memory; //表示緩沖區是內存映射緩沖區還是用戶空間緩沖區 union { __u32 offset; //內核緩沖區的位置 unsignedlong userptr; //緩沖區的用戶空間地址 structv4l2_plane *planes; __s32 fd; } m; __u32 length; //緩沖區大小，單位byte };
當用戶空間拿到v4l2_buffer，可以獲取到緩沖區的相關信息。Byteused是圖像數據所占的字節數，如果是V4L2_MEMORY_MMAP方式，m.offset是內核空間圖像數據存放的開始地址，會傳遞給mmap函數作為一個偏移，通過mmap映射返回一個緩沖區指針p，p+byteused是圖像數據在進程的虛擬地址空間所占區域；如果是用戶指針緩沖區的方式，可以獲取的圖像數據開始地址的指針m.userptr，userptr是一個用戶空間的指針，userptr+byteused便是所占的虛擬地址空間，應用可以直接訪問
2.3 Ioctl框架如圖：
用戶空間通過打開/dev/目錄下的設備節點，獲取到文件的file結構體，通過系統調用ioctl把cmd和arg傳入到內核。通過一系列的調用后最終會調用到__video_do_ioctl函數，然后通過cmd檢索v4l2_ioctls[]，判斷是INFO_FL_STD還是INFO_FL_FUNC。如果是INFO_FL_STD會直接調用到視頻設備驅動中video_device->v4l2_ioctl_ops函數集。如果是INFO_FL_FUNC會先調用到v4l2自己實現的標准回調函數，然后根據arg再調用到video_device->v4l2_ioctl_ops或v4l2_fh->v4l2_ctrl_handler函數集。
四、用戶空間訪問 camera & 示例程序
/* * V4L2 video capture example * * This program can be used and distributed without restrictions. * * This program is provided with the V4L2 API * see http://linuxtv.org/docs.php for more information */ #include <stdio.h> #include <stdlib.h> #include <string.h> #include <assert.h> #include <getopt.h> /* getopt_long() */ #include <fcntl.h> /* low-level i/o */ #include <unistd.h> #include <errno.h> #include <sys/stat.h> #include <sys/types.h> #include <sys/time.h> #include <sys/mman.h> #include <sys/ioctl.h> #include <linux/videodev2.h> #define CLEAR(x) memset(&(x), 0, sizeof(x)) enum io_method { IO_METHOD_READ, IO_METHOD_MMAP, IO_METHOD_USERPTR, }; struct buffer { void *start; size_t length; }; static char *dev_name; static enum io_method io = IO_METHOD_MMAP; static int fd = -1; struct buffer *buffers; static unsigned int n_buffers; static int out_buf; static int force_format; static int frame_count = 4; static void errno_exit(const char *s) { fprintf(stderr, "%s error %d, %s\n", s, errno, strerror(errno)); exit(EXIT_FAILURE); } static int xioctl(int fh, int request, void *arg) { int r; do { r = ioctl(fh, request, arg); } while (-1 == r && EINTR == errno); return r; } static void process_image(const void *p, int size) { if (out_buf) fwrite(p, size, 1, stdout); fflush(stderr); fprintf(stderr, "."); fflush(stdout); } static void store_image(const char *buf_start, int size, int index) { char path[20]; snprintf(path, sizeof(path), "./yuyv%d.yuv", index); int fd = open(path, O_WRONLY|O_CREAT, 00700); if (-1 == fd) { fprintf(stderr, "Cannot open '%s': %d, %s\n", path, errno, strerror(errno)); exit(EXIT_FAILURE); } write(fd, buf_start, size); close(fd); } static int read_frame(void) { struct v4l2_buffer buf; unsigned int i; switch (io) { case IO_METHOD_READ: if (-1 == read(fd, buffers[0].start, buffers[0].length)) { switch (errno) { case EAGAIN: return 0; case EIO: /* Could ignore EIO, see spec. */ /* fall through */ default: errno_exit("read"); } } process_image(buffers[0].start, buffers[0].length); break; case IO_METHOD_MMAP: CLEAR(buf); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; if (-1 == xioctl(fd, VIDIOC_DQBUF, &buf)) { switch (errno) { case EAGAIN: return 0; case EIO: /* Could ignore EIO, see spec. */ /* fall through */ default: errno_exit("VIDIOC_DQBUF"); } } assert(buf.index < n_buffers); //printf("buf.bytesused = %d\n", buf.bytesused); process_image(buffers[buf.index].start, buf.bytesused); store_image(buffers[buf.index].start, buf.bytesused, buf.index); if (-1 == xioctl(fd, VIDIOC_QBUF, &buf)) errno_exit("VIDIOC_QBUF"); break; case IO_METHOD_USERPTR: CLEAR(buf); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_USERPTR; if (-1 == xioctl(fd, VIDIOC_DQBUF, &buf)) { switch (errno) { case EAGAIN: return 0; case EIO: /* Could ignore EIO, see spec. */ /* fall through */ default: errno_exit("VIDIOC_DQBUF"); } } for (i = 0; i < n_buffers; ++i) if (buf.m.userptr == (unsigned long)buffers[i].start && buf.length == buffers[i].length) break; assert(i < n_buffers); process_image((void *)buf.m.userptr, buf.bytesused); if (-1 == xioctl(fd, VIDIOC_QBUF, &buf)) errno_exit("VIDIOC_QBUF"); break; } return 1; } /* two operations * step1 : delay * step2 : read frame */ static void mainloop(void) { unsigned int count; count = frame_count; while (count-- > 0) { for (;;) { fd_set fds; struct timeval tv; int r; FD_ZERO(&fds); FD_SET(fd, &fds); /* Timeout. */ tv.tv_sec = 2; tv.tv_usec = 0; r = select(fd + 1, &fds, NULL, NULL, &tv); if (-1 == r) { if (EINTR == errno) continue; errno_exit("select"); } if (0 == r) { fprintf(stderr, "select timeout\n"); exit(EXIT_FAILURE); } if (read_frame()) break; /* EAGAIN - continue select loop. */ } } } /* * one operation * step1 : VIDIOC_STREAMOFF */ static void stop_capturing(void) { enum v4l2_buf_type type; switch (io) { case IO_METHOD_READ: /* Nothing to do. */ break; case IO_METHOD_MMAP: case IO_METHOD_USERPTR: type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (-1 == xioctl(fd, VIDIOC_STREAMOFF, &type)) errno_exit("VIDIOC_STREAMOFF"); break; } } /* tow operations * step1 : VIDIOC_QBUF(insert buffer to queue) * step2 : VIDIOC_STREAMOFF */ static void start_capturing(void) { unsigned int i; enum v4l2_buf_type type; switch (io) { case IO_METHOD_READ: /* Nothing to do. */ break; case IO_METHOD_MMAP: for (i = 0; i < n_buffers; ++i) { struct v4l2_buffer buf; CLEAR(buf); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = i; if (-1 == xioctl(fd, VIDIOC_QBUF, &buf)) errno_exit("VIDIOC_QBUF"); } type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (-1 == xioctl(fd, VIDIOC_STREAMON, &type)) errno_exit("VIDIOC_STREAMON"); break; case IO_METHOD_USERPTR: for (i = 0; i < n_buffers; ++i) { struct v4l2_buffer buf; CLEAR(buf); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_USERPTR; buf.index = i; buf.m.userptr = (unsigned long)buffers[i].start; buf.length = buffers[i].length; if (-1 == xioctl(fd, VIDIOC_QBUF, &buf)) errno_exit("VIDIOC_QBUF"); } type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (-1 == xioctl(fd, VIDIOC_STREAMON, &type)) errno_exit("VIDIOC_STREAMON"); break; } } /* two operations * step1 : munmap buffers * steo2 : free buffers */ static void uninit_device(void) { unsigned int i; switch (io) { case IO_METHOD_READ: free(buffers[0].start); break; case IO_METHOD_MMAP: for (i = 0; i < n_buffers; ++i) if (-1 == munmap(buffers[i].start, buffers[i].length)) errno_exit("munmap"); break; case IO_METHOD_USERPTR: for (i = 0; i < n_buffers; ++i) free(buffers[i].start); break; } free(buffers); } static void init_read(unsigned int buffer_size) { buffers = calloc(1, sizeof(*buffers)); if (!buffers) { fprintf(stderr, "Out of memory\n"); exit(EXIT_FAILURE); } buffers[0].length = buffer_size; buffers[0].start = malloc(buffer_size); if (!buffers[0].start) { fprintf(stderr, "Out of memory\n"); exit(EXIT_FAILURE); } } static void init_mmap(void) { struct v4l2_requestbuffers req; CLEAR(req); req.count = 4; req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; req.memory = V4L2_MEMORY_MMAP; if (-1 == xioctl(fd, VIDIOC_REQBUFS, &req)) { if (EINVAL == errno) { fprintf(stderr, "%s does not support " "memory mapping\n", dev_name); exit(EXIT_FAILURE); } else { errno_exit("VIDIOC_REQBUFS"); } } if (req.count < 2) { fprintf(stderr, "Insufficient buffer memory on %s\n", dev_name); exit(EXIT_FAILURE); } buffers = calloc(req.count, sizeof(*buffers)); if (!buffers) { fprintf(stderr, "Out of memory\n"); exit(EXIT_FAILURE); } for (n_buffers = 0; n_buffers < req.count; ++n_buffers) { struct v4l2_buffer buf; CLEAR(buf); buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; buf.memory = V4L2_MEMORY_MMAP; buf.index = n_buffers; if (-1 == xioctl(fd, VIDIOC_QUERYBUF, &buf)) errno_exit("VIDIOC_QUERYBUF"); buffers[n_buffers].length = buf.length; printf("buffers[%d].length=%d\n", n_buffers, buffers[n_buffers].length); buffers[n_buffers].start = mmap(NULL /* start anywhere */, buf.length, PROT_READ | PROT_WRITE /* required */, MAP_SHARED /* recommended */, fd, buf.m.offset); if (MAP_FAILED == buffers[n_buffers].start) errno_exit("mmap"); } } static void init_userp(unsigned int buffer_size) { struct v4l2_requestbuffers req; CLEAR(req); req.count = 4; req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; req.memory = V4L2_MEMORY_USERPTR; if (-1 == xioctl(fd, VIDIOC_REQBUFS, &req)) { if (EINVAL == errno) { fprintf(stderr, "%s does not support " "user pointer i/o\n", dev_name); exit(EXIT_FAILURE); } else { errno_exit("VIDIOC_REQBUFS"); } } buffers = calloc(4, sizeof(*buffers)); if (!buffers) { fprintf(stderr, "Out of memory\n"); exit(EXIT_FAILURE); } for (n_buffers = 0; n_buffers < 4; ++n_buffers) { buffers[n_buffers].length = buffer_size; buffers[n_buffers].start = malloc(buffer_size); if (!buffers[n_buffers].start) { fprintf(stderr, "Out of memory\n"); exit(EXIT_FAILURE); } } } /* five operations * step1 : cap :query camera's capability and check it(is a video device? is it support read? is it support streaming?) * step2 : cropcap:set cropcap's type and get cropcap by VIDIOC_CROPCAP * step3 : set crop parameter by VIDIOC_S_CROP (such as frame type and angle) * step4 : set fmt * step5 : mmap */ static void init_device(void) { struct v4l2_capability cap; struct v4l2_cropcap cropcap; struct v4l2_crop crop; struct v4l2_format fmt; unsigned int min; if (-1 == xioctl(fd, VIDIOC_QUERYCAP, &cap)) { if (EINVAL == errno) { fprintf(stderr, "%s is no V4L2 device\n", dev_name); exit(EXIT_FAILURE); } else { errno_exit("VIDIOC_QUERYCAP"); } } if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE)) { fprintf(stderr, "%s is no video capture device\n", dev_name); exit(EXIT_FAILURE); } switch (io) { case IO_METHOD_READ: if (!(cap.capabilities & V4L2_CAP_READWRITE)) { fprintf(stderr, "%s does not support read i/o\n", dev_name); exit(EXIT_FAILURE); } break; case IO_METHOD_MMAP: case IO_METHOD_USERPTR: if (!(cap.capabilities & V4L2_CAP_STREAMING)) { fprintf(stderr, "%s does not support streaming i/o\n", dev_name); exit(EXIT_FAILURE); } break; } /* Select video input, video standard and tune here. */ CLEAR(cropcap); cropcap.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; /* if device support cropcap's type then set crop */ if (0 == xioctl(fd, VIDIOC_CROPCAP, &cropcap)) { crop.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; crop.c = cropcap.defrect; /* reset to default */ if (-1 == xioctl(fd, VIDIOC_S_CROP, &crop)) { switch (errno) { case EINVAL: /* Cropping not supported. */ break; default: /* Errors ignored. */ break; } } } else { /* Errors ignored. */ } CLEAR(fmt); fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE; if (force_format) { fmt.fmt.pix.width = 640; fmt.fmt.pix.height = 480; fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV; fmt.fmt.pix.field = V4L2_FIELD_INTERLACED; printf("set %d*%d YUYV format\n", fmt.fmt.pix.width, fmt.fmt.pix.height); if (-1 == xioctl(fd, VIDIOC_S_FMT, &fmt)) errno_exit("VIDIOC_S_FMT"); /* Note VIDIOC_S_FMT may change width and height. */ } else { /* Preserve original settings as set by v4l2-ctl for example */ if (-1 == xioctl(fd, VIDIOC_G_FMT, &fmt)) errno_exit("VIDIOC_G_FMT"); } /* Buggy driver paranoia. */ min = fmt.fmt.pix.width * 2; if (fmt.fmt.pix.bytesperline < min) fmt.fmt.pix.bytesperline = min; min = fmt.fmt.pix.bytesperline * fmt.fmt.pix.height; if (fmt.fmt.pix.sizeimage < min) fmt.fmt.pix.sizeimage = min; switch (io) { case IO_METHOD_READ: init_read(fmt.fmt.pix.sizeimage); break; case IO_METHOD_MMAP: init_mmap(); break; case IO_METHOD_USERPTR: init_userp(fmt.fmt.pix.sizeimage); break; } } /* * close (fd) */ static void close_device(void) { if (-1 == close(fd)) errno_exit("close"); fd = -1; } /* three operations * step 1 : check dev_name and st_mode * step 2 : open(device) */ static void open_device(void) { struct stat st; if (-1 == stat(dev_name, &st)) { fprintf(stderr, "Cannot identify '%s': %d, %s\n", dev_name, errno, strerror(errno)); exit(EXIT_FAILURE); } if (!S_ISCHR(st.st_mode)) { fprintf(stderr, "%s is no device\n", dev_name); exit(EXIT_FAILURE); } fd = open(dev_name, O_RDWR /* required */ | O_NONBLOCK, 0); if (-1 == fd) { fprintf(stderr, "Cannot open '%s': %d, %s\n", dev_name, errno, strerror(errno)); exit(EXIT_FAILURE); } } static void usage(FILE *fp, int argc, char **argv) { fprintf(fp, "Usage: %s [options]\n\n" "Version 1.3\n" "Options:\n" "-d | --device name Video device name [%s]\n" "-h | --help Print this message\n" "-m | --mmap Use memory mapped buffers [default]\n" "-r | --read Use read() calls\n" "-u | --userp Use application allocated buffers\n" "-o | --output Outputs stream to stdout\n" "-f | --format Force format to 640x480 YUYV\n" "-c | --count Number of frames to grab [%i]\n" "", argv[0], dev_name, frame_count); } static const char short_options[] = "d:hmruofc:"; static const struct option long_options[] = { { "device", required_argument, NULL, 'd' }, { "help", no_argument, NULL, 'h' }, { "mmap", no_argument, NULL, 'm' }, { "read", no_argument, NULL, 'r' }, { "userp", no_argument, NULL, 'u' }, { "output", no_argument, NULL, 'o' }, { "format", no_argument, NULL, 'f' }, { "count", required_argument, NULL, 'c' }, { 0, 0, 0, 0 } }; int main(int argc, char **argv) { dev_name = "/dev/video0"; for (;;) { int idx; int c; c = getopt_long(argc, argv, short_options, long_options, &idx); if (-1 == c) break; switch (c) { case 0: /* getopt_long() flag */ break; case 'd': dev_name = optarg; break; case 'h': usage(stdout, argc, argv); exit(EXIT_SUCCESS); case 'm': io = IO_METHOD_MMAP; break; case 'r': io = IO_METHOD_READ; break; case 'u': io = IO_METHOD_USERPTR; break; case 'o': out_buf++; break; case 'f': force_format++; break; case 'c': errno = 0; frame_count = strtol(optarg, NULL, 0); if (errno) errno_exit(optarg); break; default: usage(stderr, argc, argv); exit(EXIT_FAILURE); } } open_device(); init_device(); start_capturing(); mainloop(); stop_capturing(); uninit_device(); close_device(); fprintf(stderr, "\n"); return 0; }
/ # ./a.out -f
set 640*480 YUYV format
buffers[0].length=614400
buffers[1].length=614400
buffers[2].length=614400
buffers[3].length=614400
....
/ # sz yuyv2.yuv
用圖片查看器“RawImageViewer.exe” ：（由於我的攝像頭配置成掃碼模式 所以是黑白圖）
