17、MJPG編碼和AVI封裝

一、JPEG和MJPG編碼介紹

 1、JPEG編碼

我個人簡單的理解是，JPEG即是Joint Photographic Experts Group(聯合圖像專家組)的縮寫，更是一種圖像壓縮編碼算法。JPEG編碼算法過程簡單可以歸結於下：其中DCT變換和量化是有損的，而熵編碼(一般是哈夫曼編碼)是無損的。量化和編碼都可以通過量化表和編碼表查詢得到。

2、MJPG編碼

Motion JPEG是一種基於靜態圖像JPEG 壓縮標准的動態圖像壓縮標准，壓縮時將連續圖像的每一個幀視為一幅靜止圖像進行壓縮，從而可以生成序列化運動圖像。壓縮時不對幀間的時間冗余進行壓縮，也就是說沒有MJPEG或者H264那樣的幀間編碼，陣內預測編碼也沒有，所以較於實現，只是壓縮效率較低。一個MJPG幀序列可以看出是N幀JPEG編碼后的數據流連接而成。

 

二、基於MJPG編碼的AVI視頻封裝介紹

AVI是一種RIFF(Resource Interchange File Format)文件格式，多用於音視頻捕捉、編輯、回放等應用程序。AVI包含三個部分：文件頭、數據塊和索引塊。其中文件頭包括文件的通用信息，定義數據格式，所用的壓縮算法等參數。數據塊包含實際數據流，即圖像和聲音序列數據。這是文件的主體，也是決定文件容量的主要部分。視頻文件的大小等於該文件的數據率乘以該視頻播放的時間長度。索引塊包括數據塊列表和它們在文件中的位置，以提供文件內數據隨機存取能力。AVI文件的總體結構：

 

三、ZED上JPEG編碼實現

整個編碼過程比較繁瑣，這里只做簡單介紹。后續如果有時間，專門開辟一篇博客介紹JPEG編碼過程。

1、主編碼

void mjpg::jpeg_encode(unsigned char **yuv_buffer_pointer)
{
    unsigned int remnant;
    yuv_p = *yuv_buffer_pointer;

        bitstring fillbits; //filling bitstring for the bit alignment of the EOI marker

        //fp_jpeg_stream=fopen("000.jpg","wb");
        jpgsize = 0;
        // 505 bytes
        writeword(0xFFD8); // SOI 2
        write_APP0info();//JIFF
        // write_comment("Cris made this JPEG with his own encoder");
        write_DQTinfo();//= 0xFFDB
        write_SOF0info();//FFC0
        write_DHTinfo();
        write_SOSinfo();

        //jpgsize = 505;

        // init global variables
        bytenew = 0; // current byte
        bytepos = 7; // bit position in this byte
        main_encoder();

        // Do the bit alignment of the EOI marker
        if (bytepos >= 0)
        {
                fillbits.length = bytepos + 1;
                fillbits.value = (1<<(bytepos+1)) - 1;
                writebits(fillbits);
        }
        writeword(0xFFD9); // EOI

        //remnant = (~(jpgsize&0x00000003))&0x00000003;// important
        remnant = (4-(jpgsize&0x00000003))&0x00000003;// important
        jpgsize = jpgsize + remnant;
        movisize = movisize + jpgsize;
        while(remnant > 0)
        {
            fputc(0,avi_jpeg_stream);
            remnant--;
        }
}

其中remnant是一個計算一幀圖像大小的余數，因為后續AVI封裝要求每幀圖像大小都是4的整數倍。

2、獲取8x8陣列數據

每次處理都是以8x8大小的數據矩陣進行處理的。由於USB攝像頭采集到的圖像數據是YUV422打包格式，而JPEG編碼中比較多的是使用YUV411，所以優先考慮將其轉換。其中yuv_p是原始YUV422圖像數據指針，YDU1~YDU4是四個連續存儲Y分量大小為64字節的數組，CbDU和CrDU分別為Cb和Cr分量。為了提高計算效率，乘法均由移位完成

void mjpg::load_data_units_from_YUV_buffer(WORD xpos, WORD ypos)
{
        BYTE x, y;
        BYTE pos = 0;
        DWORD location;
       // SBYTE Cr_temp,Cb_temp;

        //location = ypos * 640+ xpos;
        location = (ypos<<7) + (ypos<<9) +  xpos;
        for (y=0; y<8; y++)
        {
            for (x=0; x<8; x++)
            {
                YDU1[pos] = *(yuv_p+((location)<<1)) -128;
                YDU2[pos] = *(yuv_p+((location+8)<<1)) -128;
                YDU3[pos] = *(yuv_p+((location+5120)<<1)) -128;//location = (ypos+8) * 640+ xpos+8;
                YDU4[pos] = *(yuv_p+((location+5128)<<1)) -128;//location = (ypos+8) * 640+ xpos+8;
                pos++;
                location++;
            }
            location += 632;//640 - 8;
        }

        pos = 0;
        //location = ypos * 640+ xpos;
        location = (ypos<<7) + (ypos<<9) +  xpos;
        for (y=0; y<8; y++)
        {
            for (x=0; x<8; x++)
            {
                CbDU[pos] = *(yuv_p+(location)*2+1)-128;
                CrDU[pos] = *(yuv_p+(location+1)*2+1)-128;
                pos++;
                location++;
                location++;
            }
            location += 1264;//640*2 - 16;
        }
}

3、對每個8x8數據陣列進行JPEG處理

void mjpg::main_encoder()
{
        SWORD DCY = 0, DCCb = 0, DCCr = 0; //DC coefficients used for differential encoding
        WORD xpos, ypos;

        for (ypos=0; ypos<IMG_HEIGTH; ypos+=16)
        {
                for (xpos=0; xpos<(IMG_WIDTH); xpos+=16)
                {
                        load_data_units_from_YUV_buffer(xpos, ypos);
                        process_DU(YDU1, fdtbl_Y, &DCY, YDC_HT, YAC_HT);
                        process_DU(YDU2, fdtbl_Y, &DCY, YDC_HT, YAC_HT);
                        process_DU(YDU3, fdtbl_Y, &DCY, YDC_HT, YAC_HT);
                        process_DU(YDU4, fdtbl_Y, &DCY, YDC_HT, YAC_HT);
                        process_DU(CbDU, fdtbl_Cb, &DCCb, CbDC_HT, CbAC_HT);
                        process_DU(CrDU, fdtbl_Cb, &DCCr, CbDC_HT, CbAC_HT);
                }
        }
}

四、ZED上MJPG的編碼實現以及AVI封裝

 寫avi文件第一步是寫hdrl頭信息，可是hdrl頭信息需要確定文件的總幀數和文件大小，而在采集過程中這些都是不確定的(因為不知道什么時候采集結束)，為此采用了一個“偷懶”方法：先寫一個虛假的hdrl，然后每次對一幀圖像進行JPEG編碼后，將圖像的數據量mjpgfile->movisize記錄下來，並將數據幀數framecnt記錄下來。停止采集后先結束avi文件的寫入，再重新打開，然后對文件頭進行修改；或者通過fseek尋找的頭文件位置，同樣修改hdrl信息。兩種方法我都試過，感覺效率都差不多。

為了方便采集，添加按鍵來觸發改變需要的狀態，定義state為3個狀態：

state--含義
0------idle，等待采集
1------正在采集 
2------結束采集

state為0時，標明需要准備寫一個新的avi文件；state為1時，標明現在正在采集圖像數據，並對每一幀進行jpeg編碼；state為2時，標明采集已經結束，fseek往回修改頭文件。新的paintEvent函數：

void Widget::paintEvent(QPaintEvent *)
{
    rs = vd->get_frame(&yuv_buffer_pointer,&len);

    if(last_state==2 && state == 0)
    {
        //write hdrl
        hdrl.avih.width =640;// (width);
        hdrl.avih.height = 480;//(height);
        hdrl.strl.strf.width = 640;//(width);
        hdrl.strl.strf.height = 480;//(height);
        hdrl.strl.strf.image_sz = 640*480*3;//(width * height * 3);


        sizeofhdrl=sizeof(hdrl);

        mjpgfile->avi_jpeg_stream = fopen(avifilename, "wb");

        fputc('R', mjpgfile->avi_jpeg_stream);
        fputc('I', mjpgfile->avi_jpeg_stream);
        fputc('F', mjpgfile->avi_jpeg_stream);
        fputc('F', mjpgfile->avi_jpeg_stream);
        print_quartet(0/*riff_sz*/);//riff file size
        fputc('A', mjpgfile->avi_jpeg_stream);
        fputc('V', mjpgfile->avi_jpeg_stream);
        fputc('I', mjpgfile->avi_jpeg_stream);
        fputc(' ', mjpgfile->avi_jpeg_stream);

        fwrite(&hdrl, sizeofhdrl, 1, mjpgfile->avi_jpeg_stream);// write head

        fputc('L', mjpgfile->avi_jpeg_stream);
        fputc('I', mjpgfile->avi_jpeg_stream);
        fputc('S', mjpgfile->avi_jpeg_stream);
        fputc('T', mjpgfile->avi_jpeg_stream);

        print_quartet(0/*jpg_sz + 8*TOTALFRAMES + 4*/);// size again
        fputc('m', mjpgfile->avi_jpeg_stream);
        fputc('o', mjpgfile->avi_jpeg_stream);
        fputc('v', mjpgfile->avi_jpeg_stream);
        fputc('i', mjpgfile->avi_jpeg_stream);

        avifilename[5]++;
    }

    if(state==1)
    {
        framecnt++;
        fputc('0', mjpgfile->avi_jpeg_stream);
        fputc('0', mjpgfile->avi_jpeg_stream);
        fputc('d', mjpgfile->avi_jpeg_stream);
        fputc('c', mjpgfile->avi_jpeg_stream);
        print_quartet(0);

        mjpgfile->jpeg_encode(&yuv_buffer_pointer);

        //printf("%ld\n",mjpgfile->jpgsize);

        fseek(mjpgfile->avi_jpeg_stream,-4-(long)mjpgfile->jpgsize,SEEK_CUR);
        print_quartet(mjpgfile->jpgsize);

        fseek(mjpgfile->avi_jpeg_stream,6,SEEK_CUR);
        fwrite("AVI1",4, 1, mjpgfile->avi_jpeg_stream);

        fseek(mjpgfile->avi_jpeg_stream,mjpgfile->jpgsize-10,SEEK_CUR);


    }
    if(last_state==1 && state==2)
    {

        fseek(mjpgfile->avi_jpeg_stream,4,SEEK_SET);
        print_quartet(mjpgfile->movisize+sizeofhdrl);//riff file size
        fseek(mjpgfile->avi_jpeg_stream,4,SEEK_CUR);

        //overwrite hdrl
        hdrl.avih.us_per_frame = 1000000/12;//(per_usec);
        hdrl.avih.max_bytes_per_sec = mjpgfile->movisize*12/framecnt;
        hdrl.avih.tot_frames = framecnt;
        hdrl.strl.list_odml.frames =framecnt;// (TOTALFRAMES);
        hdrl.strl.strh.scale = 1;//
        hdrl.strl.strh.length =10;//
        hdrl.strl.strh.rate = 12;

        fwrite(&hdrl, sizeofhdrl, 1, mjpgfile->avi_jpeg_stream);// write head
        fseek(mjpgfile->avi_jpeg_stream,4,SEEK_CUR);

        print_quartet(mjpgfile->movisize);// size again
        fclose(mjpgfile->avi_jpeg_stream);
    }
    last_state=state;

    convert_yuv_to_rgb_buffer();

    frame->loadFromData(rgb_buffer,640 * 480 * 3);
    ui->label->setPixmap(QPixmap::fromImage(*frame,Qt::AutoColor));


    rs = vd->unget_frame();
}

最開始定義了視頻名字的數組，char avifilename[11] = {'r','c','q','0','0','0','.','a','v','i','\0'};

在42行：avifilename[5]++;

表示讓名字由"rcq000.avi"依次計數增加。

五、測試效果

 

可執行程序：