GPUImage原理


GPUImage是一個開元的基於GPU的圖片或視頻的處理框架,其本身內置了多達120多種常見的濾鏡效果,並且支持照相機和攝像機的實時濾鏡,並且能夠自定義圖像濾鏡。

美顏的基本概念

OpenGL ES:開源嵌入式系統圖形的處理框架,一套圖形與硬件接口,創造了軟件與圖形加速間靈活強大的底層交互接口。用於把處理好的圖片顯示到屏幕上。

GPU:(圖形處理單元)手機或者電腦用於圖像處理和渲染的硬件。

GPU工作原理:CPU指定顯示器工作,顯示控制器根據CPU的控制到指定的地方去取數據和指令,目前的數據一般是從顯存里取,如果顯存里存不下,則從內存里取,內存也放不下,則從硬盤里取。

濾鏡處理的原理:就是把靜態圖片或者視頻的每一幀進行圖形變化后在顯示到屏幕上,其本質就是像素點的坐標和顏色的變化。

OpenGL ES程序處理圖片的步驟:

1.初始化OpenGL ES 環境,編譯、鏈接頂點着色器和片元着色器。

2.緩存頂點、紋理坐標數據,傳送圖像數據到GPU

3.繪制圖元到特定的幀緩存;

4.在幀緩存去除繪制的圖像。

GPUImage基本概念

GPUImage是采用鏈式方法來處理畫面,通過addTarget方法添加對象到鏈中,處理完一個target,就會吧上一個環節處理好的圖像數據傳遞到下一個target處理,成為GPUImage處理鏈。

GPUImage的四大輸入基礎類,都可以作為響應鏈的起點,這些基礎類會把圖像作為紋理傳給OpenGL ES處理,然后把紋理傳遞給響應鏈的下一個target對象。

GPUImage的處理環節

source(視頻,圖片源)->filter(濾鏡)->final target(處理后的視頻、圖片)

source:

GPUImageVideoCamera 攝像頭-用於實時拍攝視頻

GPUImageStillCamera 攝像頭-用於實時拍攝照片

GPUImagePicture 用於處理已經拍攝好的圖片

GPUImageMovie 用於處理已經拍攝好的視頻

filter

GPUImageFilter:就是用來接收源圖像,通過自定義的頂點,片元着色器來渲染新的圖像,並在繪制完成后通知響應鏈的下一個對象。

GPUImageFramebuffer:就是用來管理紋理緩存的格式與讀寫幀緩存的buffer。

GPUImage的filter:GPUImageFilter類或者子類,這個類繼承自GPUImageOutput,遵循GPUImageInput協議,既可以流進數據,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最終輸入目標,顯示圖片或者視頻。

解析

GPUImageVideoCamera

GPUImageVideoCamera是GPUImageOutput的子類,提供來自攝像頭的圖像數據作為源數據,一般是響應鏈的源頭。

1.視頻圖像采集:AVCaptureSession

GPUImage使用AVFoundation框架來獲取視頻。AVCaptureSession類從AV輸入設備的采集數據到指定的輸出。

具體使用看上一篇。

2.顏色空間:YUV

YUV是被歐洲電視系統索采用的一種顏色編碼方法。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量,那么這樣表示的圖像就是黑白灰度圖像,彩色電視采用YUV空間正式為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題,使黑白電視機也能接收彩色電視信號。

YUV主要用於優化彩色視頻信號的傳輸,使其向后相容老式黑白電視。與RGB視頻信號傳輸相比,它最大的優點在於只需占用極少的頻寬。

GPUImage中的YUV

GLProgram *yuvConversionProgram:將YUV顏色空間轉換成RGB顏色空間的GLSL。
CVPixelBufferGetPlaneCount:返回緩沖區的平面數。

CVOpenGLESTextureCacheCreateTextureFromImage():
創建兩個紋理luminanceTextureRef(亮度紋理)和chrominanceTextureRef(色度紋理)。
convertYUVToRGBOutput():把YUV顏色空間的紋理轉換成RGB顏色空間的紋理。

頂點着色器-通用kGPUImageVertexShaderString

片元着色器:

1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString

2.kGPUImageYUVVideoRangeConversionForLAFragmentShaderString

  紋理繪制

glActiveTexture(GL_TEXTURE1);
glGenTextures(1, &_texture);
glBindTexture(GL_TEXTURE_2D, _texture);

  GPUImageView是響應鏈的終點,用於顯示GPUImage圖像

1.填充模式

GPUImageFillModeType fillMode圖像的填充模式。

sizeInPixels 像素區域的大小

recalculateViewGeometry 重新計算圖像頂點位置數據

AVMakeRectWithAspectRatioInsideRece 在保證寬高比不變的前提下,得到一個盡可能大的矩形。

 

---未完

 

28 #import "GPUImageBrightnessFilter.h"                //亮度
 29 #import "GPUImageExposureFilter.h"                  //曝光
 30 #import "GPUImageContrastFilter.h"                  //對比度
 31 #import "GPUImageSaturationFilter.h"                //飽和度
 32 #import "GPUImageGammaFilter.h"                     //伽馬線
 33 #import "GPUImageColorInvertFilter.h"               //反色
 34 #import "GPUImageSepiaFilter.h"                     //褐色(懷舊)
 35 #import "GPUImageLevelsFilter.h"                    //色階
 36 #import "GPUImageGrayscaleFilter.h"                 //灰度
 37 #import "GPUImageHistogramFilter.h"                 //色彩直方圖,顯示在圖片上
 38 #import "GPUImageHistogramGenerator.h"              //色彩直方圖
 39 #import "GPUImageRGBFilter.h"                       //RGB
 40 #import "GPUImageToneCurveFilter.h"                 //色調曲線
 41 #import "GPUImageMonochromeFilter.h"                //單色
 42 #import "GPUImageOpacityFilter.h"                   //不透明度
 43 #import "GPUImageHighlightShadowFilter.h"           //提亮陰影
 44 #import "GPUImageFalseColorFilter.h"                //色彩替換(替換亮部和暗部色彩)
 45 #import "GPUImageHueFilter.h"                       //色度
 46 #import "GPUImageChromaKeyFilter.h"                 //色度鍵
 47 #import "GPUImageWhiteBalanceFilter.h"              //白平橫
 48 #import "GPUImageAverageColor.h"                    //像素平均色值
 49 #import "GPUImageSolidColorGenerator.h"             //純色
 50 #import "GPUImageLuminosity.h"                      //亮度平均
 51 #import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,圖像黑白(有類似漫畫效果)
 52 
 53 #import "GPUImageLookupFilter.h"                    //lookup 色彩調整
 54 #import "GPUImageAmatorkaFilter.h"                  //Amatorka lookup
 55 #import "GPUImageMissEtikateFilter.h"               //MissEtikate lookup
 56 #import "GPUImageSoftEleganceFilter.h"              //SoftElegance lookup

 61 #pragma mark - 圖像處理 Handle Image
 62 
 63 #import "GPUImageCrosshairGenerator.h"              //十字
 64 #import "GPUImageLineGenerator.h"                   //線條
 65 
 66 #import "GPUImageTransformFilter.h"                 //形狀變化
 67 #import "GPUImageCropFilter.h"                      //剪裁
 68 #import "GPUImageSharpenFilter.h"                   //銳化
 69 #import "GPUImageUnsharpMaskFilter.h"               //反遮罩銳化
 70 
 71 #import "GPUImageFastBlurFilter.h"                  //模糊
 72 #import "GPUImageGaussianBlurFilter.h"              //高斯模糊
 73 #import "GPUImageGaussianSelectiveBlurFilter.h"     //高斯模糊,選擇部分清晰
 74 #import "GPUImageBoxBlurFilter.h"                   //盒狀模糊
 75 #import "GPUImageTiltShiftFilter.h"                 //條紋模糊,中間清晰,上下兩端模糊
 76 #import "GPUImageMedianFilter.h"                    //中間值,有種稍微模糊邊緣的效果
 77 #import "GPUImageBilateralFilter.h"                 //雙邊模糊
 78 #import "GPUImageErosionFilter.h"                   //侵蝕邊緣模糊,變黑白
 79 #import "GPUImageRGBErosionFilter.h"                //RGB侵蝕邊緣模糊,有色彩
 80 #import "GPUImageDilationFilter.h"                  //擴展邊緣模糊,變黑白
 81 #import "GPUImageRGBDilationFilter.h"               //RGB擴展邊緣模糊,有色彩
 82 #import "GPUImageOpeningFilter.h"                   //黑白色調模糊
 83 #import "GPUImageRGBOpeningFilter.h"                //彩色模糊
 84 #import "GPUImageClosingFilter.h"                   //黑白色調模糊,暗色會被提亮
 85 #import "GPUImageRGBClosingFilter.h"                //彩色模糊,暗色會被提亮
 86 #import "GPUImageLanczosResamplingFilter.h"         //Lanczos重取樣,模糊效果
 87 #import "GPUImageNonMaximumSuppressionFilter.h"     //非最大抑制,只顯示亮度最高的像素,其他為黑
 88 #import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //與上相比,像素丟失更多
 89 
 90 #import "GPUImageSobelEdgeDetectionFilter.h"        //Sobel邊緣檢測算法(白邊,黑內容,有點漫畫的反色效果)
 91 #import "GPUImageCannyEdgeDetectionFilter.h"        //Canny邊緣檢測算法(比上更強烈的黑白對比度)
 92 #import "GPUImageThresholdEdgeDetectionFilter.h"    //閾值邊緣檢測(效果與上差別不大)
 93 #import "GPUImagePrewittEdgeDetectionFilter.h"      //普瑞維特(Prewitt)邊緣檢測(效果與Sobel差不多,貌似更平滑)
 94 #import "GPUImageXYDerivativeFilter.h"              //XYDerivative邊緣檢測,畫面以藍色為主,綠色為邊緣,帶彩色
 95 #import "GPUImageHarrisCornerDetectionFilter.h"     //Harris角點檢測,會有綠色小十字顯示在圖片角點處
 96 #import "GPUImageNobleCornerDetectionFilter.h"      //Noble角點檢測,檢測點更多
 97 #import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角點檢測,與上差別不大
 98 #import "GPUImageMotionDetector.h"                  //動作檢測
 99 #import "GPUImageHoughTransformLineDetector.h"      //線條檢測
100 #import "GPUImageParallelCoordinateLineTransformFilter.h" //平行線檢測
101 
102 #import "GPUImageLocalBinaryPatternFilter.h"        //圖像黑白化,並有大量噪點
103 
104 #import "GPUImageLowPassFilter.h"                   //用於圖像加亮
105 #import "GPUImageHighPassFilter.h"                  //圖像低於某值時顯示為黑
106 
107 
108 #pragma mark - 視覺效果 Visual Effect
109 
110 #import "GPUImageSketchFilter.h"                    //素描
111 #import "GPUImageThresholdSketchFilter.h"           //閥值素描,形成有噪點的素描
112 #import "GPUImageToonFilter.h"                      //卡通效果(黑色粗線描邊)
113 #import "GPUImageSmoothToonFilter.h"                //相比上面的效果更細膩,上面是粗曠的畫風
114 #import "GPUImageKuwaharaFilter.h"                  //桑原(Kuwahara)濾波,水粉畫的模糊效果;處理時間比較長,慎用
115 
116 #import "GPUImageMosaicFilter.h"                    //黑白馬賽克
117 #import "GPUImagePixellateFilter.h"                 //像素化
118 #import "GPUImagePolarPixellateFilter.h"            //同心圓像素化
119 #import "GPUImageCrosshatchFilter.h"                //交叉線陰影,形成黑白網狀畫面
120 #import "GPUImageColorPackingFilter.h"              //色彩丟失,模糊(類似監控攝像效果)
121 
122 #import "GPUImageVignetteFilter.h"                  //暈影,形成黑色圓形邊緣,突出中間圖像的效果
123 #import "GPUImageSwirlFilter.h"                     //漩渦,中間形成卷曲的畫面
124 #import "GPUImageBulgeDistortionFilter.h"           //凸起失真,魚眼效果
125 #import "GPUImagePinchDistortionFilter.h"           //收縮失真,凹面鏡
126 #import "GPUImageStretchDistortionFilter.h"         //伸展失真,哈哈鏡
127 #import "GPUImageGlassSphereFilter.h"               //水晶球效果
128 #import "GPUImageSphereRefractionFilter.h"          //球形折射,圖形倒立
129     
130 #import "GPUImagePosterizeFilter.h"                 //色調分離,形成噪點效果
131 #import "GPUImageCGAColorspaceFilter.h"             //CGA色彩濾鏡,形成黑、淺藍、紫色塊的畫面
132 #import "GPUImagePerlinNoiseFilter.h"               //柏林噪點,花邊噪點
133 #import "GPUImage3x3ConvolutionFilter.h"            //3x3卷積,高亮大色塊變黑,加亮邊緣、線條等
134 #import "GPUImageEmbossFilter.h"                    //浮雕效果,帶有點3d的感覺
135 #import "GPUImagePolkaDotFilter.h"                  //像素圓點花樣
136 #import "GPUImageHalftoneFilter.h"                  //點染,圖像黑白化,由黑點構成原圖的大致圖形
137 
138 
139 #pragma mark - 混合模式 Blend
140 
141 #import "GPUImageMultiplyBlendFilter.h"             //通常用於創建陰影和深度效果
142 #import "GPUImageNormalBlendFilter.h"               //正常
143 #import "GPUImageAlphaBlendFilter.h"                //透明混合,通常用於在背景上應用前景的透明度
144 #import "GPUImageDissolveBlendFilter.h"             //溶解
145 #import "GPUImageOverlayBlendFilter.h"              //疊加,通常用於創建陰影效果
146 #import "GPUImageDarkenBlendFilter.h"               //加深混合,通常用於重疊類型
147 #import "GPUImageLightenBlendFilter.h"              //減淡混合,通常用於重疊類型
148 #import "GPUImageSourceOverBlendFilter.h"           //源混合
149 #import "GPUImageColorBurnBlendFilter.h"            //色彩加深混合
150 #import "GPUImageColorDodgeBlendFilter.h"           //色彩減淡混合
151 #import "GPUImageScreenBlendFilter.h"               //屏幕包裹,通常用於創建亮點和鏡頭眩光
152 #import "GPUImageExclusionBlendFilter.h"            //排除混合
153 #import "GPUImageDifferenceBlendFilter.h"           //差異混合,通常用於創建更多變動的顏色
154 #import "GPUImageSubtractBlendFilter.h"             //差值混合,通常用於創建兩個圖像之間的動畫變暗模糊效果
155 #import "GPUImageHardLightBlendFilter.h"            //強光混合,通常用於創建陰影效果
156 #import "GPUImageSoftLightBlendFilter.h"            //柔光混合
157 #import "GPUImageChromaKeyBlendFilter.h"            //色度鍵混合
158 #import "GPUImageMaskFilter.h"                      //遮罩混合
159 #import "GPUImageHazeFilter.h"                      //朦朧加暗
160 #import "GPUImageLuminanceThresholdFilter.h"        //亮度閾
161 #import "GPUImageAdaptiveThresholdFilter.h"         //自適應閾值
162 #import "GPUImageAddBlendFilter.h"                  //通常用於創建兩個圖像之間的動畫變亮模糊效果
163 #import "GPUImageDivideBlendFilter.h"               //通常用於創建兩個圖像之間的動畫變暗模糊效果
164 
165 
166 #pragma mark - 尚不清楚
167 #import "GPUImageJFAVoroniFilter.h"
168 #import "GPUImageVoroniConsumerFilter.h"

 好吧,這里加上自己的一個練手app的地址,掃描即可下載:

 
        


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM