一、背景
本人准备用python做图像和视频编辑的操作,却发现opencv和PIL的效率并不是很理想,并且同样的需求有多种不同的写法并有着不同的效率。见全网并无较完整的效率对比文档,遂决定自己丰衣足食。
二、目的
本篇文章将对Python下的opencv接口函数及PIL(Pillow)函数的常用部分进行逐个运行并计时(多次测算取平均时间和最短时间,次数一般在100次以上),并简单使用numba、ctypes、cython等方法优化代码。
三、测试方法及环境
1.硬件
CPU:Intel(R) Core(TM) i3-3220 CPU @ 3.30GHz 3.30 GHz
内存:4.00 GB
硬盘:ATA WDC WD5000AAKX-7 SCSI Disk Device
2.软件:
操作系统:Windows 7 Service Pack 1 Ultimate 64bit zh-cn
Python解释器:3.7.5 64bit (provided by Anaconda)
各模块:皆为最新
(事情有所变化,暂时使用下面机房电脑的配置进行测试)
1.硬件
CPU:Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz 2.10 GHz
内存:3.00 GB
硬盘:VMware Virtual disk SCSI Disk Service
2.软件:
操作系统:Windows 7 Service Pack 1 Ultimate 64bit zh-cn (powered by VMware Horizon View Client)
Python解释器:3.7.3 64bit (provided by Anaconda)
各模块:皆为最新
四、具体实现
1.待测试函数
以下定义新建的视频规定为MP4格式、mp4v编码、1920*1080尺寸、60帧速率;定义新建的图片为JPG格式、1920*1080尺寸、RGB通道。
根据实际需要(其实是我自己的需要),先暂定测试以下函数[1][2]:
1)创建视频
2)视频帧读取(视频不好做测试数据,故使用了手头上现成的。in.mp4参数:时长27秒,尺寸1920x1080,数据速率17073kbps,总比特率17331kbps,帧速率29fps,大小55.7MB)
3)视频帧写入[3] (PS:为什么Opencv官方教程中没有这个函数...)
4)写入视频(后来发现这个应该类似于file.close(),只是一个释放文件对象的过程,并不是真的在这个时候写入所有的数据。之前看见在release之前文件是空的应该是数据还没有从内存写入磁盘导致的)
5)创建图片 ( matrix & pillow object )
6)图片读取(opencv & pillow)(使用新建的图片,满足上面的定义,大小33kb)
7)图片数据结构转换
8)图片点操作(matrix & pillow object )
9)图片其他绘图操作(matrix & pillow object & opencv )
这里我们测试画直线、画矩形、画圆(不包括matrix)、画椭圆操作(不包括matrix)、绘制文字(不包括matrix)。
注:pillow中默认绘制的图形都是实心的[4],而opencv要设置线宽为负值才是实心的[5]。
其中opencv的字体参数参考:[6]
10)图片其他操作
11)写入图片( Pillow & OpenCV)
2.时间计算工具
这里的时间计算工具用一个类实现给定次数的循环和智能循环(自动控制循环次数)的功能,并能给出每次循环的函数返回值、循环次数、平均时间、最短时间、最长时间、总共用时。
对于自动判断循环次数的算法参考了Python的timeit模块源码(autorange函数)[7]:
1 # -*- coding: utf-8 -*-
2
3 import time 4 import cv2 5 from PIL import Image, ImageDraw, ImageFont 6 import numpy as np 7
8 # Class
9 class FunctionTimer(object): 10 MAX_WAIT_SEC = 0.5
11 INF = 2147483647
12 SMART_LOOP = -1
13
14 def __init__(self, timer=None, count=None): 15 self._timer = timer if timer != None else time.perf_counter 16 self._count = count if count != None else 100
17
18 def _get_single_time(self, func, *args, **kwargs): 19 s = self._timer() 20 ret = func(*args, **kwargs) 21 f = self._timer() 22 return ret, f - s 23
24 def _get_repeat_time(self, number, func, *args, **kwargs): 25 time_min, time_max, time_sum = self.INF, 0, 0 26 for i in range(number): 27 ret, delta = self._get_single_time(func, *args, **kwargs) 28 time_min = min(time_min, delta) 29 time_max = max(time_max, delta) 30 time_sum += delta 31 return func, ret, number, time_sum / number, time_min, time_max, time_sum 32
33 def gettime(self, func, *args, **kwargs): 34 if self._count != self.SMART_LOOP: 35 return self._get_repeat_time(self._count, func, *args, **kwargs) 36 else: 37 # Arrange loop count automatically
38 # Refer to Lib/timeit.py
39 i = 1
40 while True: 41 for j in 1, 2, 5: 42 number = i * j 43 func, ret, number, time_ave, time_min, time_max, time_sum = self._get_repeat_time(number, func, *args, **kwargs) 44 if time_sum >= self.MAX_WAIT_SEC: 45 return func, ret, number, time_ave, time_min, time_max, time_sum 46 i *= 10
47
48 def better_print(self, params): 49 func, ret, count, ave, minn, maxn, sumn = params 50 print('========================================') 51 print(' Function name:') 52 print(' ' + func.__repr__()) 53 print('========================================') 54 print(' Function has the return content below:') 55 print(' ' + ret.__name__) 56 print('========================================') 57 print(' Summary of Function Timer:') 58 print(' Count of loops: {}'.format(count)) 59 print(' Average time of loops: {} (sec)'.format(ave)) 60 print(' Minimum of every loop time: {} (sec)'.format(minn)) 61 print(' Maximum of every loop time: {} (sec)'.format(maxn)) 62 print(' Total time of loops: {} (sec)'.format(sumn)) 63 print('========================================') 64
65 # Function
66 def testfunc(x=10000000): 67 for i in range(x): 68 pass
69 return i 70
71 # Main Function
72 timer = FunctionTimer()
测试结果(将整个文件作为模块以op为名字调用):
3.完整代码
1 # opencv_pil_time.py
2
3 # -*- coding: utf-8 -*-
4
5 import time 6 import cv2 7 from PIL import Image, ImageDraw, ImageFont 8 import numpy as np 9
10 # Class
11 class FunctionTimer(object): 12 MAX_WAIT_SEC = 0.5
13 INF = 2147483647
14 SMART_LOOP = -1
15
16 def __init__(self, timer=None, count=None): 17 self._timer = timer if timer != None else time.perf_counter 18 self._count = count if count != None else 100
19
20 def _get_single_time(self, func, *args, **kwargs): 21 s = self._timer() 22 ret = func(*args, **kwargs) 23 f = self._timer() 24 return ret, f - s 25
26 def _get_repeat_time(self, number, func, *args, **kwargs): 27 time_min, time_max, time_sum = self.INF, 0, 0 28 for i in range(number): 29 ret, delta = self._get_single_time(func, *args, **kwargs) 30 time_min = min(time_min, delta) 31 time_max = max(time_max, delta) 32 time_sum += delta 33 return func, ret, number, time_sum / number, time_min, time_max, time_sum 34
35 def gettime(self, func, *args, **kwargs): 36 if self._count != self.SMART_LOOP: 37 return self._get_repeat_time(self._count, func, *args, **kwargs) 38 else: 39 # Arrange loop count automatically
40 # Refer to Lib/timeit.py
41 i = 1
42 while True: 43 for j in 1, 2, 5: 44 number = i * j 45 func, ret, number, time_ave, time_min, time_max, time_sum = self._get_repeat_time(number, func, *args, **kwargs) 46 if time_sum >= self.MAX_WAIT_SEC: 47 return func, ret, number, time_ave, time_min, time_max, time_sum 48 i *= 10
49
50 def better_print(self, params): 51 func, ret, count, ave, minn, maxn, sumn = params 52 print('========================================') 53 print(' Function name:') 54 print(' ' + func.__name__) 55 print('========================================') 56 print(' Function has the return content below:') 57 print(' ' + ret.__repr__()) 58 print('========================================') 59 print(' Summary of Function Timer:') 60 print(' Count of loops: {}'.format(count)) 61 print(' Average time of loops: {} (sec)'.format(ave)) 62 print(' Minimum of every loop time: {} (sec)'.format(minn)) 63 print(' Maximum of every loop time: {} (sec)'.format(maxn)) 64 print(' Total time of loops: {} (sec)'.format(sumn)) 65 print('========================================') 66
67 # Function
68 # Debug
69 def testfunc(x=10000000): 70 for i in range(x): 71 pass
72 return i 73
74 # Test Function
75 def task_1(): 76 vw = cv2.VideoWriter('out.mp4', cv2.VideoWriter_fourcc(*'mp4v'), 60, (1920, 1080)) 77
78 def task_2(): 79 cap = cv2.VideoCapture('in.mp4') 80 while cap.isOpened(): 81 ret, frame = cap.read() 82 if not ret: 83 break
84 cap.release() 85
86 def task_3(vw, frame): # Use a new blank video file when testing
87 vw.write(frame) 88
89 def task_4(vw): 90 vw.release() 91
92 def task_5_matrix(): 93 arr = np.zeros((1080, 1920, 3), dtype=np.uint8) 94
95 def task_5_pillow(): 96 img = Image.new('RGB', (1920, 1080)) 97
98 def task_6_opencv(): 99 arr = cv2.imread('in.jpg') 100
101 def task_6_pillow(): 102 img = Image.open('in.jpg') 103
104 def task_7_list(img): 105 arr1 = list(img.im) 106
107 def task_7_asarray(img): 108 arr2 = np.asarray(img) 109
110 def task_7_array(img): 111 arr3 = np.array(img) 112
113 def task_8_matrix(arr3): 114 arr3[0][0] = (255, 255, 255) 115
116 def task_8_pillow_putpixel(img): 117 img.putpixel((0, 0), (255, 255, 255)) 118
119 def task_8_pillow_point(draw): 120 draw.point((0, 0), (255, 255, 255)) 121
122 def task_9_line_matrix(arr3): 123 for x in range(100, 500): 124 arr3[100][x] = (255, 255, 255) 125
126 def task_9_line_pillow(draw): 127 draw.line((100, 100, 500, 100), (255, 255, 255)) 128
129 def task_9_line_opencv(arr): 130 cv2.line(arr, (100, 100), (500, 100), (255, 255, 255), 1) 131
132 def task_9_rectangle_matrix(arr3): 133 for x in range(100, 500): 134 for y in range(100, 500): 135 arr3[y][x] = (255, 255, 255) 136
137 def task_9_rectangle_pillow(draw): 138 draw.rectangle((100, 100, 500, 500), (255, 255, 255)) 139
140 def task_9_rectangle_opencv(arr): 141 cv2.rectangle(arr, (100, 100), (500, 500), (255, 255, 255), -1) 142
143 def task_9_circle_pillow_arc(draw): 144 draw.arc((100, 100, 500, 500), 0, 360, (255, 255, 255)) 145
146 def task_9_circle_pillow_ellipse(draw): 147 draw.ellipse((100, 100, 500, 500), (255, 255, 255)) 148
149 def task_9_circle_opencv_circle(arr): 150 cv2.circle(arr, (300, 300), 200, (255, 255, 255), -1) 151
152 def task_9_circle_opencv_ellipse(arr): 153 cv2.ellipse(arr, (300, 300), (200, 200), 0, 0, 360, (255, 255, 255), -1) 154
155 def task_9_ellipse_pillow(draw): 156 draw.ellipse((100, 100, 700, 500), (255, 255, 255)) 157
158 def task_9_ellipse_opencv(arr): 159 cv2.ellipse(arr, (400, 300), (300, 200), 0, 0, 360, (255, 255, 255), -1) 160
161 def task_9_text_pillow(draw, font): 162 draw.text((100, 100), 'Hello, world!', (255, 255, 255), font) 163
164 def task_9_text_opencv(arr, font): 165 cv2.putText(arr, 'Hello, world!', (100, 200), font, 2, (255, 255, 255), 1, cv2.LINE_AA) 166
167 def task_10(): 168 pass
169
170 def task_11_pillow(img): 171 img.save('out.jpg') 172
173 def task_11_opencv_imread(arr): 174 cv2.imwrite('out.jpg', arr) 175
176 def task_11_opencv_asarray(arr2): 177 cv2.imwrite('out.jpg', arr2) 178
179 def task_11_opencv_array(arr3): 180 cv2.imwrite('out.jpg', arr3) 181
182 # Main Function
183 if __name__ == '__main__': 184 timer = FunctionTimer() 185 # timer.better_print(timer.gettime(func, *args, **kwargs))
186 timer.better_print(timer.gettime(task_1)) 187 vw = cv2.VideoWriter('out.mp4', cv2.VideoWriter_fourcc(*'mp4v'), 60, (1920, 1080)) 188 # timer.better_print(timer.gettime(task_2)) # task_2 takes up much time and we don't test it!
189 frame = np.zeros((1080, 1920, 3), dtype=np.uint8) 190 timer.better_print(timer.gettime(task_3, vw, frame)) 191 timer.better_print(timer.gettime(task_4, vw)) 192 timer.better_print(timer.gettime(task_5_matrix)) 193 timer.better_print(timer.gettime(task_5_pillow)) 194 timer.better_print(timer.gettime(task_6_opencv)) 195 arr = cv2.imread('in.jpg') 196 timer.better_print(timer.gettime(task_6_pillow)) 197 img = Image.new('RGB', (1920, 1080)) 198 timer.better_print(timer.gettime(task_7_list, img)) 199 timer.better_print(timer.gettime(task_7_asarray, img)) 200 timer.better_print(timer.gettime(task_7_array, img)) 201 arr2 = np.asarray(img) 202 arr3 = np.array(img) 203 timer.better_print(timer.gettime(task_8_matrix, arr3)) 204 timer.better_print(timer.gettime(task_8_pillow_putpixel, img)) 205 draw = ImageDraw.Draw(img) 206 timer.better_print(timer.gettime(task_8_pillow_point, draw)) 207 timer.better_print(timer.gettime(task_9_line_matrix, arr3)) 208 timer.better_print(timer.gettime(task_9_line_pillow, draw)) 209 timer.better_print(timer.gettime(task_9_line_opencv, arr)) 210 timer.better_print(timer.gettime(task_9_rectangle_matrix, arr3)) 211 timer.better_print(timer.gettime(task_9_rectangle_pillow, draw)) 212 timer.better_print(timer.gettime(task_9_rectangle_opencv, arr)) 213 timer.better_print(timer.gettime(task_9_circle_pillow_arc, draw)) 214 timer.better_print(timer.gettime(task_9_circle_pillow_ellipse, draw)) 215 timer.better_print(timer.gettime(task_9_circle_opencv_circle, arr)) 216 timer.better_print(timer.gettime(task_9_circle_opencv_ellipse, arr)) 217 timer.better_print(timer.gettime(task_9_ellipse_pillow, draw)) 218 timer.better_print(timer.gettime(task_9_ellipse_opencv, arr)) 219 font = ImageFont.truetype('simkai.ttf', 32) 220 timer.better_print(timer.gettime(task_9_text_pillow, draw, font)) 221 font = cv2.FONT_HERSHEY_SIMPLEX 222 timer.better_print(timer.gettime(task_9_text_opencv, arr, font)) 223 timer.better_print(timer.gettime(task_11_pillow, img)) 224 timer.better_print(timer.gettime(task_11_opencv_imread, arr)) 225 timer.better_print(timer.gettime(task_11_opencv_asarray, arr2)) 226 timer.better_print(timer.gettime(task_11_opencv_array, arr3))
在此我先停一下,各位可以猜猜哪种方式更胜一筹。
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
五、结果
1.现象
其中task_2(读取视频文件)占用时间过多,我们不予循环测试,下面的结果栏中将给出单次运行的结果(取第一次)。
cmder.exe中运行结果:
(很奇怪为什么循环次数都是100次,感觉可能timer算法有问题)
时间单位:秒,精确度:3位有效数字,制作成表格(红字表示所在子操作名中平均时间最短的函数,如若平均时间最短按照时间排列顺序依次比较)(图片读取一栏的红字标错位置了,应该打在pillow的下面):
2.结论
1)前四项由于没有对比就不多说了,不过感觉opencv读取视频的速度确实有些慢(6.5MB/s,90.8frame/s)。当然写入数据也很慢(75.8frame/s),不过尺寸不同,就不互相比较了。
2)创建图片操作numpy数组要比pillow的对象要快一些(也就两个数量级吧~)。
3)数据结构转换中numpy比list快几乎是显然的hhh,其中asarray要比array略快一点,大概是因为array深复制而asarray浅复制;当然asarray的结果是not writable的,估计是因为image对象存储的数组本身就是只读的吧。如果只是为了读取图片方便塞视频里就用asarray。
4)没想到图片点操作里面numpy的索引赋值竟然比putpixel还要慢一点!真是大开眼界。。。果然pillow源码里面说“自带api要快一点”是真的。。。
5)图片读取、图片绘图绝大多数情况下pillow秒杀numpy和opencv,只有在写文字的时候opencv体现出比较大的效率优势,但是opencv的字体有很多限制,还是弃置了。(我手头上有一套字模,还是可以测试一下numpy写字速度的,不过估计还是要慢一些,而且字模做起来也比较臃肿,就不试了~)
6)写图片还是opencv要快一点点,当然asarray和array在多精确几个数字就是asarray快了,如果只有三位那就是array更快一点。
六、优化
(待续)
七、总结反思
这个项目我大概从一个月前就有想法了,最近一周一直在抽时间做,净时间估计都有十几个小时了。最后一天(11月16日)晚上我拖到12点,作业还没做完,困得要死,也就做了个大概--没有优化的部分,也没有表格,还因为事先没查好api返工了好几次。这件事让我深感个人的力量的薄弱 ,以及我自己水平的低下。
不过这次的项目让我掌握了多方面搜索数据(尤其是api)的能力,诸如找官方文档啊,看源码啊之类的,晦涩难懂的源代码和英文文档我也尽可能啃掉了,也算是一大进步了吧。
然后就是项目的内容。本次的测试我尽可能从自己能想到的角度给出足够多的实现方法来对比运行效率,孰优孰劣一下子就清楚了。不过也要看情况,比如说给定的数据全是数组,你要是为了追求图像处理函数的效率而全部转成pil对象,也并不是好的。除了时间效率的差距,我们也可以看出PIL的图像处理能力果然还是上等,opencv只是视频库附带一个简陋的图像处理能力,真正到解决图像问题时候还是应该选择PIL。
当然,这次的实验也有不科学的地方,诸如没有控制好无关变量,甚至可能导致相反的结果。我不是专业搞cs得,而且我还是高二生,实在无力全身心投入其中。实验方法带来的误差以及内容的错漏,尚希见谅!
最后希望各位能在这篇充满艰辛的博客中得到点什么。哪怕是一点处理编程项目时的教训而不是博客内容本身,我也心满意足了。
参考资料:
[1]Pillow (PIL Fork) 7.0.0.dev0 英文文档
[2]OpenCV Python Tutorials 翻译 OpenCV-Python Tutorials
[3]Python&OpenCV - 读写(read&write)视频(video) 详解 及 代码
[4]Python图像处理库PIL的ImageDraw模块介绍