Python用re正則化模塊在字符串查找特定字符串

實驗需要，在一個含有幾億個字符的txt文件中查找特定的字符串，首先用re模塊進行查找

from time import clock
import re
start=clock()
label_file = open("/home/ying/data/google_streetview_train_test1/label.txt")
label_str = label_file.read()
label_file.close()
filename = "2_0_pitch_95_yaw_95_lat_41.8975137_lng_-87.6268723.jpg"
start=clock()
for match in re.finditer(filename, label_str):
    s = match.start()
    e = match.end()
    print(s)
    print(e)
end=clock()
print(end-start)

re.finditer(filename, label_str)可以在label_str中查找filename的位置，s=match.start()返回字符串開始的索引，e=match.end()，返回字符串結束的索引。程序運行的結果是

304091635
304091689
304096479
304096533
1.003844

耗時1s左右

同樣的，由於txt文件中為一行一行的數據，可以用readlines進行遍歷讀取比較，程序如下

from time import clock
start=clock()
data_label="/home/ying/data/google_streetview_train_test1/label.txt"
filename = "2_0_pitch_95_yaw_95_lat_41.8975137_lng_-87.6268723.jpg"
file = open(data_label)
lines = file.readlines()
print(len(lines))
for line in lines:
    cls = line.split()
    fn = cls.pop(0)
    if fn==filename:
       break
end=clock()
print(end-start)

運行結果如下：

1
3.335657

可見耗時有3s多，用正則化模塊要快的多

另外，由於label_str中存在1.2_0_pitch_95_yaw_95_lat_41.8975137_lng_-87.6268723.jpg，所以用re模塊尋找時會返回兩個結果，而用逐行讀取的方式則返回一個值