最近要幫做RA的老姐寫個合並excel工作表的腳本……源數據是4000+個excel 工作表，分布在9個xlsm文件里，文件內容是中英文混雜的一些數據，需要從每張表中提取需要的部分，分門別類合並到多個大的表里。
尋覓工具
確定任務之后第一步就是找個趁手的庫來干活。 Python Excel上列出了xlrd、xlwt、xlutils這幾個包，但是
- 它們都比較老，xlwt甚至不支持07版以后的excel
- 它們的文檔不太友好，都可能需要去讀源代碼，而老姐的任務比較緊，加上我當時在期末，沒有這個時間細讀源代碼
再一番搜索后我找到了openpyxl，支持07+的excel，一直有人在維護，文檔清晰易讀，參照Tutorial和API文檔很快就能上手，就是它了~
安裝
這個很容易，直接pip install openpyxl，呵呵呵~
因為我不需要處理圖片，就沒有裝pillow。
一些考慮
- 源文件大約一個在1~2MB左右，比較小，所以可以直接讀入內存處理。
- 既然是處理excel，何況他們整個組顯然都是win下干活（數據都用excel存了= =，商科的人啊……），這個腳本還是在win下做吧
- 這個任務完全不需要我對現有的文件做修改！囧……我只要讀入、處理、再寫出另一個文件就行了
學習使用
嗯，就是打開cmd，然后用python的shell各種玩這個模塊來上手……（win下沒有裝ipython，囧）
做這個小腳本基本上我只需要import兩個東西
from openpyxl import Workbook from openpyxl import load_workbook
load_workbook顧名思義是把文件導入到內存，Workbook是最基本的一個類，用來在內存里創建文件最后寫進磁盤的。
干活
首先我需要導入這個文件
inwb = load_workbook(filename)
得到的就是一個workbook對象
然后我需要創建一個新的文件
outwb = Workbook()
接着在這個新文件里，用create_sheet新建幾個工作表，比如
careerSheet = outwb.create_sheet(0, 'career')
就會從頭部插入一個叫career的工作表（也就是說用法類似python list的insert）
接下來我需要遍歷輸入文件的每個工作表，並且按照表名做一些工作（e.g.如果表名不是數字，我不需要處理），openpyxl支持用字典一樣的方式通過表名獲取工作表，獲取一個工作簿的表名的方法是get_sheet_names
for sheetName in inwb.get_sheet_names(): if not sheetName.isdigit(): continue sheet = inwb[sheetName]
得到工作表之后，就是按列和行處理了。openpyxl會根據工作表里實際有數據的區域來確定行數和列數，獲取行和列的方法是sheet.rows和sheet.columns，它們都可以像list一樣用。比如，如果我想跳過數據少於2列的表，可以寫
if len(sheet.columns) < 2: continue
如果我想獲取這個工作表的前兩列，可以寫
colA, colB = sheet.columns[:2]
除了用columns和rows來得到這個工作表的行列之外，還可以用excel的單元格編碼來獲取一個區域，比如
cells = sheet['A1':'B20']
有點像excel自己的函數，可以拉出一塊二維的區域~
為了方便處理，遇到一個沒有C列的工作表，我要創建一個和A列等長的空的C列出來，那么我可以用sheet.cell這個方法，通過傳入單元格編號和添加空值來創建新列。
alen = len(colA) for i in range(1, alen + 1): sheet.cell('C%s' % (i)).value = None
注意：excel的單元格命名是從1開始的~
上面的代碼也顯示出來了，獲取單元格的值是用cell.value（可以是左值也可以是右值），它的類型可以是字符串、浮點數、整數、或者時間（datetime.datetime），excel文件里也會生成對應類型的數據。
得到每個單元格的值之后，就可以進行操作了~openpyxl會自 動將字符串用unicode編碼，所以字符串都是unicode類型的。
除了逐個逐個單元格用cell.value修改值以外，還可以一行行append到工作表里
sheet.append(strA, dateB, numC)
最后，等新的文件寫好，直接用workbook.save保存就行
outwb.save("test.xlsx")
這個會覆蓋當前已有的文件，甚至你之前讀取到內存的那個文件。
一些要注意的地方
-
如果要在遍歷一列的每個單元格的時候獲取當前單元格的在這個column對象里的下標
for idx, cell in enumerate(colA): # do something...
-
為了防止獲取的數據兩端有看不見的空格（excel文件里很常見的坑），記得strip()
-
如果工作表里的單元格沒有數據，openpyxl會讓它的值為None，所以如果要基於單元格的值做處理，不能預先假定它的類型，最好用
if not cell.value continue
之類的語句來先行判斷
-
如果要處理的excel文件里有很多noise，比如當你預期一個單元格是時間的時候，有些表的數據可能是字符串，這時候可以用
if isinstance(cell.value, unicode): break
之類的語句處理。
- win下的cmd似乎不太好設定用utf-8的code page，如果是簡體中文的話可以用936（GBK），print的時候會自動從unicode轉換到GBK輸出到終端。
一些幫忙處理中文問題的小函數
我處理的表有一些超出GBK范圍的字符，當我需要把一些信息print出來監控處理進度的時候非常麻煩，好在它們都是可以無視的，我直接用空格替換再print也行，所以加上一些我本來就要替換掉的分隔符，我可以：
# annoying seperators dot = u'\u00b7' dash = u'\u2014' emph = u'\u2022' dot2 = u'\u2027' seps = (u'.', dot, dash, emph, dot2) def get_clean_ch_string(chstring): """Remove annoying seperators from the Chinese string. Usage: cleanstring = get_clean_ch_string(chstring) """ cleanstring = chstring for sep in seps: cleanstring = cleanstring.replace(sep, u' ') return cleanstring
此外我還有一個需求，是把英文名[空格]中文名分成英文姓、英文名、中文姓、中文名。
首先我需要能把英文和中文分割開，我的辦法是用正則匹配，按照常見中英文字符在unicode的范圍來套。匹配英文和中文的正則pattern如下：
# regex pattern matching all ascii characters asciiPattern = ur'[%s]+' % ''.join(chr(i) for i in range(32, 127)) # regex pattern matching all common Chinese characters and seporators chinesePattern = ur'[\u4e00-\u9fff. %s]+' % (''.join(seps))
英文就用ASCII可打印字符的范圍替代，常見中文字符的范圍是\u4e00-\u9fff，那個seps是前面提到過的超出GBK范圍的一些字符。 除了簡單的分割，我還需要處理只有中文名沒有英文名、只有英文名沒有中文名等情況，判斷邏輯如下：
def split_name(name): """Split [English name, Chinese name]. If one of them is missing, None will be returned instead. Usage: engName, chName = split_name(name) """ matches = re.match('(%s) (%s)' % (asciiPattern, chinesePattern), name) if matches: # English name + Chinese name return matches.group(1).strip(), matches.group(2).strip() else: matches = re.findall('(%s)' % (chinesePattern), name) matches = ''.join(matches).strip() if matches: # Chinese name only return None, matches else: # English name only matches = re.findall('(%s)' % (asciiPattern), name) return ''.join(matches).strip(), None
得到了中文名之后，我需要分割成姓和名，因為任務要求不需要把姓名分割得很明確，我就按照常見的中文名姓名分割方式來分——兩個字or三個字的第一個字是姓，四個字的前兩個字是姓，名字帶分隔符的（少數民族名字）分隔符前是姓（這里用到了前面的get_clean_ch_string函數來移除分隔符），名字再長一些又不帶分割符的，假設整個字符串都是名字。（注意英語的first name 指的是名，last name指的是姓，2333）
def split_ch_name(chName): """Split the Chinese name into first name and last name. * If the name is XY or XYZ, X will be returned as the last name. * If the name is WXYZ, WX will be returned as the last name. * If the name is ...WXYZ, the whole name will be returned as the last name. * If the name is ..ABC * XYZ..., the part before the seperator will be returned as the last name. Usage: chFirstName, chLastName = split_ch_name(chName) """ if len(chName) < 4: # XY or XYZ chLastName = chName[0] chFirstName = chName[1:] elif len(chName) == 4: # WXYZ chLastName = chName[:2] chFirstName = chName[2:] else: # longer cleanName = get_clean_ch_string(chName) nameParts = cleanName.split() print u' '.join(nameParts) if len(nameParts) < 2: # ...WXYZ return None, nameParts[0] chLastName, chFirstName = nameParts[:2] # ..ABC * XYZ... return chFirstName, chLastName
分割英文名就很簡單了，空格分開，第一部分是名，第二部分是姓，其他情況暫時不管就行。