NLTK中文語料庫sinica_treebank

 

python機器學習-乳腺癌細胞挖掘（博主親自錄制視頻）https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share

 

http://www.hankcs.com/program/python/nltk-chinese-corpus-sinica_treebank.html

 

NLTK包含Sinica （中央研究院）提供的繁體中文語料庫，其在Python環境下的顯示有些講究。

NLTK sinica_treebank 顯示中文

在IDLE中如果直接查看的話會顯示十六進制碼：

1. >>> from nltk.corpus import sinica_treebank
2. >>> sinica_treebank.words()
3. ['\xe4\xb8\x80', '\xe5\x8f\x8b\xe6\x83\x85', ...]

如果想在IDLE中查看這些進制碼對應的中文的話，可以：

1. >>> print '\xe4\xb8\x80'
2. 一

NLTK中文詞性標注

一個一個手動print太蠢了，一段代碼自動讓它好看起來：

1. # -*- coding:utf-8 -*-
2. # Filename: sinica_treebank.py
3. # Author：hankcs
4. # Date: 2014-04-08 上午11:44
5. import nltk
6. from nltk.corpus import sinica_treebank
7.  
8. sinica_text = nltk.Text(sinica_treebank.words())
9. print sinica_text
10. for (key, var) in sinica_treebank.tagged_words()[:8]:
11.     print '%s/%s' % (key, var),

輸出：

1. <Text: 一 友情 嘉珍 和 我 住在 同一條 巷子...>
2. 一/Neu 友情/Nad 嘉珍/Nba 和/Caa 我/Nhaa 住在/VC1 同一條/DM 巷子/Nab

NLTK中文句法樹

1. >>> sinica_treebank.parsed_sents()[15].draw()

真是神奇的Python！

搜索中文文本

在IDLE中不方便調編碼，還是寫進py文件吧：

1. # -*- coding:utf-8 -*-
2. # Filename: sinica_treebank.py
3. # Author：hankcs
4. # Date: 2014-04-08 上午11:44
5. import nltk
6. from nltk.corpus import sinica_treebank
7.  
8. sinica_text = nltk.Text(sinica_treebank.words())
9. print sinica_text.concordance('我')

輸出：

1. Building index...
2. Displaying 25 of 724 matches:
3.                                       我 住在 同一條 巷子 我們 是 �
4. �� 一起 回家 有一天 上學 時 我 到 她 家 等候 按 了 門鈴 卻
5. ��鈴 卻 沒有 任何 動靜 正當 我 想 離開 時 門 內 突然 傳來 
6. �� 了 門 大聲 的 叫 著 快 點 我 媽媽 暈倒 了 嘉珍 抓起 我 �
7. � 我 媽媽 暈倒 了 嘉珍 抓起 我 的 手 急忙 往 屋 裡 跑 進入
8.  得 像 紙 一樣 這種 情景 把 我 嚇壞 了 怎麼辦 嘉珍 不停 �
9. ��停 的 哭泣 聲音 有些 顫抖 我 的 腦海 中 頓時 一片 空白 �
10. � 怎麼辦 才 好 過 了 一會兒 我 才 問 她 你 爸爸 呢 他 出差
11.  他 出差 了 嘉珍 擦 著 眼淚 我 握住 她 的 雙手 她 的 手 又
12. �� 這時 有個 念頭 突然 閃過 我 的 眼前 我 幫 她 撥 了 一一
13. � 念頭 突然 閃過 我 的 眼前 我 幫 她 撥 了 一一九 請 救護�
14.  她 的 背 安慰 她 不要 著急 我 會 陪 你 的 不久 救護車 停 
15. ��上 救護車 嘉珍 上車 前 對 我 說 謝謝 你 的 幫忙 我 握 著
16. 前 對 我 說 謝謝 你 的 幫忙 我 握 著 她 的 手 說 不用 謝 �
17. �� 握 著 她 的 手 說 不用 謝 我 因為 我們 是 好朋友 二 無�
18. 員外 來 找 他 並且 對 他 說 我 看 你 悶悶不樂 是不是 進京
19. �� 著 他 的 手 說 你 不用 還 我 了 我 只是 盡 一份 心力 而�
20. �� 的 手 說 你 不用 還 我 了 我 只是 盡 一份 心力 而已 以�
21.  銀子 含 著 眼淚 說 謝謝 您 我 不 知道 要 怎麼 來 報答 您 
22. 答 您 江 巡撫 說 你 不必 謝 我 也 不必 回報 我 四 快樂 的 
23.  你 不必 謝 我 也 不必 回報 我 四 快樂 的 閱讀課 上 國語�
24. �� 這一組 做 讀書 心得 報告 我 第一個 站起來 發言 我們 閱
25. �過 兩 人 成為 知心 的 朋友 我 說完 之後 組長 站起來 補充
26. 清理 火山灰 而且 欣賞 落日 我 喜歡 這種 自由自在 的 生活
27. 的 人 也 不 喜歡 虛偽 的 人 我 覺得 小 王子 很 正直 最後 �
28. None

這里面的�大概是字體的原因吧，畢竟不是繁體中文系統。本文的原作者指出：

concordance 會出現 � 的原因是因為這個字的被切一半 , 因為 UTF-8 編碼中文要有三個byte ‘xe4xb8x80′ , 出現�� 表示被切成這樣 ‘xe4xb8′, 少一個 byte

茅塞頓開。

控制台亂碼的話可能需要decode成unicode然后在encode成gb編碼：

1. s = "中文"
2.  
3. if isinstance(s, unicode):
4.     # s=u"中文"
5.     print s.encode('gb2312')
6. else:
7.     # s="中文"
8.     print s.decode('utf-8').encode('gb2312')

NLTK計算中文高頻詞

1. >>> sinica_fd=nltk.FreqDist(sinica_treebank.words())
2. >>> top100=sinica_fd.items()[0:100]
3. >>> for (x,y) in top100:
4. print x,y
5.  
7. 的 6776
8. 、 1482
9. 在 1331
10. 是 1317
11. 了 1190
12. 有 759
13. 我 724
14. 他 688
15. 就 627
16. 上 612
17. 和 580
18. 也 542
19. 不 526
20. 人 467
21. 都 417
22. 與 404
23. 著 389
24. 我們 384

初步的NLTK中文玩法就這些了，還是挺不錯的。

 

https://study.163.com/provider/400000000398149/index.htm?share=2&shareId=400000000398149（博主視頻教學主頁）