什么是pyltp:
pyltp 是LTP的 Python 封裝，提供了分詞，詞性標注，命名實體識別，依存句法分析，語義角色標注的功能。
安裝 pyltp
測試環境：系統win10 64位， python3.6.5
官方安裝是直接使用pip install pyltp命令安裝，但是經過多次反復實踐，到處是坑，最后放棄了
輪子文件安裝：1.下載pyltp-0.2.1-cp36-cp36m-win_amd64.whl文件,百度雲，提取碼：1gki
2.切換到下載文件的目錄,執行 pip install pyltp-0.2.1-cp36-cp36m-win_amd64.whl
使用 pyltp
使用前請先下載完整模型，百度雲,提取碼：7qk2，當前模型版本 - 3.4.0
請注意編碼：
pyltp 的所有輸入的分析文本和輸出的結果的編碼均為 UTF-8。
如果您以非 UTF-8 編碼的文本輸入進行分析，結果可能為空。請注意源代碼文件的默認編碼。
由於 Windows 終端采用 GBK 編碼顯示，直接輸出 pyltp 的分析結果會在終端顯示為亂碼。您可以將標准輸出重定向到文件，以 UTF8 方式查看文件，就可以解決顯示亂碼的問題。
分句：
使用 pyltp 進行分句示例如下：
'''
使用pyltp進行分句
'''
from pyltp import SentenceSplitter
sents = SentenceSplitter.split('元芳你怎么看？我就趴在窗口上看唄！元芳你怎么這樣子了？我哪樣子了？')
# print(sents)
# print('\n'.join(sents))
sents = '|'.join(sents)
print(sents)
運行結果如下：
元芳你怎么看？|我就趴在窗口上看唄！|元芳你怎么這樣子了？|我哪樣子了？
分詞：
使用 pyltp 進行分詞示例如下：
"""
使用pyltp進行分詞
"""
import os
from pyltp import Segmentor
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分詞模型路徑， 模型名稱為'cws.model'
segmentor = Segmentor() # 初始化實例
segmentor.load(cws_model_path) # 加載模型
words = segmentor.segment('元芳你怎么看') # 分詞
print(type(words))
print(type('|'.join(words)))
print('|'.join(words))
segmentor.release() # 釋放模型
運行結果如下：
<class 'pyltp.VectorOfString'> <class 'str'> 元芳|你|怎么|看
words = segmentor.segment('元芳你怎么看') 的返回值類型是native的VectorOfString類型，可以使用list轉換成Python的列表類型
使用分詞外部詞典：
pyltp 分詞支持用戶使用自定義詞典。分詞外部詞典本身是一個文本文件（plain text），每行指定一個詞，編碼同樣須為 UTF-8，樣例如下所示
苯並芘
亞硝酸鹽
示例如下：
'''
使用分詞外部詞典
'''
import os
from pyltp import Segmentor
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分詞模型路徑， 模型名稱為'cws.model'
segmentor = Segmentor()
segmentor.load_with_lexicon(cws_model_path, 'plain.txt') # 加載模型，第二個參數是外部詞典文件路徑
words = segmentor.segment('亞硝酸鹽是一種化學物質')
print('|'.join(words))
segmentor.release()
運行結果：
[INFO] 2019-05-10 15:18:05 loaded 2 lexicon entries 亞硝酸鹽|是|一|種|化學|物質
詞性標注：
使用 pyltp 進行詞性標注
'''
使用 pyltp 進行詞性標注
'''
import os
from pyltp import Postagger
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑
pos_model_path = os.path.join(LTP_DATA_DIR, 'pos.model') # 分詞模型路徑， 模型名稱為'pos.model'
postagger = Postagger() # 初始化實例
postagger.load(pos_model_path) # 加載模型
words = ['元芳', '你', '怎么', '看'] # words是分詞模塊的返回值，也支持Python原生list,此處使用list
postags = postagger.postag(words) # 詞性標注
print('|'.join(postags))
postagger.release() # 釋放模型
運行結果：
nh|r|r|v
LTP 使用 863 詞性標注集，詳細請參考 詞性標准集。如下圖所示
命名實體識別
使用 pyltp 進行命名實體識別示例如下
''' 命名實體識別 ''' import os from pyltp import NamedEntityRecognizer LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑 ner_model_path = os.path.join(LTP_DATA_DIR, 'ner.model') # 分詞模型路徑， 模型名稱為'c.model' recognizer = NamedEntityRecognizer() # 初始化實例 recognizer.load(ner_model_path) # 加載模型 words = ['元芳', '你', '怎么', '看'] # 分詞模塊的返回值 postags = ['nh', 'r', 'r', 'v'] # 詞性標注的返回值 netags = recognizer.recognize(words, postags) # 命名實體識別 print(netags) print(list(netags)) recognizer.release() # 釋放模型
其中，words 和 postags 分別為分詞和詞性標注的結果。同樣支持Python原生的list類型。
運行結果
<pyltp.VectorOfString object at 0x000002B3A798DBD0> ['S-Nh', 'O', 'O', 'O']
LTP 采用 BIESO 標注體系。B 表示實體開始詞，I表示實體中間詞，E表示實體結束詞，S表示單獨成實體，O表示不構成命名實體。
LTP 提供的命名實體類型為:人名（Nh）、地名（Ns）、機構名（Ni）。
B、I、E、S位置標簽和實體類型標簽之間用一個橫線 - 相連；O標簽后沒有類型標簽。
詳細標注請參考 命名實體識別標注集。
NE識別模塊的標注結果采用O-S-B-I-E標注形式，其含義為
| 標記 | 含義 |
|---|---|
| O | 這個詞不是NE |
| S | 這個詞單獨構成一個NE |
| B | 這個詞為一個NE的開始 |
| I | 這個詞為一個NE的中間 |
| E | 這個詞位一個NE的結尾 |
LTP中的NE 模塊識別三種NE，分別如下：
| 標記 | 含義 |
|---|---|
| Nh | 人名 |
| Ni | 機構名 |
| Ns | 地名 |
依存句法分析
使用 pyltp 進行依存句法分析示例如下
"""
依存句法分析
"""
import os
from pyltp import Parser
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑
par_model_path = os.path.join(LTP_DATA_DIR, 'parser.model') # 分詞模型路徑， 模型名稱為'parser.model'
parser = Parser() # 初始化實例
parser.load(par_model_path) # 加載模型
words = ['元芳', '你', '怎么', '看']
postags = ['nh', 'r', 'r', 'v']
arcs = parser.parse(words, postags) # 句法分析
print('\t'.join('%d: %s' %(arc.head, arc.relation) for arc in arcs))
parser.release() # 釋放模型
其中，words 和 postags 分別為分詞和詞性標注的結果。同樣支持Python原生的list類型。
運行結果
4: SBV 4: SBV 4: ADV 0: HED
arc.head 表示依存弧的父節點詞的索引。ROOT節點的索引是0，第一個詞開始的索引依次為1、2、3…
arc.relation 表示依存弧的關系。
arc.head 表示依存弧的父節點詞的索引，arc.relation 表示依存弧的關系。
標注集請參考依存句法關系
| 關系類型 | Tag | Description | Example |
|---|---|---|---|
| 主謂關系 | SBV | subject-verb | 我送她一束花 (我 <– 送) |
| 動賓關系 | VOB | 直接賓語，verb-object | 我送她一束花 (送 –> 花) |
| 間賓關系 | IOB | 間接賓語，indirect-object | 我送她一束花 (送 –> 她) |
| 前置賓語 | FOB | 前置賓語，fronting-object | 他什么書都讀 (書 <– 讀) |
| 兼語 | DBL | double | 他請我吃飯 (請 –> 我) |
| 定中關系 | ATT | attribute | 紅蘋果 (紅 <– 蘋果) |
| 狀中結構 | ADV | adverbial | 非常美麗 (非常 <– 美麗) |
| 動補結構 | CMP | complement | 做完了作業 (做 –> 完) |
| 並列關系 | COO | coordinate | 大山和大海 (大山 –> 大海) |
| 介賓關系 | POB | preposition-object | 在貿易區內 (在 –> 內) |
| 左附加關系 | LAD | left adjunct | 大山和大海 (和 <– 大海) |
| 右附加關系 | RAD | right adjunct | 孩子們 (孩子 –> 們) |
| 獨立結構 | IS | independent structure | 兩個單句在結構上彼此獨立 |
| 核心關系 | HED | head | 指整個句子的核心 |
語義角色標注
使用 pyltp 進行語義角色標注示例如下
''' 語義角色標注 ''' import os from pyltp import SementicRoleLabeller from demo6 import parser LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑 srl_model_path = os.path.join(LTP_DATA_DIR, 'pisrl_win.model') # 分詞模型路徑， 模型名稱為'pisrl_win.model' labeller = SementicRoleLabeller() # 初始化實例 labeller.load(srl_model_path) # 加載模型 words = ['元芳', '你', '怎么', '看'] postags = ['nh', 'r', 'r', 'v'] arcs = parser() print(arcs)
特別注意，windows系統此處用的模型是pirl_win.model
運行結果
[dynet] random seed: 2222491344 [dynet] allocating memory: 2000MB [dynet] memory allocation done. 4: SBV 4: SBV 4: ADV 0: HED <pyltp.VectorOfParseResult object at 0x0000026B5902DC30> 3 A0:(1,1)ADV:(2,2)
第一個詞開始的索引依次為0、1、2…
返回結果 roles 是關於多個謂詞的語義角色分析的結果。由於一句話中可能不含有語義角色，所以結果可能為空。
role.index 代表謂詞的索引， role.arguments 代表關於該謂詞的若干語義角色。
arg.name 表示語義角色類型，arg.range.start 表示該語義角色起始詞位置的索引，arg.range.end 表示該語義角色結束詞位置的索引。
例如上面的例子，由於結果輸出一行，所以“元芳你怎么看”有一組語義角色。 其謂詞索引為3，即“看”。這個謂詞有三個語義角色，范圍分別是(0,0)即“元芳”，(1,1)即“你”，(2,2)即“怎么”，類型分別是A0、A0、ADV。
arg.name 表示語義角色關系，arg.range.start 表示起始詞位置，arg.range.end 表示結束位置。
標注集請參考 語義角色關系。
| 語義角色類型 | 說明 |
|---|---|
| ADV | adverbial, default tag ( 附加的，默認標記 ) |
| BNE | beneficiary ( 受益人 ) |
| CND | condition ( 條件 ) |
| DIR | direction ( 方向 ) |
| DGR | degree ( 程度 ) |
| EXT | extent ( 擴展 ) |
| FRQ | frequency ( 頻率 ) |
| LOC | locative ( 地點 ) |
| MNR | manner ( 方式 ) |
| PRP | purpose or reason ( 目的或原因 ) |
| TMP | temporal ( 時間 ) |
| TPC | topic ( 主題 ) |
| CRD | coordinated arguments ( 並列參數 ) |
| PRD | predicate ( 謂語動詞 ) |
| PSR | possessor ( 持有者 ) |
| PSE | possessee ( 被持有 ) |
完整示例
import os,sys
from pyltp import SentenceSplitter,Segmentor,Postagger,Parser,NamedEntityRecognizer,SementicRoleLabeller
LTP_DATA_DIR = r'E:\python_env\ltp\ltp_data_v3.4.0' # LTP模型目錄路徑
cws_model_path = os.path.join(LTP_DATA_DIR, 'cws.model') # 分詞模型路徑， 模型名稱為'cws.model'
paragraph = '中國進出口銀行與中國銀行加強合作。中國進出口銀行與中國銀行加強合作！'
sentence = SentenceSplitter.split(paragraph)[0] # 分句並取第一句
# 分詞
segmentor = Segmentor() # 初始化
segmentor.load(os.path.join(LTP_DATA_DIR, 'cws.model')) # 加載模型
words = segmentor.segment(sentence) # 分詞
print(list(words))
print('|'.join(words))
# 詞性標注
postagger = Postagger() # 初始化
postagger.load(os.path.join(LTP_DATA_DIR, 'pos.model')) # 加載模型
postags = postagger.postag(words)
#postags = postagger.postag(['中國', '進出口', '銀行', '與', '中國銀行', '加強', '合作', '。'])
print(list(postags))
# 依存句法分析
parser = Parser()
parser.load(os.path.join(LTP_DATA_DIR, 'parser.model'))
arcs = parser.parse(words, postags)
print('\t'.join('%d:%s' %(arc.head, arc.relation) for arc in arcs))
# 命名實體識別
recognizer = NamedEntityRecognizer() # 實例化
recognizer.load(os.path.join(LTP_DATA_DIR, 'ner.model'))
netags = recognizer.recognize(words, postags)
print(list(netags))
# 語義角色標注
labeller = SementicRoleLabeller()
labeller.load(os.path.join(LTP_DATA_DIR, 'pisrl_win.model'))
roles = labeller.label(words, postags, arcs)
for role in roles:
print(role.index, "".join(
["%s:(%d,%d)" % (arg.name, arg.range.start, arg.range.end) for arg in role.arguments]))
segmentor.release() # 釋放
postagger.release()
parser.release()
recognizer.release()
labeller.release()