jieba分詞加入特殊字符和空格

將原始jieba字典中的空格更改為 @@
　　1.原來：雅不可攀 3 nr
　　2.現在：雅不可攀@@3@@nr

將自定義用戶詞典加入的詞與詞性中間的空格更改為@@ 

　　　1.原來：牽連關系 50 n

　　　2.現在：牽連關系@@50@@n

 

更改jieba根目錄下的__init__.py文件下代碼:

　　 1.原來：re_userdict = re.compile('^(.+?)( [0-9]+)?( [a-z]+)?$', re.U)

　　 2.現在：re_userdict = re.compile('^(.+?)(\u0040\u0040[0-9]+)?(\u0040\u0040[a-z]+)?$', re.U)

 

　　 1.原來：re_han_default = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._%]+)", re.U)

　　 2.現在：re_han_default = re.compile("(.+)", re.U)

 

　　 1.原來：word, freq = line.split(' ')[:2]

　　 2.現在：word, freq = line.split('\u0040\u0040')[:2]

 

　　 1.原來：self.user_word_tag_tab[word] = tag

　　 2.現在：self.user_word_tag_tab[word] = tag.replace('\u0040\u0040', '')

 

　　 1.在word, freq, tag = re_userdict.match(line).groups()下加入一行代碼

　　 2.freq = freq.replace('\u0040\u0040', '')

 

更改jieba根目錄下posseg文件下的__init__.py下代碼：

　　 1.原來：re_han_internal = re.compile("([\u4E00-\u9FD5a-zA-Z0-9+#&\._]+)")

　　 2.現在：re_han_internal = re.compile("(.+)", re.U)

 

　　 1.原來：word, _, tag = line.split(" ")

　　 2.現在：word, _, tag = line.split("\u0040\u0040")