在使用Hanlp配置自定義詞典時遇到的問題



要使用hanlp加載自定義詞典可以通過修改配置文件hanlp.properties來實現。
要注意的點是:
  1. root根路徑的配置:
    hanlp.properties中配置如下:
      #本配置文件中的路徑的根目錄,根目錄+其他路徑=完整路徑(支持相對路徑,請參考:https://github.com/hankcs/HanLP/pull/254)
      #Windows用戶請注意,路徑分隔符統一使用/
      root=D:/Project/public_sentiment_monitor/plugin/hanlp1.6.8/

  2. 自定義詞典路徑的配置,配置文件中已經指明了相應的用法。
    hanlp.properties中配置如下:
      #自定義詞典路徑,用;隔開多個自定義詞典,空格開頭表示在同一個目錄,使用“文件名 詞性”形式則表示這個詞典的詞性默認是該詞性。優先級遞減。
      #所有詞典統一使用UTF-8編碼,每一行代表一個單詞,格式遵從[單詞] [詞性A] [A的頻次] [詞性B] [B的頻次] ... 如果不填詞性則表示采用詞典的默認詞性。
      CustomDictionaryPath=data/dictionary/custom/hanlp_custom.txt; 搜狗金融詞庫.txt n; CustomDictionary.txt; 現代漢語補充詞庫.txt; 全國地名大全.txt ns; 人名詞典.txt

  3. 配置文件做好以后,自定義詞典不起作用問題

    (1). 需要先刪除custom文件夾下的所有bin文件,然后再使用hanlp,hanlp會自動加載一個新的bin文件,自定義詞典就可以使用了。
貌似加載出的bin文件只有CustomDictionaryPath這一行配置中的第一個文件對應的bin,但是內容應該是將所有的自定義詞典都包含了的。

    (2). 如果自定義詞典txt文件中存在含有空格的詞, 比如說"16 金立債 nz 100"這種配置,回導致自定義詞典加載程序將"16"認為是詞,"金立債"認為是詞性,"nz"認為是詞頻,然后出現Java報錯:
      java.lang.NumberFormatException: For input string: "nz"
      雖然仍然生成了bin文件,但是實際上自定義詞典中的所有詞都是無法使用的。所以在生成自定義詞典txt文件的過程中,一定要注意詞中是否含有空格,是否符合"詞 詞性 詞頻"的格式。

    (3)如何將含有空格的詞加入自定義詞典中:
      CustomDictionary = JClass('com.hankcs.hanlp.dictionary.CustomDictionary')
      CustomDictionary.add('攻城 獅')

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM