分享一篇hanlp分詞工具使用的小案例，即利用hanlp分詞工具分析兩個中文語句的相似度的案例。供大家一起學習參考！
在做考試系統需求時，后台題庫系統提供錄入題目的功能。在錄入題目的時候，由於題目來源廣泛，且參與錄入題目的人有多位，因此容易出現錄入重復題目的情況。所以需要實現語句相似度分析功能，從而篩選出重復的題目並人工處理之。
下面介紹如何使用Java實現上述想法，完成語句相似度分析：
1、使用HanLP完成分詞：
首先，添加HanLP的依賴：（jsoup是為了處理題干中的html標簽，去除html標簽得到純文本的題干內容）
分詞代碼如下，需要處理html標簽和標點符號：
private static List<String> getSplitWords(String sentence) {
// 去除掉html標簽
sentence = Jsoup.parse(sentence.replace(" ","")).body().text();
// 標點符號會被單獨分為一個Term，去除之
return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？ ".contains(s)).collect(Collectors.toList());
}
2、合並分詞結果，列出所有的詞：
3、統計詞頻，得到詞頻構成的向量：
代碼如下，其中allWords是上一步中得到的所有的詞，sentWords是第一步中對單個句子的分詞結果：
4、計算相似度（兩個向量的余弦值）：
以上所有方法的完整代碼如下，使用SimilarityUtil.getSimilarity(String s1,String s2)即可得到s1和s2的語句相似度：
package com.yuantu.dubbo.provider.questionRepo.utils;
import com.hankcs.hanlp.HanLP;
import com.hankcs.hanlp.dictionary.CustomDictionary;
import org.jsoup.Jsoup;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;
public class SimilarityUtil {
static {
CustomDictionary.add("子類");
CustomDictionary.add("父類");
}
private SimilarityUtil() {
}
/**
* 獲得兩個句子的相似度
*
* @param sentence1
* @param sentence2
* @return
*/
public static double getSimilarity(String sentence1, String sentence2) {
List<String> sent1Words = getSplitWords(sentence1);
System.out.println(sent1Words);
List<String> sent2Words = getSplitWords(sentence2);
System.out.println(sent2Words);
List<String> allWords = mergeList(sent1Words, sent2Words);
int[] statistic1 = statistic(allWords, sent1Words);
int[] statistic2 = statistic(allWords, sent2Words);
double dividend = 0;
double divisor1 = 0;
double divisor2 = 0;
for (int i = 0; i < statistic1.length; i++) {
dividend += statistic1[i] * statistic2[i];
divisor1 += Math.pow(statistic1[i], 2);
divisor2 += Math.pow(statistic2[i], 2);
}
return dividend / (Math.sqrt(divisor1) * Math.sqrt(divisor2));
}
private static int[] statistic(List<String> allWords, List<String> sentWords) {
int[] result = new int[allWords.size()];
for (int i = 0; i < allWords.size(); i++) {
result[i] = Collections.frequency(sentWords, allWords.get(i));
}
return result;
}
private static List<String> mergeList(List<String> list1, List<String> list2) {
List<String> result = new ArrayList<>();
result.addAll(list1);
result.addAll(list2);
return result.stream().distinct().collect(Collectors.toList());
}
private static List<String> getSplitWords(String sentence) {
// 去除掉html標簽
sentence = Jsoup.parse(sentence.replace(" ","")).body().text();
// 標點符號會被單獨分為一個Term，去除之
return HanLP.segment(sentence).stream().map(a -> a.word).filter(s -> !"`~!@#$^&*()=|{}':;',\\[\\].<>/?~！@#￥……&*（）——|{}【】‘；：”“'。，、？ ".contains(s)).collect(Collectors.toList());
}
}
---------------------