名稱相似度匹配算法（文本相似度匹配）
在處理數據時，有時需要找出數據中存在錯誤的數據或者對數據進行去重。對數據去重，如果存儲在數據庫中，我想一個sql就可以搞定，可是要找出數據中錯誤的數據，就比較困難，一般只能人工判斷。舉例：比如有一批賬單中，存儲的都是企業的名稱，但想統計一下具體真正的有多少企業，我們可能會說，如果是數據庫中，直接distinct一下不就出來了？對，我們可以使用distinct把重復的企業去掉，但是看看留下的企業名稱是什么樣子，“XXX科技股份有限公司”,'XXX科技股有限公司”，只要名稱是人工手工輸入的就不免會出錯，前面的兩個名稱用sql統計肯定會認為是兩家公司，可用人眼一看就知道，這兩個是一家企業。那么，如果出現這種情況，怎樣讓計算機幫助我們找出這些出錯的企業名稱呢？
在這里向您推薦一個Levenshtein算法，通過此算法，可以算出兩個文本之間的一個閾值，我們簡單稱它為相似度。現在假設數據庫中存在一個企業名稱表，里面的名稱都是手工輸入的，我們可以通過此算法，計算出企業名稱兩兩比較的相似度。一般我們把這個閾值設置到0.8以上時，幾乎能夠找出所有的人工手工輸入的錯誤。在實際應用中，我們可以將這個閾值存入數據庫中，在閾值中篩選一個合適的閾值，就能把相似的名稱都找出。
下面是一個代碼示例：
//要比較的兩個字符串
String str1 = "今天星期四";
String str2 = "今天是星期四";
levenshtein(str1,str2);
str1 = "今天星期四";
str2 = "今天星期(四)";
levenshtein(str1,str2);
str1 = "今天星期四";
str2 = "今天星期四223";
levenshtein(str1,str2);
str1 = "今天星期四";
str2 = "今天新期四";
levenshtein(str1,str2);
將輸出：
字符串"今天星期四"與"今天是星期四"的比較；差異步驟：1；相似度：0.8333333
字符串"今天星期四"與"今天星期(四)"的比較；差異步驟：2；相似度：0.71428573
字符串"今天星期四"與"今天星期四223"的比較；差異步驟：3；相似度：0.625
字符串"今天星期四"與"今天新期四"的比較；差異步驟：1；相似度：0.8
以下為測試代碼（C#）
public static float levenshtein(String str1,String str2) {
//計算兩個字符串的長度。
int len1 = str1.Length;
int len2 = str2.Length;
//建立上面說的數組，比字符長度大一個空間
int[,] dif = new int[len1 + 1,len2 + 1];
//賦初值，步驟B。
for (int a = 0; a <= len1; a++) {
dif[a,0] = a;
}
for (int a = 0; a <= len2; a++) {
dif[0,a] = a;
}
//計算兩個字符是否一樣，計算左上的值
int temp;
for (int i = 1; i <= len1; i++) {
for (int j = 1; j <= len2; j++) {
if (str1[i - 1] == str2[j - 1]) {
temp = 0;
} else {
temp = 1;
}
//取三個值中最小的
dif[i,j] = min(dif[i - 1,j - 1] + temp, dif[i,j - 1] + 1,
dif[i - 1,j] + 1);
}
}
//計算相似度
float similarity =1 - (float) dif[len1,len2] / Math.Max(str1.Length, str2.Length);
return similarity;
}
//得到最小值
private static int min(params int[] arr) {
int min = int.MaxValue;
foreach (int i in arr) {
if (min > i) {
min = i;
}
}
return min;
}