1 分詞器概述

1.1 分詞器簡介

在對文檔(Document)中的內容進行索引前, 需要對域(Field)中的內容使用分析對象(分詞器)進行分詞.

**分詞的目的是為了索引, 索引的目的是為了搜索. **

分詞的過程是 先分詞, 再過濾:

分詞: 將Document中Field域的值切分成一個一個的單詞. 具體的切分方法(算法)由具體使用的分詞器內部實現.

過濾: 去除標點符號,去除停用詞(的、是、is、the、a等), 詞的大寫轉為小寫.

分詞流程圖:

停用詞說明:
停用詞是指為了節省存儲空間和提高搜索效率, 搜索引擎在索引內容或處理搜索請求時會自動忽略的字詞, 這些字或詞被稱為"stop words". 如語氣助詞、副詞、介詞、連接詞等, 通常自身沒有明確的含義, 只有放在一個上下文語句中才有意義(如:的、在、啊, is、a等).
例如:
原始文檔內容: Lucene is a Java full-text search engine
分析以后的詞: lucene java full text search engine

1.2 分詞器的使用

(1) 索引流程使用

流程: 把原始數據轉換成文檔對象(Document), 再使用分詞器將文檔域(Field)的內容切分成一個一個的詞語.

目的: 方便后續建立索引.

(2) 檢索流程使用

流程: 根據用戶輸入的查詢關鍵詞, 使用分詞器將關鍵詞進行分詞以后, 建立查詢對象(Query), 再執行搜索.

注意: 索引流程和檢索流程使用的分詞器, 必須統一.

1.3 中文分詞器

1.3.1 中文分詞器簡介

英文本身是以單詞為單位, 單詞與單詞之間, 句子之間通常是空格、逗號、句號分隔. 因而對於英文, 可以簡單的以空格來判斷某個字符串是否是一個詞, 比如: I love China, love和China很容易被程序處理.

但是中文是以字為單位的, 字與字再組成詞, 詞再組成句子. 中文: 我愛中國, 電腦不知道“愛中”是一個詞, 還是“中國”是一個詞？所以我們需要一定的規則來告訴電腦應該怎么切分, 這就是中文分詞器所要解決的問題.

常見的有一元切分法“我愛中國”: 我、愛、中、國. 二元切分法“我愛中國”: 我愛、愛中、中國.

1.3.2 Lucene提供的中文分詞器

StandardAnalyzer分詞器: 單字分詞器: 一個字切分成一個詞, 一元切分法.
CJKAnalyzer分詞器: 二元切分法: 把相鄰的兩個字, 作為一個詞.
SmartChineseAnalyzer分詞器: 通常一元切分法, 二元切分法都不能滿足我們的業務需求. 而SmartChineseAnalyzer對中文支持較好, 但是擴展性差, 針對擴展詞庫、停用詞均不好處理.

**說明: Lucene提供的中文分詞器, 只做了解, 企業項目中不推薦使用. **

1.3.3 第三方中文分詞器

paoding: 庖丁解牛分詞器, 可在https://code.google.com/p/paoding/下載. 沒有持續更新, 只支持到lucene3.0, 項目中不予以考慮使用.
mmseg4j: 最新版已從https://code.google.com/p/mmseg4j/移至https://github.com/chenlb/mmseg4j-solr. 支持Lucene4.10, 且在github中有持續更新, 使用的是mmseg算法.
IK-analyzer: 最新版在https://code.google.com/p/ik-analyzer/上, 支持Lucene 4.10. 從2006年12月推出1.0版開始, IKAnalyzer已經推出了4個大版本. 最初是以開源項目Luence為應用主體的, 結合詞典分詞和文法分析算法的中文分詞組件. 從3.0版本開始, IK發展為面向Java的公用分詞組件, 獨立於Lucene項目, 同時提供了對Lucene的默認優化實現. **適合在項目中應用. **

2 IK分詞器的使用

說明: 由於IK分詞器是對Lucene分詞器的擴展實現, 使用IK分詞器與使用Lucene分詞器是一樣的.

2.1 配置pom.xml文件, 加入IK分詞器的依賴

<project>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <!-- mysql版本 -->
        <mysql.version>5.1.44</mysql.version>
        <!-- lucene版本 -->
        <lucene.version>4.10.4</lucene.version>
        <!-- ik分詞器版本 -->
        <ik.version>2012_u6</ik.version>
    </properties>
    
    <dependencies>
        <!-- ik分詞器 -->
        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>${ik.version}</version>
        </dependency>
    </dependencies>
</project>