java實現中文分詞

IK Analyzer是基於lucene實現的分詞開源框架

下載路徑：http://so.csdn.net/so/search/s.do?q=IKAnalyzer2012.jar&t=doc&o=&s=all&l=null

需要在項目中引入：

  IKAnalyzer2012.jar

  lucene-core-3.6.0.jar

實現的兩種方法：

使用(lucene)實現：

import java.io.IOException;
import java.io.StringReader;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

public class Fenci1 {
    public static void main(String[] args) throws IOException{
        String text="你好，我的世界！";  
        StringReader sr=new StringReader(text);  
        IKSegmenter ik=new IKSegmenter(sr, true);  
        Lexeme lex=null;  
        while((lex=ik.next())!=null){  
            System.out.print(lex.getLexemeText()+"，");  
        } 
    }

}

 

使用(IK Analyzer)實現:

import java.io.IOException;
import java.io.StringReader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.wltea.analyzer.lucene.IKAnalyzer;

public class Fenci {
    public static void main(String[] args) throws IOException {
            String text="你好，我的世界!";  
            //創建分詞對象  
            Analyzer anal=new IKAnalyzer(true);       
            StringReader reader=new StringReader(text);  
            //分詞  
            TokenStream ts=anal.tokenStream("", reader);  
            CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
            //遍歷分詞數據  
            while(ts.incrementToken()){  
                System.out.print(term.toString()+"，");  
            }  
            reader.close();  
            System.out.println(); 
    }

}

運行后結果:

你好,我,的,世界,