3.2 Lucene實戰：一個簡單的小程序

在講解Lucene索引和檢索的原理之前，我們先來實戰Lucene:一個簡單的小程序！

一、索引小程序

首先，new一個java project，名字叫做LuceneIndex。

然后，在project里new一個class，名字叫做Indexer。這個類用來給文件建索引（建好索引以后就可以高效檢索了）。

在寫代碼之前，我們要先引入一下lucene包。分為三步：

1. 創建lib文件夾。

2. 將所需要的lucene包復制到lib文件夾中。

3. Build path-> lib->Configure Build Path->Add JARS，選擇LuceneIndex工程下lib文件夾下的所有jar包並添加到路徑，連續點擊兩次ok。

 

                          步驟2                                                                          步驟3

在這些准備工作完成后我們就可以開始寫代碼了。

1. 首先在LuceneIndex里new一個class,名字叫做Indexer。

2. 然后，在LuceneIndex工程里新建一個文件夾，叫做raw。

3. 接下來，在raw文件夾里新建兩個utf-8編碼的txt文件。比如第一個文件命名為hello.txt，內容為"Hello",第二個文件命名為nihao.txt,內容為"你好"。這里要注意的是，上面的代碼是針對中文搜索的問題使用了utf-8編碼，所以要求文件也是utf-8的編碼。如圖：

4. 寫入如下代碼：

import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.*;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

/**
 * @author csl
 * @description: 
 * 依賴jar：Lucene-core，lucene-analyzers-common，lucene-queryparser
 * 作用：簡單的索引建立
 */
public class Indexer {
    public static Version luceneVersion = Version.LATEST;
    /**
     * 建立索引
     */
    public static void createIndex(){
        IndexWriter writer = null;
        try{
            //1、創建Directory
            //Directory directory = new RAMDirectory();//創建內存directory
            Directory directory = FSDirectory.open(Paths.get("index"));//在硬盤上生成Directory00
            //2、創建IndexWriter
            IndexWriterConfig iwConfig = new IndexWriterConfig( new StandardAnalyzer());
            writer = new IndexWriter(directory, iwConfig);
            //3、創建document對象
            Document document = null;
            //4、為document添加field對象
            File f = new File("raw");//索引源文件位置
            for (File file:f.listFiles()){
                    document = new Document();
                    document.add(new StringField("path", f.getName(),Field.Store.YES));
                    System.out.println(file.getName());
                    document.add(new StringField("name", file.getName(),Field.Store.YES));
                    InputStream stream = Files.newInputStream(Paths.get(file.toString()));
                    document.add(new TextField("content", new BufferedReader(new InputStreamReader(stream, StandardCharsets.UTF_8))));//textField內容會進行分詞
                    //document.add(new TextField("content", new FileReader(file)));  如果不用utf-8編碼的話直接用這個就可以了
                    writer.addDocument(document);
            }
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //6、使用完成后需要將writer進行關閉
            try {
                writer.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    public static void main(String[] args) throws IOException
    {
        createIndex();
    }
}

5. 最后，運行Indexer.java。會看到索引建立完成。LuceneIndex工程下多了一個index文件夾。

 

二、檢索小程序

下面我們就要用這個index來檢索了。

1. new一個class，命名為Searcher。然后在里面寫入如下代碼：

import java.nio.file.Paths;
import java.io.*;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;

/**
 * @author csl
 * @description: 
 * 依賴jar：Lucene-core，lucene-analyzers-common，lucene-queryparser
 * 作用：使用索引搜索文件
 */
public class Searcher {
    public static Version luceneVersion = Version.LATEST;
    /**
     * 查詢內容
     */
    public static String indexSearch(String keywords){
        String res = "";
        DirectoryReader reader = null;
        try{
//            1、創建Directory
             Directory directory = FSDirectory.open(Paths.get("index"));//在硬盤上生成Directory
//            2、創建IndexReader
             reader = DirectoryReader.open(directory);
//            3、根據IndexWriter創建IndexSearcher
             IndexSearcher searcher =  new IndexSearcher(reader);
//            4、創建搜索的query
//            創建parse用來確定搜索的內容，第二個參數表示搜索的域
             QueryParser parser = new QueryParser("content",new StandardAnalyzer());//content表示搜索的域或者說字段
             Query query = parser.parse(keywords);//被搜索的內容
//            5、根據Searcher返回TopDocs
             TopDocs tds = searcher.search(query, 20);//查詢20條記錄
//            6、根據TopDocs獲取ScoreDoc
             ScoreDoc[] sds = tds.scoreDocs;
//            7、根據Searcher和ScoreDoc獲取搜索到的document對象
             int cou=0;
             for(ScoreDoc sd:sds){
                 cou++;
                 Document d = searcher.doc(sd.doc);
//                    8、根據document對象獲取查詢的字段值
                 /**  查詢結果中content為空，是因為索引中沒有存儲content的內容，需要根據索引path和name從原文件中獲取content**/
                 res+=cou+". "+d.get("path")+" "+d.get("name")+" "+d.get("content")+"\n";
             }

            
        }catch(Exception e){
            e.printStackTrace();
        }finally{
            //9、關閉reader
            try {
                reader.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return res;
    }
    public static void main(String[] args) throws IOException
    {
        System.out.println(indexSearch("你好")); //搜索的內容可以修改
    }
}

2. 

public static void main(String[] args) throws IOException
    {
        System.out.println(indexSearch("你好")); //搜索的內容可以修改
    }

搜索內容為"你好"時，搜索結果為內容包含"你好"的nihao.txt

3.

public static void main(String[] args) throws IOException
    {
        System.out.println(indexSearch("Hello")); //搜索的內容可以修改
    }

搜索內容為"Hello"時，搜索結果為內容包含"Hello"的hello.txt

至此，我們已經進行了Lucene實戰，學會了簡單的建立索引和檢索了！

三、工程源碼

可以先試一下我的項目：https://github.com/shelly-github/my_simple_Lucenetest

1. 下載這個工程

2. 然后解壓

3. 導入Eclipse

首先，打開Eclipse,選定一個workspace。

然后，點擊File->import->Existing Projects into workspace

雙擊Existing Projects into workspace,選擇工程所在目錄

點擊確定->finish,完成工程的導入。

接下來就可以運行程序了，注意這個工程里沒有包含Index，你需要先運行Indexer建立索引，然后再用Searcher進行檢索。

四、遍歷文件系統

這是一個簡單的Lucene演示程序，只能索引同一目錄下的txt文件，下面我來介紹一種遍歷文件系統並且索引.txt文件的方法。

這個方法很簡單，就是一個遞歸實現的深度優先遍歷。

import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.*;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.StringField;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
public class Indexer {
    static int numIndexed=0;
    //索引
    private static void indexFile(IndexWriter writer,File f) throws IOException
    {
        if(f.isHidden()||!f.exists()||!f.canRead())
        {
            return;
        }
        System.out.println("Indexing"+f.getCanonicalPath());
        Document document = new Document();
        document.add(new StringField("path", f.getName(),Field.Store.YES));
        System.out.println(f.getName());
        document.add(new StringField("name", f.getName(),Field.Store.YES));
        InputStream stream = Files.newInputStream(Paths.get(f.toString()));
        document.add(new TextField("content", new BufferedReader(new InputStreamReader(stream, StandardCharsets.UTF_8))));//textField內容會進行分詞
        //document.add(new TextField("content", new FileReader(file)));  如果不用utf-8編碼的話直接用這個就可以了
        writer.addDocument(document);
    }
    //深度優先遍歷文件系統並索引.txt文件
    private static int indexDirectory(IndexWriter writer,File dir) throws IOException
    {
        
        File[] files=dir.listFiles();
        for(int i=0;i<files.length;i++)
        {
            File f=files[i];
            System.out.println(f.getAbsolutePath());
            if(f.isDirectory())
            {
                indexDirectory(writer,f);
            }
            else if(f.getName().endsWith(".txt"))
            {
                indexFile(writer,f);//遞歸
                numIndexed+=1;
            }
        }
        return numIndexed;
    }
    //創建IndexWriter並開始文件系統遍歷
    public static int index(File indexDir,File dataDir) throws IOException
    {
        if(!dataDir.exists()||!dataDir.isDirectory())
        {
            throw new IOException(dataDir+"does not exist or is not a directory!");
        }
        Directory directory = FSDirectory.open(Paths.get("index"));
        IndexWriterConfig iwConfig = new IndexWriterConfig( new StandardAnalyzer());
        IndexWriter writer = new IndexWriter(directory, iwConfig);
        int numIndexed=indexDirectory(writer,dataDir);
        writer.close();
        return numIndexed;
    }
    public static void main(String[] args) throws Exception
    {
        File indexDir=new File("index");
        File dataDir=new File("raw");
        int numIndexed=index(indexDir,dataDir);
        System.out.println("Indexing " + numIndexed + " files");
    }
    

}

這個程序的源代碼可以到這里下載：https://github.com/shelly-github/my_simple_Lucenetest

下載及導入方法同上，同樣注意的是，我沒有上傳Index文件，需要先運行Indexer建立索引，然后再利用Searcher進行檢索~

現在，我們已經學會了遍歷一個文件系統來建立索引，是不是很簡單呢？

下一節，我們來深入了解一下Lucene的檢索原理~~