Lucence

Lucene是apache軟件基金會4 jakarta項目組的一個子項目，是一個開放源代碼的全文檢索引擎工具包，但它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。Lucene的目的是為軟件開發人員提供一個簡單易用的工具包.

粘貼這句話的意思就是想說明  Lucene僅僅是一個工具包,搜索引擎的工具包.

有人會問?Lucene和solr的區別,solr是一個搜索系統,打個比方,就如servlet和struts2的區別   Lucene就是servlet,solr就好比solr,solr封裝了Lucene.

下面說說Lucene的原理:

我們使用Lucene,其實使用的是他的倒排查詢

什么是倒排查詢?舉個例子

新華字典,我們都用過吧,新華字典分為兩部分,第一部門就是目錄的邊旁部首,第二部分就是正文,一個一個字的解釋,

我們在用新華字典的時候,一般我們都是通過邊旁部首找字,沒有人一頁一頁的翻字典找字吧.

Lucene的倒排就是如此,他會檢索文本,數據庫,web網頁,在把內容分詞,就像邊旁部首

再次強調

搜索引擎(百度,谷歌)和lucene的區別

搜索引擎就是一個應用,lucene就是一個搜索工具類

 

name:lucene表示要搜索name這個Field域中，內容為“lucene”的文檔。

desc:lucene AND desc:java 表示要搜索即包括關鍵字“lucene”也包括“java”的文檔。

 

看不懂沒關系

我接下來說明Doucment和Field關系

這里我用數據庫中的一條數據說明

這一條數據就是一個document文檔

 每一個字段就是一個Field域

這樣說是不是豁然開朗了.

 

 

接下來,我們說說分詞器

這個lucene是外國人搞得,對中文的支持不說你也知道,不多外國人也想到這一點,"我是中國人">>我  是  中  國  人   >> 這樣的效果其實還不是我們想要的,我們要的是"中國","國人"這樣的詞匯,這里我也不打啞謎了,市場上有很多中文分詞器,無敵的存在我覺得就是IK了,這是一個jar包,導入項目即可,說他無敵是因為他可以自己加詞,比如"屌絲","高富帥",這也詞,可以自己加到分詞器中,讓程序認得.

這就是要用到的包;

ik下載后把這3個文件也要導入項目中,ext.dic是加詞的,stop是停詞的.

 

前面的都是Lucece的理論,只有理論搞懂了,下面的代碼實現過程也就輕松了

package com.itheima.lucene;

import java.io.File;
import java.util.ArrayList;
import java.util.List;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field.Store;
import org.apache.lucene.document.TextField;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.queryparser.classic.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;
import org.apache.lucene.util.Version;
import org.junit.Test;
import org.wltea.analyzer.lucene.IKAnalyzer;

import com.itheima.dao.BookDao;
import com.itheima.dao.impl.BookDaoImpl;
import com.itheima.pojo.Book;

public class CreateIndexTest {
    //分詞
    @Test
    public void testCreateIndex() throws Exception{
    //    1. 采集數據
        BookDao bookDao = new BookDaoImpl();
        List<Book> listBook = bookDao.queryBookList();
        
    //    2. 創建Document文檔對象
        List<Document> documents = new ArrayList<>();
        for (Book bk : listBook) {
            
            Document doc = new Document();
            doc.add(new TextField("id", String.valueOf(bk.getId()), Store.YES));// Store.YES:表示存儲到文檔域中
            doc.add(new TextField("name", bk.getName(), Store.YES));
            doc.add(new TextField("price", String.valueOf(bk.getPrice()), Store.YES));
            doc.add(new TextField("pic", bk.getPic(), Store.YES));
            doc.add(new TextField("desc", bk.getDesc(), Store.YES));
            
            // 把Document放到list中
            documents.add(doc);
        }
        
    //    3. 創建分析器（分詞器）
        //Analyzer analyzer = new StandardAnalyzer();
        //中文  IK
        Analyzer analyzer = new IKAnalyzer();
        
    //    4. 創建IndexWriterConfig配置信息類
        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_4_10_3, analyzer);
        
    //    5. 創建Directory對象，聲明索引庫存儲位置
        Directory directory = FSDirectory.open(new File("H:\\temp"));
        
    //    6. 創建IndexWriter寫入對象
        IndexWriter writer = new IndexWriter(directory, config);
        
    //    7. 把Document寫入到索引庫中
        for (Document doc : documents) {
            writer.addDocument(doc);
        }
        
    //    8. 釋放資源
        writer.close();
    }


         //查
    @Test
    public void serachIndex() throws Exception{
        //創建分詞器   必須和檢索時的分析器一致
        Analyzer analyzer = new StandardAnalyzer();
        // 創建搜索解析器，第一個參數：默認Field域，第二個參數：分詞器
        QueryParser queryParser = new QueryParser("desc", analyzer);
        
        // 1. 創建Query搜索對象
        Query query = queryParser.parse("desc:java AND lucene");
            
        // 2. 創建Directory流對象,聲明索引庫位置
        Directory directory = FSDirectory.open(new File("H:\\temp"));
        
        // 3. 創建索引讀取對象IndexReader
        IndexReader indexReader = DirectoryReader.open(directory);
        
        // 4. 創建索引搜索對象IndexSearcher
        IndexSearcher indexSearcher = new IndexSearcher(indexReader);
        
        // 5. 使用索引搜索對象，執行搜索，返回結果集TopDocs
        // 第一個參數：搜索對象，第二個參數：返回的數據條數，指定查詢結果最頂部的n條數據返回
        TopDocs topDocs  = indexSearcher.search(query, 10);
        System.out.println("查詢到的數據總條數是：" + topDocs.totalHits);
        //獲得結果集
        ScoreDoc[] docs = topDocs.scoreDocs;
        
        // 6. 解析結果集
        for (ScoreDoc scoreDoc : docs) {
            //獲得文檔
            int docID = scoreDoc.doc;
            Document doc = indexSearcher.doc(docID);
            
            System.out.println("docID:"+docID);
            System.out.println("bookid:"+doc.get("id"));
            System.out.println("pic:"+doc.get("pic"));
            System.out.println("name:"+doc.get("name"));
            System.out.println("desc:"+doc.get("desc"));
            System.out.println("price:"+doc.get("price"));
        }
        
        // 7. 釋放資源
        indexReader.close();
    }
}