搜索引擎入門 （建立一個簡單的java Lucene實例）

實例說明

　　實現對 鋼鐵是怎樣練成的.txt 進行全文索引，以及和普通檢索方式 （java.lang.String的 equals）進行效率對比

開發過程

 　  1.將大文檔切分成多個小文檔

　　　　這一步 並非 是必須的，為了更好的展示 Lucene的一些功能，將文檔切分為多個較小的文檔，並給每個文檔一個唯一的ID（文件名稱）

　　3.eclipse 編寫代碼

　　4.效果測試

　　　通過Lucene的檢索 和 java字符串檢索，進行性能上的比較，得出結論

項目准備

  eclipse 導入這兩個jar包 （由於是入門實例 jar包為老版本，太新會報錯）

 

 

---

 

1.文檔預處理類

　　FilePreprocess 

 

package lucene;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;

public class FilePreprocess {
　　//預處理
    public static void preprocess(File file,String outputDir){
        try{
　　　　//拆分成小文件
            splitToSmallFiles(file,outputDir);
        }catch(Exception e ){
            e.printStackTrace();
        }
    }
    
    public static void splitToSmallFiles(File file,String outputpath)throws IOException{
        int filePointer = 0;   //文件命名 自增序列
        int MAX_SIZE = 10240; //設置文件大小 
        BufferedWriter writer = null;
        BufferedReader reader = new  BufferedReader(new FileReader(file));
        StringBuffer buffer = new StringBuffer();
        String line = reader.readLine();
        while(line != null){
            buffer.append(line).append("\r\n");
            if(buffer.toString().getBytes().length >= MAX_SIZE){   //如果超出限制大小 new file
                writer = new BufferedWriter(new FileWriter(outputpath + "output" + filePointer+".txt"));
                writer.write(buffer.toString());
                writer.close();
                filePointer ++;
                
                buffer = new StringBuffer();
            }
            line = reader.readLine();
        }
        writer = new BufferedWriter(new FileWriter(outputpath + "output" + filePointer + ".txt"));
        writer.write(buffer.toString());
        writer.close();
    }
//入口
    public static void main(String [] args){
        String inputFile = "f:\\book.txt";  　　　　　　//讀取文件
        String outputf = "f:\\outputFolder\\";        //文件預處理后輸出目錄
        if(!new File(outputf).exists()){
            new File(outputf).mkdirs();
        }    
        FilePreprocess f = new FilePreprocess();
        f.preprocess(new File(inputFile), outputf);  //分塊處理
        
    }
}

 》運行后 輸出路徑 則會生成 多個小文檔 

 

 2.創建處理文檔的索引類 IndexProcessor

 

package lucene;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;

import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;

import jeasy.analysis.MMAnalyzer;

public class IndexProcessor {
　　　//索引存儲目錄
    private String INDEX_STORE_PATH = "f:\\index";
    //創建索引
    public void createIndex(String inputDir){
        try {
            //利用分詞工具創建 IndexWriter
            IndexWriter writer = new IndexWriter(INDEX_STORE_PATH,new MMAnalyzer(),true);
            File filesDir = new File(inputDir);
            //取得 要建立 索引的文件數組
            File[] files = filesDir.listFiles();
            for(int i = 0 ;i < files.length ; i++){
                String fileName = files[i].getName();
                if(fileName.substring(fileName.lastIndexOf(".")).equals(".txt")){
                //創建新的Document
                    Document doc = new Document();
                //為文件名創建一個 Field
                    Field field = new Field("filename",files[i].getName(),Field.Store.YES,Field.Index.TOKENIZED);
                    doc.add(field);
                    field = new Field("content",loadFileToString(files[i]),Field.Store.NO,Field.Index.TOKENIZED);
                    doc.add(field);
                    //把Document加入 IndexWriter
                    writer.addDocument(doc);
                }
            }
            writer.close();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
    }
    //加載文檔 生成字符串
    public String loadFileToString(File f) {
        try{
        BufferedReader br = new BufferedReader(new FileReader(f));
        StringBuffer sb = new StringBuffer();
        String line = br.readLine();
        while(line != null){
            sb.append(line);
            line = br.readLine();
        }
            br.close();
            return sb.toString();
        } catch (IOException e) {
            e.printStackTrace();
            return null;
        }
    }
    
    public static void main(String[] args){
        IndexProcessor pr = new  IndexProcessor();
        pr.createIndex("f://outputFolder");
    }
}

 

 

 　　　　索引目錄生成

 

 3.創建索引搜索類 Search

package lucene;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.util.Date;
import java.util.Iterator;
import java.util.LinkedHashMap;
import java.util.Map;

import org.apache.lucene.index.Term;
import org.apache.lucene.index.TermDocs;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TermQuery;

public class Search {
    private String INDEX_STORE_PATH = "f:\\index";
    
    //利用lucene 索引 搜索
    public void indexSearch(String searchType,String searchKey){
        try{
            System.out.println("##使用索引方式搜索##");
            System.out.println("======================");
            //根據索引位置簡歷 IndexSearch
            IndexSearcher searcher = new IndexSearcher(INDEX_STORE_PATH);
            //建立搜索單元,searchType 代表要搜索的Field,searchKey代表關鍵字
            Term t = new Term(searchType,searchKey);
            //由Term產生 Query
            Query q = new TermQuery(t);
            //搜索開始時間
            Date beginTime = new Date();
            //獲取一個 <document,frequency>的枚舉對象 TermDocs
            TermDocs docs = searcher.getIndexReader().termDocs(t);
            while(docs.next()){
                System.out.print("find" + docs.freq() + "matches in");
                System.out.println(searcher.getIndexReader().document(docs.doc()).getField("filename").stringValue());
                
            }
            Date endTime = new Date();
            long timeofsearch = endTime.getTime() - beginTime.getTime();
            System.out.println("總耗時:" + timeofsearch);
        }
        catch(Exception e){
            e.printStackTrace();
        }
    }
    
    public void stringSearch(String keyword,String searchDir){
        System.out.println("##使用字符串方式搜索##");
        System.out.println("======================");
        File filesDir = new File(searchDir);
        //返回目錄文件夾所有文件數組
        File[] files = filesDir.listFiles();
        //HM 保存文件名和匹配次數對
        Map rs = new LinkedHashMap();
        //搜索開始時間
        Date beginTime = new Date();
        for(int i = 0 ;i < files.length ; i ++){
            int hits = 0;
            try{
                BufferedReader br = new BufferedReader(new FileReader(files[i]));
                StringBuffer sb = new StringBuffer();
                String line = br.readLine();
                while(line != null){
                    sb.append(line);
                    line = br.readLine();
                }
                br.close();
            //將 stringBuffer 轉化成 String,以便於搜索
                String stringToSearch = sb.toString();
            //從 0 索引 查詢 -length + length = 0
                int fromIndex = -keyword.length();
                int len = stringToSearch.indexOf(keyword,fromIndex + keyword.length());
                while((fromIndex = len)!= -1){
                    hits++;
                }
                //將文件名 和 匹配次數 加入 HashMap
                rs.put(files[i].getName(), new Integer(hits));
            }
            catch(Exception e){
                e.printStackTrace();
            }
        }
        Iterator it = rs.keySet().iterator();
        while(it.hasNext()){
            String fileName = (String)it.next();
            Integer hits = (Integer)rs.get(fileName);
            System.out.println("find" + hits.intValue() + "matches in"+ fileName);
        }
        Date endTime = new Date();
        long timeOfSearch = endTime.getTime() - beginTime.getTime();
        System.out.println("使用字符串匹配方式總耗時:" + timeOfSearch + "ms");
    }

    public static void main(String[] args) {
        Search s = new Search();
        s.indexSearch("content", "保爾");
        System.out.println();
        s.stringSearch("保爾", "f:\\outputFolder");
    }

}

 

 

   通過控制台比對 效率 發現 索引匹配方式效率更高