基於Heritrix+Lucene的搜索引擎構建（3）——頁面信息內容抽取

搜索引擎無非是提供對Web內容的方便檢索，以至於能夠便捷的獲取瀏覽到相關的頁面。

因此，在通過Heritrix等網絡蜘蛛獲取Web資源以后，首要的任務就是抽取Web頁面的內容。

基於java的頁面抽取工具有很多，例如，抽取HTML頁面的有HtmlParser、Jsoup等，至於Word、Excel等文件的內容，也有相應的工具。

關於HtmlParser、Jsoup等頁面內容抽取可以參考相關文獻.如《HTML抽取工具Jsoup》。

關於Word等文件，建議學習使用一款叫POI的開源工具來實現：

Apache POI是一個開源的Java讀寫Excel、WORD等微軟OLE2組件文檔的項目。目前POI已經有了Ruby版本。

結構：

• HSSF － 提供讀寫Microsoft Excel XLS格式檔案的功能。
• XSSF － 提供讀寫Microsoft Excel OOXML XLSX格式檔案的功能。
• HWPF － 提供讀寫Microsoft Word DOC格式檔案的功能。
• HSLF － 提供讀寫Microsoft PowerPoint格式檔案的功能。
• HDGF － 提供讀Microsoft Visio格式檔案的功能。
• HPBF － 提供讀Microsoft Publisher格式檔案的功能。
• HSMF － 提供讀Microsoft Outlook格式檔案的功能。

POI項目網站：http://poi.apache.org/.

最常見的一種PDF文本抽取工具就是PDFBox，PDF文檔可以使用PDFBox來處理，http://pdfbox.apache.org/。

 

以下是一些文檔內容抽取的例子代碼。

Html文檔的內容抽取HtmlParser.java:

import java.io.File;
import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

import GEsearcher.encode.FileEncode;
import GEsearcher.index.FileDocument;

/**
 * 解析html
 * @author Shilong
 *
 */
public class HtmlParser {

    private String title;
    private String content;
    private String url;
    private String path;
    private FileDocument filedocument;
    
    public HtmlParser(String path)
    {
        //nothing
        this.path=path;
        filedocument=new FileDocument(path);
        AnalysicDocument();//解析
        //System.out.println("測試:"+filedocument.getUrl());
    }
        
    //獲取待分析文件的File對象
    public File getFile()
    {
        return filedocument.getFile();
    }
    
    //獲取待分析文件編碼
    public String getEncoding()
    {
        String val="GBK";
        FileEncode fe=new FileEncode(path);
        String encode= fe.getEncode();
        if(encode.equals("GB-2312")||encode.equals("gb-2312"))
        {
            val="GB2312";
        }else if(encode.equals("UNKNOWN"))
        {
            val="UTF-8";
        }else
        {
            val=encode;
        }
        return val;
    }
    
    //分析文件
    public void AnalysicDocument()
    {
        File infile=getFile();
        try {
            Document doc = Jsoup.parse(infile, getEncoding());
            title=doc.title();  //獲取標題
            content=doc.text();  //獲取內容
            url=filedocument.getUrl(); //獲取url
        } 
        catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    //數據的返回
    //獲取待分析文件的url
    public String getUrl()
    {
        return this.url;
    }
    public String getTitle()
    {
        return this.title;
    }
    public String getContent()
    {
        return this.content;
    }
}

 

使用tm-extractors實現的Word抽取WordReader.java：

import java.io.File;
import java.io.FileInputStream;

import org.textmining.text.extraction.WordExtractor;

public class WordReader {
    
    private String FilePath;
    
    public WordReader(String FilePath){
        this.FilePath =  FilePath;
    }
    
    public String getText() {
        String text = "";
        FileInputStream in;
        try {
            in = new FileInputStream(new File(FilePath));
            WordExtractor extractor= new WordExtractor();    
            text = extractor.extractText(in);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return text;
    }
    
    public String getTitle(){
        File f = new File(FilePath);
        String name = f.getName();
        
        return name;
    }
    
    public String getUrl(){
        return FilePath;
    }

 

Txt文件內容的讀取TxtReader.java：

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;

public class TxtReader {

    private String FilePath;
    
    public TxtReader(String FilePath){
        this.FilePath = FilePath;
    }
    
    public String getText(){
        String str="";
        try{
            BufferedReader br=new BufferedReader(new FileReader(FilePath));        
            String r=br.readLine();
            while(r!=null){
                str+=r;
                r=br.readLine();
                }
        }catch(Exception e){
            e.printStackTrace();
        }    
        return str;
    }
    
    public String getTitle(){
        File f = new File(FilePath);
        String name = f.getName();
        return name;
    }
    
    public String getUrl(){
        return FilePath;
    }
}

 

總之，在建立搜索索引之前，先對Web頁面資源進行文本的抽取處理。