Apache Tika:通用的內容分析工具


項目介紹

Tika是一個內容分析工具,自帶全面的parser工具類,能解析基本所有常見格式的文件,得到文件的metadata,content等內容,返回格式化信息。總的來說可以作為一個通用的解析工具。特別對於搜索引擎的數據抓去和處理步驟有重要意義。

Tika是一個目的明確,使用簡單的apache的開源項目。下圖是Tika誕生的一個歷史過程。

Tika項目之初來源於Nutch項目(大家應該都不陌生),現在是Lucene的子項目,所以也是來源於搜索引擎。其實Nutch這個項目的開發過程中,孕育了不少東西,應該都歸功於Doug Cutting。我個人也是覺得這件事情很贊,要搞Nutch這樣一個通用的搜索引擎,包括了全文索引和Web爬蟲兩大塊內容,在開發過程中逐漸誕生出一些核心的周邊產品,再孕育成子項目,包括hadoop,Lucene,Tika等等這些現代很主流,使用人群很廣的通用項目,帶給了IT界不少便利。我個人對此非常憧憬,覺得甚是美好。

 

從源碼看功能

通過src里幾個包和主要類,看Tika能干什么。跳過core包,tika-parsers展示了Tika能處理的文件類別和內容,

音頻,圖片,文本,各種格式的文件,tika都有對應的parser類來處理。而且Tika提供給了一些parser接口供擴展tika-bundle提供Tika結合OSGi容器的能力。tika-app而則是一個在代碼外直接使用Tika的jar包,可以在官網直接下載使用,提供gui和cmd使用方式,直觀地體驗這款產品。下面我會截圖展示。

 

Tika架構

下圖解釋了Tika的架構以及關鍵零部件的主要設計目標:由一個解析器框架(中間),MIME檢測機制(右側),語言檢測(左側),和一個facade組件(中間部分的原理圖)聯系所有組件。外部接口,包括命令行和圖形界面(下一節我會簡單介紹),允許用戶集成到腳本或者應用程序,並與Tika直接交互。在整個結構中,Tika的體系結構是可擴展的,新的解析器可以輕松地添加和刪除。

 

Tika使用

直接使用Tika,只要java -jar tika-app-1.2 --gui即可啟動,你可以把打開本地文件或者添加你要解析的url地址,甚至直接把各種文件拖入Tika,查看Tika的解析結果。大家可以直接下載jar包體驗下,非常方便。在View內可以選擇你想查看的內容(Metadata, text等)。Tika對圖片的處理主要是提供一些元信息,並不能分析出圖片內的內容,所以圖片形式的pdf文件自然是不能查看text信息的

如果是用命令行,類似的語法是這樣的:

 

[html]  view plain copy
  1. java -jar tika-app-1.0.jar --text document.doc  
  2. java -jar tika-app-1.0.jar --encoding=UTF-8 --text document.doc  
  3. java -jar tika-app-1.0.jar --metadata document.doc  

 

想在別的工程中使用Tika,只要在maven項目依賴里添加Tika,new Tika的實例,然后直接調用Tika的解析parser類,即可獲取到處理后的信息。給個最簡單的例子:

 

[java]  view plain copy
  1. import java.io.File;  
  2. import org.apache.tika.Tika;  
  3. public class SimpleTextExtractor {  
  4.   public static void main(String[] args) throws Exception {  
  5.     // Create a Tika instance with the default configuration  
  6.     Tika tika = new Tika();  
  7.     // Parse all given files and print out the extracted text content  
  8.     for (String file : args) {  
  9.       String text = tika.parseToString(new File(file));  
  10.       System.out.print(text);  
  11.     }  
  12.   }  
  13. }  

 

 

總結

介紹Tika出於兩個目的:

1. 感覺是一個通用,實用且易用的分析工具,可以與lucene,solr結合,天生服務搜索引擎

2. 感嘆Nutch項目發展歷史,Apache各種開源項目的緊密,自然,優美的關聯性。

更多內容參看 《Tika in action》


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM