[原創]一種基於Python爬蟲和Lucene檢索的垂直搜索引擎的實現方法介紹

本文轉載自查看原文 2017-05-02 19:40 4496 Web開發

聲明：本文首發在博客園晨星落羽，Shulin_Cao和lvmememe首頁，轉載請注明出處。

前言

　　2016.5到2017.5，我們三人（lvmememe，Shulin_Cao，晨星落羽）共同完成了一個本科生科研項目——簡體中文版兒童搜索引擎。在做的過程中我們發現，搜索引擎的框架其實都差不多，一些技術比如網頁爬蟲、網頁提取、信息檢索在大多數垂直搜索引擎中是通用的，只不過數據庫中存的資源不同而已。比如把全網資源都包羅進來，就成了百度，把購物信息包羅進來，就成了淘寶。因此就有了這篇文章，把我們在做項目的過程中用到的技術分享出來，希望能夠對搜索引擎感興趣的朋友有所幫助。本文會詳細說明項目中我們已經實現的功能使用的技術，同時也會闡述一些我們希望以后可能會實現的功能。本文期望達到的效果是，一年以后，當我已經忘記現在用到的技術細節，自己再照着這篇文章做，依然可以做出一個同樣的搜索引擎。

　　事實上，本文介紹的框架是一種最基本的簡易框架，項目的完成也不代表項目的完善，我們還有許多功能鑒於時間限制和自身水平的限制，暫時沒有實現。這些功能在文章中也會提及，只是無法展開細講。尤其是機器學習、人工智能、數據挖掘等技術，在本文中不會涉及，本文關注更多的是網頁爬蟲（信息獲取）、詞條排序（信息檢索）、前端后端通訊（信息展示），用到的語言主要包括Python、Java、PHP和前端網頁制作的語言。

　　目前，項目已經發表了五篇論文，包括三篇中文期刊和兩篇國際會議。

　　　　1. 兒童搜索引擎的現狀與分析

　　　　2. 面向搜索引擎的結構化信息生成系統的設計與實現

　　　　3. 基於 Lucene 與 Socket 通信的中文搜索引擎的設計與實現

　　　　4. An Algorithm to Extract and Judge the Main Text Based on the Law of Total Probability

　　　　5. KidSE: A Search Engine Designed for Children which Supports Simplified Chinese

　　其中，第一篇論文目前已經發表，后面四篇已經收到錄用通知等待發表。本文的很多想法也都是對論文中的內容進行整合。后續發表后會對論文鏈接進行更新。

　　或許在專業人士看來，本文所講解的技術也只是幾十年前的古老技術，但是我們寫這篇博客的目的也不是炫耀自己的技術有多高超，只是想分享一下自己的成果。希望大牛們諒解我們作為低年級本科生水平有限，對於文章的錯誤，歡迎批評指正，如果有好的想法，也歡迎多多交流！

　　項目github：https://github.com/1049451037/kidsearch

　　事實上，這篇博客的樣例工程並不是兒童搜索引擎，按照這篇文章做完之后，會做成一個文章搜索引擎，它通過全網自動判別文章類網頁，並提取內容，自動入庫，天下文章，皆為我有。是不是很期待？那我們開始吧！

　　1. 垂直搜索引擎的介紹

　　　　1.1 垂直搜索引擎的概念