三十八 Python分布式爬蟲打造搜索引擎Scrapy精講—elasticsearch(搜索引擎)介紹以及安裝


elasticsearch(搜索引擎)介紹

ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTful web接口。Elasticsearch是用Java開發的,並作為Apache許可條款下的開放源碼發布,是第二最流行的企業搜索引擎。設計用於雲計算中,能夠達到實時搜索,穩定,可靠,快速,安裝使用方便。

我們建立一個網站或應用程序,並要添加搜索功能,令我們受打擊的是:搜索工作是很難的。我們希望我們的搜索解決方案要快,我們希望有一個零配置和一個完全免費的搜索模式,我們希望能夠簡單地使用JSON通過HTTP的索引數據,我們希望我們的搜索服務器始終可用,我們希望能夠一台開始並擴展到數百,我們要實時搜索,我們要簡單的多租戶,我們希望建立一個雲的解決方案。Elasticsearch旨在解決所有這些問題和更多的問題。

 

全文搜索引擎種類

  1、elasticsearch

  2、solr

  3、sphinx

 

 

關系數據搜素缺點,也就是直接通過數據庫搜索

 elasticsearch(搜索引擎)都能彌補以上缺點

 

elasticsearch安裝

  1、elasticsearch是由Java開發的,所以首先要安裝Java環境

    注意:elasticsearch所需要的Java環境必須大於或者等於1.8版本

    下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

    我們下載Windows x64版本,jdk-8u144-windows-x64.exe文件,直接安裝

    安裝好后,我們cmd命令輸入:java -version  查看java版本

 

 

  2、elasticsearch-rtf安裝

    下載地址:https://github.com/medcl/elasticsearch-rtf    集成了我們很多插件

    運行系統可用內存>2G   

以下是集成安裝的官方插件,個別插件需要配置才能使用,可根據需要刪除 plugins 目錄無關的插件,重啟 elasticsearch 生效。

bin/elasticsearch-plugin install discovery-multicast
bin/elasticsearch-plugin install analysis-icu
bin/elasticsearch-plugin install analysis-kuromoji
bin/elasticsearch-plugin install analysis-phonetic
bin/elasticsearch-plugin install analysis-smartcn
bin/elasticsearch-plugin install analysis-stempel
bin/elasticsearch-plugin install analysis-ukrainian
bin/elasticsearch-plugin install discovery-file
bin/elasticsearch-plugin install ingest-attachment
bin/elasticsearch-plugin install ingest-geoip
bin/elasticsearch-plugin install ingest-user-agent
bin/elasticsearch-plugin install mapper-attachments
bin/elasticsearch-plugin install mapper-size
bin/elasticsearch-plugin install mapper-murmur3
bin/elasticsearch-plugin install lang-javascript
bin/elasticsearch-plugin install lang-python
bin/elasticsearch-plugin install repository-hdfs
bin/elasticsearch-plugin install repository-s3
bin/elasticsearch-plugin install repository-azure
bin/elasticsearch-plugin install repository-gcs
bin/elasticsearch-plugin install store-smb
bin/elasticsearch-plugin install discovery-ec2
bin/elasticsearch-plugin install discovery-azure-classic
bin/elasticsearch-plugin install discovery-gce

 elasticsearch-rtf下載好解壓后將文件夾復制到一個目錄會得到以下文件

雙擊進入bin文件夾里,按shlft+鼠標右鍵,在此處打開命令窗口,輸入 elasticsearch.bat  回車運行

然后在瀏覽器輸入http://127.0.0.1:9200/ 返回數據說明成功

 

 

  3、安裝elasticsearch-rtf(搜索引擎)的可視化管理工具elasticsearch-head

    注意:(搜索引擎)的可視化管理工具elasticsearch-head,的安裝要用到node.js的npm 插件管理器

    所以要先安裝node.js的npm 插件管理器

    下載地址:https://nodejs.org/en/download/

    我們下載windows版本即可,下載后安裝即可

    安裝后cdm命令:npm      如下顯示表示安裝成功

 

    npm命令是node.js的npm 插件管理器,也就是下載插件安裝插件的管理器,因為下載都是國外服務器很慢會掉線,我們需要使用淘寶的npm鏡像cnpm

    執行命令:npm install -g cnpm --registry=https://registry.npm.taobao.org   啟用淘寶的npm鏡像cnpm,注意:啟用后當我們要輸入npm命令時,就需要輸入cnpm

 

 

  (搜索引擎)的可視化管理工具elasticsearch-head的安裝

    下載地址:https://github.com/mobz/elasticsearch-head

    下載后解壓到指定目錄,會得到以下文件

     cd進入到解壓的elasticsearch-head目錄

    執行命令:cnpm install   安裝elasticsearch-head的依賴包

    在執行命令:cnpm run start  啟動elasticsearch-head(搜索引擎)的可視化管理工具

    訪問:http://localhost:9100/

    訪問后可以看到(搜索引擎)的可視化管理工具

 

我們看到顯示未連接,我們需要配置elasticsearch-rtf(搜索引擎)連接,在elasticsearch-rtf/config/elasticsearch.yml 這個文件里配置

在文件的最后面寫入

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

 

 重啟elasticsearch-rtf(搜索引擎)后就可以連接了

 

 

 安裝Kibana 5.1.2版本

  注意:Kibana的版本要對應elasticsearch-head里信息里的版本

  

   下載地址:https://www.elastic.co/downloads/past-releases/kibana-5-1-2

   我們下載windows版即可

   將下載文件解壓到指定目錄,進入kibana-5.1.2/bin文件夾

  

  cd 進入kibana-5.1.2/bin文件夾

  執行命令:kibana.bat      運行kibana-5.1.2

  

  瀏覽器訪問:http://localhost:5601  如下顯示說明成功

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM