如何開發自己的搜索帝國之Elasticsearch


搜索引擎是什么?

  搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息,在對信息進行組織和處理后,為用戶提供檢索服務,將用戶檢索相關的信息展示給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。

Elasticsearch是什么?

  Elasticsearch一個高可擴展的開源的全文本搜索和分析工具。它允許你以近實時的方式快速存儲、搜索、分析大容量的數據。Elasticsearch不僅提供全文檢索功能,還能提供高效的分布式數據存儲、索引、搜索,能完成對大數據的自動分片、自動負載索引,並提供Restful Web的風格接口。
  Elasticsearch是面向文檔型的NoSQL數據庫,可以在其中進行索引、搜索、排序和過濾這些文檔。它是實時分析的分布式搜索引擎,可以擴展到上百台服務器,處理PB級的結構化或非結構化數據。
  也支持中文分詞插件,Hadoop等插件。可以通過Http訪問,使用Json來操作數據。其索引能分拆為多個分片,每個分片可有多個副本,集群的負載都是自動完成的。

ES基礎架構

ElasticSearch vs Solr 總結

  (1)二者安裝都很簡單。

  (2)Solr 利用 Zookeeper 進行分布式管理,而 Elasticsearch 自身帶有分布式協調管理功能。

  (3)Solr 支持更多格式的數據,比如JSON、XML、CSV,而 Elasticsearch 僅支持json文件格式。

  (4)Solr 官方提供的功能更多,而 Elasticsearch 本身更注重於核心功能,高級功能多有第三方插件提供

  (5)Solr 在傳統的搜索應用中表現好於 Elasticsearch,但在處理實時搜索應用時效率明顯低於 Elasticsearch。

  (6)Solr 是傳統搜索應用的有力解決方案,但 Elasticsearch 更適用於新興的實時搜索應用。

  三台機器做集群:192.168.80.30、192.168.80.32、192.168.80.33

環境

  CentOS7.0

       Java1.8

下載

  下載地址:https://www.elastic.co/products/elasticsearch

  下載后上傳到CentOS中的/usr/local/ 文件夾中,並解壓到當前文件中重命名為elasticsearch530   /usr/local/elasticsearch530

tar -zxvf elasticsearch-5.3.0.tar.gz

創建 elsearch運行賬戶和組

groupadd elsearch #添加elsearch組
useradd -g elsearch elsearch -s /bin/false

  更改elasticsearch文件夾及內部文件的所屬用戶及組為elsearch:elsearch

chown -R elsearch:elsearch elasticsearch530

配置參數

(1) 初步修改 
  打開/usr/local/elasticsearch530/config目錄下的elasticsearch.yml 文件 ,修改以下屬性值並取消該行的注釋:
cluster.name: es-application #這是集群名字,我們 起名為 es-application。es啟動后會將具有相同集群名字的節點放到一個集群下。
node.name: "es-node1" #節點名字。
covery.zen.minimum_master_nodes: 1 #指定集群中的節點中有幾個有master資格的節點。對於大集群可以寫3個以上。
discovery.zen.ping.timeout: 40s #默認是3s,這是設置集群中自動發現其它節點時ping連接超時時間,為避免因為網絡差而導致啟動報錯,我設成了40s。
discovery.zen.ping.multicast.enabled: false #設置是否打開多播發現節點,默認是true。
network.host: 0.0.0.0
http.port: 9200
node.master: true #節點從可作為選舉為主節點
node.data: true #也用來存儲數據,可作為負載器
discovery.zen.ping.unicast.hosts: ["192.168.80.32","192.168.80.33","192.168.80.30"]  #discovery.zen.ping.unicast.hosts:["節點1的 ip","節點2 的ip","節點3的ip"] 指明集群中其它可能為master的節點ip,以防es啟動后發現不了集群中的其他節點。第一對引號里是node1,默認端口是9300。第二個是 node2 ,在另外一台機器上。

 

(2) 進一步修改 
  將elasticsearch530文件夾copy到另外一台IP為192.168.80.33、192.168.80.30的機器上。
  修改各主機上的改配置文件elasticsearch.yml 文件修改如下:
node.name: "es-node2"和 node.name: "es-node3" 
注意: 
1.對於單機多節點的es集群,一定要注意修改 transport.tcp.port 和http.port 的默認值保證節點間不沖突。 
2. 出現找不到同一集群中的其他節點的情況,檢查下 discovery.zen.ping.unicast.hosts 是否已設置。

啟動

  復制elasticsearch文件夾時,如果原來的es文件夾下存在node數據,那么es集群也不能正常啟動,所以若之前在elasticsearch530文件夾下有data文件夾,則清空node2和node3節點服務下的data文件夾,否則會報節點加入不了集群的錯。
 
  切換到elsearch用戶再啟動,3台服務器都要進行啟動
su elsearch
cd /usr/local/elasticsearch530 目錄
bin/elasticsearch -d  #后台運行

 

此時啟動服務會發現報錯:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[root@H32 ~]# cat /etc/sysctl.conf | grep -v "vm.max_map_count" > /tmp/system_sysctl.conf
[root@H32 ~]# echo "vm.max_map_count=262144" >> /tmp/system_sysctl.conf
[root@H32 ~]# mv /tmp/system_sysctl.conf /etc/sysctl.conf
mv:是否覆蓋"/etc/sysctl.conf"? y
[root@H32 ~]# cat /etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
vm.max_map_count=262144
[root@H32 ~]# sysctl -p
vm.max_map_count = 262144

  修改后再次啟動,可通過下命令查看啟動后是否有進程

ps -ef |grep elasticsearch

  ES的安裝就此完成,接下來安裝Head插件來監控Elasticsearch

Elasticsearch Head插件

  Elasticsearch Head Plugin: 對ES進行各種操作,如查詢、刪除、瀏覽索引等,可對集群健康狀況,各個節點狀態,索引狀態查看。
  5.X版本的ES跟之前的版本最大的不同之處就是多了很多環境的校驗,比如jdk,max-files等等。

設置內核參數

vi /etc/sysctl.conf # 增加下面的內容
fs.file-max=65536
vm.max_map_count=262144

設置資源參數

vi /etc/security/limits.conf # 修改
elsearch soft nofile 65536
elsearch hard nofile 65536
 
sysctl -p 
修改/config/elasticsearch.yml
# 增加新的參數,這樣head插件可以訪問es
http.cors.enabled: true
http.cors.allow-origin: "*"
  注意,設置參數的時候:后面要有空格!

  在5.X版本中不支持直接安裝head插件,需要啟動一個服務

git clone git://github.com/mobz/elasticsearch-head.git

  下載 elasticsearch-head 或者 git clone 到 /usr/local/elasticsearch-head

 cd elasticsearch-head

 npm install
  
由於head插件本質上還是一個nodejs的工程,因此需要安裝node,使用npm來安裝依賴的包。(npm可以理解為maven)
去官網下載nodejs, https://nodejs.org/en/download/
下載下來的jar包是xz格式的,一般的linux可能不識別,還需要安裝xz.
yum -y install xz
然后解壓nodejs的安裝包:
xz -d node*.tar.xz tar -xvf node*.tar

解壓完node的安裝文件后,需要配置下環境變量,編輯/etc/profile,添加

# set node environment
export NODE_HOME=/usr/local/node790
export PATH=$PATH:$NODE_HOME/bin

別忘記立即執行以下

source /etc/profile
這個時候可以測試一下node是否生效:
[root@H32 node790]# echo $NODE_HOME 
/usr/local/node790
[root@H32 node790]# node -v [root@H32 node790]# npm -v

安裝grunt

  grunt是一個很方便的構建工具,可以進行打包壓縮、測試、執行等等的工作,5.X里的head插件就是通過grunt啟動的。因此需要安裝一下grunt:
  linux:npm install grunt-cli
  windows:npm install grunt-cli -g
  在elasticsearch-head目錄下node_modules/grunt下如果沒有grunt二進制程序,需要執行
cd elasticsearch-head
npm install grunt-cli
npm install grunt --save-dev
  安裝完成后檢查一下:
[root@H32 elasticsearch-head]# grunt -version
grunt-cli v1.2.0
grunt v1.0.1

啟動服務

/usr/local/elasticsearch-head/node_modules/grunt/bin/gruntserver

修改head源碼

由於head的代碼還是2.6版本的,直接執行有很多限制,比如無法跨機器訪問。因此需要用戶修改兩個地方:
修改服務器監聽地址
目錄:elasticsearch-head/Gruntfile.js
connect: { server: { options: { port: 9100, hostname: '*', base: '.', keepalive: true } } }
增加hostname屬性,設置為*
修改連接地址:
目錄:elasticsearch-head/_site/app.js
修改head的連接地址:
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";
把localhost修改成你es的服務器地址,如:
this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.80.32:9200";

運行head

首先啟動每個服務器上的 ES。
再啟動grunt
cd /usr/local/elasticsearch-head
grunt server -d
訪問:target:9100
這個時候,訪問 http://192.168.80.32:9100 就可以訪問head插件了。

 現在可以在此頁面操作ES數據了,但這只是一個開始。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM