Elasticsearch集群部署


Elastic 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝,提供了 REST API 的操作接口,開箱即用。Elastic 的底層是開源庫 。但是,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝,提供了 REST API 的操作接口,開箱即用。

一、ES中的基本概念

cluster

代表一個集群,集群中有多個節點,其中有一個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於集群內部來說的。es的一個概念就是去中心化,字面上理解就是無中心節點,這是對於集群外部來說的,因為從外部來看es集群,在邏輯上是個整體,你與任何一個節點的通信和與整個es集群通信是等價的。

shards

代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定,並且索引創建后不能更改。

replicas

代表索引副本,es可以設置多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜索請求進行負載均衡。

recovery

代表數據恢復或叫數據重新分布,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行數據恢復。

river

代表es的一個數據源,也是其它存儲方式(如:數據庫)同步數據到es的一個方法。它是以插件方式存在的一個es服務,通過讀取river中的數據並把它索引到es中,官方的river有couchDB的,RabbitMQ的,Twitter的,Wikipedia的。

gateway

代表es索引快照的存儲方式,es默認是先把索引存放到內存中,當內存滿了時再持久化到本地硬盤。gateway對索引快照進行存儲,當這個es集群關閉再重新啟動時就會從gateway中讀取索引備份數據。es支持多種類型的gateway,有本地文件系統(默認),分布式文件系統,Hadoop的HDFS和amazon的s3雲存儲服務。

discovery.zen

代表es的自動發現節點機制,es是一個基於p2p的系統,它先通過廣播尋找存在的節點,再通過多播協議來進行節點之間的通信,同時也支持點對點的交互。

Transport

代表es內部節點或集群與客戶端的交互方式,默認內部是使用tcp協議進行交互,同時它支持http協議(json格式)、thrift、servlet、memcached、zeroMQ等的傳輸協議(通過插件方式集成)。


二、部署環境

采用三台CentOS7.3部署Elasticsearch集群,部署Elasticsearch集群就不得不提索引分片,以下是索引分片的簡單介紹。

系統 節點名 IP
CentOS7.3 els1 172.18.68.11
CentOS7.3 els2 172.18.68.12
CentOS7.3 els3 172.18.68.13

ES集群中索引可能由多個分片構成,並且每個分片可以擁有多個副本。通過將一個單獨的索引分為多個分片,我們可以處理不能在一個單一的服務器上面運行的大型索引,簡單的說就是索引的大小過大,導致效率問題。不能運行的原因可能是內存也可能是存儲。由於每個分片可以有多個副本,通過將副本分配到多個服務器,可以提高查詢的負載能力。

三、部署Elasticsearch集群

1.安裝JDK

Elasticsearch是基於Java開發是一個Java程序,運行在Jvm中,所以第一步要安裝JDK

yum install -y java-1.8.0-openjdk-devel

2.下載elasticsearch

https://artifacts.elastic.co/downloads/elasticsearch/ 是ELasticsearch的官方站點,如果需要下載最新的版本,進入官網下載即可。可以下載到本地電腦然后再導入CentOS中,也可以直接在CentOS中下載。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.1.rpm

3.配置目錄

安裝完畢后會生成很多文件,包括配置文件日志文件等等,下面幾個是最主要的配置文件路徑

/etc/elasticsearch/elasticsearch.yml							# els的配置文件
/etc/elasticsearch/jvm.options								    # JVM相關的配置,內存大小等等
/etc/elasticsearch/log4j2.properties							# 日志系統定義
/var/lib/elasticsearch										    # 數據的默認存放位置

4.創建用於存放數據與日志的目錄

數據文件會隨着系統的運行飛速增長,所以默認的日志文件與數據文件的路徑不能滿足我們的需求,那么手動創建日志與數據文件路徑,可以使用NFS、可以使用Raid等等方便以后的管理與擴展

mkdir /els/{log,date}
chown -R elasticsearch.elasticsearch /els/*

5.集群配置

集群配置中最重要的兩項是node.namenetwork.host,每個節點都必須不通。其中node.name是節點名稱主要是在Elasticsearch自己的日志加以區分每一個節點信息。
discovery.zen.ping.unicast.hosts是集群中的節點信息,可以使用IP地址、可以使用主機名(必須可以解析)。

vim /etc/elasticsearch
cluster.name: aubin-cluster									# 集群名稱
node.name: els1											    # 節點名稱,僅僅是描述名稱,用於在日志中區分

path.data: /var/lib/elasticsearch						    # 數據的默認存放路徑
path.logs: /var/log/elasticsearch							# 日志的默認存放路徑

network.host: 192.168.0.1									# 當前節點的IP地址
http.port: 9200											    # 對外提供服務的端口,9300為集群服務的端口

discovery.zen.ping.unicast.hosts: ["172.18.68.11", "172.18.68.12","172.18.68.13"]		
# 集群個節點IP地址,也可以使用els、els.shuaiguoxia.com等名稱,需要各節點能夠解析

discovery.zen.minimum_master_nodes: 2					    # 為了避免腦裂,集群節點數最少為 半數+1

6.JVM配置

由於Elasticsearch是Java開發的,所以可以通過/etc/elasticsearch/jvm.options配置文件來設定JVM的相關設定。如果沒有特殊需求按默認即可。
不過其中還是有兩項最重要的-Xmx1g-Xms1gJVM的最大最小內存。如果太小會導致Elasticsearch剛剛啟動就立刻停止。太大會拖慢系統本身

vim /etc/elasticsearch/jvm.options
-Xms1g													# JVM最大、最小使用內存
-Xmx1g

7.啟動Elasticsearch

由於啟動Elasticsearch會自動啟動daemon-reload所以最后一項可以省略。

systemctl enable elasticsearch.service
systemctl start elasticsearch
systemctl daemon-reload									# 可以省略

8.測試

Elasticsearch直接聽過了http接口,所以直接使用curl命令就可以查看到一些集群相關的信息。

可以使用curl命令來獲取集群的相關的信息,

  • _cat代表查看信息
  • nodes為查看節點信息,默認會顯示為一行,所以就用刀了?preety讓信息更有好的顯示
  • ?preety讓輸出信息更友好的顯示
curl -XGET 'http://172.18.68.11:9200/_cat/nodes?pretty'
172.18.68.12 18 68 0 0.07 0.06 0.05 mdi - els2
172.18.68.13 25 67 0 0.01 0.02 0.05 mdi * els3             #  *號表示為當前節點為主節點的意思
172.18.68.11  7 95 0 0.02 0.04 0.05 mdi - els1

如果你要想查看更多有關於集群信息、當前節點統計信息等等,可以使用一下命令來獲取到所有可以查看的信息。

curl -XGET 'http://172.18.68.11:9200/_cat?pretty'	


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM