ES節點分析


ES集群概念

集群

一個集群cluster由一個或者多個節點組成,具有相同的cluster.name,協同工作,分項數據和負載。
當有新的節點加入或者刪除了一個節點時,集群回感知到並能夠平衡數據。
ElasticSearch中可以監控很多信息,有一個最重要的就是集群健康。
集群健康有三個狀態:green(所有主要分片和復制分片都可用),yellow(所有主要分片可用,但不是所有復制分片都可用),red(不是所有的主要分片都可用)。

節點

一個節點node就是一個ElasticSearch的實例。
集群中的一個節點會被選舉為主節點master,它將臨時管理集群級別的一些變更,譬如新建或者刪除索引、增加或者移除節點等等。
主節點不參與文檔級別的變更或者搜索,所以不會成為集群的瓶頸。
任何節點都可以成為主節點。
用戶能夠與集群中的任何節點通信,包括主節點。
每一個節點都知道文檔存在於哪個節點上,可以轉發請求到相應的節點上。

分片

一個分片shard是一個最小級別的工作單元,es把一個完整的索引分成多個分片。
僅保存了索引中所有數據的一部分。 分片就是一個Lucene實例,並且它本身就是一個完整的搜索引擎。
文檔存儲在分片中,並且在分片中被索引,但是程序不會直接與分片通信,而是與索引通信。
Replicas分片:代表索引副本。es可以設置多個索引的副本,副本的作用是提高了系統的容錯性。
當某個節點的分片損壞或者丟失的時候可以從副本中恢復。
還可以提高查詢搜索效率,es會自動對搜索請求進行負載均衡。

ElasticSearch怎樣設置 master、data 和 client 節點

1、默認情況

在生產環境下,如果不修改elasticsearch節點的角色信息,在高數據量,高並發的場景下集群容易出現腦裂等問題。
默認情況下,elasticsearch 集群中每個節點都有成為主節點的資格,也都存儲數據,還可以提供查詢服務。這些功能是由兩個屬性控制的。

1)node.master
node.master:這個屬性表示節點是否具有成為主節點的資格
注意:此屬性的值為 true,並不意味着這個節點就是主節點。
         因為真正的主節點,是由多個具有主節點資格的節點進行選舉產生的。
         所以,這個屬性只是代表這個節點是不是具有主節點選舉資格。
2)node.data
默認情況下這兩個屬性的值都是true。
node.data:這個屬性表示節點是否存儲數據。

2、四種組合

1) node.master: true AND node.data: true AND node.ingest: true

  這種組合表示這個節點既有成為主節點的資格,又可以存儲數據,還可以作為預處理節點,
這個時候如果某個節點被選舉成為了真正的主節點,那么他還要存儲數據,這樣對於這個節點的壓力就比較大了。
  elasticsearch 默認是:每個節點都是這樣的配置,在測試環境下這樣做沒問題。
實際工作中建議不要這樣設置,這樣相當於 主節點 和 數據節點 的角色混合到一塊了。

2)node.master: false AND node.data: true AND node.ingest: false

  這種組合表示這個節點沒有成為主節點的資格,也就不參與選舉,只會存儲數據。
這個節點我們稱為 data(數據)節點。
在集群中需要單獨設置幾個這樣的節點負責存儲數據。后期提供存儲和查詢服務

3) node.master: true AND node.data: false AND node.ingest: false

  這種組合表示這個節點不會存儲數據,有成為主節點的資格,可以參與選舉,有可能成為真正的主節點。
這個節點我們稱為master節點

4)node.master: false AND node.data: false AND node.ingest: true

  這種組合表示這個節點即不會成為主節點,也不會存儲數據,
這個節點的意義是作為一個 client(客戶端)節點,主要是針對海量請求的時候可以進行負載均衡。
在新版 ElasticSearch5.x 之后該節點稱之為:coordinate 節點,其中還增加了一個叫:ingest 節點,用於預處理數據(索引和搜索階段都可以用到),
當然,作為一般應用是不需要這個預處理節點做什么額外的預處理過程,那么這個節點和我們稱之為 client 節點之間可以看做是等同的,
我們在代碼中配置訪問節點就都可以配置這些 ingest 節點即可。

3、總結

  默認情況下,每個節點都有成為主節點的資格,也會存儲數據,還會處理客戶端的請求。在一個生產集群中我們可以對這些節點的職責進行划分。

1)master節點

建議集群中設置 3台 以上的節點作為
master 節點【node.master: true node.data: false node.ingest:false】,
這些節點只負責成為主節點,維護整個集群的狀態。

2)data節點

再根據數據量設置一批 data節點【node.master: false node.data: true node.ingest:false】,
這些節點只負責存儲數據,后期提供建立索引和查詢索引的服務,這樣的話如果用戶請求比較頻繁,這些節點的壓力也會比較大

3)client節點

所以在集群中建議再設置一批 ingest 節點也稱之為 client 節點【node.master: false node.data: false node.ingest:true】,
這些節點只負責處理用戶請求,實現請求轉發,負載均衡等功能。

master節點:普通服務器即可(CPU 內存 消耗一般)
data 節點:主要消耗磁盤,內存
client | ingest 節點:普通服務器即可(如果要進行分組聚合操作的話,建議這個節點內存也分配多一點)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM