elasticsearch 集群詳解

本文轉載自查看原文 2019-06-11 00:20 3748 es 集群原理

ES為什么要實現集群

在單台ES服務器節點上，隨着業務量的發展索引文件慢慢增多，會影響到效率和內存存儲問題等。

如果使用ES集群，會將單台服務器節點的索引文件使用分片技術，分布式的存放在多個不同的物理機器上，從而可以實現高可用、容錯性等。

es核心存放的是索引。

什么是分片技術

將數據拆分成多台節點進行存放。

ES是如何解決高並發

ES是一個分布式全文檢索框架，隱藏了復雜的處理機制，內部使用分片機制、集群發現、分片負載均衡請求路由。

Shards 分片:代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定，並且索引創建后不能更改。

Replicas分片:代表索引副本，es可以設置多個索引的副本，副本的作用一是提高系統的容錯性，當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率，es會自動對搜索請求進行負載均衡。

ES集群核心原理分析

1、每個索引會被分成多個分片shards進行存儲，默認創建索引是分配5個分片進行存儲,每個分片都會分布式部署在多個不同的節點上進行部署，該分片成為primary shards 主分片。

查看索引分片信息

http://192.168.0.110:9200/myindex/_settings

結果為：

{
    "myindex":{
        "settings":{
            "index":{
                "creation_date":"1559964953858",
                "number_of_shards":"5", //主分片
                "number_of_replicas":"1", //副分片
                "uuid":"PPLrlfo6Re2z6KMrVfaMWg",
                "version":{
                    "created":"6040399"
                },
                "provided_name":"myindex"
            }
        }
    }
}

在ES 中每一個主的分片都有一個對應的副分片，這里總共由10分片。

注意：索引的主分片數量定義好后，不能被修改。主分片數量一旦定義好之后就不能修改，但是副分片的數量是可以修改的。

2、每一個主分片為了實現高可用，都會有自己對應的備分片，主分片對應的備分片不能存放同一台服務器上，主分片可以和其他備分片存放在同一個node節點上。

單台 ES 服務器中是沒有副分片的。

documnet routing（數據路由）

當客戶端發起創建document的時候，es需要確定這個document放在該index哪個shard上。這個過程就是數據路由。

路由算法：shard = hash(routing) % number_of_primary_shards

如果number_of_primary_shards在查詢的時候取余發生的變化，無法獲取到該數據

ES是相關名詞

Cluster:代表一個集群，集群中有多個節點，其中有一個為主節點，這個主節點是可以通過選舉產生的，主從節點是對於集群內部來說的。es的一個概念就是去中心化，字面上理解就是無中心節點，這是對於集群外部來說的，因為從外部來看es集群，在邏輯上是個整體，你與任何一個節點的通信和與整個es集群通信是等價的。

Shards:代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分布到不同的節點上。構成分布式搜索。分片的數量只能在索引創建前指定，並且索引創建后不能更改。 replicas:代表索引副本，es可以設置多個索引的副本，副本的作用一是提高系統的容錯性，當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率，es會自動對搜索請求進行負載均衡。

Recovery:代表數據恢復或叫數據重新分布，es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配，掛掉的節點重新啟動時也會進行數據恢復。