Elasticsearch索引容量管理實踐

最新活動

包含文章發布時段最新活動，前往ES產品介紹頁，可查找ES當前活動統一入口

Elasticsearch Service自建遷移特惠政策>>

Elasticsearch Service 新用戶特惠狂歡，最低4折首購優惠 >>

Elasticsearch Service 企業首購特惠，助力企業復工復產>>

 

Elasticsearch是目前大數據領域最熱門的技術棧之一，騰訊雲 Elasticsearch Service（ES）是基於開源搜索引擎 Elasticsearch 打造的高可用、可伸縮的雲端全托管 Elasticsearch 服務，完善的高可用解決方案，讓業務可以放心的把重要數據存儲到騰訊雲 ES 中。了解 ES 的索引管理方法有助於揚長避短，更好的利用 ES 的強大功能，特別是當遇到性能問題時，原因通常都可回溯至數據的索引方式以及集群中的分片數量。如果未能在一開始做出最佳選擇，隨着數據量越來越大，便有可能會引發性能問題。集群中的數據越多，要糾正這一問題就越難，本文旨在幫助大家了解 ES 容量管理的方法，在一開始就管理好索引的容量，避免給后面留坑。

 

1. 為什么要做索引容量管理

• 在生產環境使用 ES 要面對的第一個問題通常是索引容量的規划，不合理的分片數，副本數和分片大小會對索引的性能產生直接的影響;

• Elasticsearch 中的每個索引都由一個或多個分片組成的，每個分片都是一個 Lucene 索引實例，您可以將其視作一個獨立的搜索引擎，它能夠對 Elasticsearch 集群中的數據子集進行索引並處理相關查詢；

• 查詢和寫入的性能與索引的大小是正相關的，所以要保證高性能，一定要限制索引的大小，具體來說是限制分片數量和單個分片的大小;

• 關於分片數量，索引大小的問題這里不再贅述，可以參考 ES 官方 blog 《我在 Elasticsearch 集群內應該設置多少個分片？》(https://www.elastic.co/cn/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster)

• 直接說結論：ES 官方推薦分片的大小是 20G - 40G，最大不能超過 50G;

 

本文介紹 3種管理索引容量的方法，從這3種方法可以了解到 ES 管理索引容量的演進過程。

 

2. 方法1: 使用在索引名稱上帶上時間的方法管理索引

2.1 創建索引

索引名上帶日期的寫法：

<static_name{date_math_expr{date_format|time_zone}}>

例如

<logs-{now{yyyyMMddHH|+08:00}}-000001>

參考官方文檔：Date math support in index names(https://www.elastic.co/guide/en/elasticsearch/reference/7.x/date-math-index-names.html)

在使用的時候,索引名要 urlencode 后再使用

1.  
   PUT /%3Cmylogs-%7Bnow%7ByyyyMMddHH%7C%2B08%3A00%7D%7D- 000001%3E
2.  
   {
3.  
     "aliases": {
4.  
       "mylogs-read-alias": {}
5.  
   }
6.  
   }

執行結果：

1.  
   {
2.  
     "acknowledged" : true,
3.  
     "shards_acknowledged" : true,
4.  
     "index" : "mylogs-2020061518-000001"
5.  
   }

 

2.2 寫入數據

寫入數據的時候也要帶上日期

1.  
   POST /%3Cmylogs-%7Bnow%7ByyyyMMddHH%7C%2B08%3A00%7D%7D- 000001%3E/_doc
2.  
   { "name":"xxx"}

 

執行結果:

1.  
   {
2.  
     "_index" : "mylogs-2020061518-000001",
3.  
     "_type" : "_doc",
4.  
     "_id" : "VNZut3IBgpLCCHbxDzDB",
5.  
     "_version" : 1,
6.  
     "result" : "created",
7.  
     "_shards" : {
8.  
       "total" : 2,
9.  
       "successful" : 2,
10.  
        "failed" : 0
11.  
    },
12.  
      "_seq_no" : 0,
13.  
      "_primary_term" : 1
14.  
    }

 

2.3 查詢數據

由於數據分布在多個索引里，查詢的時候要在符合條件的所有索引查詢，可以使用下面的方法查詢

2.3.1 使用逗號分割指定多個索引

1.  
   GET /mylogs-2020061518-000001,mylogs-2020061519-000001/_search
2.  
   { "query":{"match_all":{}}}

 

2.3.2 使用通配符查詢

1.  
   GET /mylogs-*/_search
2.  
   {
3.  
     "query": {
4.  
       "match_all": {}
5.  
   }
6.  
   }

 

執行結果：

1.  
   {
2.  
     "took" : 0,
3.  
     "timed_out" : false,
4.  
     "_shards" : {
5.  
       "total" : 1,
6.  
       "successful" : 1,
7.  
       "skipped" : 0,
8.  
       "failed" : 0
9.  
   },
10.  
      "hits" : {
11.  
        "total" : {
12.  
          "value" : 1,
13.  
          "relation" : "eq"
14.  
      },
15.  
        "max_score" : 1.0,
16.  
        "hits" : [
17.  
        {
18.  
            "_index" : "mylogs-2020061518-000001",
19.  
            "_type" : "_doc",
20.  
            "_id" : "VNZut3IBgpLCCHbxDzDB",
21.  
            "_score" : 1.0,
22.  
            "_source" : {
23.  
              "name" : "xxx"
24.  
          }
25.  
        }
26.  
      ]
27.  
    }
28.  
    }

 

2.3.3 使用別名查詢

1.  
   GET /mylogs-read- alias/_search
2.  
   {
3.  
     "query": {
4.  
       "match_all": {}
5.  
   }
6.  
   }

執行結果同上

 

2.4 使用帶日期的索引名稱的缺陷

這個方法的優點是比較直觀能夠通過索引名稱直接分辨出數據的新舊，缺點是：

• 不是所有數據都適合使用時間分割，對於寫入之后還有修改的數據不適合

• 直接使用時間分割也可能存在某段時間數據量集中，導致索引分片超過設計容量的問題，從而影響性能

• 為了解決上述問題還需要配合 rollover 策略使用，索引的維護比較復雜

 

3. 方法2: 使用 Rollover 管理索引

Rollover 的原理是使用一個別名指向真正的索引，當指向的索引滿足一定條件（文檔數或時間或索引大小）更新實際指向的索引。

3.1 創建索引並且設置別名

注意： 索引名稱的格式為 {.*}-d 這種格式的，數字默認是 6位

1.  
   PUT myro- 000001
2.  
   {
3.  
     "aliases": {
4.  
       "myro_write_alias":{}
5.  
   }
6.  
   }

 

3.2 通過別名寫數據

使用 bulk 一次寫入了 3條記錄

1.  
   POST  /myro_write_alias/_bulk?refresh=true
2.  
   { "create":{}}
3.  
   { "name":"xxx"}
4.  
   { "create":{}}
5.  
   { "name":"xxx"}
6.  
   { "create":{}}
7.  
   { "name":"xxx"}

執行結果：

1.  
   {
2.  
     "took" : 37,
3.  
     "errors" : false,
4.  
     "items" : [
5.  
     {
6.  
         "create" : {
7.  
           "_index" : "myro-000001",
8.  
           "_type" : "_doc",
9.  
           "_id" : "wVvFtnIBUTVfQxRWwXyM",
10.  
            "_version" : 1,
11.  
            "result" : "created",
12.  
            "forced_refresh" : true,
13.  
            "_shards" : {
14.  
              "total" : 2,
15.  
              "successful" : 2,
16.  
              "failed" : 0
17.  
          },
18.  
            "_seq_no" : 0,
19.  
            "_primary_term" : 1,
20.  
            "status" : 201
21.  
        }
22.  
      },
23.  
      {
24.  
          "create" : {
25.  
            "_index" : "myro-000001",
26.  
            "_type" : "_doc",
27.  
            "_id" : "wlvFtnIBUTVfQxRWwXyM",
28.  
            "_version" : 1,
29.  
            "result" : "created",
30.  
            "forced_refresh" : true,
31.  
            "_shards" : {
32.  
              "total" : 2,
33.  
              "successful" : 2,
34.  
              "failed" : 0
35.  
          },
36.  
            "_seq_no" : 1,
37.  
            "_primary_term" : 1,
38.  
            "status" : 201
39.  
        }
40.  
      },
41.  
      {
42.  
          "create" : {
43.  
            "_index" : "myro-000001",
44.  
            "_type" : "_doc",
45.  
            "_id" : "w1vFtnIBUTVfQxRWwXyM",
46.  
            "_version" : 1,
47.  
            "result" : "created",
48.  
            "forced_refresh" : true,
49.  
            "_shards" : {
50.  
              "total" : 2,
51.  
              "successful" : 2,
52.  
              "failed" : 0
53.  
          },
54.  
            "_seq_no" : 2,
55.  
            "_primary_term" : 1,
56.  
            "status" : 201
57.  
        }
58.  
      }
59.  
    ]
60.  
    }

記錄都寫到了 myro-000001 索引下

 

3.3 執行 rollover 操作

rollover 的3個條件是並列關系，任意一個條件滿足就會發生 rollover

1.  
   POST /myro_write_alias/_ rollover
2.  
   {
3.  
     "conditions": {
4.  
       "max_age":   "7d",
5.  
       "max_docs":  3,
6.  
       "max_size": "5gb"
7.  
   }
8.  
   }

執行結果：

1.  
   {
2.  
     "acknowledged" : true,
3.  
     "shards_acknowledged" : true,
4.  
     "old_index" : "myro-000001",
5.  
     "new_index" : "myro-000002",
6.  
     "rolled_over" : true,
7.  
     "dry_run" : false,
8.  
     "conditions" : {
9.  
       "[max_docs: 3]" : true,
10.  
        "[max_size: 5gb]" : false,
11.  
        "[max_age: 7d]" : false
12.  
    }
13.  
    }

分析一下執行結果：

1.  
   "new_index" : "myro-000002"
2.  
   "[max_docs: 3]" : true,

從結果看出滿足了條件（"[max_docs: 3]" : true）發生了 rollover，新的索引指向了 myro-000002

再寫入一條記錄：

1.  
   POST /myro_write_alias/_ doc
2.  
   { "name":"xxx"}

已經寫入了新的索引,結果符合預期

1.  
   {
2.  
     "_index" : "myro-000002",
3.  
     "_type" : "_doc",
4.  
     "_id" : "BdbMtnIBgpLCCHbxhihi",
5.  
     "_version" : 1,
6.  
     "result" : "created",
7.  
     "_shards" : {
8.  
       "total" : 2,
9.  
       "successful" : 2,
10.  
        "failed" : 0
11.  
    },
12.  
      "_seq_no" : 0,
13.  
      "_primary_term" : 1
14.  
    }

 

3.4 使用 Rollover 的缺點

• 必須明確執行了 rollover 指令才會更新 rollover 的別名對應的索引

• 通常可以在寫入數據之后 再執行一下 rollover 命令，或者采用配置系統 cron 腳本的方式

• 增加了使用的 rollover 的成本，對於開發者來說不夠自動化

 

4. 方法3: 使用 ILM（Index Lifecycle Management ） 管理索引

ES 一直在索引管理這塊進行優化迭代，從6.7版本推出了索引生命周期管理（Index Lifecycle Management ，簡稱ILM)機制，是目前官方提供的比較完善的索引管理方法。所謂 Lifecycle(生命周期)是把索引定義了四個階段：

• Hot：索引可寫入，也可查詢，也就是我們通常說的熱數據，為保證性能數據通常都是在內存中的

• Warm：索引不可寫入，但可查詢，介於熱和冷之間，數據可以是全內存的，也可以是在 SSD 的硬盤上的

• Cold：索引不可寫入，但很少被查詢，查詢的慢點也可接受，基本不再使用的數據，數據通常在大容量的磁盤上

• Delete：索引可被安全的刪除

這 4個階段是 ES 定義的一個索引從生到死的過程, Hot -> Warm -> Cold -> Delete 4個階段只有 Hot 階段是必須的，其他3個階段根據業務的需求可選。

使用方法通常是下面幾個步驟：

4.1 建立 Lifecycle 策略

這一步通常在 Kibana 上操作，需要的時候再導出 ES 語句

例如下面這個策略

 

• 暫時只配置了 Hot 階段

• 為了方便驗證，最大文檔數(max_docs) 超過 2個時就 rollover

導出的語句如下

1.  
   PUT _ilm/policy/myes- lifecycle
2.  
   {
3.  
     "policy": {
4.  
       "phases": {
5.  
         "hot": {
6.  
           "min_age": "0ms",
7.  
           "actions": {
8.  
             "rollover": {
9.  
               "max_age": "30d",
10.  
                "max_size": "50gb",
11.  
                "max_docs": 2
12.  
            },
13.  
              "set_priority": {
14.  
                "priority": 100
15.  
            }
16.  
          }
17.  
        }
18.  
      }
19.  
    }
20.  
    }

 

4.2 建立索引模版

ES 語句如下：

1.  
   PUT /_template/ myes_template
2.  
   {
3.  
     "index_patterns": [
4.  
       "myes-*"
5.  
   ],
6.  
     "aliases": {
7.  
       "myes_reade_alias": {}
8.  
   },
9.  
     "settings": {
10.  
        "index": {
11.  
          "lifecycle": {
12.  
            "name": "myes-lifecycle",
13.  
            "rollover_alias": "myes_write_alias"
14.  
        },
15.  
          "refresh_interval": "30s",
16.  
          "number_of_shards": "12",
17.  
          "number_of_replicas": "1"
18.  
      }
19.  
    },
20.  
      "mappings": {
21.  
        "properties": {
22.  
          "name": {
23.  
            "type": "keyword"
24.  
        }
25.  
      }
26.  
    }
27.  
    }

 

⚠注意:

• 模版匹配以索引名稱 myes- 開頭的索引

• 所有使用此模版創建的索引都有一個別名 myes_reade_alias 用於方便查詢數據

• 模版綁定了上面創建的 Lifecycle 策略，並且用於 rollover 的別名是 myes_write_alias

4.3 創建索引

ES 語句：

1.  
   PUT /myes-testindex- 000001
2.  
   {
3.  
     "aliases": {
4.  
       "myes_write_alias":{}
5.  
   }
6.  
   }

 

⚠注意:

• 索引的名稱是 .*-d 的形式

• 索引的別名用於 lifecycle 做 rollover

4.4 查看索引配置

1.  
   GET /myes-testindex-000001
2.  
   {}

 

執行結果：

1.  
   {
2.  
     "myes-testindex-000001" : {
3.  
       "aliases" : {
4.  
         "myes_reade_alias" : { },
5.  
         "myes_write_alias" : { }
6.  
     },
7.  
       "mappings" : {
8.  
         "dynamic_templates" : [
9.  
         {
10.  
              "message_full" : {
11.  
                "match" : "message_full",
12.  
                "mapping" : {
13.  
                  "fields" : {
14.  
                    "keyword" : {
15.  
                      "ignore_above" : 2048,
16.  
                      "type" : "keyword"
17.  
                  }
18.  
                },
19.  
                  "type" : "text"
20.  
              }
21.  
            }
22.  
          },
23.  
          {
24.  
              "message" : {
25.  
                "match" : "message",
26.  
                "mapping" : {
27.  
                  "type" : "text"
28.  
              }
29.  
            }
30.  
          },
31.  
          {
32.  
              "strings" : {
33.  
                "match_mapping_type" : "string",
34.  
                "mapping" : {
35.  
                  "type" : "keyword"
36.  
              }
37.  
            }
38.  
          }
39.  
        ],
40.  
          "properties" : {
41.  
            "name" : {
42.  
              "type" : "keyword"
43.  
          }
44.  
        }
45.  
      },
46.  
        "settings" : {
47.  
          "index" : {
48.  
            "lifecycle" : {
49.  
              "name" : "myes-lifecycle",
50.  
              "rollover_alias" : "myes_write_alias"
51.  
          },
52.  
            "refresh_interval" : "30s",
53.  
            "number_of_shards" : "12",
54.  
            "translog" : {
55.  
              "sync_interval" : "5s",
56.  
              "durability" : "async"
57.  
          },
58.  
            "provided_name" : "myes-testindex-000001",
59.  
            "max_result_window" : "65536",
60.  
            "creation_date" : "1592222799955",
61.  
            "unassigned" : {
62.  
              "node_left" : {
63.  
                "delayed_timeout" : "5m"
64.  
            }
65.  
          },
66.  
            "priority" : "100",
67.  
            "number_of_replicas" : "1",
68.  
            "uuid" : "tPwDbkuvRjKtRHiL4fKcPA",
69.  
            "version" : {
70.  
              "created" : "7050199"
71.  
          }
72.  
        }
73.  
      }
74.  
    }
75.  
    }

 

⚠注意:

• 索引使用了之前建立的索引模版

• 索引綁定了 lifecycle 策略並且寫入別名是 myes_write_alias

4.5 寫入數據

1.  
   POST  /myes_write_alias/_bulk?refresh=true
2.  
   { "create":{}}
3.  
   { "name":"xxx"}
4.  
   { "create":{}}
5.  
   { "name":"xxx"}
6.  
   { "create":{}}
7.  
   { "name":"xxx"}

執行結果:

1.  
   {
2.  
     "took" : 18,
3.  
     "errors" : false,
4.  
     "items" : [
5.  
     {
6.  
         "create" : {
7.  
           "_index" : "myes-testindex-000001",
8.  
           "_type" : "_doc",
9.  
           "_id" : "jF3it3IBUTVfQxRW1Xys",
10.  
            "_version" : 1,
11.  
            "result" : "created",
12.  
            "forced_refresh" : true,
13.  
            "_shards" : {
14.  
              "total" : 2,
15.  
              "successful" : 2,
16.  
              "failed" : 0
17.  
          },
18.  
            "_seq_no" : 0,
19.  
            "_primary_term" : 1,
20.  
            "status" : 201
21.  
        }
22.  
      },
23.  
      {
24.  
          "create" : {
25.  
            "_index" : "myes-testindex-000001",
26.  
            "_type" : "_doc",
27.  
            "_id" : "jV3it3IBUTVfQxRW1Xys",
28.  
            "_version" : 1,
29.  
            "result" : "created",
30.  
            "forced_refresh" : true,
31.  
            "_shards" : {
32.  
              "total" : 2,
33.  
              "successful" : 2,
34.  
              "failed" : 0
35.  
          },
36.  
            "_seq_no" : 0,
37.  
            "_primary_term" : 1,
38.  
            "status" : 201
39.  
        }
40.  
      },
41.  
      {
42.  
          "create" : {
43.  
            "_index" : "myes-testindex-000001",
44.  
            "_type" : "_doc",
45.  
            "_id" : "jl3it3IBUTVfQxRW1Xys",
46.  
            "_version" : 1,
47.  
            "result" : "created",
48.  
            "forced_refresh" : true,
49.  
            "_shards" : {
50.  
              "total" : 2,
51.  
              "successful" : 2,
52.  
              "failed" : 0
53.  
          },
54.  
            "_seq_no" : 0,
55.  
            "_primary_term" : 1,
56.  
            "status" : 201
57.  
        }
58.  
      }
59.  
    ]
60.  
    }

 

⚠注意:

• 3 條記錄都寫到了 myes-testindex-000001 中, Lifecycle 策略明明設置的是 2條記錄就 rollover 為什么會三條都寫到同一個索引了呢?

再次執行上面的語句，寫入 3條記錄發現新的數據都寫到了 myes-testindex-000002 中, 結果符合預期。

1.  
   {
2.  
     "took" : 17,
3.  
     "errors" : false,
4.  
     "items" : [
5.  
     {
6.  
         "create" : {
7.  
           "_index" : "myes-testindex-000002",
8.  
           "_type" : "_doc",
9.  
           "_id" : "yl0JuHIBUTVfQxRWvsv5",
10.  
            "_version" : 1,
11.  
            "result" : "created",
12.  
            "forced_refresh" : true,
13.  
            "_shards" : {
14.  
              "total" : 2,
15.  
              "successful" : 2,
16.  
              "failed" : 0
17.  
          },
18.  
            "_seq_no" : 0,
19.  
            "_primary_term" : 1,
20.  
            "status" : 201
21.  
        }
22.  
      },
23.  
      {
24.  
          "create" : {
25.  
            "_index" : "myes-testindex-000002",
26.  
            "_type" : "_doc",
27.  
            "_id" : "y10JuHIBUTVfQxRWvsv5",
28.  
            "_version" : 1,
29.  
            "result" : "created",
30.  
            "forced_refresh" : true,
31.  
            "_shards" : {
32.  
              "total" : 2,
33.  
              "successful" : 2,
34.  
              "failed" : 0
35.  
          },
36.  
            "_seq_no" : 0,
37.  
            "_primary_term" : 1,
38.  
            "status" : 201
39.  
        }
40.  
      },
41.  
      {
42.  
          "create" : {
43.  
            "_index" : "myes-testindex-000002",
44.  
            "_type" : "_doc",
45.  
            "_id" : "zF0JuHIBUTVfQxRWvsv5",
46.  
            "_version" : 1,
47.  
            "result" : "created",
48.  
            "forced_refresh" : true,
49.  
            "_shards" : {
50.  
              "total" : 2,
51.  
              "successful" : 2,
52.  
              "failed" : 0
53.  
          },
54.  
            "_seq_no" : 0,
55.  
            "_primary_term" : 1,
56.  
            "status" : 201
57.  
        }
58.  
      }
59.  
    ]
60.  
    }

 

⚠注意:

• 如果按照這個步驟沒有發生自動 rollover 數據仍然寫到了 myes-testindex-000001 中，需要 配置 Lifecycle 自動 Rollover的時間間隔, 參考下文

4.6 配置 Lifecycle 自動 Rollover的時間間隔

• 由於 ES 是一個准實時系統，很多操作都不能實時生效

• Lifecycle 的 rollover 之所以不用每次手動執行 rollover 操作是因為 ES 會隔一段時間判斷一次索引是否滿足 rollover 的條件

• ES檢測 ILM 策略的時間默認為10min

修改 Lifecycle 配置：

1.  
   PUT _cluster/ settings
2.  
   {
3.  
     "transient": {
4.  
       "indices.lifecycle.poll_interval": "3s" 
5.  
   }
6.  
   }

 

 

5. ES 在 QQ 家校群作業統計功能上的實踐

疫情期間線上教學需求爆發，QQ的家校群功能也迎來了一批發展紅利，家校群的作業功能可以輕松在 QQ 群里實現作業布置，提交，批改等功能，深受師生們的喜愛。

5.1 使用場景簡介

近期推出的作業統計功能，可以指定時間段+指定科目動態給出排名，有效提高了學生答題的積極性。在功能的實現上如果用傳統的 SQL + KV 的方式實現成本比較高，要做到高性能也需要花不少精力，借助 ES 強大的統計聚合能力大大降低了開發成本，實現了需求的快速上線。

 

5.2 實際耗時情況

• 插入：～25ms

• 更新：～15ms

• 聚合：200ms 以內

 

參考鏈接(可復制鏈接至瀏覽器打開)

• 我在 Elasticsearch 集群內應該設置多少個分片？

  (https://www.elastic.co/cn/blog/how-many-shards-should-i-have-in-my-elasticsearch-cluster)

• 使用索引生命周期管理實現熱溫冷架構

  (https://www.elastic.co/cn/blog/implementing-hot-warm-cold-in-elasticsearch-with-index-lifecycle-management)

• Index lifecycle management settings in Elasticsearchedit

  (https://www.elastic.co/guide/en/elasticsearch/reference/current/ilm-settings.html)

---

關注“騰訊雲大數據”公眾號，技術交流、最新活動、服務專享一站Get~