Elasticsearch分片&副本分配

集群索引中可能由多個分片構成，並且每個分片可以擁有多個副本，將一個單獨的索引分為多個分片，可以處理不能在單一服務器上運行的
大型索引.
由於每個分片有多個副本，通過副本分配到多個服務器，可以提高查詢的負載能力.
為了進行分片和副本操作，需要確定將這些分片和副本放到集群節點的哪個位置，需要確定把每個分片和副本分配到哪台服務器/節點上.

1.索引創建&指定節點參數：
$curl -XPOST 'http://localhost:9200/filebeate-ali-hk-fd-tss1'
$curl -XPUT 'http://localhost:9200/filebeat-ali-hk-fd-tss1/_settings' -d '{
"index.routing.allocation.include.zone":"ali-hk-ops-elk1"
}'
將索引指定存放在elk1的節點上

$curl -XPUT 'http://localhost:9200/filebeat-ali-hk-fd-tss1/settings' -d '{
"index.routing.allocation.include._ip":"ip_addr1,ip_addr2"
}'
根據ip地址指定索引的分配節點

2.排除索引分配的節點：
$curl -XPOST 'http://localhost:9200/filebeat-ali-hk-fd-tss2'
$curl -XPUT 'http://localhost:9200/filebeat-ali-hk-fd-tss2/_setting' -d '{
"index.routing.allocation.exclude.zone":"ali-hk-ops-elk2"
}'

$curl -XPUT 'http://localhost:9200/filebeat-ali-hk-fd-tss2/_setting' -d '{
"index.routing.allocation.exclude._ip":"ip_addr1,ip_addr2"
}'
根據ip地址排除索引分配的節點

3.每個節點上分片和副本數量的控制：
對一個索引指定每個節點上的最大分片數量：
$curl -XPUT 'http://localhost:9200/filebeat-ali-hk-fd-tss1/_settings' -d '{
"index.routing.allocation.total_shards_per_node":1
}'

如果配置不當，導致主分片無法分配的話，集群就會處於red狀態.

4.手動移動分片和副本：
移動分片：
$curl -XPOST 'http://localhost:9200/_cluster/reroute' -d '{
"commands":[{
"move":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"from_node":"ali-hk-ops-elk1",
"to_node":"ali-hk-ops-elk2"
}
}]
}'

取消分片：
$curl -XPOST 'http://localhost:9200/_cluster/reroute' -d '{
"commands":[{
"cancel":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"node":"ali-hk-ops-elk1"
}
}]
}'

分配分片：
$curl -XPOST 'http://localhost:9200/_cluster/reroute' -d '{
"commands":[{
"allocate":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"node":"ali-hk-ops-elk1"
}
}]
}'

將某個未分配的索引手動分配到某個節點上.

$curl -XPOST 'http://localhost:9200/_cluster/reroute' -d '{
"commands":[
{
"move":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"from_node":"ali-hk-ops-elk1",
"to_node":"ali-hk-ops-elk2"
}
},
{
"cancel":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"node":"ali-hk-ops-elk1"
}
},
{
"allocate":{
"index":"filebeat-ali-hk-fd-tss1",
"shard":1,
"node":"ali-hk-ops-elk1"
}
}
]
}'

5.關於unassigned shards的問題解決：

1)出現大量的unassigned shards
2)集群的狀態為：red

集群狀態：red-->存在不可用的主分片

A:fix unassigned shards:
查看所有分片的狀態：
$curl -XGET 'http://localhost:9200/_cat/shards'
查詢所有unassigned的分片：
$curl -XGET 'http://localhost:9200/_cat/shards' | grep UNASSIGNED

B:查詢得到master節點的唯一標識：
$curl -XGET 'http://localhost:9200/_nodes/process?pretty=true'

C:執行route對unassigned的索引進行手動分片：
for index in $(curl -XGET 'http://localhost:9200/_cat/shards' | grep UNASSIGNED |awk '{print $1}'|sort |uniq):do
for shards in $(curl -XGET 'http://localhost:9200/_cat/shards' | grep UNASSIGNED | grep $index | awk '{print $2}'|sort|uniq):do
curl XPOST 'http://localhost:9200/_cluster/reroute'-d '{
"commands":[
{
"allocate":{
"index":$index,
"shards":$shards,
"node":"ali-k-ops-elk1",
"allow_primary":"true"
}
}
]
}'
done
done