elasticsearch-數據遷移解決方案 零停機


https://blog.csdn.net/chuan442616909/article/details/55505692

重新索引你的數據

盡管可以增加新的類型到索引中,或者增加新的字段到類型中,但是不能添加新的分析器或者對現有的字段做改動。 如果你那么做的話,結果就是那些已經被索引的數據就不正確, 搜索也不能正常工作。

對現有數據的這類改變最簡單的辦法就是重新索引:用新的設置創建新的索引並把文檔從舊的索引復制到新的索引。

字段 _source 的一個優點是在Elasticsearch中已經有整個文檔。你不必從源數據中重建索引,而且那樣通常比較慢。

為了有效的重新索引所有在舊的索引中的文檔,用 scroll 從舊的索引檢索批量文檔 , 然后用 bulk API 把文檔推送到新的索引中。

從Elasticsearch v2.3.0開始, {ref}/docs-reindex.html[Reindex API] 被引入。它能夠對文檔重建索引而不需要任何插件或外部工具。

批量重新索引

同時並行運行多個重建索引任務,但是你顯然不希望結果有重疊。正確的做法是按日期或者時間 這樣的字段作為過濾條件把大的重建索引分成小的任務:

GET /old_index/_search?scroll=1m { "query": { "range": { "date": { "gte": "2014-01-01", "lt": "2014-02-01" } } }, "sort": ["_doc"], "size": 1000 }

如果舊的索引持續會有變化,你希望新的索引中也包括那些新加的文檔。那就可以對新加的文檔做重新索引, 但還是要用日期類字段過濾來匹配那些新加的文檔。

 

索引別名和零停機

在前面提到的,重建索引的問題是必須更新應用中的索引名稱。 索引別名就是用來解決這個問題的!

索引 別名 就像一個快捷方式或軟連接,可以指向一個或多個索引,也可以給任何一個需要索引名的API來使用。別名 帶給我們極大的靈活性,允許我們做下面這些:

  • 在運行的集群中可以無縫的從一個索引切換到另一個索引

  • 給多個索引分組 (例如, last_three_months)

  • 給索引的一個子集創建 視圖

在后面我們會討論更多關於別名的使用。現在,我們將解釋怎樣使用別名在零停機下從舊索引切換到新索引。

有兩種方式管理別名: _alias 用於單個操作, _aliases 用於執行多個原子級操作。

在本章中,我們假設你的應用有一個叫 my_index 的索引。事實上, my_index 是一個指向當前真實索引的別名。真實索引包含一個版本號: my_index_v1 , my_index_v2 等等。

首先,創建索引 my_index_v1 ,然后將別名 my_index 指向它:

PUT /my_index_v1 (1) PUT /my_index_v1/_alias/my_index (2)
  1. 創建索引 my_index_v1 。

  2. 設置別名 my_index 指向 my_index_v1 。

你可以檢測這個別名指向哪一個索引:

GET /*/_alias/my_index

或哪些別名指向這個索引:

GET /my_index_v1/_alias/*

兩者都會返回下面的結果:

{
    "my_index_v1" : { "aliases" : { "my_index" : { } } } }

然后,我們決定修改索引中一個字段的映射。當然,我們不能修改現存的映射,所以我們必須重新索引數據。 首先, 我們用新映射創建索引 my_index_v2 :

PUT /my_index_v2 { "mappings": { "my_type": { "properties": { "tags": { "type": "string", "index": "not_analyzed" } } } } }

然后我們將數據從 my_index_v1 索引到 my_index_v2 ,下面的過程在 [reindex] 中已經描述過。一旦我們確定文檔已經被正確地重索引了,我們就將別名指向新的索引。

一個別名可以指向多個索引,所以我們在添加別名到新索引的同時必須從舊的索引中刪除它。這個操作需要原子化,這意味着我們需要使用 _aliases 操作:

POST /_aliases { "actions": [ { "remove": { "index": "my_index_v1", "alias": "my_index" }}, { "add": { "index": "my_index_v2", "alias": "my_index" }} ] }

你的應用已經在零停機的情況下從舊索引遷移到新索引了。

Tip

即使你認為現在的索引設計已經很完美了,在生產環境中,還是有可能需要做一些修改的。

做好准備:在你的應用中使用別名而不是索引名。然后你就可以在任何時候重建索引。別名的開銷很小,應該廣泛使用。

 

 

 

 

 

 

@羲凡——只為了更好的活着

Elasticsearch 新舊索引數據遷移(_reindex)
舉個例子,在輸入“1992-02-27”這樣格式的數據,es會把他默認為是date數據類型,但是有時候我們希望它是text類型,在原索引中已經有數據的情況下該如何操作。

1.創建原索引
PUT /aaron_index/aaron_type/1
{
"name":"張遼","age":27,"content":"1992-02-27"
}
PUT /aaron_index/aaron_type/2
{
"name":"曹阿瞞","age":28,"content":"1991-02-19"
}
1
2
3
4
5
6
7
8
2.創建新索引
PUT /aaron_index_new
{
"mappings": {
"aaron_type":{
"properties":{
"content":{"type":"text"},
"name":{"type":"text"}
}
}
}
}
1
2
3
4
5
6
7
8
9
10
11
PUT /aaron_index_new/aaron_type/2
{
"name":"曹操","content":"1991-02-19,28歲"
}
1
2
3
4
3.查看兩個索引的mapping類型
GET /aaron_index/_mapping
1
GET /aaron_index_new/_mapping
1
4.將原索引全部放入新索引中,_id沖突的以原索引為准
雖然新索引中只有兩個字段(原索引中有三個),也會將原索引中的數據插入新索引中,並覆蓋_id相同的數據。

POST _reindex
{
"source": {"index": "aaron_index"},
"dest": {"index": "aaron_index_new"}
}
1
2
3
4
5
5.將原索引放入新索引中,_id沖突的以新索引為准
雖然新索引中只有兩個字段(原索引中有三個),也會將原索引中的數據插入新索引中,但不覆蓋_id相同的數據。

POST _reindex
{
"conflicts": "proceed",
"source": {"index": "aaron_index"},
"dest": {"index": "aaron_index_new","op_type": "create"}
}
1
2
3
4
5
6
====================================================================

@羲凡——只為了更好的活着
————————————————
版權聲明:本文為CSDN博主「羲凡丞相」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/weixin_42003671/article/details/96485675

 

 

 

 

 

 

 

 

 

 

 

 

es 修改 mapping 字段類型

 

一、原索引

1
2
3
4
5
6
7
8
9
10
11
12
13
14
PUT my_index
{
   "mappings" : {
     "_doc" : {
       "properties" : {
         "create_date" : {
           "type" :    "date" ,
           "format" "yyyy-MM-dd ||yyyy/MM/dd"
           
         }
       }
     }
   }
}

  二、創建新索引

1
2
3
4
5
6
7
8
9
10
11
12
13
PUT my_index2
{
   "mappings" : {
     "_doc" : {
       "properties" : {
         "create_date" : {
           "type" :    "text"
           
         }
       }
     }
   }
}

  三、同步數據

1
2
3
4
5
6
7
8
9
POST _reindex                   
{
   "source" : {
     "index" "my_index"
   },
   "dest" : {
     "index" "my_index2"
   }
}

  四、刪除原索引

1
DELETE my_index

  五、設置別名

1
2
3
4
5
6
POST  /_aliases
   {
         "actions" : [
             { "add" : { "index" "my_index2" "alias" "my_index" }}
         ]
   }

 

 

https://www.cnblogs.com/royfans/p/11436395.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM