使用logstash遷移elasticsearch數據

支持同集群復制和跨集群復制

優點：通過簡單配置即可實現、零編碼。

缺點：logstash 單點運行遷移，速度一般。

 

以es2.2.1  logstash2.2.1 為例

以下logstash 配置功能為遷移同一個集群 索引 hottest_20170805_bak2 到  hottest_20170805_bak3

如果是跨集群修改ip即可

#logstash 輸入插件
input {
  elasticsearch {
    hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #來源集群
    index => "hottest_20170805_bak2"
    size => 1000
    scroll => "5m"
    docinfo => true
    scan => true
  }
}

filter {
  mutate {
    remove_field => ["@timestamp", "@version"]  #過濾掉logstash 自己加上的字段 16   }
}

#logstash 輸出插件
output {
  elasticsearch {
    hosts => [ "192.168.126.132:9200", "192.168.126.134:9200", "192.168.126.135:9200" ] #目標集群
    index => "hottest_20170805_bak3"  
    #index => "%{[@metadata][_index]}"  和來源索引相同
    document_type => "%{[@metadata][_type]}"  #和來源索引相同
    document_id => "%{[@metadata][_id]}"
    flush_size => 100 #批量提交數量
    workers => 4 #並行數量
  }
}

 

啟動logstash，-f 指向配置文件地址。

 

logstash 配置參考

官網
input 插件參數
https://www.elastic.co/guide/en/logstash/2.2/plugins-inputs-elasticsearch.html
output 插件參數
https://www.elastic.co/guide/en/logstash/2.2/plugins-outputs-elasticsearch.html