【轉載請注明】：
原文出處：http://www.yund.tech/zdetail.html?type=1&id=f7a448de25aeeb8e03435fc0d3054b0c 作者：jstarseven 碼字挺辛苦的.....
ElasticSearch的索引可以手動添加索引的，就是類似下面這樣添加的
PUT /movies/movie/1 { "title": "The Godfather", "director": "Francis Ford Coppola", "year": 1972, "genres": ["Crime", "Drama"] }但是如果很多的信息，這樣添加顯然是不可能的，尤其是一般數據都在數據庫中。
於是elasticsearch提供了可以直接和數據庫關聯，並且自動根據數據庫中的數據更新索引logstash。
安裝logstash
logstash的安裝和elasticsearch的安裝是一樣簡單的，就是那種拆箱即用的。目前最新的版本是5.5.0，注意這個版本需要和elasticsearch的版本一致。
下載安裝
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip下載完之后
unzip logstash-5.5.0.zip之后將文件移動到自己存放的目錄即可。
啟動服務測試一下是否安裝成功：
cd bin ./logstash -e 'input { stdin { } } output { stdout {} }'如果出現下面的東西就表示成功： 
輸入隨便什么內容：
HelloWorld就會變成下面這樣：
基本上這樣就算是安裝成功了（其實好像並沒有安轉，只是下載而已）
安裝logstash-input-jdbc插件
在我安裝完這東西之后，看到好像可以不用安裝這個就可以直接和數據庫同步的，但是由於重新安裝太麻煩了，而且沒有其他的服務器給我試，就沒有去試試看行不行。
我主要參考的是http://blog.csdn.net/yeyuma/article/details/50240595這位老鐵的方法。
安裝logstash是一件比較蛋疼的事，因為這東西適用ruby開發的，我對ruby這東西是一點也不懂，所以比較不好弄。
如果沒有gem命令的話，需要先安裝一下子（root用戶才可以）
yum install gem替換ruby鏡像庫為國內的庫，因為國外的庫，國內是訪問不到的，然后國內有兩個庫，兩個庫都是可以用的：
1、替換成ruby-china的庫
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/查看是否成功
gem sources -l
2、國內還有一個庫，是淘寶的：
gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/可以同樣用gem sources -l查看是否替換成功。
替換完之后，進入logstash-5.5.0，修改Gemfile文件里面的數據源：
vi Gemfile修改成這個樣子：
source "https://gems.ruby-china.org"如果用的用的是淘寶的庫，就修改成這樣
source "https://ruby.taobao.org"好了，這樣ruby的安裝環境就算是配好了。
進入到logstash的bin下
cd bin
./plugin install logstash-input-jdbc等待一整子，挺久的，如果成功那就安裝成功了。
如果不成功，可以嘗試一下下面這個東西，如果沒記錯的話，我好像就是用這種方法安裝的：
cd logstash-5.5.0 wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip unzip v1.0.0.zip cd logstash-input-jdbc-1.0.0/修改Gemfile里面的source，和上面修改是一樣的。
然后
vi logstash-input-jdbc.gemspec再
s.files = `git ls-files`.split($\) 改為： s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]繼續
gem build logstash-input-jdbc.gemspec得到
cd .. cd bin ./logstash install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem然后等着就好了。如果提示成功了，就安裝成功了，如果還是失敗，多嘗試幾下第一種方式，我在另一個服務器嘗試了幾次第一種方式就莫名其妙成功了。如果還失敗，就在查查資料吧。
測試一下安裝成功了嗎：
在此之前，需要一個mysql數據庫連接包，mysql-connector-java-6.0.6.jar，隨便什么版本應該都是可以的，可以使用wget下下來，也可以從本地下下來之后rz上傳到服務器，這里就省略了。
在bin下新建一個目錄config-mysql創建mysql.conf文件：
mkdir config-mysql cd config-mysql vim mysql.conf 在文件中輸入下面的內容：
input {
stdin {
}
jdbc {
# 數據庫 jdbc_connection_string => "jdbc:mysql://localhost:3306/test01" # 用戶名密碼 jdbc_user => "root" jdbc_password => "123456" # jar包的位置 jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar" # mysql的Driver jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => "true" jdbc_page_size => "50000" #statement_filepath => "config-mysql/test02.sql" statement => "select * from test02" schedule => "* * * * *" #索引的類型 type => "test02" } } filter { json { source => "message" remove_field => ["message"] } } output { elasticsearch { hosts => "127.0.0.1:9200" # index名 index => "test01" # 需要關聯的數據庫中有有一個id字段，對應索引的id號 document_id => "%{id}" } stdout { codec => json_lines } }注意關聯的數據庫表中需要有id字段用來映射形成的索引的id號。
終於把工作都做完了。
進入bin目錄下：
./logstash -f config-mysql/mysql.conf等一會之后，就會看到數據庫中的數據被讀取出來，然后加載進索引，在sense可以查詢到剛剛添加的索引的
GET /_search 然后往數據庫中添加一些新的數據之后等待大概30S之后重新索引，就會看到索引被更新了。回到linux下，會看到，沒過一段時間，logstash就會重新掃描一下數據庫，通過這樣的方式，實現和mysql數據庫的同步。
-END-
