logstash-5.0同步mysql

環境

• Windows10企業版X64

安裝logstash-input-jdbc插件

進入logstash/bin/目錄，命令：

logstash-plugin install logstash-input-jdbc

執行效果如下：

注：刪除插件命令：

 logstash-plugin remove logstash-input-jdbc

 

查看可用插件列表命令用：

 logstash-plugin list

 

mysql存在的數據庫及表

 

數據庫名為m8，測試數據有8張表，約38萬條數據。

需要兩個文件：1）jdbc.conf，2)jdbc.sql。

在logstash/bin目錄下新建jdbc.conf文件，內容如下：

input {
  stdin {
  }
  jdbc {
  # mysql jdbc connection string to our backup databse
  jdbc_connection_string => "jdbc:mysql://localhost:3306/m8"
  # the user we wish to excute our statement as
  jdbc_user => "xuxy03"
  jdbc_password => "xuxy03"
  # the path to our downloaded jdbc driver
  jdbc_driver_library => "E:/data_json/mysql-connector-java-5.1.30.jar"
  # the name of the driver class for mysql
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  jdbc_paging_enabled => "true"
  jdbc_page_size => "50000"
#以下對應着要執行的sql的絕對路徑。
  statement_filepath => "E:/data_json/jdbc.sql"
#定時字段 各字段含義（由左至右）分、時、天、月、年，全部為*默認含義為每分鍾都更新（測試結果，不同的話請留言指出）
  schedule => "* * * * *"
#設定ES索引類型
  type => "bd_dev_dlq"
  }
}

filter {
  json {
  source => "message"
  remove_field => ["message"]
  }
}

output {
  elasticsearch {
#ESIP地址與端口
  hosts => "localhost:9200"
#ES索引名稱（自己定義的）
  index => "m8"
#自增ID編號
  document_id => "%{id}"
  }
  stdout {
#以JSON格式輸出
  codec => json_lines
  }
}

 E:/data_json/jdbc.sql文件內容如下：

select * from bd_dev_dlq;

（經測試：如果指定導出字段，則只能導出最新一條數據。用*才能導出該表全量數據。而且只支持單條sql）

啟動ES5。

再啟動logstash：

bin/logstash -f jdbc.conf

logstash啟動效果圖：

 

 參考文章：http://blog.csdn.net/laoyang360/article/details/51747266