logstash-kafka


input {

  kafka{

    bootstrap_servers => ["kafka-cn-internet.aliyun.com:8080"] #kafka系統的連接地址  
    client_id => ‘tt‘ #客戶端上傳到es時,新增字段
    group_id => "CID-LOG" #kafka分組的信息
    auto_offset_reset => "latest" #從最新的偏移量開始消費
    consumer_threads => 5
    decorate_events => true #此屬性會將當前topic、offset、group、partition等信息也帶到message中
    topics => ["alikafka-cid-log"] #//數組類型,可配置多個topic 跟
    type => "bhy" #//所有插件通用屬性,尤其在input里面配置多個數據源時很有用
    security_protocol => "SASL_SSL" #kafka連接阿里雲的協議
    sasl_mechanism => "ONS" #kafka阿里雲的消費機制, logstash中默認的是 GSSAPI
    jaas_path => "/data/logstash/config/kafka_client_jaas.conf" # ONS登錄信息的路徑
    ssl_keystore_location => ‘/data/logstash/config/kafka.client.truststore.jks‘ #證書
    ssl_truststore_location => ‘/data/logstash/config/kafka.client.truststore.jks‘#信任證書
    ssl_keystore_password => "xxxx" #證書密碼
    ssl_truststore_password => "xxxx" #證書密碼

    codec => json {
      charset => "UTF-8"
    }

  }

}

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM