logstash中關於Jdbc輸入配置選項詳解

Setting	Input type	Required
clean_run	boolean	No
columns_charset	hash	No
connection_retry_attempts	number	No
connection_retry_attempts_wait_time	number	No
jdbc_connection_string	string	Yes
jdbc_default_timezone	string	No
jdbc_driver_class	string	Yes
jdbc_driver_library	string	No
jdbc_fetch_size	number	No
jdbc_page_size	number	No
jdbc_paging_enabled	boolean	No
jdbc_password	password	No
jdbc_password_filepath	a valid filesystem path	No
jdbc_pool_timeout	number	No
jdbc_user	string	Yes
jdbc_validate_connection	boolean	No
jdbc_validation_timeout	number	No
last_run_metadata_path	string	No
lowercase_column_names	boolean	No
parameters	hash	No
record_last_run	boolean	No
schedule	string	No
sequel_opts	hash	No
sql_log_level	string, one of ["fatal", "error", "warn", "info", "debug"]	No
statement	string	No
statement_filepath	a valid filesystem path	No
tracking_column	string	No
tracking_column_type	string, one of ["numeric", "timestamp"]	No
use_column_value	boolean	No

clean_run

• 值類型為布爾值
• 默認值為 false

是否應保留先前的運行狀態

columns_charset

• 值類型為哈希
• 默認值為 {}

特定列的字符編碼。此選項將覆蓋:charset指定列的選項。

例：

輸入{ 
  jdbc { ... 
    columns_charset => { “ column0” => “ ISO-8859-1” } ... } }
         
    
  

這只會轉換具有ISO-8859-1作為原始編碼的column0。

connection_retry_attempts

• 值類型是數字
• 默認值為 1

嘗試連接數據庫的最大次數

connection_retry_attempts_wait_time

• 值類型是數字
• 默認值為 0.5

兩次嘗試之間休眠的秒數

jdbc_connection_string

• 這是必需的設置。
• 值類型為字符串
• 此設置沒有默認值。

JDBC連接字符串

jdbc_default_timezone

• 值類型為字符串
• 此設置沒有默認值。

時區轉換。SQL不允許在時間戳字段中輸入時區數據。此插件將以ISO8601格式的相對UTC時間自動將您的SQL時間戳字段轉換為Logstash時間戳。

使用此設置將手動分配指定的時區偏移，而不是使用本地計算機的時區設置。例如，您必須使用標准時區，例如America / Denver。

jdbc_driver_class

• 這是必需的設置。
• 值類型為字符串
• 此設置沒有默認值。

例如，如果使用的是Oracle JDBC，則按照https://github.com/logstash-plugins/logstash-input-jdbc/issues/43加載的JDBC驅動程序類，例如“ org.apache.derby.jdbc.ClientDriver” NB。驅動程序（ojdbc6.jar）正確jdbc_driver_class是"Java::oracle.jdbc.driver.OracleDriver"

jdbc_driver_library

• 值類型為字符串
• 此設置沒有默認值。

嘗試將JDBC邏輯抽象為mixin，以便在其他插件（輸入/輸出）中潛在地重用。當某人包含此模塊時，將調用此方法。將這些方法添加到給定的基礎中。第三方驅動程序庫的JDBC驅動程序庫路徑。如果需要多個庫，可以通過逗號分隔它們。

如果未提供，則插件將在Logstash Java類路徑中查找驅動程序類。

jdbc_fetch_size

• 值類型是數字
• 此設置沒有默認值。

JDBC提取大小。如果未提供，將使用各自的驅動程序默認值

jdbc_page_size

• 值類型是數字
• 默認值為 100000

JDBC頁面大小

jdbc_paging_enabled

• 值類型為布爾值
• 默認值為 false

JDBC啟用分頁

這將導致sql語句分解為多個查詢。每個查詢將使用限制和偏移量來集體檢索完整的結果集。限制大小通過設置jdbc_page_size。

請注意，不能保證查詢之間的順序。

jdbc_password

• 值類型為密碼
• 此設置沒有默認值。

JDBC密碼

jdbc_password_filepath

• 值類型是路徑
• 此設置沒有默認值。

JDBC密碼文件名

jdbc_pool_timeout

• 值類型是數字
• 默認值為 5

連接池配置。引發PoolTimeoutError之前等待獲取連接的秒數（默認為5）

jdbc_user

• 這是必需的設置。
• 值類型為字符串
• 此設置沒有默認值。

JDBC用戶

jdbc_validate_connection

• 值類型為布爾值
• 默認值為 false

連接池配置。使用前驗證連接。

jdbc_validation_timeout

• 值類型是數字
• 默認值為 3600

連接池配置。驗證連接的頻率（以秒為單位）

last_run_metadata_path

• 值類型為字符串
• 默認值為 "$HOME/.logstash_jdbc_last_run"

上次運行時間的文件路徑

lowercase_column_names

• 值類型為布爾值
• 默認值為 true

是否強制使用標識符字段的小寫

parameters

• 值類型為哈希
• 默認值為 {}

查詢參數的散列，例如 { "target_id" => "321" }

record_last_run

• 值類型為布爾值
• 默認值為 true

是否保存狀態 last_run_metadata_path

schedule

• 值類型為字符串
• 此設置沒有默認值。

定期運行語句的時間表，例如Cron格式：“ * * * * *”（每分鍾，每分鍾執行一次查詢）

默認情況下沒有時間表。如果沒有給出時間表，則該語句僅運行一次。

sequel_opts

• 值類型為哈希
• 默認值為 {}

常規/特定於供應商的續集配置選項。

可選連接池配置的示例max_connections-連接池的最大連接數

可以在此文檔頁面中找到特定於供應商的選項的示例：https : //github.com/jeremyevans/sequel/blob/master/doc/opening_databases.rdoc

sql_log_level

• 值可以是任何的：fatal，error，warn，info，debug
• 默認值為 "info"

記錄SQL查詢的日志級別，可接受的值是常見的致命，錯誤，警告，信息和調試值。默認值為info。

statement

• 值類型為字符串
• 此設置沒有默認值。

如果未定義，則即使未使用編解碼器，Logstash也會進行投訴。執行語句

要使用參數，請使用命名參數語法。例如：

“選擇*從MYTABLE WHERE id =：target_id”

在這里，“：target_id”是一個命名參數。您可以使用該parameters設置配置命名參數。

statement_filepath

• 值類型是路徑
• 此設置沒有默認值。

包含要執行的語句的文件的路徑

tracking_column

• 值類型為字符串
• 此設置沒有默認值。

值將被跟蹤的列use_column_value設置為true

tracking_column_type

• 值可以是任何的：numeric，timestamp
• 默認值為 "numeric"

跟蹤列的類型。目前僅“數字”和“時間戳”

use_column_value

• 值類型為布爾值
• 默認值為 false

設置為時true，將定義的 tracking_column值用作:sql_last_value。設置為時false，:sql_last_value反映上一次執行查詢的時間。

常用選項

Setting	Input type	Required
add_field	hash	No
codec	codec	No
enable_metric	boolean	No
id	string	No
tags	array	No
type	string	No

add_field

• 值類型為哈希
• 默認值為 {}

向事件添加字段

codec

• 值類型為編解碼器
• 默認值為 "plain"

用於輸入數據的編解碼器。輸入編解碼器是一種在數據輸入之前解碼數據的便捷方法，而無需在Logstash管道中使用單獨的過濾器。

enable_metric

• 值類型為布爾值
• 默認值為 true

默認情況下，為此特定插件實例禁用或啟用度量標准日志記錄，我們會記錄所有可以度量的數據，但是您可以禁用特定插件的度量標准收集。

id

• 值類型為字符串
• 此設置沒有默認值。

ID向插件配置添加唯一。如果未指定ID，Logstash將生成一個。強烈建議在您的配置中設置此ID。當您有兩個或多個相同類型的插件時，例如在您有2個jdbc輸入時，這特別有用。在這種情況下，添加命名ID將有助於在使用監視API時監視Logstash。

輸入{ 
  jdbc { 
    id => “ my_plugin_id” } } 
  

tags

• 值類型為數組
• 此設置沒有默認值。

將任意數量的任意標簽添加到您的事件中。

這可以幫助以后進行處理。

type

• 值類型為字符串
• 此設置沒有默認值。

type向此輸入處理的所有事件添加一個字段。

類型主要用於過濾器激活。

該類型存儲為事件本身的一部分，因此您也可以使用該類型在Kibana中進行搜索。