Docker-compose搭建ELK環境並同步MS SQL Server數據

本文轉載自查看原文 2021-06-11 16:11 349 環境配置/ Docker/ ELK

前言

本文作為學習記錄，供大家參考：一次使用阿里雲(Aliyun)1核2G centos7.5 雲主機搭建Docker下的ELK環境，並導入MS SQL Server的商品數據以供Kibana展示的配置過程。

關於Docker配置，本文直接使用開源項目 docker-elk(該項目維護了一個 Docker Compose 版的 Elastic Stack), 在其上做簡單修改。

參考文章：
SQL Server數據同步到ELK
使用 Docker 搭建 ELK 環境

1. 環境准備

1.1 Docker & Docker Compose

官網下載安裝 Docker 和 Docker Compose

注：對於 Win/MacOS系統安裝 Docker 后自帶 Docker Compsoe，不需要再次安裝。

Docker安裝好后，建議先配置相關權限，官方文檔：linux-postinstall

1.2 docker-elk 項目

git clone https://github.com/deviantony/docker-elk.git /app/docker-elk

克隆到指定目錄，這里指定到 /app/docker-elk

該項目初始結構（elk version 7.13）如下：
├── docker-compose.yml
├── docker-stack.yml
├── elasticsearch
│ ├── config
│ │ └── elasticsearch.yml
│ └── Dockerfile
├── extensions
│ ├── apm-server
│ ├── app-search
│ ├── curator
│ ├── logspout
├── kibana
│ ├── config
│ │ └── kibana.yml
│ └── Dockerfile
├── LICENSE
├── logstash
│ ├── config
│ │ └── logstash.yml
│ ├── Dockerfile
│ └── pipeline
│ └── logstash.conf
└── README.md
└── .env

1.3 docker compose

據官網介紹，docker compose 是一個方便配置多 container 的工具。之前一個容器一個容器的 run ，有好多配置要直接寫在命令行上，如果需要再次運行就要再寫一遍參數很不方便。compose 文檔：docker-compsoe

注：項目根目錄下的 .env 文件中定義了一個變量，指定了 elk 的版本，默認是 latest。可自行修改，修改后需要 build 才會生效：docker-compose build。欲知詳情請參考項目文檔。

要運行 docker compose 項目，請切換到項目根目錄，然后運行 docker-compose up [service name]命令，如果不指定 service name，則啟動所有服務。至於停止運行等其他的命令，請去參考文檔內容。這里建議初次使用之前至少認真閱讀一遍文檔。

2 Elastics Stack 的配置

首先進行下述配置：

修改/etc/sysctl.conf:vm.max_map_count = 262144，修改完運行 sysctl -p使之生效或者退出當前終端重進使之生效。
elasticsearch.yml 配置文件中的 xpack.license.self_generated.type 修改為 basic 來禁用 X-Pack 相關收費功能。
由於機器內存太小，導致實際運行中容器各種退出，我選擇將 Elastic Stack 三者的 xpack.monitoring.enabled 統統關閉。打開 .yml，修改相應配置項為：
```
 xpack.monitoring.collection.enabled: false
 xpack.monitoring.enabled: false
```
特別注意，對於阿里雲服務器，還需要配置安全組規則以開放 docker 的端口，否則外網無法訪問 docker 容器。本文添加端口規則如圖：

接下來分別記錄 Elastic Stack 的配置。需要說明的是，關於這三者的配置，前面提到過，編排文件可以極大的方便 docker 的容器配置，尤其是多容器場景，使 docker 更方便的 run。同時，每個容器在編排文件里的環境變量(？) enviroment 里也可以進行此容器本身的配置。也就是說，本文要配置的 Elastic Stack，既可以找到他們各自目錄里的 .yml 在里面寫配置項，也可以在編排文件里找到各容器的 environment 屬性，在其下寫配置項。

2.1 Elasticsearch

Docker compose 編排文件（docker-compose.yml）里的 Elasticsearch service 定義了 Elasticsearch 的 docker 配置，以及一些 Elasticsearch 本身的運行參數。本文主要進行了 Elasticsearch logging 寫入文件並持久化保存到磁盤以及跨域開啟這兩點設置。

2.1.1 跨域

首先進行跨域開啟設置。為了能用 elasticsearch-head 插件訪問 elasticsearch，elasticsearch 需要開啟跨域。

如前所述，直接在 docker-compose.yml 里配置和在 elasticsearch.yml 里配置這兩種方式都可以。本文直接在編排文件里配。找到 elasticsearch service 的 environment 屬性，在其下添加（參考 elasticsearch-head 文檔）：

  http.cors.enabled: "true"
  http.cors.allow-origin: "*"

因為 docker-elk 項目初始的 Elastic Stack 都有認證機制，故還需要添加：

  http.cors.allow-headers: "Content-Type,Content-Length,Authorization"
  http.cors.allow-credentials: "true"

此時，啟動 elasticsearch 容器：docker-compose up elasticsearch，瀏覽器用 elasticsearh-head 訪問 http://yourhost:9200/ 可以看到仍無法連接，打開F12，會發現 ERROR CODE 401。這時參考 elasticsearch-head 文檔中的說明，在地址后添加認證信息：http://yourhost:9100/?auth_user=elastic&auth_password=changeme。注意，本文這里的用戶名和密碼用的是默認的。

2.1.2 logging

Elasticsearch 的運行日志記錄(logging)一般而言不需要，但本文在此次部署過程中發生了多起 elasticsearch 的報錯事件，為方便填坑學習，本文配置日志記錄並做持久化。

Elastic Stack 運行日志默認輸出到 console，在屏幕上可以看到，但是寫到文件里則需要配置日志保存的路徑（容器內的路徑）：

path.logs: /usr/share/elasticsearch/logs

下一步是配置 log4j2.properties 這個文件。在 elasticsearch config 下新建一個文件，叫做log4j2.properties。其內容本文選擇從容器內拷貝過來。注意，容器內有兩個長得比較像的文件，一個是 log4j2.properties，另一個是log4j2.file.properties。其區別是后者多了日志寫入到文件的配置。所以，后者的內容是我們需要拷貝的。

文件新建好后，需要綁定到容器內。打開 docker-compose.yml，在 elasticsearch 的 volumes 里添加：

- type: bind
    source: ./elasticsearch/config/log4j2.properties
    target: /usr/share/elasticsearch/config/log4j2.properties
    read_only: true

當然，實現配置映射還有其他方式，本文采用上述這種方式，即通過綁定掛載文件的方式。關於綁定掛載下文會再次提及。

此時，啟動容器，並進入容器內部，查看對應文件夾是否有 log 文件。如果沒有 log 文件請逐一檢查上述配置，有時可能只是筆誤打錯了字導致。

注：每次修改配置文件后需要重新啟動。如果配置仍不生效，手動停止容器docker stop [container id]然后手動啟動docker-compose up logstash。這里記錄一下，docker-compose down 命令是停止並移除實例(docker-compose down -v 命令則會連同 volume 一起移除)。

關於 logging 的其他內容，參考官方文檔

以上並沒有對日志數據做持久化，這里先不進行此步，留待下文再說。

2.2 Logstash

本文主要的工作量其實都在Logstash，故 Logstash 的配置內容還是比較多的。

關於從 sql server 導入數據到 es，本文采用方案：https://www.cnblogs.com/baiyunchen/p/11216165.html

2.2.1 導入數據

首先，下載 jdbc jar 包，地址：https://docs.microsoft.com/en-us/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-2017
下載后解壓到相應路徑。

然后，准備好一份 .conf 文件，下面給出模板。

input {
  jdbc {
    jdbc_driver_library => "/usr/local/logstash-7.2.0/lib/mssql-jdbc-7.2.2/mssql-jdbc-7.2.2.jre8.jar" # 這里請靈活應變，能找到我們上一步下載的jdbc jar包即可
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver" # 這個名字是固定的
    jdbc_connection_string => "jdbc:sqlserver: //數據庫ServerIP:1433;databaseName=數據庫名;"
    jdbc_user => "數據庫賬號"
    jdbc_password => "數據庫密碼"
    schedule => "* * * * *" # Corn 表達式，請自行百度寫法
    jdbc_default_timezone => "Asia/Shanghai"
    jdbc_page_size => "500" # 每一批傳輸的數量
    record_last_run => "true" #是否保存狀態 
    use_column_value => "true" #設置為時true，使用定義的 tracking_column值作為:sql_last_value。設置為時false，:sql_last_value反映上次執行查詢的時間。
    tracking_column => "LastModificationTime" #配合use_column_value使用
    last_run_metadata_path => "/usr/opt/logstash/config/last_value" #記錄:sql_last_value的文件
    lowercase_column_names => "false" #將DB中的列名自動轉換為小寫
    tracking_column_type => "timestamp" #tracking_column的數據類型，只能是numberic和timestamp
    clean_run => "false" #是否應保留先前的運行狀態，具體參考文檔~~
    #statement => "SELECT * FROM 表 WITH(NOLOCK) WHERE LastModificationTime > :sql_last_value" #從DB中抓數據的SQL腳本
    statement_filepath => "/file/path/some.sql" #文件形式的SQL腳本，路徑注意雙引號括起來
 }
}
output {
 elasticsearch {
    index => "your_index"
    document_id => "%{Id}"
    hosts => ["elasticsearch:9200"]
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
 }
}

上面的 input jdbc plugin 中 SQL 語句配置了 statement_filepath。因此對應的 some.sql 文件也需要通過 bind-mount 綁定到容器中。

關於 input 的 jdbc plugin，可以參考文檔：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

這里再給出一份正式版本的 .conf 文件：

input {
 jdbc {
    jdbc_driver_library => "/usr/share/logstash/lib/sqljdbc_9.2/chs/mssql-jdbc-9.2.1.jre11.jar"
    jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
    jdbc_connection_string => "jdbc:sqlserver://yourip:1433;databaseName=yourDB;"
    jdbc_user => "user_name"
    jdbc_password => "your_passwd"
    schedule => "*/15 * * * *"
    jdbc_default_timezone => "Asia/Shanghai"
    jdbc_page_size => "500"
    record_last_run => "true"
    #use_column_value => "true"
    #tracking_column => "LastModificationTime"
    last_run_metadata_path => "/usr/share/logstash/config/last_value"
    lowercase_column_names => "false"
    tracking_column_type => "timestamp"
    clean_run => "false"
    statement_filepath => "/usr/share/logstash/item_warehouse.sql"
    #statement => "SELECT * FROM Table1 WITH(NOLOCK) WHERE (LastModificationTime >= :sql_last_value OR CreationTime >= :sql_last_value) AND IsDeleted=0"
 }
}
filter {
    mutate {
            rename => {"Field1" => "字段1" "Field2" => "字段2" }
    }
}
output {
elasticsearch {
    index => "your_index"
    document_id => "%{Id}"
    hosts => ["elasticsearch:9200"]
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
 }
}

這里定時查詢以跟蹤表 Table1 的變化，依據是上一次查詢時間。第一次查詢的初始時間是'1970-01-01 08:00'，具體請查看上述 jdbc 文檔。這里的 filter 用來完成重命名字段名稱的工作。

此時，運行 Elasticsearch 和 Logstash，在 head 插件上打開可以看到相應的 index 及其 document。

2.2.2 logging

與 Elasticsearch 一樣，本文出於排除 Bug 的需要，配置 logstash 的 logging。參考：官方文檔，pipeline logs

log 寫入的配置與前文 Elasticsearch 一樣，需要指定 logs 文件夾的路徑。

另外，可以順便指定 log 的 level 和格式。log level 默認是 info 級別的。在 yml 中添加如下三行。

log.level: info
path.logs: /usr/share/logstash/logs
log.format: plain

logstash 同樣需要配置log4j2.properties文件。如果不指定，則使用默認的文件。這里要注意，默認的文件是 docker 版的，比正常版本的簡化了很多。這里貼出正常版本的 logstash (version 7.12)的log4j2.properties地址：https://github.com/elastic/logstash/blob/7.12/config/log4j2.properties

新建的log4j2.properties文件同樣需要 bind mount，步驟與前文 Elasticsearch 雷同，此處不再贅述。

以上兩點配置好后，運行 logstash，發現 logs 下會有相應文件。

下面將 log 保存到硬盤以持久化數據。思路是利用數據卷 volume。這里還可以用 bind mount 綁定掛載實現數據持久化到硬盤，不過本文沒有深入探究。關於 volume 和 bind mount 的內容請看文檔：volumes，bind-mounts and volumes。

打開 docker-compose.yml 到文件末尾找到 volumes，在其下添加 named volume，如下所示：
```
 volumes:
   elasticsearch:
   logstash_logging:
   elasticsearch_logging:
```
在此，一並將上文 Elasticsearch 的日志數據卷添加進去。
分別給 logstash 和 elasticsearch 配置 volumes 項，如下所示：
```
 - type: volume
   source: elasticsearch_logging
   target: /usr/share/elasticsearch/logs
```
source 為剛才定義的 volumes 名字，target 為在 .yml 里配置 path.logs 的路徑。

運行容器，然后運行docker volume ls和docker volume inspect volume_name命令查看 elasticsearch 和 logstash 的 volume 路徑。

可以看到，在 elasticsearch logging 的目錄下有相應的文件。而 logstash 下卻沒有。進入 logstash 容器，找到之前的 logs 文件夾，發現其為空文件夾。

這是因為，logstash 容器是以 logstash 用戶運行的，而自動生成的 volume 數據卷的存儲目錄需要 root 權限。反觀 elasticsearch，它默認是以 root 用戶運行的。這一點在進入容器后也可以觀察到。所以，本文的解決方案是，設置 logstash 以 root 用戶啟動，在編排文件 logstash 里添加屬性user: root，如下所示：

...
user: root
ports:
  - "5044:5044"
  - "5000:5000/tcp"
  - "5000:5000/udp"
  - "9600:9600"
...

到此，logstash 的基本配置已經完成，下面進行附加配置：logstash multiple pipelines 的配置。
之所以配置多管道，是想把 logging 的東西展示到 kibana 里，查看它執行的 SQL Statement 等信息。

在開始附加配置之前，先說一個問題。本文選擇的阿里雲實例配置比較低，容器運行過程中總是報 exited)

2.2.3 multiple pipelines

logstash 支持多 pipeline，參考：官方文檔，pipeline logs
1.首先，創建新的 .conf 文件，本文選擇在 logstash 的 pipeline 文件夾下創建。本文使用的文件如下：

######
input {
file {
    path => "/usr/share/logstash/logs/logstash-plain.log"
    #sincedb_path => "/usr/share/logstash/logs/sincedb"
    sincedb_path => "/dev/null"
    #tags => ["some-logs"]
}
}

filter {
grok {
    match => { "message" => "\[%{TIMESTAMP_ISO8601:tstamp}\]\[%{LOGLEVEL:loglevel} \]\[%{JAVACLASS:class}.*\] %{GREEDYDATA:logmessage}" }
}
date {
    match => ["tstamp", "ISO8601"]
}
mutate {
    remove_field => [ "tstamp" ]
}
}

output {
if "_grokparsefailure" not in [tags] {
elasticsearch {
    hosts => ["elasticsearch:9200"]
    index => "logstash_logs-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "changeme"
    ecs_compatibility => disabled
}
    stdout {   }
}
}

本文在這里遇到一點問題，即新建文件的首行首字母會被“吞”掉，於是將首行作為注釋行。

2.在 logstash 的 config 文件夾下新建一個文件叫做 pipelines.yml，具體配置如下：

# This file is where you define your pipelines. You can define multiple.
# # For more information on multiple pipelines, see the documentation:
# #   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
#
- pipeline.id: main
path.config: "/usr/share/logstash/pipeline/logstash.conf"

- pipeline.id: logs
path.config: "/usr/share/logstash/pipeline/logs.conf"

此處記錄一下：本文在配置的時候，將 .conf 與 .yml 文件后綴搞混了，以致於耽誤了很多時間。

同樣地，配置文件寫好需要掛載到容器內，給編排文件里的 logstash 添加此項：

- type: bind
    source: ./logstash/config/pipelines.yml
    target: /usr/share/logstash/config/pipelines.yml
    read_only: true

啟動 logstash，在 head 上可以看到 logging 的數據同步到了 es。

2.3 Kibana

Kibana的 yml 文件配置大致如下：

---
## Default Kibana configuration from Kibana base image.
## https://github.com/elastic/kibana/blob/master/src/dev/build/tasks/os_packages/docker_generator/templates/kibana_yml.template.ts
#
server.name: kibana
server.host: 0.0.0.0
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
xpack.monitoring.enabled: false
##
i18n.locale: "zh-CN"
## X-Pack security credentials
#
elasticsearch.username: elastic
elasticsearch.password: changeme
#elasticsearch.username: kibana-system
#elasticsearch.password: mjHPFOvECWnAmeaKhMqf

i18n.locale這一行是設置Kibana的界面語言為中文。
...
設置完畢，啟動 Kibana，訪問 host 的 5601 端口開始使用。

關於 Kibana 設置索引模式、Discover、Dashboard、KQL查詢以及角色權限、用戶等內容，下篇文章再繼續。同時，下篇文章將會總結遇到的坑🕳

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 【ELK】docker-compose搭建ELK單機環境使用docker-compose 快速搭建elk Docker-compose實戰之搭建LAMP環境 docker-compose部署ELK Docker-Compose部署ELK ELK之使用docker-compose搭建elasticsearch和kibana docker-compose部署elk Docker-Compose部署ELK SQL Server in Docker 創建啟動還原數據庫 docker-compose Docker Compose搭建ELK