Elasticsearch環境快速搭建以及注意點

本文主要說明使用docker搭建開發用Elasticsearch的相關要點，包含有：

搭建Elasticsearch集群docker環境

搭建Kibana的docker環境

 

一、搭建Elasticsearch環境

docker下存在兩個標准的Elasticsearch鏡像，分別為elasticsearch:latest 和 docker.elastic.co/elasticsearch/elasticsearch ，前者目前的Elasticsearch版本為5.*，版本略微落后；后者最新版本為 7.6.0 。

本文使用后者，部署為單節點的集群，並且通過內置x-pack開通SSL安全加密和Basic賬號密碼登錄。

1，首先，創建cert證書，並存儲於本地docker volume中備用。

[~/docker-compose/elasticsearch]$ cat create_certs.yaml
version: "3"
services:
  create_certs:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.6.0
    command: >
      bash -c '
        yum install -y -q -e 0 unzip;
        if [[ ! -f /certs/bundle.zip ]]; then
          bin/elasticsearch-certutil cert --silent --pem --in config/certificates/instances.yml -out /certs/bundle.zip;
          unzip /certs/bundle.zip -d /certs;
        fi;
        chown -R 1000:0 /certs
      '
    user: "0"
    working_dir: /usr/share/elasticsearch
    volumes:
      - certs:/certs
      - .:/usr/share/elasticsearch/config/certificates
volumes:
  certs:

執行上述一次性命令（執行過程中，所需要的instances.yml文件參見下文），並妥善保管該volume（certs）

docker-compose -f create_certs.yaml run --rm create_certs

執行成功后，應該可以看見如下結果

[~/docker-compose/elasticsearch]$ docker volume ls
DRIVER              VOLUME NAME
local               elasticsearch_certs

執行過程中，所需要的instances.yml文件如下：

[~/docker-compose/elasticsearch]$ cat instances.yml
instances:
  - name: es01
    dns:
      - es01
      - localhost
    ip:
      - 127.0.0.1%

注意，其中的es01，應該對應部署es集群節點的服務器的主機名，此處由於是docker環境，因此應該為docker-compose的service的名字（以在docker container中可以正常ping通該字符串到對應container為標准），若集群存在多個節點，則應該列出多個主機名

然后正式啟動Elasticsearch集群：

[~/docker-compose/elasticsearch]$ cat docker-compose.yaml
version: "3"
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.6.0
    environment:
      # - "discovery.type=single-node"
      - node.name=es01
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=es01
      - cluster.initial_master_nodes=es01
      - cluster.max_shards_per_node=10000
      - bootstrap.memory_lock=true
      - action.destructive_requires_name=false
      - ELASTIC_PASSWORD=abc
      # - ELASTIC_PASSWORD_FILE=/run/secrets/bootstrapPassword.txt
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=/usr/share/elasticsearch/config/certs/es01/es01.key
      - xpack.security.http.ssl.certificate_authorities=/usr/share/elasticsearch/config/certs/ca/ca.crt
      - xpack.security.http.ssl.certificate=/usr/share/elasticsearch/config/certs/es01/es01.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.verification_mode=none
      - xpack.security.transport.ssl.certificate_authorities=/usr/share/elasticsearch/config/certs/ca/ca.crt
      - xpack.security.transport.ssl.certificate=/usr/share/elasticsearch/config/certs/es01/es01.crt
      - xpack.security.transport.ssl.key=/usr/share/elasticsearch/config/certs/es01/es01.key
      - reindex.remote.whitelist=10.20.1.*:9200,127.0.10.*:9200, localhost:*
      - "http.cors.enabled=true"
      - "http.cors.allow-origin=*"
      - "http.cors.allow-headers=Authorization,X-Requested-With,Content-Length,Content-Type"
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ports:
      - "9200:9200"
      - "9300:9300"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - ./data01:/usr/share/elasticsearch/data
      - certs:/usr/share/elasticsearch/config/certs
      - ./plugins:/usr/share/elasticsearch/plugins
volumes:
  certs:
    driver: local

此處掛載前面步驟創建的certs volume進行使用；

注意：

1）若在前面的步驟中，不創建volume而是直接將證書生成在本地目錄，則此地掛在本地目錄時，應該妥善處理目錄以及其中文件的屬主和權限；

2）certs卷必須掛載到路徑 /usr/share/elasticsearch/config 下，否則啟動時報錯，原因為ES安全規則不允許；但若直接掛載為 /usr/share/elasticsearch/config 目錄則會覆蓋該目錄中的其他默認配置文件，因此此處掛載為其子目錄

3）對於ES標准配置文件中支持的配置，均可以在environment節中通過環境變量的方式進行配置，當然，也可以提供自己的完整的配置文件（對於docker鏡像elasticsearch:latest，提供這些配置的方式為提供command段，以- -Exxxx: xxxx的方式處理）

至此，ES成功啟動，可在瀏覽器中通過  https://localhost:9200 地址進行訪問，默認的用戶名為  elastic  ，密碼在上述配置文件中配置，為 abc  。

注意：

1）在Firefox瀏覽器和Safari中，需要按照頁面提示忽略證書警告

2）在Chrome內核系列瀏覽器，則根據不同環境和版本而不同，部分可以按照頁面提示忽略證書警告，部分需要將瀏覽器地址欄前報警的SSL證書導入信任證書列表

 

啟動kibana

使用如下docker-compose.yaml啟動kibana

  kibana:
    image: docker.elastic.co/kibana/kibana:7.6.0
    environment:
      # SERVER_HOST: "0.0.0.0"
      ELASTICSEARCH_HOSTS: "https://es01:9200"
      ELASTICSEARCH_SSL_VERIFICATIONMODE: none
      ELASTICSEARCH_USERNAME: elastic
      ELASTICSEARCH_PASSWORD: abc
      I18N_LOCALE: zh_CN
    links:
      - "es01"
    ports:
      - 5601:5601

注意點：

1）kibana的鏡像版本需要與ES的版本保持一致；若不一致，不保證不出問題

2）標准kibana的配置文件kibana.yml中的配置，均可以使用Spring的標准配置項的環境變量映射方式在 environment 段進行配置；具體標准簡述：字母一律轉換為大寫，分割用的 . 號和中划線 - 一律轉換為下划線 _ 

 

至此，部署完畢。