Elasticsearch安裝配置

本文轉載自查看原文 2019-01-23 17:02 2312 Elasticsearch

文檔地址：

https://www.elastic.co/guide/en/elasticsearch/reference/6.5/setup.html

官方頁面提供自0.9版本以來的說明文檔，由於我下載的是6.5.4版本，因此通過6.5版本的文檔進行安裝配置。

本文的安裝測試環境為Red Had Linux 6.5，關於elastic對各系統的支持度，參見：https://www.elastic.co/support/matrix

Java版本：

要求至少java 8，官方推薦的版本為：1.8.0_131 or a later version in the Java 8 release series

你可以通過修改JAVA_HOME參數指定java版本。

一、下載和安裝、啟動：

本文使用的6.5.4版本下載地址為：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz

[root@python ~]# tar -zxf elasticsearch-6.5.4.tar.gz
[root@python ~]# cd elasticsearch-6.5.4
[root@python elasticsearch-6.5.4]# ./bin/elasticsearch
[2019-01-11T09:25:52,573][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [unknown] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:140) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:127) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.5.4.jar:6.5.4]
    at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:93) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:86) ~[elasticsearch-6.5.4.jar:6.5.4]
Caused by: java.lang.RuntimeException: can not run elasticsearch as root
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:103) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:170) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:333) ~[elasticsearch-6.5.4.jar:6.5.4]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:136) ~[elasticsearch-6.5.4.jar:6.5.4]
    ... 6 more

通常我們把此解壓目錄稱作：$ES_HOME，以上錯誤表示不能以超級用戶root啟動es，我們新建一個用戶即可：

[root@python elasticsearch-6.5.4]# useradd es
[root@python elasticsearch-6.5.4]# passwd es
[root@python ~]# mv elasticsearch-6.5.4 /home/es/
[root@python es]# chown -R es.es elasticsearch-6.5.4/
[root@python elasticsearch-6.5.4]# su - es
[es@python ~]$ echo "export ES_HOME=/home/es/elasticsearch-6.5.4" >> .bashrc
[es@python ~]$ echo "export PATH=$ES_HOME/bin:$PATH" >> .bashrc
[es@python ~]$ elasticsearch
......
[2019-01-11T09:32:31,567][INFO ][o.e.l.LicenseService ] [lejuhty] license [47723c44-43e9-49af-85db-0909d8bb47e3] mode [basic] - valid

至此es已經啟動，通過config目錄中的elasticsearch.yml文件我們可以修改es的啟動端口，默認是9200。

接下來檢查下es是否正常啟動，除了通過ps -ef|grep elasic之外，我們執行：

[es@python elasticsearch-6.5.4]$ curl 'http://localhost:9200'
{
  "name" : "lejuhty",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "qSwz2X0EQU25G85c9H4Q0Q",
  "version" : {
    "number" : "6.5.4",
    "build_flavor" : "default",
    "build_type" : "tar",
    "build_hash" : "d2ef93d",
    "build_date" : "2018-12-17T21:17:40.758843Z",
    "build_snapshot" : false,
    "lucene_version" : "7.5.0",
    "minimum_wire_compatibility_version" : "5.6.0",
    "minimum_index_compatibility_version" : "5.0.0"
  },
  "tagline" : "You Know, for Search"
}
--可以看到es已經正常運行

以上的es運行方式可以通過ctrl-c或者關閉窗口來關閉，平時我們可以通過守護進程的方式在后台啟動es：

./bin/elasticsearch -d -p pid

p表示啟動之后es的pid會被記錄入一個名為pid的文件中，關閉時只要kill這個文件中記錄的pid就可以了。

ES啟動后會默認開放2個端口，9200和9300，前者用於REST API或curl等基於http協議的RESTFUL請求，后者多用於集群節點之間的tcp交流。由於ES本身提供的快捷API命令和針對各編程語言的接口全都是RESTFUL風格編寫的，因此對於ES的訪問幾乎只能從9200端口進行，對於9300端口目前還了解不多待看到分布式集群時再解釋。

下圖中的::1:port表示ipv6的loopback address，添加了::ffff前綴表示ipv4地址的ipv6映射，被稱作ipv4-mapped ipv6 address（下圖2所示的映射方式），例如::ffff:127.0.0.1:9200表示ipv6中的本地回環地址，相當於ipv4中的127.0.0.1，但是不同於::1:9200此映射的ipv6地址是可以接受ipv4連接請求的。

此外雖然配置文件中默認注釋了network.host=127.0.0.1，但ES其實是默認綁定此loopback IP的，因此不修改network.host只能本地連接，但是修改network.host后又必須對系統配置作出修改，原因參見第二部分中系統配置部分的解釋。

二、配置Elasticsearch:

關於config目錄下各個配置文件的功能及其具體的配置項解釋，參考官方頁面：https://www.elastic.co/guide/en/elasticsearch/reference/6.5/settings.html

這里先簡短的說明一些文件的功用：

elasticsearch.yml for configuring Elasticsearch
jvm.options for configuring Elasticsearch JVM settings
log4j2.properties for configuring Elasticsearch logging

ES的配置可以主要分為兩大部分：

1.系統配置部分

這部分比較好理解，ES的良好運行需要進行一些系統配置，其中官網列出的必須要進行的配置包含：

Disable swapping

swap可能會拖慢ES的性能，因此建議關閉swap，關閉swap的各種方式參考鏈接內容即可。

Increase file descriptors

此配置在windows上無需配置，在Linux上需要修改如下用戶limit配置：

es      hard    nofile      65536
es      soft    nofile      65536

Ensure sufficient virtual memory

在/etc/sysctl.conf中添加如下記錄即可：

vm.max_map_count=262144

Ensure sufficient threads

同樣的，修改用戶limit，確保ulimit -u至少為4096即可。

以上兩個系統配置項用到的較少，一個是DNS緩存的問題，只有DNS變動較大時需要設置緩存超時時間。另一個是ES運行所需的JNA文件會被放在/tmp目錄的文件夾下，因此/tmp目錄如果是額外mount的盤，那么可能需要設置正確的權限才能避免出現找不到shared object的錯誤。

一般來說如果這些項配置錯誤，那么只會以warning的形式出現在log中，但是一旦你修改了ES網絡相關的參數，例如network.host，那么ES就認為你將要從開發模式轉為生產模式，ES會開啟一個名為bootstrap checks的檢查，日志顯示為：“bound or publishing to a non-loopback address, enforcing bootstrap checks”，此時warnings將會以exception形式出現在log中，這些exceptions將會導致ES無法啟動，這是ES為了防止你因配置錯誤導致數據丟失而做的一項預防措施，因此在轉向生產時，請務必為ES正確配置系統參數。

這里我再重復一遍，對elasticsearch.yml中network.host的更改，會導致ES認為你將要部署的是生產服務器，此時錯誤的系統配置將會導致ES啟動后自動關閉。

2.ES的配置部分

ES本身的配置主要包含一些諸如PATH，Cluster name等等參數。其中一些必須配置的參數配置方法參見如下鏈接列表：