1、基礎配置
elasticsearch的config文件夾里面有兩個配置文 件:elasticsearch.yml和logging.yml,第一個是es的基本配置文件,第二個是日志配置文件,es也是使用log4j來記錄日志的,所以logging.yml里的設置按普通log4j配置文件來設置就行了。下面主要講解下elasticsearch.yml這個文件的配置。
1.1、cluster.name: elasticsearch 配置es的集群名稱,默認是elasticsearch,es會自動發現在同一網段下的es,如果在同一網段下有多個集群,就可以用這個屬性來區分不同的集群。 1.2、node.name:"Franz Kafka" 節點名,默認隨機指定一個name列表中名字,該列表在es的jar包中config文件夾里name.txt文件中,其中有很多作者添加的有趣名字。 1.3、node.master: true 指定該節點是否有資格被選舉成為node,默認是true,es是默認集群中的第一台機器為master,如果這台機掛了就會重新選舉master。 1.4、node.data: true 指定該節點是否存儲索引數據,默認為true。 1.5、index.number_of_shards: 5 設置默認索引分片個數,默認為5片。 1.6、index.number_of_replicas: 1 設置默認索引副本個數,默認為1個副本。 1.7、path.conf: /path/to/conf 設置配置文件的存儲路徑,默認是es根目錄下的config文件夾。 1.8、path.data: /path/to/data 設置索引數據的存儲路徑,默認是es根目錄下的data文件夾,可以設置多個存儲路徑,用逗號隔開,例:path.data: /path/to/data1,/path/to/data2 1.9、path.work: /path/to/work 設置臨時文件的存儲路徑,默認是es根目錄下的work文件夾。 1.10、path.logs: /path/to/logs 設置日志文件的存儲路徑,默認是es根目錄下的logs文件夾 1.11、path.plugins: /path/to/plugins 設置插件的存放路徑,默認是es根目錄下的plugins文件夾 1.12、bootstrap.mlockall: true 設置為true來鎖住內存。因為當jvm開始swapping時es的效率會降低,所以要保證它不swap,可以把ES_MIN_MEM和 ES_MAX_MEM兩個環境變量設置成同一個值,並且保證機器有足夠的內存分配給es。同時也要允許elasticsearch的進程可以鎖住內存,linux下可以通過ulimit -l unlimited命令。 1.13、network.bind_host: 192.168.0.1 設置綁定的ip地址,可以是ipv4或ipv6的,默認為0.0.0.0。 1.14、network.publish_host: 192.168.0.1 設置其它節點和該節點交互的ip地址,如果不設置它會自動判斷,值必須是個真實的ip地址。 1.15、network.host: 192.168.0.1 這個參數是用來同時設置bind_host和publish_host上面兩個參數。 1.16、transport.tcp.port: 9300 設置節點間交互的tcp端口,默認是9300。 1.17、transport.tcp.compress: true 設置是否壓縮tcp傳輸時的數據,默認為false,不壓縮。 1.18、http.port: 9200 設置對外服務的http端口,默認為9200。 1.19、http.max_content_length: 100mb 設置內容的最大容量,默認100mb 1.20、http.enabled: false 是否使用http協議對外提供服務,默認為true,開啟。 1.21、gateway.type: local gateway的類型,默認為local即為本地文件系統,可以設置為本地文件系統,分布式文件系統,Hadoop的HDFS,和amazon的s3服務器。 1.22、gateway.recover_after_nodes: 1 設置集群中N個節點啟動時進行數據恢復,默認為1。 1.23、gateway.recover_after_time: 5m 設置初始化數據恢復進程的超時時間,默認是5分鍾。 1.24、gateway.expected_nodes: 2 設置這個集群中節點的數量,默認為2,一旦這N個節點啟動,就會立即進行數據恢復。 1.25、cluster.routing.allocation.node_initial_primaries_recoveries: 4 初始化數據恢復時,並發恢復線程的個數,默認為4。 1.26、cluster.routing.allocation.node_concurrent_recoveries: 2 添加刪除節點或負載均衡時並發恢復線程的個數,默認為4。 1.27、indices.recovery.max_size_per_sec: 0 設置數據恢復時限制的帶寬,如入100mb,默認為0,即無限制。 1.28、indices.recovery.concurrent_streams: 5 設置這個參數來限制從其它分片恢復數據時最大同時打開並發流的個數,默認為5。 1.29、discovery.zen.minimum_master_nodes: 1 設置這個參數來保證集群中的節點可以知道其它N個有master資格的節點。默認為1,對於大的集群來說,可以設置大一點的值(2-4) 1.30、discovery.zen.ping.timeout: 3s 設置集群中自動發現其它節點時ping連接超時時間,默認為3秒,對於比較差的網絡環境可以高點的值來防止自動發現時出錯。 1.31、discovery.zen.ping.multicast.enabled: false 設置是否打開多播發現節點,默認是true。 1.32、discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"] 設置集群中master節點的初始列表,可以通過這些節點來自動發現新加入集群的節點。 下面是一些查詢時的慢日志參數設置 index.search.slowlog.level: TRACE index.search.slowlog.threshold.query.warn: 10s index.search.slowlog.threshold.query.info: 5s index.search.slowlog.threshold.query.debug: 2s index.search.slowlog.threshold.query.trace: 500ms index.search.slowlog.threshold.fetch.warn: 1s index.search.slowlog.threshold.fetch.info: 800ms index.search.slowlog.threshold.fetch.debug:500ms index.search.slowlog.threshold.fetch.trace: 200ms
2、高級配置
一個Elasticsearch節點會有多個線程池,但重要的是下面四個:索引(index):主要是索引數據和刪除數據操作(默認是cached類型);搜索(search):主要是獲取,統計和搜索操作(默認是cached類型);批量操作(bulk):主要是對索引的批量操作(默認是cached類型);更新(refresh):主要是更新操作(默認是cached類型)。可以通過給設置一個參數來改變線程池的類型(type),例如,把索引的線程池改成blocking類型:
min: 1 size: 30 wait_time: 30s
下面是三種可以設置的線程池的類型:
2.1、cache線程池
cache線程池是一個無限大小的線程池,如果有很多請求的話都會創建很多線程,下面是個例子:
threadpool: index: type: cached
2.2、fixed線程池
fixed線程池保持固定個數的線程來處理請求隊列。size參數設置線程的個數,默認設置是cpu核心數的5倍qu。eue_size可以控制待處理請求隊列的大小。默認是設置為-1,意味着無限制。當一個請求到來但隊列滿了的時候,reject_policy參數可以控制它的行為。默認是abort,會使那個請求失敗。設置成caller會使該請求在io線程中執行。
threadpool: index: type: fixed size: 30 queue: 1000 reject_policy: caller
2.3、blocking線程池
blocking線程池允許設置一個最小值(min,默認為1)和線程池大小(size,默認為cpu核心數的5倍)。它也有一個等待隊列,隊列的大小(queue_size )默認是1000,當這隊列滿了的時候。它會根據定好的等待時間(wait_time,默認是60秒)來調用io線程,如果超時沒有執行就會報錯。
threadpool: index: type: blocking min: 1 size: 30 wait_time: 30s
3、操作系統配置
3.1、文件句柄限制:ES在索引過程中,尤其是有很多分片和副本時,會創建若干文件。因此操作系統對打開文件數量的限制不能少於32000。對於Linux服務器,通過可以在/etc/security/limits.conf中進行修改,並且可以用ulimit命令來查看當前值。
3.2、節點內存配置:ES每個節點默認的2014M內存空間可能是不夠的。如果日志文件中有out of memory error錯誤,則應將環境變量ES_HEAP_SIZE設為大於1024的值。注意該值應超過總可用物理內存的50%,剩余內存可用作磁盤高速緩存,可大大提高搜索性能。