一. elasticsearch on windows
1.下載地址:
https://www.elastic.co/cn/downloads/elasticsearch
如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2
2. 修改配置文件
下載后解壓,找到config\jvm.options,分配JVM堆內存大小,原則上是分配總內存的50%給 elasticsearch,但不要超過30.5GB,原因是64位尋址會導致性能下降。將默認1g改成512m, 個人電腦當默認1g時,windows安裝會出現:HeapDumpOnOutOfMemoryError
3. windows安裝
打開cmd執行以下命令
E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat install
查看分布的內存設置
E:\elasticsearch-7.5.2\bin>elasticsearch-service.bat manager
4.啟動服務
由於elasticsearch比較耗內存,默認安裝服務設置啟動方式為手動,除非真的使用windwos作為服務器, 手動啟動服務后,瀏覽器查看:http://localhost:9200/,出現以下代表成功
name:為集群中的節點名稱,默認值為當前機器名稱。
cluster_name:集群的名稱,默認為elasticsearch。
查看健康狀態:http://localhost:9200/_cat/health?v
查看所有索引:http://localhost:9200/_cat/indices?v
5. 其它配置
elasticsearch.yml文件
transport.port :節點與節點通信的端口,默認為9300
http.port:elasticsearch 開放的Rest接口的端口,默認為9200
network.host 默認為192.168.0.1,要設置為0.0.0.0,綁定所有本地地址,或者直接設置一個可供外網訪問的地址
二. Kibana on windows
1.下載地址
https://www.elastic.co/cn/downloads/kibana
如果瀏覽器下載文件慢,建議使用迅雷下載,速度很快。下載版本為7.5.2
2.修改配置文件
在config\kibana.yml文件中,默認連接elasticsearch地址是:elasticsearch.hosts: ["http://localhost:9200"], 如果elasticsearch和kibana都在同一台機器,則不需要修改。
3. 啟動
Kibana不同於Elasticsearch,Kibana官方並沒有提供安裝為系統服務的方法。在bin目錄下雙擊kibana.bat文件。暫用控制台作為宿主。在瀏覽器運行http://localhost:5601/
首頁右下角單擊,左邊的導航欄會展開,如下所示:
可以將sample flight data 飛行記錄數據和sample web logs web日志記錄,這二個樣例數據導入,方便學習。
在左邊的導航欄Dev Tools 中,可以調用 elasticsearch api 來進行操作,如下所示:
4.kibana其它配置
4.1 kibana.yml修改為中文
#i18n.locale: "en"
i18n.locale: "zh-CN"
三.分析器安裝
IK 是中文分析器中比較有名的,分詞包括兩種: ik_smart和ik_max_word。二種區別在於提取詞項的粒度,前者提取的粒度最粗,后者最細。elsaticsearch默認並不支持ik,需要安裝。版本與elsaticsearch保持一致,這里下載v7.5.2。下載 地址:https://github.com/medcl/elasticsearch-analysis-ik/releases elasticsearch-analysis-ik-7.5.2.zip
在plugins下,新建一個ik文件夾,解壓放入,重啟ES,如下所示:
(打開kibana的Dev Tools測試)IK中文分析器測試,ik_max_word測試如下:
IK中文分析器測試,ik_smart測試如下:
四.IK擴展詞典
3.1 本地配置自定義詞典
如下圖,先建一個txt文件,文本格式為 UTF8 編碼,重命名為mydict.dic文件,添加自定義詞典
將dic新文件路徑配置到IKAnalyzer.cfg.xml中,如下所示:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 擴展配置</comment> <!--用戶可以在這里配置自己的擴展字典 --> <entry key="ext_dict">custom/mydict.dic</entry> <!--用戶可以在這里配置自己的擴展停止詞字典--> <entry key="ext_stopwords"></entry> <!--用戶可以在這里配置遠程擴展字典 --> <!-- <entry key="remote_ext_dict">words_location</entry> --> <!--用戶可以在這里配置遠程擴展停止詞字典--> <!-- <entry key="remote_ext_stopwords">words_location</entry> --> </properties>
置后,重啟es服務,再使用分詞器測試如下所示:
五.IK熱更新詞庫
官方給出建議:可以將需自動更新的熱詞放在一個 UTF-8 編碼的 .txt 文件里,放在 nginx 或其他簡易 http server 下,當 .txt 文件修改時,http server 會在客戶端請求該文件時自動返回相應的 Last-Modified 和 ETag。可以另外做一個工具來從業務系統提取相關詞匯,並更新這個 .txt 文件。
下面使用iis作為http服務器,新建一個站點,站點下有一個hotword.txt 文件,應用池托管為v 4.0經典模式。去掉壓縮不然lk程序監視器讀取不到。 再就是設置http響應頭,因為該 http 請求需要返回兩個頭部(header),一個是 Last-Modified
,一個是 ETag
,這兩者都是字符串類型,只要有一個發生變化,該插件就會去抓取新的分詞進而更新詞庫。配圖如下所示:
將服務器txt文件路徑配置到IKAnalyzer.cfg.xml中,如下所示:
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer 擴展配置</comment> <!--用戶可以在這里配置自己的擴展字典 --> <!--<entry key="ext_dict"></entry>--> <!--用戶可以在這里配置自己的擴展停止詞字典--> <!--<entry key="ext_stopwords"></entry>--> <!--用戶可以在這里配置遠程擴展字典 --> <entry key="remote_ext_dict">http://localhost:8088/hotword.txt</entry> <!--用戶可以在這里配置遠程擴展停止詞字典--> <!-- <entry key="remote_ext_stopwords"></entry>--> </properties>
hotword.txt配置如下所示:
重啟es服務器,在Log/elasticsearch.log中可以看到加載的詞列表,如下所示:
[2020-02-18T10:46:47,129][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] try load config from D:\有啦\elasticsearch-7.5.2\plugins\ik\config\IKAnalyzer.cfg.xml [2020-02-18T10:46:47,206][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] [Dict Loading] http://localhost:8088/hotword.txt [2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] 新冠 [2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] 新冠肺炎 [2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] 盛吉芳 [2020-02-18T10:46:47,213][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] 首提 [2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] 哈哈 [2020-02-18T10:46:47,214][INFO ][o.w.a.d.Monitor ] [DESKTOP-D49T1S2] reload ik dict finished.
測試分詞,如下所示:
參考文獻