前言
本文主要講解Elasticsearch及其套件Kibana、Logstash的安裝及啟動,還講解如何導入數據用於后續的實驗。
說明:Elasticsearch是基於Java開發的,所以如果是下載Elasticsearch 6.x及之前的版本,需要自己安裝Java環境;如果是7.x版本,會自帶Java環境,無需額外安裝,本次我們安裝的版本是7.11.1。其他套件的安裝,也需要根據相應的版本進行安裝。
Elasticsearch
windows 環境,下載后加壓即可。https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-windows-x86_64.zip
mac環境,下載后解壓即可。
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-darwin-x86_64.tar.gz
tar -xzvf elasticsearch-7.11.1-darwin-x86_64.tar.gz
啟動
bin/elasticsearch
單機啟動多實例
elasticsearch -E node.name=node1 -E cluster.name=zxy -E path.data=/data/logs/es/node1_data -d
elasticsearch -E node.name=node2 -E cluster.name=zxy -E path.data=/data/logs/es/node2_data -d
elasticsearch -E node.name=node3 -E cluster.name=zxy -E path.data=/data/logs/es/node3_data -d
訪問
http://localhost:9200/
查看插件
bin/elasticsearch-plugin list
安裝插件analysis-icu,后續用於中文分詞
bin/elasticsearch-plugin install analysis-icu
Kibana
Kibana 是一個免費且開放的用戶界面,能夠讓我們對 Elasticsearch 數據進行可視化,並讓我們在 Elastic Stack 中進行導航。我們可以進行各種操作,從跟蹤查詢負載,到理解請求如何流經整個應用,都能輕松完成。
windows環境的下載包:https://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-windows-x86_64.zip
mac環境
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-darwin-x86_64.tar.gz
tar xzvf kibana-7.11.1-darwin-x86_64.tar.gz
改為中文
修改配置文件 kibana.yml,在最后添加配置如下
i18n.locale: "zh-CN"
啟動
./bin/kibana
訪問
http://127.0.0.1:5601/
Logstash
Logstash 是免費且開放的服務器端數據處理管道,能夠從多個來源采集數據,轉換數據,然后將數據發送到我們最喜歡的“存儲庫”中。
windows環境的下載包:https://artifacts.elastic.co/downloads/logstash/logstash-7.11.1-windows-x86_64.zip
mac
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.11.1-darwin-x86_64.tar.gz
tar xzvf logstash-7.11.1-darwin-x86_64.tar.gz
啟動
sudo ./bin/logstash -f ./config/logstash.conf
Movielens
MovieLens 是一個推薦系統。它由美國 Minnesota 大學計算機科學與工程學院的 GroupLens 項目組創辦,是一個非商業性質的、以研究為目的的實驗性站點。
下載實驗用的csv數據文件:http://files.grouplens.org/datasets/movielens/ml-25m.zip
解壓后把數據通過Kinana進行導入,后續做實驗的時候會用到,解壓后的文件主要有links.csv,movies.csv,ratings.csv,tags.csv。
操作路徑:Machine Learning->DataVisualizer 點擊UPLOAD。
注意表頭沒法自動識別,可能變成了“column1,column2,column3”等等,需要自行修改。
參考資料
- https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-elastic-stack.html
- https://www.elastic.co/cn/downloads/elasticsearch
- https://www.elastic.co/cn/downloads/kibana
- https://www.elastic.co/cn/downloads/logstash
- https://www.elastic.co/cn/kibana
- https://www.elastic.co/cn/logstash
- https://grouplens.org/datasets/movielens/