我的Elasticsearch系列文章,逐漸更新中,歡迎關注
0A.關於Elasticsearch及實例應用
00.Solr與ElasticSearch對比
01.ElasticSearch能做什么?
02.Elastic Stack功能介紹
03.如何安裝與設置Elasticsearch API
04.如果通過elasticsearch的head插件建立索引_CRUD操作
05.Elasticsearch多個實例和head plugin使用介紹
這是“ elasticsearch簡介”系列的第二部分。第一部分請看這里。這個簡短的博客旨在簡要介紹Elasticsearch堆棧中的組件。這些組件的用途是什么,如何為堆棧提供價值,或者為什么它們是與Elasticsearch一起使用的更好的選擇。
堆棧組件
下圖給出了Elasticsearch的母公司Elastic提供的服務組件
1.數據存儲,搜索和可視化服務
1.1 Elasticsearch
在本系列博客的第一部分中,我們詳細了解了Elasticsearch 。Elasticsearch負責彈性堆棧的數據存儲和搜索部分。數據存儲解決方案是NoSql,其中搜索部分是通過可定制且靈活的API處理到功能強大的Apache Lucene庫的。
更多關於_ElasticSearch新手從零搭建指南_我推薦這篇
與Elasticsearch有關的另一個重要領域是可用於它的插件。這些插件主要用於增強特定功能或在某些情況下簡化Elasticsearch的使用。在后面的博客系列中,我們將深入研究elasticsearch插件。
1.2 Kibana
Kibana是用於Elasticsearch中存儲數據的現成可視化工具。它立即連接到Elasticsearch數據庫,並列出數據庫名稱(Elasticsearch世界中的索引),以便我們開始對索引中的數據進行可視化。Kibana為大多數Elasticsearch操作提供支持,並為我們提供了大量可視化選項,以我們所需的方式可視化數據。這些可視化可用於創建儀表板。以下是Kibana儀表板的示例:
2.數據傳送,解析和日志處理
2.1 Logstash
我們經常必須從各種來源收集數據,並且必須對其進行解析以使其成為統一格式,然后再進行彈性搜索。Logstash就是這樣一種數據管道,它從各種各樣的源中接收數據並將其轉換為所需的格式,然后將修改后的數據傳遞給Elasticsearch。Logstash不僅可以將數據推送到Elasticsearch,而且還可以推送到各種接收器。
下圖以非常簡單的方式說明了logstash數據管道。
除了Logstash支持的多種輸入和輸出源之外,Logstash的主要功能是它提供的數據解析選項。通過提供Groke規則工具來處理傳入的日志,它提供了豐富的環境。
2.2 Beats平台
Elasticsearch的Beats平台是一組數據托運人,可以將其安裝在源中,並將日志/文件發送到Elasticsearch。如果數據在進入Elasticsearch之前需要進行預處理,則可以將它們運送到Logstash。
Beats平台目前有5位成員,他們是
2.2.1 Filebeat-從安裝的系統中發送日志
2.2.2 Metricbeat-運送已安裝系統的度量數據集
2.2.3 Winlog Beat —從Windows系統發送日志
2.2.4心跳 —正常運行時間監視參數是從已安裝的系統發送的
2.2.5 Packetbeat — 運送網絡數據
典型的Beats已安裝系統的流程如下:
3.監控和安全服務
3.1 X-Pack
X-Pack是Elasticsearch的付費擴展軟件包。它提供了安全性,監視,警報和報告功能的綜合解決方案。X-Pack僅可從Elasticsearch 5.x版本獲得。對於較舊的版本,這些解決方案是使用不同的軟件包分別實現的。
3.2 APM-應用程序監視
Elastic APM是堆棧的新手,在撰寫本博客時,它處於alpha狀態。顧名思義,APM用於通過使用Elasticsearch和Kibana存儲和分析其日志來監視特定應用程序。
4.托管/企業解決方案和服務
4.1彈性雲
彈性雲將彈性堆棧作為服務提供,從而使擴展和升級到最新版本變得更加容易。
4.2彈性企業
與彈性雲類似,但該雲具有更高的可擴展性和熱點支持,適用於企業范圍的解決方案
結論
在本文中,我已經解釋了彈性堆棧中組件的基本功能。在本系列的下一部分中,我們將學習如何在本地安裝Elasticsearch並執行一些非常基本的CRUD操作。更多內容大家可以看這篇。