Elasticsearch（ES）是近實時的分布式搜索分析引擎。這篇文章整理和篩選了ES相關資料，包括索引、分詞、多條件查詢、聚合、自動補全、建議詞、同義詞、安全性等等，便於大家學習和使用ES搜索引擎。
Elasticsearch 簡介
Elasticsearch（ES）是一個基於Lucene 構建的開源分布式搜索分析引擎，可以近實時的索引、檢索數據。具備高可靠、易使用、社區活躍等特點，在全文檢索、日志分析、監控分析等場景具有廣泛應用。
lucene
Elasticsearch 中文社區：https://elasticsearch.cn/article/
Elasticsearch 官方文檔：https://www.elastic.co/guide/index.html
Elasticsearch 各客戶端API（eg：.NET、JAVA、Python、Go）
Elasticsearch .net client NEST 5.x 使用總結（初始化、查詢、權重、排序、聚合等）
Elasticsearch 客戶端SDK使用建議：創建索引的Setting和mapping使用elasticsearch 提供的DSL語法更加簡單。因為客戶端API代碼里面只提供基礎的SDK，如（ik拼音等）插件就沒有對應接口提供
Elasticsearch術語（索引、類型、文檔、集群、節點、分片）
ES數據架構的主要概念（與關系數據庫Mysql對比）
在ES 早期版本，一個索引下是可以有多個Type 。從6.0 開始，一個索引只有一個Type，即_doc（查詢語句中也不要包含type）。一個Type 下的文檔，都有相同的字段（Field）
查詢語句：
GET [index]/[type]/_search
變更為
GET [index]/_search
安裝
ELK
ELK 是elastic 公司旗下三款產品ElasticSearch 、Logstash 、Kibana 的首字母組合。
#、ElasticSearch 是一個基於Lucene 構建的開源，分布式，RESTful 搜索引擎。
#、Logstash 傳輸和處理你的日志、事務或其他數據。
#、Kibana 將Elasticsearch 的數據分析並渲染為可視化的報表。
es-head可視化插件
分詞器
分詞器是專門處理分詞的組件，分詞器由如下三部分組成：
1、Character Filters：針對原始文本處理，比如：去除html 標簽
2、Tokenizer：按照規則切分為單詞，比如：按照空格切分
3、Token Filters：將切分的單詞進行加工，比如：大寫轉小寫，刪除stopwords，拼音，同義詞等
analyzer = CharFilters（0個或多個）+ Tokenizer(一個) + TokenFilters(0個或多個)
從圖中能夠看出，從上到下依次通過Character Filters，Tokenizer 以及Token Filters，這個順序比較好理解，一個文本進來確定要先對文本數據進行處理，再去分詞，最后對分詞的結果進行過濾。
elasticSearch Analysis Token Filters作用及相關樣例
ElasticSearch查看字段分詞結果 （便於查為什么匹配不出的問題）
Elasticsearch7 分詞器(內置分詞器和自定義分詞器)
Elasticsearch-Analysis-IK中文分詞器配置使用
elasticsearch 之分詞器配置 (IK+pinyin)
Elasticsearch 使用ik中文分詞器增加分詞熱詞（自定義詞）
Elasticsearch mapping
搞懂Elasticsearch 之Mapping （Reindex）
Mapping中的store屬性（按需查詢字段）
Elasticsearch中的store field跟non-store field的區別
Elasticsearch 理解mapping中的store屬性
Elasticsearch 動態模板(dynamic_templates)
normalizer 的使用
ElasticSearch Normalizer 的使用方法
Adding normalizer for all keyword fields NEST
Elasticsearch DLS語法
Elasticsearch 查詢語法（模糊、精確、sort、相關性、and|or、slop間隔等）
Elasticsearch 查詢語法（多條件bool復雜查詢（must、should、filter）、日期范圍查詢）
Elasticsearch 查詢語法（bool復雜查詢、operator（||、&&、!、+）)
Elasticsearch 組合多查詢(bool, must, should, must_not, filter)
Elasticsearch中match、match_phrase、query_string和term的區別
相關性score
ElasticSearch 的分數(_score) 是怎么計算得出 (2.X & 5.X)
ElasticSearch 多級排序（eg：產品要根據：銷量、熱度、相關性排序）
Elasticsearch 搜索條件權重控制（boost）-- 默認情況下，搜索條件的權重都是1
聚合查詢
Elasticsearch 聚合語法（Aggregations）
分頁查詢
Elasticsearch 查詢語法（使用scroll響應式返回大集合文檔）
Elasticsearch 高亮顯示匹配關鍵詞（Highlight）
同義詞
elasticsearch 使用同義詞（synonym.txt）
搜索建議詞（Suggest功能）
ElasticSearch使用completion實現補全功能
Elasticsearch Suggester詳解（自動補全）
elasticsearch 7.0 新特性之 search as you type
安全性
Meow攻擊刪除開放的的Elasticsearch（及MongoDB） 索引，建一堆以Meow結尾的奇奇怪怪的索引（如：m3egspncll-meow）----關閉外網訪問端口，或至少修改ES默認端口
用nginx給kibana、elasticsearch做權限認證
集中式日志分析平台- ELK Stack - 安全解決方案 X-Pack
elasticsearch7.8權限控制和規划（版本7開始，x-pack部分安全功能可以免費使用）
常用的es語句
版本：Elasticsearch 7.9.0
在線kibana：http://134.175.121.78:5601/app/dev_tools#/console
（是我自己的服務器搭建的，請大家友好的體驗）
刪除索引
DELETE mall.completion
創建索引，並指定settings
PUT mall.completion
{
"settings":{
"analysis":{
"analyzer":{
"ik_smart_pinyin":{
"type":"custom",
"tokenizer":"ik_smart",
"filter":["g_pinyin","word_delimiter"]
},
"ik_max_word_pinyin":{
"type":"custom",
"tokenizer":"ik_max_word",
"filter":["g_pinyin","word_delimiter"]
}
},
"filter":{
"g_pinyin":{
"type":"pinyin",
"keep_separate_first_letter":false,
"keep_full_pinyin":true,
"keep_original":true,
"limit_first_letter_length":16,
"lowercase":true,
"remove_duplicated_term":true
}
}
}
},
"mappings": {
"properties": {
"kw_completion": {
"type": "completion"
},
"kw_text":{
"type": "text",
"analyzer": "ik_smart_pinyin"
}
}
}
}
查看索引設置
GET mall.completion/_settings
查看mapping結構
GET mall.completion/_mapping
批量插入數據
POST _bulk/?refresh=true
{ "index": { "_index": "mall.completion" }}
{ "kw_completion": "項目","kw_text": "項目"}
{ "index": { "_index": "mall.completion" }}
{ "kw_completion": "項目進度","kw_text": "項目進度"}
{ "index": { "_index": "mall.completion" }}
{ "kw_completion": "項目管理","kw_text": "項目管理"}
{ "index": { "_index": "mall.completion" }}
{ "kw_completion": "項目進度及調整 匯總.doc_文檔","kw_text": "項目進度及調整 匯總.doc_文檔"}
{ "index": { "_index": "mall.completion" }}
{ "kw_completion": "項目","kw_text": "項目"}
查看指定分詞器對文本進行分詞的結果
GET mall.completion/_analyze
{
"analyzer": "ik_smart_pinyin",
"text": "很棒的冬天暖心羽絨服"
}
根據字段的mapping，進行分詞測試
GET mall.completion/_analyze
{
"field": "kw_text",
"text": "很棒的冬天暖心羽絨服"
}
查詢文檔
GET mall.completion/_search
{
"query": {
"match": {
"kw_text": "項目"
}
}
}
查詢所有文檔
GET mall.completion/_search
{
"query": {
"match_all": {}
}
}
查看文檔中的分詞結果
GET mall.completion/_doc/CYlJTnUBrvWtEbASfvRa/_termvectors?fields=kw_text
使用completion獲取搜索補全建議(前綴搜索)
GET mall.completion/_search
{
"suggest": {
"my-completion": {
"prefix": "項目",
"completion": {
"field": "kw_completion",
"size": 20,
"skip_duplicates": true
}
}
}
}
獲取搜索建議詞 （xang為拼寫錯誤，會建議為：xiang）
GET mall.completion/_search
{
"suggest": {
"my-suggestion": {
"text": "xang",
"term": {
"suggest_mode": "missing",
"field": "kw_text"
}
}
}
}
多字段匹配案例
GET mall.completion/_search
{
"query":{
"multi_match": {
"query": "米",
"fields": ["name","description","brandName","labelName","menuCategoryNamePath"]
}
}
}
查詢包含字段"keyword"的文檔
GET mall.completion/_search
{
"query":{
"exists": {
"field": "keyword"
}
}
}
多條件查詢語法案例
must 文檔 必須 匹配這些條件才能被包含進來。
must_not 文檔 必須不 匹配這些條件才能被包含進來。
should 如果滿足這些語句中的任意語句，將增加_score ，否則，無任何影響。它們主要用於修正每個文檔的相關性得分。
filter 必須 匹配，但它以不評分、過濾模式來進行。這些語句對評分沒有貢獻，只是根據過濾標准來排除或包含文檔。
{
"bool": {
"must": { "match": { "title": "how to make millions" }},
"must_not": { "match": { "tag": "spam" }},
"should": [
{ "match": { "tag": "starred" }}
],
"filter": {
"bool": {
"must": [
{ "range": { "date": { "gte": "2014-01-01" }}},
{ "range": { "price": { "lte": 29.99 }}}
],
"must_not": [
{ "term": { "category": "ebooks" }}
]
}
}
}
}
其他推薦閱讀
ElasticSearch 電商搜索實現（按"地里坐標"排序）
Implementing A Modern E-Commerce Search
.Net Core with 微服務 - Elastic APM
==============================================================================
over，謝謝查閱，覺得文章對你有收獲，請多幫推薦。歡迎向我提供更好的資料信息。