一、相關概念
Index(索引)【同樣是名詞這里與mysql中的索引還是有區別的】
Index是名詞的時候就是我們平時理解的索引,好比導航一個可以方便我們查詢,但在es中Index(索引)常常是一個動詞應該被理解為添加。索引是一些具有相似特征的文檔集合,類似於MySql中數據庫的概念。
Near Realtime(近實時)
Elasticsearch是一個近乎實時的搜索平台,這意味着從索引文檔到可搜索文檔之間只有一個輕微的延遲(通常是一秒鍾)。
Cluster(集群)
群集是一個或多個節點的集合,它們一起保存整個數據,並提供跨所有節點的聯合索引和搜索功能。每個群集都有自己的唯一群集名稱,節點通過名稱加入群集。(集群分為主節點和從節點)
Node(節點)
節點是指屬於集群的單個Elasticsearch實例,elasticsearch 是java編寫的,所以每個節點本質上都是一個java進程,每個節點存儲數據並參與集群的索引和搜索功能。可以將節點配置為按集群名稱加入特定集群,默認情況下,每個節點都設置為加入一個名為elasticsearch的群集。
Type(類型)
類型是索引的邏輯類別分區,通常,為具有一組公共字段的文檔類型,類似MySql中表的概念。注意:在Elasticsearch 6.0.0及更高的版本中,一個索引只能包含一個類型(_doc)。
Document(文檔)
文檔是可被索引的基本信息單位,以JSON形式表示,類似於MySql中行記錄的概念,即一條信息就是一個文檔。
Feilds(列 column)
ES允許同一個字段有兩個不同的類型,例如一個字段可以擁有keyword類型來進行聚合與排序,也可以擁有text來做全文檢索。
Shards(分片)
當索引存儲大量數據時,可能會超出單個節點的硬件限制,為了解決這個問題,Elasticsearch提供了將索引細分為分片的概念。分片機制賦予了索引水平擴容的能力、並允許跨分片分發和並行化操作,從而提高性能和吞吐量。
Replicas(副本)
在可能出現故障的網絡環境中,需要有一個故障切換機制,Elasticsearch提供了將索引的分片復制為一個或多個副本的功能,副本在某些節點失效的情況下提供高可用性。
文檔的元數據用於標注穩定的相關信息(_index -文檔所屬的索引名,_type -文檔所屬的類型名,_source-文檔的原始Json數據,_version-文檔的版本,_score-相關性得分)
二、簡單操作
1、索引操作(index)
1)查看索引信息
GET /_cat/indices?v
2)創建索引
PUT /customer
3)刪除索引
DELETE /customer
2、文檔操作(document)
1)添加或者修改索引
PUT /customer/_doc/1 { "name": "John Doe" }
2)查看索引中的文檔
GET /customer/_doc/1
3)修改索引中的文檔
POST /customer/_doc/1/_update { "doc": { "name": "Jane Doe" } }
4)刪除索引中的文檔
DELETE /customer/_doc/1
5)批量添加
POST /_bulk { "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "1" } } {"name":"jjl","age":30} { "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "2" } } {"name":"xb","age":40}
3、數據搜索(對index下的document操作)
bank為索引名
1)查詢所有數據
GET /bank/_search
{ "query": { "match_all": {} } }
2)分頁搜索,from表示偏移量,從0開始,size表示每頁顯示的數量
GET /bank/_search { "query": { "match_all": {} }, "from": 0, "size": 10 }
3)搜索排序,使用sort表示,例如按balance字段降序排列
GET /bank/_search { "query": { "match_all": {} }, "sort": { "balance": { "order": "desc" } } }
4)搜索並返回指定字段內容,使用_source表示,例如只返回account_number和balance兩個字段內容
GET /bank/_search { "query": { "match_all": {} }, "sort": { "balance": { "order": "desc" } }, "_source": ["account_number", "balance"] }
5)條件搜索,使用match表示匹配條件,例如搜索出account_number為20的文檔
GET /bank/_search { "query": { "match": { "account_number": 20 } } }
6)文本類型字段的條件搜索,例如搜索address字段中包含mill的文檔,對比上一條搜索可以發現,對於數值類型match操作使用的是精確匹配,對於文本類型(text)使用的是模糊匹配
GET /bank/_search { "query": { "match": { "address": "mill" } }, "_source": [ "address", "account_number" ] }
7)短語匹配搜索,使用match_phrase表示,例如搜索address字段中同時包含mill和lane的文檔
GET /bank/_search { "query": { "match_phrase": { "address": "mill lane" } } }
8)組合搜索,使用bool來進行組合,must表示同時滿足,例如搜索address字段中同時包含mill和lane的文檔
GET /bank/_search { "query": { "bool": { "must": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
9)組合搜索,should表示滿足其中任意一個,搜索address字段中包含mill或者lane的文檔
GET /bank/_search { "query": { "bool": { "should": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
10)組合搜索,must_not表示同時不滿足,例如搜索address字段中不包含mill且不包含lane的文檔
GET /bank/_search { "query": { "bool": { "must_not": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
11)組合搜索,組合must和must_not,例如搜索age字段等於40且state字段不包含ID的文檔
GET /bank/_search { "query": { "bool": { "must": [ { "match": { "age": "40" } } ], "must_not": [ { "match": { "state": "ID" } } ] } } }
4. 過濾搜索
1)搜索過濾,使用filter來表示,例如過濾出balance字段在20000~30000的文檔
GET /bank/_search { "query": { "bool": { "must": { "match_all": {} }, "filter": { "range": { "balance": { "gte": 20000, "lte": 30000 } } } } } }
5、搜索聚合
1)對搜索結果進行聚合,使用aggs來表示,類似於MySql中的group by,例如對state字段進行聚合,統計出相同state的文檔數量
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword" } } } }
2)嵌套聚合,例如對state字段進行聚合,統計出相同state的文檔數量,再統計出balance的平均值
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword" }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } }
3)對聚合搜索的結果進行排序,例如按balance的平均值降序排列
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword", "order": { "average_balance": "desc" } }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } }
4)按字段值的范圍進行分段聚合,例如分段范圍為age字段的[20,30] [30,40] [40,50],之后按gender統計文檔個數和balance的平均值
GET /bank/_search { "size": 0, "aggs": { "group_by_age": { "range": { "field": "age", "ranges": [ { "from": 20, "to": 30 }, { "from": 30, "to": 40 }, { "from": 40, "to": 50 } ] }, "aggs": { "group_by_gender": { "terms": { "field": "gender.keyword" }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } } } }