ElasticSearch常用的查詢操作


一、相關概念

Index(索引)【同樣是名詞這里與mysql中的索引還是有區別的】

  Index是名詞的時候就是我們平時理解的索引,好比導航一個可以方便我們查詢,但在esIndex(索引)常常是一個動詞應該被理解為添加。索引是一些具有相似特征的文檔集合,類似於MySql中數據庫的概念。

Near Realtime(近實時)

  Elasticsearch是一個近乎實時的搜索平台,這意味着從索引文檔到可搜索文檔之間只有一個輕微的延遲(通常是一秒鍾)

Cluster(集群)

  群集是一個或多個節點的集合,它們一起保存整個數據,並提供跨所有節點的聯合索引和搜索功能。每個群集都有自己的唯一群集名稱,節點通過名稱加入群集。(集群分為主節點和從節點)

Node(節點)

  節點是指屬於集群的單個Elasticsearch實例,elasticsearch java編寫的,所以每個節點本質上都是一個java進程每個節點存儲數據並參與集群的索引和搜索功能。可以將節點配置為按集群名稱加入特定集群,默認情況下,每個節點都設置為加入一個名為elasticsearch的群集。

Type(類型)

  類型是索引的邏輯類別分區,通常,為具有一組公共字段的文檔類型,類似MySql中表的概念。注意:在Elasticsearch 6.0.0及更高的版本中,一個索引只能包含一個類型(_doc)

Document(文檔)

  文檔是可被索引的基本信息單位,以JSON形式表示,類似於MySql中行記錄的概念,即一條信息就是一個文檔

Feilds column

  ES允許同一個字段有兩個不同的類型,例如一個字段可以擁有keyword類型來進行聚合與排序,也可以擁有text來做全文檢索。

Shards(分片)

  當索引存儲大量數據時,可能會超出單個節點的硬件限制,為了解決這個問題,Elasticsearch提供了將索引細分為分片的概念。分片機制賦予了索引水平擴容的能力、並允許跨分片分發和並行化操作,從而提高性能和吞吐量。

Replicas(副本)

  在可能出現故障的網絡環境中,需要有一個故障切換機制,Elasticsearch提供了將索引的分片復制為一個或多個副本的功能,副本在某些節點失效的情況下提供高可用性。

文檔的元數據用於標注穩定的相關信息_index -文檔所屬的索引名_type -文檔所屬的類型名_source-文檔的原始Json數據,_version-文檔的版本_score-相關性得分

二、簡單操作

1、索引操作(index)

  1)查看索引信息

GET /_cat/indices?v

  2)創建索引

PUT /customer

  3)刪除索引

DELETE /customer

2、文檔操作(document)

  1)添加或者修改索引

PUT /customer/_doc/1
{
  "name": "John Doe"
}

  2)查看索引中的文檔

GET /customer/_doc/1

  3)修改索引中的文檔

POST /customer/_doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}

  4)刪除索引中的文檔

DELETE /customer/_doc/1

    5)批量添加

POST /_bulk
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "1" } }
{"name":"jjl","age":30}
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "2" } }
{"name":"xb","age":40}

 

3、數據搜索(對index下的document操作)

  bank為索引名

  1)查詢所有數據

GET /bank/_search
 { "query": { "match_all": {} } }

  2)分頁搜索,from表示偏移量,從0開始,size表示每頁顯示的數量

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

  3)搜索排序,使用sort表示,例如按balance字段降序排列

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

  4)搜索並返回指定字段內容,使用_source表示,例如只返回account_numberbalance兩個字段內容

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } 
    
  },
  "_source": ["account_number", "balance"]
  
}

  5)條件搜索,使用match表示匹配條件,例如搜索出account_number20的文檔

GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

  6)文本類型字段的條件搜索,例如搜索address字段中包含mill的文檔,對比上一條搜索可以發現對於數值類型match操作使用的是精確匹配,對於文本類型(text)使用的是模糊匹配

GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}

  7)短語匹配搜索,使用match_phrase表示,例如搜索address字段中同時包含milllane的文檔

GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

  8)組合搜索,使用bool來進行組合,must表示同時滿足,例如搜索address字段中同時包含milllane的文檔

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  9)組合搜索,should表示滿足其中任意一個,搜索address字段中包含mill或者lane的文檔

GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  10)組合搜索,must_not表示同時不滿足,例如搜索address字段中不包含mill且不包含lane的文檔

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

  11)組合搜索,組合mustmust_not,例如搜索age字段等於40state字段不包含ID的文檔

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

 

4. 過濾搜索

  1)搜索過濾,使用filter來表示,例如過濾出balance字段在20000~30000的文檔

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

 

5、搜索聚合

  1)對搜索結果進行聚合,使用aggs來表示,類似於MySql中的group by,例如對state字段進行聚合,統計出相同state的文檔數量

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

  2)嵌套聚合,例如對state字段進行聚合,統計出相同state的文檔數量,再統計出balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  3)對聚合搜索的結果進行排序,例如按balance的平均值降序排列

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

  4)按字段值的范圍進行分段聚合,例如分段范圍為age字段的[20,30] [30,40] [40,50],之后按gender統計文檔個數和balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM