es的常用字段类型和查询

    概要

    在ES中，字段的类型很关键，毕竟无论是es还是传统的数据库，都无法弱化字段的类型。

    在索引的时候，如果字段第一次出现，会自动识别某个类型。

    那么如果一个字段已经存在了，并且设置为某个类型。再来一条数据，字段的数据不与当前的类型相符，就会出现字段冲突的问题。如果发生了冲突，在2.x版本会自动拒绝。

    如果自动映射无法满足需求，就需要使用者自己来设置映射类型，因此，就需要使用者了解ES中的类型。

    一、ES数据类型

    1、分隔数据

    ElasticSearch“真正用于分隔数据的结构“只有index，而没有type，type实际上作为了一个元数据（类似SQL中的id，作为额外的标识数据）来实现逻辑划分。

    2、mapping

    在index中还有一个mapping，mapping管理了整个index的各个字段的属性，也就是定义了整个index中document的结构。

    GET test_alias/_mapping

    3、ES数据类型

    ES常用的数据类型可分为3大类：核⼼数据类型、复杂数据类型、专⽤数据类型

    1）核心数据类型

  （1）字符串类型： text, keyword

    text类型：

    a. 支持分词，全文检索,支持模糊、精确查询,不支持聚合,排序操作;
    b. test类型最大支持的字符长度无限制,适合大字段存储；
    使用场景：
    存储全文搜索数据, 例如: 邮箱内容、地址、代码块、博客文章内容等。
    默认结合standard analyzer(标准解析器)对文本进行分词、倒排索引。
    默认结合标准分析器进行词命中、词频相关度打分。

    keyword类型：

    a.  不进行分词，直接索引，支持模糊、支持精确匹配，支持聚合、排序操作。
    b.  keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。

    使用场景：
    存储邮箱号码、url、name、title，手机号码、主机名、状态码、邮政编码、标签、年龄、性别等数据。
    用于筛选数据(例如: select * from x where status='open')、排序、聚合(统计)。
    直接将完整的文本保存到倒排索引中。

  （2）数字类型：long, integer, short, byte, double, float, half_float, scaled_float

  （3）日期：date

  （4）日期 纳秒：date_nanos

  （5）布尔型：boolean

  （6）Binary：binary

  （7）Range: integer_range, float_range, long_range, double_range, date_range

    二、es的常用命令

   1、 cat 命令：

   cat 命令是监控 es 的节点，内存，索引，分片，集群状态等一些基本信息

# 列出所有_cat命令
GET _cat/

# 显示左右索引并按照存储大小排序
GET _cat/indices?v&s=store.size:desc

# 获取集群状态
GET _cat/health

# 当使用v参数是 会显示列名的详细信息
GET _cat/health?v

# 显示所有的node信息
GET _cat/nodes?v

# 只显示ip和load_5m这两列
GET _cat/nodes?v&h=ip,load_5m

# 通过json格式显示输出
GET _cat/indices?v&format=json&pretty

   2、 精确值查找

   term

GET test_alias/_search
{
  "query": {
    "term": {
      "target_id": {
        "value": "15464324"
      }
    }
  }
}

   3、范围检索

    range

    范围查询的符号：

    gte  大于或等于

    gt  大于

    lte 小于或等于

    lt   小于

    例如：数组范围内的查询

GET book_shop/_search
{
    "query": {
        "range": {
            "price": {
                "gte": 40,
                "lte": 80,
                "boost": 2.0    // 设置得分的权重值(提升值), 默认是1.0
            }
        }
    }
}

 

GET test_alias/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "terms": {
            "expend_type": [
              1,
              13
            ]
          }
        },
        {
          "term": {
            "target_id": 2402483
          }
        },
        {
          "range": {
            "time": {
              "gt": 1553217005,
              "lt": 1553218095
            }
          }
        }
      ]
    }
  }
}

   4、分词检索

    match

    match_all

    4) Bool查询

    Bool查询包括四种子句：must、filter、should、must_not

    must， 返回的文档必须满足must子句的条件，并且参与计算分值

    filter， 返回的文档必须满足filter子句的条件。但是跟must不一样的是，不会计算分值， 并且可以使用缓存

    从上面的描述来看，如果只看查询的结果，must和filter是一样的。区别是场景不一样。如果结果需要算分就使用must，否则可以考虑使用filter

    5、聚合查询

    aggs

    1） 给定target_id的值，查询同一个target_id下的expend_type为1或者13下的统计值

GET test_alias/_search
{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "expend_type": [
              1,
              13
            ]
          }
        },
        {
          "terms": {
            "target_id": [
              13906061,
              13817056,
              13904373,
              13851977,
              13851353
            ]
          }
        }
      ]
    }
  },
  "aggs": {
    "phone_count": {
      "terms": {
        "field": "target_id"
      }
    }
  }
}

   查询结果为：

     

    2)  给定target_id的值，查询expend_type分别为1和13下的统计值

GET test_alias/_search
{
  "size": 0,
  "query": {
    "bool": {
      "must": [
        {
          "terms": {
            "target_id": [
              13906061,
              13817056,
              13904373
            ]
          }
        },
        {
          "terms": {
            "expend_type": [
              1,
              13
            ]
          }
        }
      ]
    }
  },
  "aggs": {
    "target": {
      "terms": {
        "field": "target_id"
      },
      "aggs": {
        "type": {
          "terms": {
            "field": "expend_type"
          }
        }
      }
    }
  }
}

   查询结果为：

{
  "took" : 2,
  "timed_out" : false,
  "_shards" : {
    "total" : 9,
    "successful" : 9,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 620,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "target" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 0,
      "buckets" : [
        {
          "key" : 13906061,
          "doc_count" : 502,
          "type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 1,
                "doc_count" : 502
              }
            ]
          }
        },
        {
          "key" : 13817056,
          "doc_count" : 62,
          "type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 1,
                "doc_count" : 62
              }
            ]
          }
        },
        {
          "key" : 13904373,
          "doc_count" : 56,
          "type" : {
            "doc_count_error_upper_bound" : 0,
            "sum_other_doc_count" : 0,
            "buckets" : [
              {
                "key" : 1,
                "doc_count" : 56
              }
            ]
          }
        }
      ]
    }
  }
}

 

 参考链接： https://cloud.tencent.com/developer/article/1496106