Elasticsearch template
-
Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定，最常见的问题就是，某个字段我们并不希望ES对其进行分词，但如果使用自动模板创建索引，那么默认是所有string类型的字段都会被分词的，因此必须要显式指定字段的not_analyzed属性，其它的比如控制索引的备份数，分片数等，也可以通过模板的套用来实现，并且模板可以通过通配符进行模糊匹配，即可对满足某一通配符的所有新建索引均套用统一模板，不需要为每个索引都建立模板。但也有一点局限性需要注意：模板在设置生效后，仅对ES集群中新建立的索引生效，而对已存在的索引及时索引名满足模板的匹配规则，也不会生效，因此如果需要改变现有索引的mapping信息，仍需要在正确的mapping基础上建立新的索引，并将数据从原索引拷贝至新索引，变更新索引别名为原索引这种方式来实现（改方法适用当前ES版本（1.7+~2.4+）），也许未来会有索引的直接迁移方案。
- 参考文章：
相关api的使用
- 创建
curl -XPUT localhost:9200/_template/template_1 -d
{
"template"
:
"te*"
,
"order"
:1
//就是 elasticsearch 在创建一个索引的时候，如果发现这个索引同时匹配上了多个 template ，那么就会先应用 order 数值小的 template 设置，然后再应用一遍 order 数值高的作为覆盖，最终达到一个 merge 的效果
"settings"
: {
"number_of_shards"
: 1
},
"mappings"
: {
"type1"
: {
"_source"
: {
"enabled"
:
false
}
}
}
}
|
- 删除模板
curl -XDELETE localhost:9200/_template/template_1
|
- 查看定义的模板
curl -XGET localhost:9200/_template/template_1
|
- 注：大家也可以使用一些es的管理工具去添加修改查看template
一些重要的字段
-
_source:_source字段是自动生成的，以JSON格式存储索引文件。_source字段没有建索引，所以不可搜索。当执行“get”或者“search”操作时，默认会返回_source字段。_source字段消耗性能，所以可以屏蔽disable掉。enabale:false的情况下，默认检索只返回ID。例如:"_source":{"enabled":false} -
_all:主要指的是All Field字段，我们可以将一个或都多个包含进去，在进行检索时无需指定字段的情况下检索多个字段。前提是你得开启All Field字段 “_all” : {“enabled” : true}。好处是你可以在_all里搜索那些你不在乎在哪个字段找到的东西。另一面是在创建索引和增大索引大小的时候会使用额外更多的CPU。所以如果你不用这个特性的话，关掉它。即使你用，最好也考虑一下定义清楚限定哪些字段包含进_all里。 -
"index":"analyzed":1) analyzed -- 使用分词器将域值分解成独立的语汇单元流，并使每个语汇单元能被搜到，适用于普通文本域（如正文、标题、摘要等），通常需要设置“index_analyzer
2) not_analyzed -- 对域进行索引，但不对String值进行分析，实际上将域值作为 单一语汇单元并使之能本搜索，适用于不能被分解的域值，如URL、文件路径、日期、电话等。
3) no -- 使用对应的域值不被搜索 -
"null_value":"none":为空添加的默认值 -
store:域存储选项store，用来确定是否需要存储域的真实值，以便后续搜集时能恢复这个值- yes -- 指定存储域值。该情况下，原始的字符串全部被保存在索引中，并可以由IndexReader类恢复。该选项对于需要展示搜索结果的一些域很有用（如URL、标题等）。如果索引的大小在搜索程序考虑之列的话，不要存储太大的域值，因为这些域值会消耗掉索引的存储空间
- no -- 指定不存储域值。该选项通常跟Index.ANALYZED选项共同用来索引大的文本域值，这些域值不用恢复初始格式，如文本正文
-
omit_norms：norms记录了索引中index-time boost信息，但是当你进行搜索时可能会比较耗费内存。omit_norms = true则是忽略掉域加权信息，这样在搜索的时候就不会处理索引时刻的加权信息了
一个nginx-ccess日志解析后写的template
{
"order"
: 1,
"template"
:
"logstash-app-trace-*"
,
"settings"
: {
"index"
: {
"number_of_shards"
:
"3"
,
"number_of_replicas"
:
"1"
,
"refresh_interval"
:
"5s"
}
},
"mappings"
: {
"_default_"
: {
"properties"
: {
"request"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"span_name"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"body_bytes_sent"
: {
"type"
:
"integer"
},
"type"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"http_user_agent"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"uid"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"protocol"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"request_time"
: {
"type"
:
"long"
},
"node_type"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"pspan_id"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"remote_addr"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"trace_id"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"device_id"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"span_id"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"time_local"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"params"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"server_addr"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"url"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"request_body"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"http_referer"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"http_x_forwarded_for"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"upstream_response_time"
: {
"type"
:
"integer"
},
"response_time"
: {
"type"
:
"long"
},
"http_status"
: {
"type"
:
"integer"
},
"result_code"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
},
"status"
: {
"type"
:
"integer"
},
"node_id"
: {
"index"
:
"not_analyzed"
,
"type"
:
"string"
}
},
"_all"
: {
"enabled"
:
false
}
}
},
"aliases"
: {
"app-trace-template"
: {}
}
}
|