Elasticsearch template
-
Elasticsearch存在一個關鍵問題就是索引的設置及字段的屬性指定，最常見的問題就是，某個字段我們並不希望ES對其進行分詞，但如果使用自動模板創建索引，那么默認是所有string類型的字段都會被分詞的，因此必須要顯式指定字段的not_analyzed屬性，其它的比如控制索引的備份數，分片數等，也可以通過模板的套用來實現，並且模板可以通過通配符進行模糊匹配，即可對滿足某一通配符的所有新建索引均套用統一模板，不需要為每個索引都建立模板。但也有一點局限性需要注意：模板在設置生效后，僅對ES集群中新建立的索引生效，而對已存在的索引及時索引名滿足模板的匹配規則，也不會生效，因此如果需要改變現有索引的mapping信息，仍需要在正確的mapping基礎上建立新的索引，並將數據從原索引拷貝至新索引，變更新索引別名為原索引這種方式來實現（改方法適用當前ES版本（1.7+~2.4+）），也許未來會有索引的直接遷移方案。
-
參考文章：
相關api的使用
- 創建
curl -XPUT localhost:9200/_template/template_1 -d
{
"template" : "te*",
"order":1 //就是 elasticsearch 在創建一個索引的時候，如果發現這個索引同時匹配上了多個 template ，那么就會先應用 order 數值小的 template 設置，然后再應用一遍 order 數值高的作為覆蓋，最終達到一個 merge 的效果
"settings" : {
"number_of_shards" : 1
},
"mappings" : {
"type1" : {
"_source" : {"enabled" : false }
}
}
}
- 刪除模板
curl -XDELETE localhost:9200/_template/template_1
- 查看定義的模板
curl -XGET localhost:9200/_template/template_1
- 注：大家也可以使用一些es的管理工具去添加修改查看template
一些重要的字段
-
_source:_source字段是自動生成的，以JSON格式存儲索引文件。_source字段沒有建索引，所以不可搜索。當執行“get”或者“search”操作時，默認會返回_source字段。_source字段消耗性能，所以可以屏蔽disable掉。enabale:false的情況下，默認檢索只返回ID。例如:"_source":{"enabled":false} -
_all:主要指的是All Field字段，我們可以將一個或都多個包含進去，在進行檢索時無需指定字段的情況下檢索多個字段。前提是你得開啟All Field字段 “_all” : {“enabled” : true}。好處是你可以在_all里搜索那些你不在乎在哪個字段找到的東西。另一面是在創建索引和增大索引大小的時候會使用額外更多的CPU。所以如果你不用這個特性的話，關掉它。即使你用，最好也考慮一下定義清楚限定哪些字段包含進_all里。 -
"index":"analyzed":
- analyzed -- 使用分詞器將域值分解成獨立的語匯單元流，並使每個語匯單元能被搜到，適用於普通文本域（如正文、標題、摘要等），通常需要設置“index_analyzer
- not_analyzed -- 對域進行索引，但不對String值進行分析，實際上將域值作為 單一語匯單元並使之能本搜索，適用於不能被分解的域值，如URL、文件路徑、日期、電話等。
- no -- 使用對應的域值不被搜索
-
"null_value":"none":為空添加的默認值 -
store:域存儲選項store，用來確定是否需要存儲域的真實值，以便后續搜集時能恢復這個值- yes -- 指定存儲域值。該情況下，原始的字符串全部被保存在索引中，並可以由IndexReader類恢復。該選項對於需要展示搜索結果的一些域很有用（如URL、標題等）。如果索引的大小在搜索程序考慮之列的話，不要存儲太大的域值，因為這些域值會消耗掉索引的存儲空間
- no -- 指定不存儲域值。該選項通常跟Index.ANALYZED選項共同用來索引大的文本域值，這些域值不用恢復初始格式，如文本正文
-
omit_norms：norms記錄了索引中index-time boost信息，但是當你進行搜索時可能會比較耗費內存。omit_norms = true則是忽略掉域加權信息，這樣在搜索的時候就不會處理索引時刻的加權信息了
一個nginx-ccess日志解析后寫的template
{
"order": 1,
"template": "logstash-app-trace-*",
"settings": {
"index": {
"number_of_shards": "3",
"number_of_replicas": "1",
"refresh_interval": "5s"
}
},
"mappings": {
"_default_": {
"properties": {
"request": {
"index": "not_analyzed",
"type": "string"
},
"span_name": {
"index": "not_analyzed",
"type": "string"
},
"body_bytes_sent": {
"type": "integer"
},
"type": {
"index": "not_analyzed",
"type": "string"
},
"http_user_agent": {
"index": "not_analyzed",
"type": "string"
},
"uid": {
"index": "not_analyzed",
"type": "string"
},
"protocol": {
"index": "not_analyzed",
"type": "string"
},
"request_time": {
"type": "long"
},
"node_type": {
"index": "not_analyzed",
"type": "string"
},
"pspan_id": {
"index": "not_analyzed",
"type": "string"
},
"remote_addr": {
"index": "not_analyzed",
"type": "string"
},
"trace_id": {
"index": "not_analyzed",
"type": "string"
},
"device_id": {
"index": "not_analyzed",
"type": "string"
},
"span_id": {
"index": "not_analyzed",
"type": "string"
},
"time_local": {
"index": "not_analyzed",
"type": "string"
},
"params": {
"index": "not_analyzed",
"type": "string"
},
"server_addr": {
"index": "not_analyzed",
"type": "string"
},
"url": {
"index": "not_analyzed",
"type": "string"
},
"request_body": {
"index": "not_analyzed",
"type": "string"
},
"http_referer": {
"index": "not_analyzed",
"type": "string"
},
"http_x_forwarded_for": {
"index": "not_analyzed",
"type": "string"
},
"upstream_response_time": {
"type": "integer"
},
"response_time": {
"type": "long"
},
"http_status": {
"type": "integer"
},
"result_code": {
"index": "not_analyzed",
"type": "string"
},
"status": {
"type": "integer"
},
"node_id": {
"index": "not_analyzed",
"type": "string"
}
},
"_all": {
"enabled": false
}
}
},
"aliases": {
"app-trace-template": {}
}
}