今天突然之间发现一个访问es的查询很慢。由刚上线之前测试的100ms直接到了5s左右。瞬间懵逼。
这个用户索引大概200w的数据。
查询语句如下
GET /user/_search
{"from":0,"query":{
"bool":{"must_not":[{"term":{"_id":"5faf30e6fe3c39a30de907c3"}}]
}
},"size":30,"sort":[
{"clips_rec_state":{"order":"desc","unmapped_type":"long"}},
{"_geo_distance":{"distance_type":"plane","geo_point":[0,0],"order":"asc"}}
]}.
通过一步一步的分析发现 {"clips_rec_state":{"order":"desc","unmapped_type":"long"}} 这个排序语句导致了速度非常慢。
为啥这个排序语句很慢了?
网上查找了很多资料也没有具体的解决办法，然后只能通过自己的猜想和尝试才发现了es这个坑。
我们公司用的mongodb 加 go. go 语言默认有零值。我们一般不会将零值插入到数据库中,也就是clips_rec_state这个字段为0
的时候，mongodb是没有这个字段。然后我们从mongodb同步到es的时候这个字段的值也是没有的，除非设置了非零值。
其实就是因为这个字段没有默认值导致的。既然找到了源头，解决就有很多办法了。
我直接将这个字段的零值也存在了数据库中，然后es也就有了。
然后再将以前的旧数据同步一下。使用es这个请求:
POST user/_update_by_query?conflicts=proceed
{
"script":{
"lang":"painless",
"source":"if (ctx._source.clips_rec_state == null) {ctx._source.clips_rec_state= 0}"
}
}
将以前没有这个字段的数据增加这个字段并复制为0。然后访问这个接口就发现恢复了es该有的速度了。