悟空,拿我的打狗棒来

Es 6.7 source include 单个字段的奇异现象

trycatchfinal 回复了问题 • 2 人关注 • 1 个回复 • 2406 次浏览 • 2019-09-24 11:13 • 来自相关话题

es7启动报错

cxxbz 回复了问题 • 2 人关注 • 2 个回复 • 3111 次浏览 • 2019-09-25 12:04 • 来自相关话题

聚合元数据——对聚合结果进行打标签

ziyou 发表了文章 • 2 个评论 • 2503 次浏览 • 2019-09-23 19:51 • 来自相关话题

背景

在我们的项目中需要对聚合后的结果进行二次的terms的聚合。实际需求就是有n个模型,需要统计每个模型在每段时间的调用次数,然后需要查询指定m个模型的调用总次数。我们要为每个模型建立一个索引,然后为每个模型查一次这段时间内的使用次数。

注:我们记录的值只能从结果中拿取。

实现过程

第一次设计

每个模型在第一次设计的时候是两个字段,【调用次数】、【错误次数】,使用以下语句:
JSON<br /> {<br /> "aggs": {<br /> "error": {<br /> "filters": {<br /> "filters": {<br /> "error": {<br /> "query_string": {<br /> "query": "state:-1",<br /> "analyze_wildcard": true,<br /> "default_field": "*"<br /> }<br /> }<br /> }<br /> }<br /> }<br /> },<br /> "size": 0,<br /> "query": {<br /> "bool": {<br /> "must": [<br /> {<br /> "bool": {<br /> "should": [<br /> {<br /> "match_phrase": {<br /> "li": "D003" //说明这是一次模型调用<br /> }<br /> }<br /> ],<br /> "minimum_should_match": 1<br /> }<br /> },<br /> {<br /> "match_phrase": {<br /> "modelId..keyword": {<br /> "query": "modelId01"<br /> }<br /> }<br /> },<br /> {<br /> "range": {<br /> "x_st": {<br /> "gte": "now/h-1h-10s",<br /> "lte": "now/h-10s",<br /> "format": "epoch_millis"<br /> }<br /> }<br /> }<br /> ]<br /> }<br /> }<br /> }<br />
结果为:
JSON<br /> {<br /> "took" : 215,<br /> "timed_out" : false,<br /> "_shards" : {<br /> "total" : 1095,<br /> "successful" : 1095,<br /> "skipped" : 1053,<br /> "failed" : 0<br /> },<br /> "hits" : {<br /> "total" : 0,<br /> "max_score" : 0.0,<br /> "hits" : [ ]<br /> },<br /> "aggregations" : {<br /> "error" : {<br /> "buckets" : {<br /> "error" : {<br /> "doc_count" : 0<br /> }<br /> }<br /> }<br /> }<br /> }<br />
解析后保存:
JSON<br /> {"@timestamp":"2019-09-23T12:23:23.333","count":0,"error":0}<br />
这种情况可以统计每个模型在某段时间内的调用次数,使用索引名来区分每个model。但是在统计指定m个模型的时候就不行了,使用索引名来查询的时候由于是指定m个,前缀不能使用* 匹配,并且不能罗列所有m个索引来查询,就无法达到统计的效果。
第一次设计因为不能在结果中记录模型ID导致不能统计指定的m个模型的数量,以失败告终。

第二次设计

既然需要在统计结果中记录模型ID,那就使用terms聚合来进行操作,先使用模型ID过滤一下数据,然后使用聚合唯一的模型ID,这样就有了模型ID。查询语句如下:
JSON<br /> {<br /> "aggs": {<br /> "modelId": {<br /> "terms": {<br /> "field": "modelId.keyword",<br /> "size": 5,<br /> "order": {<br /> "_count": "desc"<br /> }<br /> }<br /> }<br /> },<br /> "size": 0,<br /> "query": {<br /> "bool": {<br /> "must": [<br /> {<br /> "match_phrase": {<br /> "modelId.keyword": {<br /> "query": "modelId01"<br /> }<br /> }<br /> },<br /> {<br /> "range": {<br /> "x_st": {<br /> "gte": "now/h-1h",<br /> "lte": "now/h",<br /> "format": "epoch_millis"<br /> }<br /> }<br /> },<br /> {<br /> "match_phrase": {<br /> "modelId.keyword": {<br /> "query": "modelId01"<br /> }<br /> }<br /> }<br /> ]<br /> }<br /> }<br /> }<br />
结果为:
JSON<br /> {<br /> "took" : 9,<br /> "timed_out" : false,<br /> "_shards" : {<br /> "total" : 140,<br /> "successful" : 140,<br /> "skipped" : 135,<br /> "failed" : 0<br /> },<br /> "hits" : {<br /> "total" : 0,<br /> "max_score" : 0.0,<br /> "hits" : [ ]<br /> },<br /> "aggregations" : {<br /> "modelId" : {<br /> "doc_count_error_upper_bound" : 0,<br /> "sum_other_doc_count" : 0,<br /> "buckets" : [ ]<br /> }<br /> }<br /> }<br />
在有模型调用的时候这个方法还好用,但是在无模型调用的时候这个返回结果就如上面的一样,是不包含任何信息的,错误次数的0和模型ID都没有了。
第二次设计因为在无模型调用的时候导致模型ID不能记录,然后也是不能实现指定m个模型的查询次数统计,也以失败告终。

第三次设计

经过两次失败的实际案例,我发现现有的知识已经不能满足需求了,我需要新的方法,我需要一个能给查询结果添加字段的方法,所以我去查询官方文档,让我找到了这个方法[聚合元数据](<a href="https://www.elastic.co/guide/en/elasticsearch/reference/6.8/agg-metadata.html"%3Ehttps://www.elastic.co/guide/en/elasticsearch/reference/6.8/agg-metadata.htm" rel="nofollow" target="_blank">https://www.elastic.co/guide/e ... a.html) 也就是对聚合结果进行打标签。
我使用第一次的设计方案,然后添加上对聚合结果打标签的方法,就可以记录一次统计值的模型ID了。
查询语句如下:
JSON<br /> {<br /> "aggs": {<br /> "error": {<br /> "filters": {<br /> "filters": {<br /> "error": {<br /> "query_string": {<br /> "query": "state:-1",<br /> "analyze_wildcard": true,<br /> "default_field": "*"<br /> }<br /> }<br /> }<br /> },<br /> "meta": {<br /> "modelId": "modelId01"<br /> }<br /> }<br /> },<br /> "size": 0,<br /> "query": {<br /> "bool": {<br /> "must": [<br /> {<br /> "bool": {<br /> "should": [<br /> {<br /> "match_phrase": {<br /> "li": "D003" //说明这是一次模型调用<br /> }<br /> }<br /> ],<br /> "minimum_should_match": 1<br /> }<br /> },<br /> {<br /> "match_phrase": {<br /> "modelId..keyword": {<br /> "query": "modelId01"<br /> }<br /> }<br /> },<br /> {<br /> "range": {<br /> "x_st": {<br /> "gte": "now/h-1h-10s",<br /> "lte": "now/h-10s",<br /> "format": "epoch_millis"<br /> }<br /> }<br /> }<br /> ]<br /> }<br /> }<br /> }<br />
查询结果为:
JSON<br /> {<br /> "took" : 88,<br /> "timed_out" : false,<br /> "_shards" : {<br /> "total" : 1095,<br /> "successful" : 1095,<br /> "skipped" : 1056,<br /> "failed" : 0<br /> },<br /> "hits" : {<br /> "total" : 0,<br /> "max_score" : 0.0,<br /> "hits" : [ ]<br /> },<br /> "aggregations" : {<br /> "error" : {<br /> "meta" : {<br /> "modelId" : "modelId01"<br /> },<br /> "buckets" : {<br /> "error" : {<br /> "doc_count" : 0<br /> }<br /> }<br /> }<br /> }<br /> }<br />
至此完成了统计需求。

总结

使用聚合元数据方法,可以对聚合的结果进行打标签,可以使用在聚合结果保存后再次进行terms聚合的时候使用,或者通过标签进行各种其他查询。

es v6.8.3 bulk 异常

doom 回复了问题 • 3 人关注 • 2 个回复 • 1637 次浏览 • 2019-09-27 21:06 • 来自相关话题

全局超时不生效

locatelli 回复了问题 • 2 人关注 • 1 个回复 • 1522 次浏览 • 2019-09-26 12:30 • 来自相关话题

生产环境的ELK版本如何升级

Tsukiand 回复了问题 • 3 人关注 • 2 个回复 • 3966 次浏览 • 2019-09-27 20:37 • 来自相关话题

index索引数量不能突破500个

doom 回复了问题 • 6 人关注 • 6 个回复 • 5752 次浏览 • 2019-09-27 21:10 • 来自相关话题

大神求助,我这测试ElastAlert规则老师出差报一下错误,有大神指导吗?()

回复

zheniove 发起了问题 • 2 人关注 • 0 个回复 • 3270 次浏览 • 2019-09-23 14:05 • 来自相关话题

Es固定时间区间内的score排序

doom 回复了问题 • 3 人关注 • 1 个回复 • 1902 次浏览 • 2019-09-27 22:07 • 来自相关话题

elasticsearch7.0.0一次查询两个索引,第二个索引返回不了结果

fantuan 回复了问题 • 2 人关注 • 1 个回复 • 2709 次浏览 • 2019-09-24 16:12 • 来自相关话题

search-guard-ssl被封了

hsd249022043 回复了问题 • 6 人关注 • 3 个回复 • 1913 次浏览 • 2020-02-11 12:09 • 来自相关话题

多语言搜索,中文拼音+其他语言+首字母排序

doom 回复了问题 • 2 人关注 • 1 个回复 • 1852 次浏览 • 2019-09-28 05:26 • 来自相关话题

ES 7.X 版是如何防止腦裂發生

medcl 回复了问题 • 2 人关注 • 1 个回复 • 1781 次浏览 • 2019-09-23 09:50 • 来自相关话题

elasticsearch data node 脱离又加入集群, 报错: java.nio.channels.ClosedChannelException: null

micmouse521 回复了问题 • 5 人关注 • 5 个回复 • 8107 次浏览 • 2019-11-28 17:43 • 来自相关话题

es如何查询月日,例如我只想查8-5到9-15的信息,不需要年份,但是搜索的时候结果要带上

trycatchfinal 回复了问题 • 3 人关注 • 2 个回复 • 2486 次浏览 • 2019-09-24 12:48 • 来自相关话题