Easysearch、Elasticsearch 还是 Opensearch,是个问题

如何做两个聚合时,可以按照某个度量值做top10

回复

Elasticsearchlinyongzhi 发起了问题 • 1 人关注 • 0 个回复 • 4210 次浏览 • 2016-09-22 10:09 • 来自相关话题

关于elasticsearch-analysis-pinyin 关于elasticsearch-analysis-pinyin插件的请教

Elasticsearchmedcl 回复了问题 • 5 人关注 • 6 个回复 • 4531 次浏览 • 2016-10-13 16:11 • 来自相关话题

packetbeat结合elasticsearch和logstash使用报错怎么解决

Beatsstab 回复了问题 • 2 人关注 • 1 个回复 • 7067 次浏览 • 2016-09-22 18:07 • 来自相关话题

Elastic{ON} Dev China 2016 开始报名了!

资讯动态medcl 发表了文章 • 8 个评论 • 5949 次浏览 • 2016-09-20 22:23 • 来自相关话题

大会网站:https://info.elastic.co/elasticon-dev-china.html 
大会网站:​[url=http://conf.elasticsearch.cn]http://conf.elasticsearch.cn​[/url]
大会介绍:
Elastic 中国开发者大会 2016(Elastic{ON} Dev China 2016)是由 Elastic 官方在中国举办的第一次开发者大会,前身 ESCC (Elasticsearch China Conference) 是由 Elastic 中文社区每年定期举办的线下交流活动,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。 

大会时间:
2016-12-10 08:00 至 2016-12-10 18:00 周六
 
如何参与:
提供赞助:http://elasticsearch.mikecrm.com/nECSP4
提交演讲:http://elasticsearch.mikecrm.com/x0y56G
当志愿者:http://elasticsearch.mikecrm.com/n5BVwP
购买门票:http://event.3188.la/460820612/
 
大会具体场地和日程不断更新中,敬请关注!

ElasticSearch java API - 聚合查询

Elasticsearchcarlislelee 发表了文章 • 3 个评论 • 53964 次浏览 • 2016-09-20 17:16 • 来自相关话题

以球员信息为例,player索引的player type包含5个字段,姓名,年龄,薪水,球队,场上位置。
index的mapping为:
"mappings": {
"player": {
"properties": {
"name": {
"index": "not_analyzed",
"type": "string"
},
"age": {
"type": "integer"
},
"salary": {
"type": "integer"
},
"team": {
"index": "not_analyzed",
"type": "string"
},
"position": {
"index": "not_analyzed",
"type": "string"
}
},
"_all": {
"enabled": false
}
}
}

索引中的全部数据:

微信截图_20160920171030.png

 
首先,初始化Builder:
SearchRequestBuilder sbuilder = client.prepareSearch("player").setTypes("player");
接下来举例说明各种聚合操作的实现方法,因为在es的api中,多字段上的聚合操作需要用到子聚合(subAggregation),初学者可能找不到方法(网上资料比较少,笔者在这个问题上折腾了两天,最后度了源码才彻底搞清楚T_T),后边会特意说明多字段聚合的实现方法。另外,聚合后的排序也会单独说明。
  • group by/count

例如要计算每个球队的球员数,如果使用SQL语句,应表达如下:
select team, count(*) as player_count from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
sbuilder.addAggregation(teamAgg);
SearchResponse response = sbuilder.execute().actionGet();
 
  • group by多个field

例如要计算每个球队每个位置的球员数,如果使用SQL语句,应表达如下:
select team, position, count(*) as pos_count from player group by team, position;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
TermsBuilder posAgg= AggregationBuilders.terms("pos_count").field("position");
sbuilder.addAggregation(teamAgg.subAggregation(posAgg));
SearchResponse response = sbuilder.execute().actionGet();
 
  • max/min/sum/avg

例如要计算每个球队年龄最大/最小/总/平均的球员年龄,如果使用SQL语句,应表达如下:
select team, max(age) as max_age from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("player_count ").field("team");
MaxBuilder ageAgg= AggregationBuilders.max("max_age").field("age");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg));
SearchResponse response = sbuilder.execute().actionGet();

  • 对多个field求max/min/sum/avg

例如要计算每个球队球员的平均年龄,同时又要计算总年薪,如果使用SQL语句,应表达如下:
select team, avg(age)as avg_age, sum(salary) as total_salary from player group by team;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("team");
AvgBuilder ageAgg= AggregationBuilders.avg("avg_age").field("age");
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(ageAgg).subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();
 
  • 聚合后对Aggregation结果排序

例如要计算每个球队总年薪,并按照总年薪倒序排列,如果使用SQL语句,应表达如下:
select team, sum(salary) as total_salary from player group by team order by total_salary desc;
ES的java api:
TermsBuilder teamAgg= AggregationBuilders.terms("team").order(Order.aggregation("total_salary ", false);
SumBuilder salaryAgg= AggregationBuilders.avg("total_salary ").field("salary");
sbuilder.addAggregation(teamAgg.subAggregation(salaryAgg));
SearchResponse response = sbuilder.execute().actionGet();
需要特别注意的是,排序是在TermAggregation处执行的,Order.aggregation函数的第一个参数是aggregation的名字,第二个参数是boolean型,true表示正序,false表示倒序。 
  • Aggregation结果条数的问题

默认情况下,search执行后,仅返回10条聚合结果,如果想反悔更多的结果,需要在构建TermsBuilder 时指定size:
TermsBuilder teamAgg= AggregationBuilders.terms("team").size(15);
 
  • Aggregation结果的解析/输出

得到response后:
Map<String, Aggregation> aggMap = response.getAggregations().asMap();
StringTerms teamAgg= (StringTerms) aggMap.get("keywordAgg");
Iterator<Bucket> teamBucketIt = teamAgg.getBuckets().iterator();
while (teamBucketIt .hasNext()) {
Bucket buck = teamBucketIt .next();
//球队名
String team = buck.getKey();
//记录数
long count = buck.getDocCount();
//得到所有子聚合
Map subaggmap = buck.getAggregations().asMap();
//avg值获取方法
double avg_age= ((InternalAvg) subaggmap.get("avg_age")).getValue();
//sum值获取方法
double total_salary = ((InternalSum) subaggmap.get("total_salary")).getValue();
//...
//max/min以此类推
}
 
  • 总结

综上,聚合操作主要是调用了SearchRequestBuilder的addAggregation方法,通常是传入一个TermsBuilder,子聚合调用TermsBuilder的subAggregation方法,可以添加的子聚合有TermsBuilder、SumBuilder、AvgBuilder、MaxBuilder、MinBuilder等常见的聚合操作。
 
从实现上来讲,SearchRequestBuilder在内部保持了一个私有的 SearchSourceBuilder实例, SearchSourceBuilder内部包含一个List<AbstractAggregationBuilder>,每次调用addAggregation时会调用 SearchSourceBuilder实例,添加一个AggregationBuilder。
同样的,TermsBuilder也在内部保持了一个List<AbstractAggregationBuilder>,调用addAggregation方法(来自父类addAggregation)时会添加一个AggregationBuilder。有兴趣的读者也可以阅读源码的实现。
 
如果有什么问题,欢迎一起讨论,如果文中有什么错误,欢迎批评指正。
 
注:文中使用的Elastic Search API版本为2.3.2






 

怎么通过java连接集群中的Node Client节点对集群中索引进行操作?

Elasticsearchweizijun 回复了问题 • 2 人关注 • 1 个回复 • 4878 次浏览 • 2016-09-21 12:49 • 来自相关话题

logstash client output到sever es 被拒绝, 需要如何设置

Logstashleighton_buaa 回复了问题 • 2 人关注 • 1 个回复 • 6505 次浏览 • 2016-09-20 18:50 • 来自相关话题

Elasticsearch启动异常

Elasticsearchknowmara 回复了问题 • 2 人关注 • 1 个回复 • 16213 次浏览 • 2016-09-20 15:33 • 来自相关话题

查看es正在执行的查询或者以前的查询

Elasticsearchweizijun 回复了问题 • 2 人关注 • 1 个回复 • 9506 次浏览 • 2016-09-21 12:51 • 来自相关话题

搜索中文精确问题

Elasticsearchmartindu 回复了问题 • 2 人关注 • 1 个回复 • 2917 次浏览 • 2016-09-21 16:24 • 来自相关话题

query和filter的速度问题

ElasticsearchXargin 回复了问题 • 6 人关注 • 4 个回复 • 4898 次浏览 • 2016-10-21 12:41 • 来自相关话题

搭建集群后,查询时出现index_out_of_bounds_exception错误?(有很神奇的事情,具体情况内详)

Elasticsearchweizijun 回复了问题 • 2 人关注 • 1 个回复 • 9191 次浏览 • 2016-09-21 12:56 • 来自相关话题

filebeat写kafka失败

Beatswajika 回复了问题 • 9 人关注 • 9 个回复 • 20075 次浏览 • 2019-08-29 16:55 • 来自相关话题

ElasticSearch怎么同时对两个字段做sum聚合

Elasticsearchweizijun 回复了问题 • 2 人关注 • 1 个回复 • 14275 次浏览 • 2016-09-20 12:35 • 来自相关话题

inner_hits nested bug

回复

Elasticsearchlci 发起了问题 • 1 人关注 • 0 个回复 • 4924 次浏览 • 2016-09-19 22:28 • 来自相关话题