目前有20多种数据类型(a1,a2,a3...),每种数据类型里面有维度值和度量值,其中维度值有一个到多个不等,包含url这种长的字段值,包含数据时间字段;
查询要求是:查询一种数据类型(比如a1)一个月时间长度(最大时间长度为某个月),查询条件灵活(其中的维度值),查询结果需要对维度进行聚合分组,然后需要对度量值进行sum等聚合操作。
每天数据量比较大,而且其中更新比较频繁,如何合理的设计index和type使得查询和入库性能能够较好。
查询要求是:查询一种数据类型(比如a1)一个月时间长度(最大时间长度为某个月),查询条件灵活(其中的维度值),查询结果需要对维度进行聚合分组,然后需要对度量值进行sum等聚合操作。
每天数据量比较大,而且其中更新比较频繁,如何合理的设计index和type使得查询和入库性能能够较好。
3 个回复
medcl - 今晚打老虎。
赞同来自: martindu
不过换句话来说,20多个类型其实不算多,你完全可以自由展开按对象的方式来做,beats里面很多监控的对象其实就是直接存的json对象,目前对es的影响比较小了,入库性能主要看index的shard的分片多少和字段的分词,当然还有一些其他的参数可以优化,另外更新频繁的数据是不是可以单独放索引里面呢?
linyongzhi
赞同来自:
martindu - 搜披露创始人
赞同来自: