weizijun

weizijun

es爱好者

威望 : 14 积分 : 2155 赞同 : 16 感谢 : 4

擅长话题

更多 »回复

0

3T的源数据存入es一般都不需要3T,看你索引字段多少和内容,数据还是得以实际ES的容量为准,有些极端情况,开启best_compressd 3T的源数据可能在ES只有几百G

0

es的search queue堆积了吧?GET _cat/thread_pool?v看看

0

贴下原始数据看看吧,字段太多,索引容量占比会比较高,这些字段的Cardinality越大,索引容量消耗越多。还加上doc_value也是默认加上的,这些都会增加存储开销,你可以根据使用情况决定哪些字段可以不建索引,不建立doc_value

1

控制search线程的大小,设置默认查询的耗时 _cluster/settings中设置     "threadpool.search.queue_size": "1000",     "threadpool....

1

90亿的数据量,8个线程搜索,50个shard的话,有些shard需要在queue中等待,还是HDD集群,查询命中的数据太多,,每个shard的查询都很慢,导致整体查询的缓慢

更多 »发问

没有内容

发问

回复

文章

最新动态

详细资料

个人成就:

威望: 14 积分: 2155 赞同: 16 感谢: 4

最后活跃:
18 小时前
擅长话题:
elasticsearch 12   1
elastic 2   0
logstash 2   0
集群通信 2   0
集群 2   0
招聘 2   0
更多 » 关注 7

rockybean strglee laoyang360 medcl zqrferrari

更多 » 10 人关注

zqrferrari wntp kaixin9ok mynormandy shitangjiejie

关注 0 话题
主页访问量 : 2361 次访问