ES百亿数据量集群node和索引shard数量选择

每台物理机256G内存,24core 百亿级数据量,数据会一直增长。如果使用5个节点,设置多少个shard最优。
使用3个节点,5个分片时候,分组聚合查询要好几分钟,速度太慢。
已邀请:

zero

赞同来自: momo898821 vincentKing

1,磁盘使用ssd,raid0+1,5。 
2,确定你们的业务是重点,是读的业务多还是写的业务多?
3,百亿数据,放在数据库的量是多少? 1T ? 如果是1T,一个分片100G,建议你最少 shards 10-15, replicas可以0-1.最少5服务器个节点。服务器以后好扩容
4,es优化。这一块自己考虑了!

gfswsry - 80后IT

赞同来自: vincentKing

shard数可以根据你挂载的磁盘数来确定;多建副本;将node.master,node.data都设置成false,据说可以提高返回速度;百亿数据量的,我个人经验需要更多的ES节点

momo898821

赞同来自:

谢谢你的回答。
我还有一些疑问:
1、增加shard数量和增加副本数量这两个哪个可以提高查询性能,尤其是聚合查询。
2、node.master node.data都设置成false会不会有问题,如果某一台节点挂掉或者master挂掉会不会导致集群挂掉。

要回复问题请先登录注册