关于非日志型索引的管理有什么好的推荐方案?
背景:
业务刚开始,每天写入的量在200w左右,当前是3节点集群,默认的5分片1副本。每个节点磁盘容量是500GB,配置了32GB内存。
但是后续会存在,每天写入的量不断增长,可能会达到每天千万或者亿级。
当前数据全部是写入一个索引中,这样导致后续shard大小太大,最后影响索引写入和查询。
看了一下,日志型索引一般是按时间单位,写入不同的索引。
疑问:
1、对于非日志型的业务,也是推荐采用按时间写入不同索引吗?还是有更好的方案?
2、当前集群分片已经设置了5个,如果后续扩容节点超过5个时,分片一旦设置数量又不能更改,需要如何处理?是新建新索引吗?
背景:
业务刚开始,每天写入的量在200w左右,当前是3节点集群,默认的5分片1副本。每个节点磁盘容量是500GB,配置了32GB内存。
但是后续会存在,每天写入的量不断增长,可能会达到每天千万或者亿级。
当前数据全部是写入一个索引中,这样导致后续shard大小太大,最后影响索引写入和查询。
看了一下,日志型索引一般是按时间单位,写入不同的索引。
疑问:
1、对于非日志型的业务,也是推荐采用按时间写入不同索引吗?还是有更好的方案?
2、当前集群分片已经设置了5个,如果后续扩容节点超过5个时,分片一旦设置数量又不能更改,需要如何处理?是新建新索引吗?
2 个回复
rochy - rochy_he
赞同来自: wssmao
2. ES 有一个 Rollover 功能,可以将你目前索引的数据自动迁移(日期、大小、文档数三种条件任选)到其他索引,可以看下面的例子:
fanmo3yuan
赞同来自:
其实日志数据建议按照时间来拆分只是因为时序数据天然可以按照时间这个维度去拆,本质上是相同的。