冷热分离
大家是如何做冷热分区?
Elasticsearch • Ricky_Lau 回复了问题 • 3 人关注 • 1 个回复 • 4592 次浏览 • 2017-05-17 09:51
elasticsearch如何做冷热数据
Elasticsearch • wungking 回复了问题 • 5 人关注 • 1 个回复 • 9236 次浏览 • 2016-12-16 17:26
ES冷热分离(读写分离) hot, stale 场景
Elasticsearch • jiaofuyou 回复了问题 • 14 人关注 • 6 个回复 • 24627 次浏览 • 2016-01-13 13:36
上面评论中其实已经各自给出来一部分了。我来总结归纳一下:
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制all... 显示全部 »
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制all... 显示全部 »
上面评论中其实已经各自给出来一部分了。我来总结归纳一下:
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制allocate到部分机器上;
2.2. search的时候,通过?preference=_replica或者?preference=_only_node:xxx的方式指定读取哪些。事实上es-hadoop库目前就是利用这个特性来做并发的。
但是需要注意一点的是:因为es的replica也是一个实际需要cpu和io的indexing过程,而且indexing本身也有要求要写够一定副本数来才算写入完成。所以,你即使只请求replica,也是有可能影响到写入的。
所以,你只能开启一个副本——写入副本数要求是从二个副本开始才有。
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制allocate到部分机器上;
2.2. search的时候,通过?preference=_replica或者?preference=_only_node:xxx的方式指定读取哪些。事实上es-hadoop库目前就是利用这个特性来做并发的。
但是需要注意一点的是:因为es的replica也是一个实际需要cpu和io的indexing过程,而且indexing本身也有要求要写够一定副本数来才算写入完成。所以,你即使只请求replica,也是有可能影响到写入的。
所以,你只能开启一个副本——写入副本数要求是从二个副本开始才有。
elasticsearch如何做冷热数据
回复Elasticsearch • wungking 回复了问题 • 5 人关注 • 1 个回复 • 9236 次浏览 • 2016-12-16 17:26
ES冷热分离(读写分离) hot, stale 场景
回复Elasticsearch • jiaofuyou 回复了问题 • 14 人关注 • 6 个回复 • 24627 次浏览 • 2016-01-13 13:36