使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
hot

hot

ES冷热分离(读写分离) hot, stale 场景

Elasticsearchjiaofuyou 回复了问题 • 14 人关注 • 6 个回复 • 24633 次浏览 • 2016-01-13 13:36 • 来自相关话题

条新动态, 点击查看
三斗室

三斗室 回答了问题 • 2016-01-10 21:46 • 6 个回复 不感兴趣

ES冷热分离(读写分离) hot, stale 场景

赞同来自:

上面评论中其实已经各自给出来一部分了。我来总结归纳一下:
 
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制all... 显示全部 »
上面评论中其实已经各自给出来一部分了。我来总结归纳一下:
 
1. 已经没有indexing的索引,通过require.tag的方式迁移到部分机器上,完成温热分离;
2.1. 还在indexing的索引,通过reroute将replica shard强制allocate到部分机器上;
2.2. search的时候,通过?preference=_replica或者?preference=_only_node:xxx的方式指定读取哪些。事实上es-hadoop库目前就是利用这个特性来做并发的。
 
但是需要注意一点的是:因为es的replica也是一个实际需要cpu和io的indexing过程,而且indexing本身也有要求要写够一定副本数来才算写入完成。所以,你即使只请求replica,也是有可能影响到写入的。
 
所以,你只能开启一个副本——写入副本数要求是从二个副本开始才有。

ES冷热分离(读写分离) hot, stale 场景

回复

Elasticsearchjiaofuyou 回复了问题 • 14 人关注 • 6 个回复 • 24633 次浏览 • 2016-01-13 13:36 • 来自相关话题