使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

关于elasticsearch的merge操作

匿名 | 发布于2017年11月17日 | 阅读数:8615

敢问各位,本人现在正式环境里数据量170多G,然后要对所有索引做merge操作的话需要耗时多少呢?
 本人在测试环境下对所有索引做merge操作:POST _forcemerge?max_num_segments=1
然后很快就有返回值:
{
  "_shards": {
    "total": 87,
    "successful": 36,
    "failed": 0
  }
}
 
但是在正式环境中,对某一个索引做POST _forcemerge?max_num_segments=1操作,请问有大神解释下是怎么回事么...是我在使用merge操作前要设置些什么?还是说我应该先把要操作的索引给_close了再merge??
已邀请:

lunatictwo

赞同来自:

数据较大的话forcemerge执行时间较长,30G-50G index merge时间大概是半小时,之后才返回响应。

helloes

赞同来自:

这么大的数据量,合并成一个段,集群会特别卡,慎思。。
 
close后的索引会阻塞读写操作,你就没办法merge它了。

要回复问题请先登录注册