请问各位 非SSD 批量插入一亿条数据 大概4个G大小的文件 到ES中大概要多久

作者 Dapor | 发布于2018年10月17日 | 阅读数:266

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

Dapor

赞同来自:

长时间插入数据 indexing Rate波动很大 请问是translog 设置时间短的问题吗? 

rochy - rochy_he@jointsky

赞同来自:

1. translog size 设置稍微大一些,例如 500M;
2. 索引的 refresh 时间设置长一些,例如 5 分钟;
3. 索引的副本暂时设置为 0;
4. 具体索引时间不清楚,不过 4 个 G,应该不需要特别久。

zqc0512 - andy zhou

赞同来自:

1秒1万左右,1亿条,算下就晓得了撒。
你是要调优处理,还是测试? 这个上下波动,是有时候这个点取不到值,你可以把时间拉长点,他就直了……
 

yayg2008

赞同来自:

快慢跟硬件配置和ES设置有很大关系。
非SSD,把translog刷盘改为异步,提升比较明显。实际使用中,translog也不要设置的太大,否则一旦要做副本恢复,会慢si人的。

bsll

赞同来自:

上面已经说了很多了,我补充一点点,控制每次bulk的大小,太大了反而慢了,还有refresh可以设置为-1,导入完成后再改到期望值。
匿名用户

匿名用户

赞同来自:

和集群节点数也有关系

well

赞同来自:

一个节点是一台物理机?内存多大?磁盘几块?raid怎么做的?raid卡有没有缓存?

要回复问题请先登录注册