你可以的,加油

elasticsearch同步性能问题

Elasticsearch | 作者 mcs41531 | 发布于2018年01月15日 | 阅读数:3637

场景是这样的:mysql有两张表,一对多的关系,需要设计同步到一个索引里,嵌套文档的方式。
目前两个脚本分别监控两张表,bulk update的方式分别同步到es,但是数据量达到200万的时候,bulk一次需要40-60秒,这个速度好像有点慢了!有没有高手有更好的办法!!
已邀请:

shjdwxy

赞同来自: kennywu76

有es的监控吗?看看bulk thread pool的情况。同时看看机器的负载

hufuman

赞同来自:

bulk之前修改refresh_intervals
然后看看是不是相同修改数据太多,之前wood有分享过同时修改相同数据过多会导致性能降低
还有是看看segments是否过多,手动merge看看能否优化

kennywu76 - Wood

赞同来自:

仅凭现有的信息很难判断问题在哪里, 一定要对集群做监控才行呀。

要回复问题请先登录注册