mysql数据量5000万,多线程批量索引到es数据有时会丢失几条

使用TransportClient bulk,每个线程处理10000条数据,开了八个线程,没有内存溢出等代码问题。问题不是必现。我知道es不能保证数据完整,到我想做一些补救措施,让它保证数据完整,你们有没有方案啊。
已邀请:

cyberdak - 58.com

赞同来自:

打印一下bulk的error看看,怀疑是bulk线程池满了的产生拒绝的问题。
同时可以看一下es端的日志,有异常也会在日志里面展示的
 

laoyang360 - [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:blog.csdn.net/laoyang360

赞同来自:

批量操作的时候在es的后台日志里一般会有报错信息,同楼上,可以借助日志排查下。

要回复问题请先登录注册