你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

mysql数据量5000万，多线程批量索引到es数据有时会丢失几条

匿名 | 发布于2018年05月13日 | 阅读数：4049

使用TransportClient bulk，每个线程处理10000条数据，开了八个线程，没有内存溢出等代码问题。问题不是必现。我知道es不能保证数据完整，到我想做一些补救措施，让它保证数据完整，你们有没有方案啊。

2 个回复

打印一下bulk的error看看，怀疑是bulk线程池满了的产生拒绝的问题。
同时可以看一下es端的日志，有异常也会在日志里面展示的

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

批量操作的时候在es的后台日志里一般会有报错信息，同楼上，可以借助日志排查下。

要回复问题请先登录或注册