你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

elasticsearch，bulk批量导入会有数据丢失，如何在大批量数据导入的情况下，数据完全写入？用logstash缓冲？

Elasticsearch | 作者陈水鱼 | 发布于2019年03月18日 | 阅读数：9407

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

系统提示：这个人太懒了，什么问题描述都没有写！

8 个回复

端小强 - 90后Java

赞同来自: puyu

加个kafka缓冲下，慢慢消费

bulk 会数据丢失？

并没有遇到过丢失的情况，你是不是有相同的ID，覆盖了，或者一次性导入了过多的数据导致失败了

陈水鱼 - 码农

感觉应该是es集群处理的任务重，bulk接口调用超时，丢包了

es 遇到瓶颈了，logstash 写入的过快或者数据量过大，es处理不过来，不行的话很想扩展节点吧

我倒是遇到了，在使用bulk批量进行同步的时候，我的数据库是2813条，但是同步到es里面去的时候就只有2810或者2808等等，反正就是没有2813条

建议使用ES 7.3最新版本BulkProcessor，能自动处理服务器压力大不能处理的Index请求(返回状态码429)错误，

对其他非数据错误，比如网络连接问题，建议应用层做重试处理

你说的丢失具体是什么情况下会发生？

要回复问题请先登录或注册