悟空,拿我的打狗棒来

elasticsearch,bulk批量导入会有数据丢失,如何在大批量数据导入的情况下,数据完全写入?用logstash缓冲?

Elasticsearch | 作者 陈水鱼 | 发布于2019年03月18日 | 阅读数:6034

系统提示:这个人太懒了,什么问题描述都没有写!

已邀请:

端小强 - 90后Java

赞同来自: puyu

加个kafka缓冲下,慢慢消费

liuzhen6835

赞同来自:

bulk 会数据丢失?

envy666

赞同来自:

并没有遇到过丢失的情况,你是不是有相同的ID,覆盖了,或者一次性导入了过多的数据导致失败了

陈水鱼 - 码农

赞同来自:

感觉应该是es集群处理的任务重,bulk接口调用超时,丢包了

wq131311

赞同来自:

es 遇到瓶颈了,logstash 写入的过快或者数据量过大,es处理不过来,不行的话很想扩展节点吧
 

caobo

赞同来自:

我倒是遇到了,在使用bulk批量进行同步的时候,我的数据库是2813条,但是同步到es里面去的时候就只有2810或者2808等等,反正就是没有2813条

liusenhua

赞同来自:

建议使用ES 7.3最新版本BulkProcessor,能自动处理服务器压力大不能处理的Index请求(返回状态码429)错误,
 
对其他非数据错误,比如网络连接问题,建议应用层做重试处理

 
 

impwang

赞同来自:

你说的丢失具体是什么情况下会发生?

要回复问题请先登录注册