我刚打酱油去了,不好意思

flink批量写es和hbase出现反压

Elasticsearch | 作者 totorobabyfans | 发布于2021年06月17日 | 阅读数:1721

hbase里面有张表有3000万条数据,用flink读这张表处理之后再写回hbase和es,但是每次写入到一千多万的时候就出现反压的情况,这个时候数据就一条都不处理了,初步怀疑是es的问题,用的是bulk的批量写,index的api更新数据
已邀请:

juin - 大数据开发

赞同来自:

1)flink 生成检查点失败了吗,如果失败的话看下Exception 是哪里的问题
2)ES sink 的参数设置是怎样的? 写入时ES 集群是否正常?可以看看是不是写入拒绝了
 

liujiacheng

赞同来自:

不能写的表现是什么,bulkAPI异常吗?具体是什么异常呢?

要回复问题请先登录注册