flink批量写es和hbase出现反压

Elasticsearch | 作者 totorobabyfans | 发布于2021年06月17日 | 阅读数：2205

hbase里面有张表有3000万条数据，用flink读这张表处理之后再写回hbase和es，但是每次写入到一千多万的时候就出现反压的情况，这个时候数据就一条都不处理了，初步怀疑是es的问题，用的是bulk的批量写，index的api更新数据

2 个回复

juin - 大数据开发

1）flink 生成检查点失败了吗，如果失败的话看下Exception 是哪里的问题
2）ES sink 的参数设置是怎样的？写入时ES 集群是否正常？可以看看是不是写入拒绝了

不能写的表现是什么，bulkAPI异常吗？具体是什么异常呢？

要回复问题请先登录或注册