logstash output数据到带有kerberos验证的HDFS上

你可以试试

sed -i "s/read_uint32/read_uint/g" $LS_HOME/vendor/bundle/jruby/1.9/gems/gssapi-1.2.0/lib/gssapi/*.rb

github社区有人提过
https://github.com/gpaggi/gssa ... a72b9

是 webhdfs 的 output 吧？
https://www.elastic.co/guide/e ... eytab
 
可以先确定一下 Hadoop 集群是否正常运行和配置正确。
使用 http api 看看能不能正常通过 kerberos 正常访问 hdfs。
和这个问题很像：https://discuss.pivotal.io/hc/ ... rking

我logstash7.6.2、CDH6.3.2（开了Kerberos）、GSSAPI是1.3.1，今天用logstash消费kafka的数据，想导入hdfs中，读取kafka没问题，但是导入hdfs出错了，配置和报错信息如下，有路过的大佬帮忙看一下：

output {
    stdout { codec => rubydebug }
    webhdfs{
host => "10.16.1.17"
standby_host => "10.16.1.16"
port => 9870
standby_port => 9870
path => "/origin_data/test.log"
user => "czj@DEV.COM"
use_kerberos_auth => "true"
kerberos_keytab => "/etc/czj.keytab"
retry_interval => 30
codec => plain {
        format => "%{message}"
        }
    }
}

[2021-04-07T17:11:52,428][WARN ][logstash.outputs.webhdfs ][main] webhdfs write caused an exception: gss_init_sec_context did not return GSS_S_COMPLETE: Unspecified GSS failure.  Minor code may provide more information
Ticket expired
. Maybe you should increase retry_interval or reduce number of workers. Retrying...