愚者求师之过,智者从师之长。

logstash 输出乱码 很急

Logstash | 作者 supolu | 发布于2019年09月26日 | 阅读数:3469

系统centos7版本logstash 7.3.2
logstash 获取kafka的数据传入到es里
kafka的数据是GBK格式的,我用消费命令在crt窗口验证过,crt设置gbk后正常显示无乱码。
 
下面是输出到es的配置文件,输出到es就乱码了。
另外我自己测过 UTF-8同样乱码。
无论设置什么格式,输出到命令行也乱码,
无论设置什么格式,输出到gbk编码的文件也乱码。
 
我看到有网上博主说是不知道哪一步GBK文件被转成UTF-8了,然后UTF-8又转成GBK就是乱码的。大神们有遇到过这个问题嘛??
参考遇到同样问题的:https://blog.csdn.net/q1564/ar ... ntBox
这个博主最后的解决办法是把传入kakfa的编码改成UTF-8了,但是我这边改不了,是别人产生的数据。
input {
  kafka {
        bootstrap_servers=>"localhost:9092"
        topics=>["rm_test"]
        codec => plain{
                charset=>"GBK"
        }
  }
}
output {
    elasticsearch {
      index => "rm_test"
      codec => plain {
        charset => "GBK"
      }
      hosts => ["localhost:9200"]
    }
}
 
已邀请:

locatelli

赞同来自: supolu

大概是这个问题:https://github.com/logstash-pl ... l/222
看上去这个PR还没有merge。
 
 

要回复问题请先登录注册