系统centos7版本logstash 7.3.2
logstash 获取kafka的数据传入到es里
kafka的数据是GBK格式的,我用消费命令在crt窗口验证过,crt设置gbk后正常显示无乱码。
下面是输出到es的配置文件,输出到es就乱码了。
另外我自己测过 UTF-8同样乱码。
无论设置什么格式,输出到命令行也乱码,
无论设置什么格式,输出到gbk编码的文件也乱码。
我看到有网上博主说是不知道哪一步GBK文件被转成UTF-8了,然后UTF-8又转成GBK就是乱码的。大神们有遇到过这个问题嘛??
参考遇到同样问题的:https://blog.csdn.net/q1564/ar ... ntBox。
这个博主最后的解决办法是把传入kakfa的编码改成UTF-8了,但是我这边改不了,是别人产生的数据。
input {
kafka {
bootstrap_servers=>"localhost:9092"
topics=>["rm_test"]
codec => plain{
charset=>"GBK"
}
}
}
output {
elasticsearch {
index => "rm_test"
codec => plain {
charset => "GBK"
}
hosts => ["localhost:9200"]
}
}
logstash 获取kafka的数据传入到es里
kafka的数据是GBK格式的,我用消费命令在crt窗口验证过,crt设置gbk后正常显示无乱码。
下面是输出到es的配置文件,输出到es就乱码了。
另外我自己测过 UTF-8同样乱码。
无论设置什么格式,输出到命令行也乱码,
无论设置什么格式,输出到gbk编码的文件也乱码。
我看到有网上博主说是不知道哪一步GBK文件被转成UTF-8了,然后UTF-8又转成GBK就是乱码的。大神们有遇到过这个问题嘛??
参考遇到同样问题的:https://blog.csdn.net/q1564/ar ... ntBox。
这个博主最后的解决办法是把传入kakfa的编码改成UTF-8了,但是我这边改不了,是别人产生的数据。
input {
kafka {
bootstrap_servers=>"localhost:9092"
topics=>["rm_test"]
codec => plain{
charset=>"GBK"
}
}
}
output {
elasticsearch {
index => "rm_test"
codec => plain {
charset => "GBK"
}
hosts => ["localhost:9200"]
}
}
1 个回复
locatelli
赞同来自: supolu
看上去这个PR还没有merge。