用了Elasticsearch,一口气上5T

中文乱码问题

Logstash | 作者 JonRambo | 发布于2018年11月02日 | 阅读数:4643

我已经在logstash的input里面设置了codec => plain{charset => "GBK"},还是会出现乱码问题.  
 
GBK ,UTF-8,Big5我都试过了,都会出现乱码问题..
求大神赐教.我的中文为繁体字.
 
已邀请:

zyy

赞同来自:

logstash-input的数据来源是什么?直接logstash读取文件还是filebeat传输过来的?还是其它方式。

JonRambo

赞同来自:

数据是本地文件.  所以是直接读取的文件.

juin - 大数据开发

赞同来自:

可能数据本身就有问题,随意复制一条出去,保存成txt 文件再打开,看下是否有乱码或其他多余字符

JonRambo

赞同来自:

数据文档本就是txt格式,没有出现乱码,也没有多余的字符以及符号

JonRambo

赞同来自:

文件很大,notepad++打不开,woyongUE打开的,是GBK.@zyy:

zyy

赞同来自:

那就先用工具看下文件的编码是什么GBK ,UTF-8,Big5还是GB2312,notepad++就可以

JonRambo

赞同来自:

文件是access里面的,我把它弄到txt里面,是GBK.

zyy

赞同来自:

你的意思是把access里的数据导到txt文件里,然后再用logstash去读取txt文件?

JonRambo

赞同来自:

嗯嗯.是的.我发现Logstash好像不能直接读取access.

zyy

赞同来自:

那应该没问题啊,方便发一份txt文件吗?

JonRambo

赞同来自:

不好意思,这是公司数据.不能发给你....
还有其他的办法吗......

JonRambo

赞同来自:

我解决了,谢谢.
我把数据导入mysql里面了,没有出现乱码问题.
 
可能是转换成txt后编码没转换过来但是又显示新编码的问题吧....

zyy

赞同来自:

你可以把logstash的日志打开,试试能不能从日志里看出什么问题。

要回复问题请先登录注册