Q:非洲食人族的酋长吃什么?

请问一下:logstash 消费kafka的消息,如何解决反序列化问题。能够引入jar 包序列化类么?

Logstash | 作者 artomu | 发布于2018年02月23日 | 阅读数:4071

kafka的消息是对象序列化的消息,logstash消费kafka topic的消息,如何反序列化对象。请解答,还是我使用误区
7FB9ACDDC2C472DDFB196BF1504655B5.jpg
已邀请:

BrickXu - BlackOps@Qunar

赞同来自: artomu jevonyang

1.x和2.x的kafka input plugin有个decoder_class可以解决,把你自定义的kafka serializer 放到logstash的classpath下面就能加载并使用了,5.x以后版本这个配置改名叫value_deserializer_class,用法一样,都是要把你自己的jar放到classpath下面加载,然后写上完整的类名(包含package name)

kennywu76 - Wood

赞同来自: laoyang360

logstash为常用的序列化方式提供了codec,可以配置在input里面对数据做反序列化。你需要知道这些消息的编码方式,然后参考一下文档: https://www.elastic.co/guide/e ... .html 看是否有对应的解码器。

zhangyufu - 学习使我快乐

赞同来自:

数据上传的kafka是什么编码呢?看是不是能更改上传队列时数据的编码

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

换一种思路呢,用kafka_connector实现。http://blog.csdn.net/laoyang36 ... 68806

要回复问题请先登录注册