是时候用 ES 拯救发际线啦

maxwell+kafka+logstash同步数据的时候碰到mysql中的null值取不到

Logstash | 作者 naohcarter | 发布于2019年01月12日 | 阅读数:2303

在mysql中字段op_time的值为null
通过maxwell读取binlog到kafka到logstash读取的时候获取的值是:
 
{"source":"医谷","op_time":null}
 
logstash配置文件中
filter {
    json {
         add_field => {
                "op_time" => "%{[data][op_time]}"
                "source" => "%{[data][source]}"
        }
    }
}
 
 
输出的时候的值是"op_time" => "%{[data][op_time]}"
"source" => "医谷"
 
不知道这个null值没获取到是什么原因。求懂的大神们帮帮忙
 
已邀请:

bellengao - 博客: https://www.jianshu.com/u/e0088e3e2127

赞同来自: ds001eng

应该是json解析的时候碰见null值忽略掉了,可以针对这种情况在filter里做特殊处理,如果字段不存在则设置个默认值

要回复问题请先登录注册