在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

rsyslog推向kafka,一直报错?

默认分类 | 作者 Goun | 发布于2018年05月22日 | 阅读数:6549

报错信息:
May 22 09:59:59 aliyun-sh01-020 rsyslogd: environment variable TZ is not set, auto correcting this to TZ=/etc/localtime  [v8.34.0 try http://www.rsyslog.com/e/2442 ]
May 22 09:59:59 aliyun-sh01-020 rsyslogd:  [origin software="rsyslogd" swVersion="8.34.0" x-pid="18986" x-info="http://www.rsyslog.com"] start
May 22 10:01:01 aliyun-sh01-020 rsyslogd: omkafka: action will suspended due to kafka error -195: Local: Broker transport failure [v8.34.0 try http://www.rsyslog.com/e/2422 ]
May 22 10:01:01 aliyun-sh01-020 rsyslogd: action 'action 0' suspended (module 'omkafka'), retry 0. There should be messages before this one giving the reason for suspension. [v8.34.0 try http://www.rsyslog.com/e/2007 ]
May 22 10:01:01 aliyun-sh01-020 rsyslogd: action 'action 0' resumed (module 'omkafka') [v8.34.0 try http://www.rsyslog.com/e/2359 ]
 
rsyskig配置文件:
ruleset(name="nginx-kafka") {
    #日志转发kafka
    action (
        type="omkafka"
        # template="nginxAccessTemplate"
        confParam=["compression.codec=snappy", "queue.buffering.max.messages=4000000"]
        # partitions.number="4"
        topic="device_nginx"
        broker="x.x.x.x:9092"
        queue.spoolDirectory="/tmp"
        queue.filename="test_nginx_kafka"
        queue.size="3600000"
        queue.maxdiskspace="2G"
        queue.highwatermark="2160000"
        queue.discardmark="3500000"
        queue.type="LinkedList" 
        queue.dequeuebatchsize="40960"
        queue.timeoutenqueue="0"
        queue.maxfilesize="100M" 
        queue.saveonshutdown="on"
        queue.workerThreads="4"
    )
}
 
请问一下是什么配置导致的?
已邀请:

locatelli

赞同来自:

看起来跟Elastic stack没什么直接关系? 
这个错误是RD_KAFKA_RESP_ERR__TRANSPORT,可能查一下Kafka那边broker的状态先?

要回复问题请先登录注册