Logstash

Kafka消费显示KafkaError._PARTITION_EOF，但topic中还有数据未被消费

Jsen 发起了问题 • 1 人关注 • 0 个回复 • 2494 次浏览 • 2020-06-17 17:29 • 来自相关话题

运用 Elasticsearch 过滤器来丰富数据

liuxg 发起了问题 • 1 人关注 • 0 个回复 • 1499 次浏览 • 2020-06-17 08:43 • 来自相关话题

debug -- : mongodb对logstash有什么影响

cc1079154808 发起了问题 • 1 人关注 • 0 个回复 • 1566 次浏览 • 2020-06-15 08:59 • 来自相关话题

mongo-logstash-Elasticsearch 获取数据一直test.find

cc1079154808 发起了问题 • 1 人关注 • 0 个回复 • 1546 次浏览 • 2020-06-15 08:40 • 来自相关话题

请教大佬们关于 logstash -w 属性

贡献

zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2147 次浏览 • 2020-06-16 14:34 • 来自相关话题

logstash aggregate 排序

leeQiwei 回复了问题 • 1 人关注 • 1 个回复 • 2942 次浏览 • 2020-06-11 11:21 • 来自相关话题

logstash中如何将一个json中key的value作为一个新的field

yanzi 发起了问题 • 1 人关注 • 0 个回复 • 1744 次浏览 • 2020-06-10 17:16 • 来自相关话题

Logstash：处理重复的文档

liuxg 发起了问题 • 2 人关注 • 0 个回复 • 1785 次浏览 • 2020-06-09 15:21 • 来自相关话题

logstash 处理MySQL慢日志后，所有内容都在一个message字段不拆分

qiqisa 发表了文章 • 7 个评论 • 3330 次浏览 • 2020-05-29 12:03 • 来自相关话题

logstash配置为

input {

        file {

                type => "mysql-slow"

                path => "/tmp/slows.log"

                codec => multiline {

                        pattern => "^# Time:"

                        negate => true

                        what => "previous"

                }

        }

}

filter {

        if [ type ] == "mysql-slow" {

                grok {

                        match => { "message" => "SELECT SLEEP" }

                        add_tag => [ "sleep_drop" ]

                }

                if "sleep_drop" in [tags] {

                        drop {}

                }

                grok {

                    "message" => "(?m)^#\s+Time\s?.*\s+#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+(?:(?<clienthost>\S*) )?\[(?:%{IPV4:clientip})?\]\s+Id:\s+%{NUMBER:row_id:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\n\s*(?:use %{DATA:database};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?<sql>(?<action>\w+)([\w.*\W.*])*;)\s*$"    

                }

        }

}