logstash  filter

logstash filter

logstash 解析问题

Logstashjybbh 回复了问题 • 2 人关注 • 1 个回复 • 321 次浏览 • 2019-02-27 15:33 • 来自相关话题

logstash 字符串转换

Logstashcaogx 回复了问题 • 5 人关注 • 4 个回复 • 2290 次浏览 • 2019-02-20 17:03 • 来自相关话题

官网的Logstash5.5.0版本的 Filter plugins 中的Ruby filter plugin用到的Event API介绍只有get,set不够用,请问还有更详细的资料吗

Logstashrochy 回复了问题 • 2 人关注 • 1 个回复 • 270 次浏览 • 2018-12-26 15:24 • 来自相关话题

logstash5.5 根据原有的多个float类型的字段,计算一个新字段

Logstashbellengao 回复了问题 • 3 人关注 • 2 个回复 • 358 次浏览 • 2018-12-26 11:28 • 来自相关话题

logstash filter如何判断字段是够为空或者null

Logstashkindy 发表了文章 • 2 个评论 • 1244 次浏览 • 2018-12-12 18:17 • 来自相关话题

为什么我的数据中没有updateTime 和 createTime 字段的;  理论上是不会执行if 里面的代码才对的;  但是为什么看日志输出好像是执行了if代码块的代码呢    下面的是数据源, 并没有time字段的
{
  "仓ku": "华南",
   "originName":  "",
   "Code":  "23248",
   "BrandName":  "",
   "originCode":  null,
   "CategoryName":  "原厂"
}
为什么我的数据中没有updateTime 和 createTime 字段的;  理论上是不会执行if 里面的代码才对的;  但是为什么看日志输出好像是执行了if代码块的代码呢    下面的是数据源, 并没有time字段的
{
  "仓ku": "华南",
   "originName":  "",
   "Code":  "23248",
   "BrandName":  "",
   "originCode":  null,
   "CategoryName":  "原厂"
}

关于logstash 导入数组字段问题

回复

Logstashliubin 发起了问题 • 1 人关注 • 0 个回复 • 307 次浏览 • 2018-12-12 10:16 • 来自相关话题

Logstash.filters.json 警告 org.jruby.RubyArray cannot be cast to org.jruby.RubyIO

回复

LogstashOcean 发起了问题 • 1 人关注 • 0 个回复 • 461 次浏览 • 2018-11-26 10:47 • 来自相关话题

logstash如何修改的 @timestamp值

Logstashzqc0512 回复了问题 • 4 人关注 • 5 个回复 • 687 次浏览 • 2018-09-17 09:12 • 来自相关话题

logstash 删除filed中部分字段

Logstashzqc0512 回复了问题 • 3 人关注 • 3 个回复 • 2342 次浏览 • 2018-08-31 09:20 • 来自相关话题

logstash解析日志

回复

Logstashshallowdream 发起了问题 • 1 人关注 • 0 个回复 • 450 次浏览 • 2018-08-09 14:13 • 来自相关话题

logstash收取的kafka消息如何去提取

LogstashEsun 回复了问题 • 4 人关注 • 3 个回复 • 1458 次浏览 • 2018-06-27 16:45 • 来自相关话题

取 appId=

LogstashDm 回复了问题 • 2 人关注 • 1 个回复 • 439 次浏览 • 2018-06-05 09:15 • 来自相关话题

logstash split

Logstashmedcl 回复了问题 • 2 人关注 • 2 个回复 • 1642 次浏览 • 2018-05-17 18:00 • 来自相关话题

日志文件中已经有了@timestamp字段,存入es后被logstash覆盖了

Logstashzqc0512 回复了问题 • 3 人关注 • 4 个回复 • 1236 次浏览 • 2018-05-03 11:14 • 来自相关话题

logstash如何将一条数据分割为多条数据插入

Logstashkurisu 回复了问题 • 3 人关注 • 1 个回复 • 530 次浏览 • 2018-04-09 10:56 • 来自相关话题

条新动态, 点击查看
匿名用户

auroracxy 回答了问题 • 2018-06-11 14:18 • 4 个回复 不感兴趣

logstash 字符串转换

赞同来自:

我给你一个我现成的配置, 按需修改吧:
nginx部分配置直接用json,省去很多麻烦,注意里面有request_body, 所有后面logstash有一些转义的配置,如果不需要直接把它删了吧 log_format json '{"@time... 显示全部 »
我给你一个我现成的配置, 按需修改吧:
nginx部分配置直接用json,省去很多麻烦,注意里面有request_body, 所有后面logstash有一些转义的配置,如果不需要直接把它删了吧 log_format json '{"@timestamp":"$time_iso8601",'
'"server_addr":"$server_addr",'
'"remote_addr":"$remote_addr",'
'"cookie_JSESSIONID":"$cookie_JSESSIONID",'
'"body_bytes_sent":$body_bytes_sent,'
'"request_uri":"$request_uri",'
'"request_method":"$request_method",'
'"server_protocol":"$server_protocol",'
'"scheme":"$scheme",'
'"request_time":$request_time,'
'"upstream_response_time":"$upstream_response_time",'
'"upstream_addr":"$upstream_addr",'
'"host":"$host",'
'"hostname":"$hostname",'
'"http_host":"$http_host",'
'"uri":"$uri",'
'"http_x_forwarded_for":"$http_x_forwarded_for",'
'"http_referer":"$http_referer",'
'"http_user_agent":"$http_user_agent",'
'"X-Forwarded-Proto":"$http_x_forwarded_proto",'
'"request_body":"$request_body",'
'"status":"$status"}';

access_log /var/log/nginx/access.json.log json;
 
filebeat配置部分:[code]filebeat.prospectors:
- input_type: log
paths:
- /var/log/nginx/access.json.log
document_type: nginx_access_log
ignore_older: 0
tail_files: true
symlinks: true
close_removed: true
clean_removed: true

output.logstash:
# Boolean flag to enable or disable the output module.
enabled: true

# The Logstash hosts
hosts:




logstah配置部分:[code]input {
beats {
port => 5517
}
}
filter {
if [type] == "nginx_access_log" {
mutate {
gsub => ["message", "\\x", "\\\x"]
}
json {
source => "message"
}
mutate {
remove_field => [ "message" ]
}
if "HEAD" in [request_method] or "x.x.x.x" in [remote_addr] or "x.x.x.x" in [http_x_forwarded_for] {
drop {}
}

useragent {
source => "http_user_agent"
target => "ua"
}

if "-" in [upstream_response_time] {
mutate {
replace => {
"upstream_response_time" => "0"
}
}
}

mutate {
convert => [ "upstream_response_time", "float" ]
}

if "," in [http_x_forwarded_for] {
mutate {
add_field => { "[@metadata][user_ip_list]" => "%{http_x_forwarded_for}" }
}
mutate {
split => { "[@metadata][user_ip_list]" => ", " }
add_field => { "[@metadata][user_ip]" => "%{[@metadata][user_ip_list][0]}" }
}
geoip {
source => "[@metadata][user_ip]"
database => "/logstash/config/GeoLite2-City.mmdb"
target => "geoip"
}
} else {
geoip {
source => "http_x_forwarded_for"
database => "/logstash/config/GeoLite2-City.mmdb"
target => "geoip"
}
}
mutate {
gsub => [
"request_body", "\\x22", '"'
]
gsub => [
"request_body", "\\x0A", "\n"
]
}
}
}

output{
if [type] == "nginx_access_log" {
elasticsearch {
hosts =>
index => "nginxlog-%{+YYYY}"
template => "/home/test/template_nginxlog.json"
template_name => "nginxlog"
template_overwrite => true
}
}
}
最后模板:
 
 

logstash 解析问题

回复

Logstashjybbh 回复了问题 • 2 人关注 • 1 个回复 • 321 次浏览 • 2019-02-27 15:33 • 来自相关话题

logstash 字符串转换

回复

Logstashcaogx 回复了问题 • 5 人关注 • 4 个回复 • 2290 次浏览 • 2019-02-20 17:03 • 来自相关话题

官网的Logstash5.5.0版本的 Filter plugins 中的Ruby filter plugin用到的Event API介绍只有get,set不够用,请问还有更详细的资料吗

回复

Logstashrochy 回复了问题 • 2 人关注 • 1 个回复 • 270 次浏览 • 2018-12-26 15:24 • 来自相关话题

logstash5.5 根据原有的多个float类型的字段,计算一个新字段

回复

Logstashbellengao 回复了问题 • 3 人关注 • 2 个回复 • 358 次浏览 • 2018-12-26 11:28 • 来自相关话题

关于logstash 导入数组字段问题

回复

Logstashliubin 发起了问题 • 1 人关注 • 0 个回复 • 307 次浏览 • 2018-12-12 10:16 • 来自相关话题

Logstash.filters.json 警告 org.jruby.RubyArray cannot be cast to org.jruby.RubyIO

回复

LogstashOcean 发起了问题 • 1 人关注 • 0 个回复 • 461 次浏览 • 2018-11-26 10:47 • 来自相关话题

logstash如何修改的 @timestamp值

回复

Logstashzqc0512 回复了问题 • 4 人关注 • 5 个回复 • 687 次浏览 • 2018-09-17 09:12 • 来自相关话题

logstash 删除filed中部分字段

回复

Logstashzqc0512 回复了问题 • 3 人关注 • 3 个回复 • 2342 次浏览 • 2018-08-31 09:20 • 来自相关话题

logstash解析日志

回复

Logstashshallowdream 发起了问题 • 1 人关注 • 0 个回复 • 450 次浏览 • 2018-08-09 14:13 • 来自相关话题

logstash收取的kafka消息如何去提取

回复

LogstashEsun 回复了问题 • 4 人关注 • 3 个回复 • 1458 次浏览 • 2018-06-27 16:45 • 来自相关话题

取 appId=

回复

LogstashDm 回复了问题 • 2 人关注 • 1 个回复 • 439 次浏览 • 2018-06-05 09:15 • 来自相关话题

logstash split

回复

Logstashmedcl 回复了问题 • 2 人关注 • 2 个回复 • 1642 次浏览 • 2018-05-17 18:00 • 来自相关话题

日志文件中已经有了@timestamp字段,存入es后被logstash覆盖了

回复

Logstashzqc0512 回复了问题 • 3 人关注 • 4 个回复 • 1236 次浏览 • 2018-05-03 11:14 • 来自相关话题

logstash如何将一条数据分割为多条数据插入

回复

Logstashkurisu 回复了问题 • 3 人关注 • 1 个回复 • 530 次浏览 • 2018-04-09 10:56 • 来自相关话题

logstash 内if not in 判断IP写法问题

回复

Logstashstrglee 回复了问题 • 2 人关注 • 1 个回复 • 968 次浏览 • 2018-03-19 13:55 • 来自相关话题

logstash filter如何判断字段是够为空或者null

Logstashkindy 发表了文章 • 2 个评论 • 1244 次浏览 • 2018-12-12 18:17 • 来自相关话题

为什么我的数据中没有updateTime 和 createTime 字段的;  理论上是不会执行if 里面的代码才对的;  但是为什么看日志输出好像是执行了if代码块的代码呢    下面的是数据源, 并没有time字段的
{
  "仓ku": "华南",
   "originName":  "",
   "Code":  "23248",
   "BrandName":  "",
   "originCode":  null,
   "CategoryName":  "原厂"
}
为什么我的数据中没有updateTime 和 createTime 字段的;  理论上是不会执行if 里面的代码才对的;  但是为什么看日志输出好像是执行了if代码块的代码呢    下面的是数据源, 并没有time字段的
{
  "仓ku": "华南",
   "originName":  "",
   "Code":  "23248",
   "BrandName":  "",
   "originCode":  null,
   "CategoryName":  "原厂"
}