ET001 不可不掌握的 Logstash 使用技巧

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。大家在使用的过程中肯定也体验过其启动时的慢吞吞,那么有什么办法可以减少等待 Logstash 的启动时间,提高编写其处理配置文件的效率呢?本文给大家推荐一个小技巧,帮助大家解决如下两个问题,让大家更好地与这个笨重的大家伙相处。

  1. 减少 Logstash 重启的次数,也就节省宝贵的时间
  2. 方便快捷地向 Logstash 输入需要处理的内容

1. 打开 reload 配置开关

Logstash 启动的时候可以加上 -r 的参数来做到配置文件热加载,效果是:

  • 当你修改了配置文件后,无需重启 Logstash 即可让新配置文件生效。

它的含义如下:

当你写好配置文件,比如 test.conf ,启动命令如下:

bin/logstash -f test.conf -r

启动完毕,修改 test.conf 的内容并保存后,过 1 秒钟,你会发现 Logstash 端有类似如下日志输出(注意红色框标记的部分),此时说明 reload 的成功。

如果你修改的配置文件有错误,会看到报错的日志,你可以根据错误提示修改。

至此,第一个问题解决!

2. 使用 HTTP INPUT

编写配置文件的另一个痛点是需要针对不同格式的输入内容进行详细的测试,以防解析报错的情况出现。此时大家常用标准输入来解决这个问题(stdin input),但是标准输入对于文字编辑支持不太友好,而且配置文件热更新的功能也不支持标准输入。

在这里向大家推荐使用 http input 插件,配置如下:

input{
    http{
        port => 7474
        codec => "json"
    }
}

然后大家再用自己喜欢的 http 请求工具,比如 POSTMan、Insomnia 等向 http://loclahost:7474发送待测试内容即可,如下是 Insomnia 的截图。

至此,第二个问题也解决了。

3. 总结

相信看到这里,大家一定是跃跃欲试了,赶紧打开电脑,找到 Logstash,然后编辑 test.conf,输入如下内容:

input{
    http{
        port => 7474
        codec => "json"
    }
}

filter{

}

output{
        stdout{
        codec => rubydebug{
            metadata => true
        }
    }
}

然后执行启动命令:

bin/logstash -f test.conf -r

打开 Insomnia ,输入要测试的内容,点击发送,开始舒爽流畅的配置文件编写之旅吧!

继续阅读 »

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。大家在使用的过程中肯定也体验过其启动时的慢吞吞,那么有什么办法可以减少等待 Logstash 的启动时间,提高编写其处理配置文件的效率呢?本文给大家推荐一个小技巧,帮助大家解决如下两个问题,让大家更好地与这个笨重的大家伙相处。

  1. 减少 Logstash 重启的次数,也就节省宝贵的时间
  2. 方便快捷地向 Logstash 输入需要处理的内容

1. 打开 reload 配置开关

Logstash 启动的时候可以加上 -r 的参数来做到配置文件热加载,效果是:

  • 当你修改了配置文件后,无需重启 Logstash 即可让新配置文件生效。

它的含义如下:

当你写好配置文件,比如 test.conf ,启动命令如下:

bin/logstash -f test.conf -r

启动完毕,修改 test.conf 的内容并保存后,过 1 秒钟,你会发现 Logstash 端有类似如下日志输出(注意红色框标记的部分),此时说明 reload 的成功。

如果你修改的配置文件有错误,会看到报错的日志,你可以根据错误提示修改。

至此,第一个问题解决!

2. 使用 HTTP INPUT

编写配置文件的另一个痛点是需要针对不同格式的输入内容进行详细的测试,以防解析报错的情况出现。此时大家常用标准输入来解决这个问题(stdin input),但是标准输入对于文字编辑支持不太友好,而且配置文件热更新的功能也不支持标准输入。

在这里向大家推荐使用 http input 插件,配置如下:

input{
    http{
        port => 7474
        codec => "json"
    }
}

然后大家再用自己喜欢的 http 请求工具,比如 POSTMan、Insomnia 等向 http://loclahost:7474发送待测试内容即可,如下是 Insomnia 的截图。

至此,第二个问题也解决了。

3. 总结

相信看到这里,大家一定是跃跃欲试了,赶紧打开电脑,找到 Logstash,然后编辑 test.conf,输入如下内容:

input{
    http{
        port => 7474
        codec => "json"
    }
}

filter{

}

output{
        stdout{
        codec => rubydebug{
            metadata => true
        }
    }
}

然后执行启动命令:

bin/logstash -f test.conf -r

打开 Insomnia ,输入要测试的内容,点击发送,开始舒爽流畅的配置文件编写之旅吧!

收起阅读 »

Elastic日报 第339期 (2018-07-21)

  1. 使用Elasticsearch和Azure Active Directory实现基于SAML的单点登录。 http://t.cn/RgTH5sa

  2. 使用 Apache Spark 和 Elasticsearch 构建推荐系统。 http://t.cn/Rj8rNDe

  3. 一周热点:WebIDE:在浏览器中写代码的时代即将来临? http://t.cn/RgH4hqq

活动预告

  1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作 https://conf.elasticsearch.cn/2018/shenzhen.html
继续阅读 »
  1. 使用Elasticsearch和Azure Active Directory实现基于SAML的单点登录。 http://t.cn/RgTH5sa

  2. 使用 Apache Spark 和 Elasticsearch 构建推荐系统。 http://t.cn/Rj8rNDe

  3. 一周热点:WebIDE:在浏览器中写代码的时代即将来临? http://t.cn/RgH4hqq

活动预告

  1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作 https://conf.elasticsearch.cn/2018/shenzhen.html
收起阅读 »

ElasticTalk #3 Elasticsearch压测实战 II esrally 进阶实战

ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/
继续阅读 »
ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/ 收起阅读 »

ElasticTalk #2 Elasticsearch压测实战 I esrally 入门与实战

 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/
继续阅读 »
 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/ 收起阅读 »

ElasticTalk #1 用 ElasticStack 快速收集和分析 Nginx 日志

 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/
继续阅读 »
 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/ 收起阅读 »

Elastic日报 第338期 (2018-07-20)

1、如何监控Elasticsearch?
http://t.cn/RdT4xjw
2、Elasticsearch 专属的性能压测工具:Rally 正式发布 1.0.0 版本!
http://t.cn/RdEJlzR
3、Elasticsearch 上生产环境之前,要考虑哪些设置,重要的配置都在这里了
http://t.cn/RdtzzaG

活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/721
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、如何监控Elasticsearch?
http://t.cn/RdT4xjw
2、Elasticsearch 专属的性能压测工具:Rally 正式发布 1.0.0 版本!
http://t.cn/RdEJlzR
3、Elasticsearch 上生产环境之前,要考虑哪些设置,重要的配置都在这里了
http://t.cn/RdtzzaG

活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:铭毅天下
归档:https://elasticsearch.cn/article/721
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第337期 (2018-07-19)

1.JavaWeb项目架构之Elasticsearch日志处理系统
http://t.cn/RgKPKeO
2.基于快速GeoHash,如何实现海量商品与商圈的高效匹配?
http://t.cn/RgKP3qE
3.kafka的内部通信和可靠性
http://t.cn/RgKPFrW

活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑:金桥
归档:https://elasticsearch.cn/article/720
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.JavaWeb项目架构之Elasticsearch日志处理系统
http://t.cn/RgKPKeO
2.基于快速GeoHash,如何实现海量商品与商圈的高效匹配?
http://t.cn/RgKP3qE
3.kafka的内部通信和可靠性
http://t.cn/RgKPFrW

活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑:金桥
归档:https://elasticsearch.cn/article/720
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

我曲解Elasticsearch了吗?

我曲解了Elasticsearch,我以为是每个节点可以存放不同的数据,哈哈哈😄。既然不是这样,引发了我另一个思考,说是Elasticsearch能处理TB以及PB的数据,这样的话,一台存放PB级数据的机器该是个多“可怕”的配置。每个节点的数据都一样,这是真正意义的分布式吗?我觉得按Elasticsearch的概念只是利用了节点的硬件资源。我真心希望我的理解是错的,这样我将欢欣鼓舞。
继续阅读 »
我曲解了Elasticsearch,我以为是每个节点可以存放不同的数据,哈哈哈😄。既然不是这样,引发了我另一个思考,说是Elasticsearch能处理TB以及PB的数据,这样的话,一台存放PB级数据的机器该是个多“可怕”的配置。每个节点的数据都一样,这是真正意义的分布式吗?我觉得按Elasticsearch的概念只是利用了节点的硬件资源。我真心希望我的理解是错的,这样我将欢欣鼓舞。 收起阅读 »

Elastic日报 第336期 (2018-07-18)

1. 来自腾讯的 elasticsearch 调优实践
https://0x7.me/Rzl6U
2. 基于 ElasticStack 实现 Kubernetes 的全方位监控
https://0x7.me/7U3gW
3. 想知道 Kibana 最近在研发哪些功能,来看看这个
https://0x7.me/31pGr


活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:rockybean
归档:https://elasticsearch.cn/article/718
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 来自腾讯的 elasticsearch 调优实践
https://0x7.me/Rzl6U
2. 基于 ElasticStack 实现 Kubernetes 的全方位监控
https://0x7.me/7U3gW
3. 想知道 Kibana 最近在研发哪些功能,来看看这个
https://0x7.me/31pGr


活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:rockybean
归档:https://elasticsearch.cn/article/718
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第335期 (2018-07-17)

1.如何为Elasticsearch开发属于你自己的安全扩展和自定义领域。
http://t.cn/RgfWl6d
2.通过启用 Cognito 身份验证来保护 AWS Elasticsearch Service。
http://t.cn/RgfWEpG
3.Elasticsearch史上最全最常用工具清单。
http://t.cn/RgfDHQr 

活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/717
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.如何为Elasticsearch开发属于你自己的安全扩展和自定义领域。
http://t.cn/RgfWl6d
2.通过启用 Cognito 身份验证来保护 AWS Elasticsearch Service。
http://t.cn/RgfWEpG
3.Elasticsearch史上最全最常用工具清单。
http://t.cn/RgfDHQr 

活动预告
1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:叮咚光军
归档:https://elasticsearch.cn/article/717
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

Elastic日报 第334期 (2018-07-16)

1. 基于Kubernetes的ESaaS架构及实现细节
http://t.cn/RgbgnUI

2. 去哪儿的es as a service 实践
http://t.cn/RgbeGwf

3.PB级ES集群的管理经验
http://t.cn/RtNmXMk 

1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655

2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:cyberdak
归档:https://elasticsearch.cn/article/716
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 基于Kubernetes的ESaaS架构及实现细节
http://t.cn/RgbgnUI

2. 去哪儿的es as a service 实践
http://t.cn/RgbeGwf

3.PB级ES集群的管理经验
http://t.cn/RtNmXMk 

1. 7月21日上海meetup倒计时
https://elasticsearch.cn/m/article/655

2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:cyberdak
归档:https://elasticsearch.cn/article/716
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第333期 (2018-07-15)

1.Elasticsearch设置和配置。
http://t.cn/Rg2fx0m
2.elasticsearch集群轻松部署在kubernetes。
http://t.cn/RiuNMXw
3.(自备梯子)如果人们支付他们的数据会怎样。
http://t.cn/Rg2o6lA 
 


活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:至尊宝
归档:https://elasticsearch.cn/article/715
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Elasticsearch设置和配置。
http://t.cn/Rg2fx0m
2.elasticsearch集群轻松部署在kubernetes。
http://t.cn/RiuNMXw
3.(自备梯子)如果人们支付他们的数据会怎样。
http://t.cn/Rg2o6lA 
 


活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 

编辑:至尊宝
归档:https://elasticsearch.cn/article/715
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic日报 第332期 (2018-07-14)

  1. ES使用SQL示例 http://t.cn/RgvTQ3C

  2. ES6.3新功能:使用Rollup来合并旧日志。 http://t.cn/Rdr8LIZ

  3. pyspark操作ES实例。 http://t.cn/RgzHJm0

活动预告

  1. 7月21日上海meetup倒计时(更大场地,等您来!) https://elasticsearch.cn/m/article/655
  2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作 https://conf.elasticsearch.cn/2018/shenzhen.html

编辑: bsll

归档:https://elasticsearch.cn/article/714

订阅:https://tinyletter.com/elastic-daily

继续阅读 »
  1. ES使用SQL示例 http://t.cn/RgvTQ3C

  2. ES6.3新功能:使用Rollup来合并旧日志。 http://t.cn/Rdr8LIZ

  3. pyspark操作ES实例。 http://t.cn/RgzHJm0

活动预告

  1. 7月21日上海meetup倒计时(更大场地,等您来!) https://elasticsearch.cn/m/article/655
  2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作 https://conf.elasticsearch.cn/2018/shenzhen.html

编辑: bsll

归档:https://elasticsearch.cn/article/714

订阅:https://tinyletter.com/elastic-daily

收起阅读 »

Elastic Certified Engineer 徽章到手!Elastic 官方认证考试

Elastic 官方在6月29日推出了认证服务,即 elastic certified engineer(官方网页),在7月9日我参加了认证考试,并顺利通过拿到了这枚官方认证的徽章。
 

elastic_certificate.png

 
考试还是有一定难度的,需要你对 elastic 的知识面有比较全面的掌握,由于是面向 engineer 的认证,所以只是在应用层面,不会考理论深度层面,感兴趣的同学可以根据官方的考纲重点来准备考试了,下周我会和大家再详细分享下该认证考试的方式和建议。
 
Good Luck!
继续阅读 »
Elastic 官方在6月29日推出了认证服务,即 elastic certified engineer(官方网页),在7月9日我参加了认证考试,并顺利通过拿到了这枚官方认证的徽章。
 

elastic_certificate.png

 
考试还是有一定难度的,需要你对 elastic 的知识面有比较全面的掌握,由于是面向 engineer 的认证,所以只是在应用层面,不会考理论深度层面,感兴趣的同学可以根据官方的考纲重点来准备考试了,下周我会和大家再详细分享下该认证考试的方式和建议。
 
Good Luck! 收起阅读 »

Elastic日报 第331期 (2018-07-13)

1、elasticAlert使用指南
http://t.cn/RdDZL7C
2、Elasticsearch must_not为什么相对较慢?
http://t.cn/RdDZtfq
3、Function Score Query优化Elasticsearch搜索结果
http://t.cn/RdDZJRP

活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑:铭毅天下
归档:https://elasticsearch.cn/article/712
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、elasticAlert使用指南
http://t.cn/RdDZL7C
2、Elasticsearch must_not为什么相对较慢?
http://t.cn/RdDZtfq
3、Function Score Query优化Elasticsearch搜索结果
http://t.cn/RdDZJRP

活动预告
1. 7月21日上海meetup倒计时(更大场地,等您来!)
https://elasticsearch.cn/m/article/655 
2. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑:铭毅天下
归档:https://elasticsearch.cn/article/712
订阅:https://tinyletter.com/elastic-daily 收起阅读 »