filebeat logstash 日志收集方案
Elasticsearch • yayg2008 回复了问题 • 2 人关注 • 1 个回复 • 2594 次浏览 • 2018-07-23 11:30
elasticsearch有没有类似sql的连表查?
Elasticsearch • yayg2008 回复了问题 • 4 人关注 • 3 个回复 • 15809 次浏览 • 2018-07-23 11:19
社区日报 第341期 (2018-07-23)
社区日报 • cyberdak 发表了文章 • 1 个评论 • 1989 次浏览 • 2018-07-23 10:31
http://t.cn/Rg1Ihw1
2. es 在磁盘故障时的故障表现以及排查方式
http://t.cn/Rg1ILik
3.大规模 Elasticsearch 集群性能的最佳实践
http://t.cn/RfEWPgM
活动预告
1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html
编辑:cyberdak
归档:https://elasticsearch.cn/publish/article/729
订阅:https://tinyletter.com/elastic-daily
Elasticsearch能否根据视频中的汉字进行全文检索
Elasticsearch • rochy 回复了问题 • 3 人关注 • 3 个回复 • 3722 次浏览 • 2018-07-23 09:27
【直播预告】ElasticTalk #4 Elastic 官方认证考试那些事儿
资料分享 • rockybean 发表了文章 • 0 个评论 • 3190 次浏览 • 2018-07-23 08:33
社区日报 第340 (2018-07-22)
社区日报 • 至尊宝 发表了文章 • 0 个评论 • 1843 次浏览 • 2018-07-22 09:13
http://t.cn/RgR1dcw
2.ELK Stack 在商业上的应用。
http://t.cn/RgR16cA
3.(自备梯子)数据驱动决策?再想想。
http://t.cn/RgRJFRz
活动预告:
1. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html
编辑:至尊宝
归档:https://elasticsearch.cn/publish/article/727
订阅:https://tinyletter.com/elastic-daily
函数查询Java API使用方法(5.x版本) FunctionScoreQueryBuilder FieldValueFactorFunctionBuilder
Elasticsearch • xiaozhi 回复了问题 • 3 人关注 • 3 个回复 • 14552 次浏览 • 2018-07-21 21:42
logstash同步mysql的数据到elasticsearch时重复
Logstash • Fanfan 回复了问题 • 4 人关注 • 3 个回复 • 6988 次浏览 • 2018-07-21 21:10
logstash 发送日志内容丢失
Logstash • Fanfan 回复了问题 • 2 人关注 • 1 个回复 • 5986 次浏览 • 2018-07-21 21:06
ET001 不可不掌握的 Logstash 使用技巧
Logstash • rockybean 发表了文章 • 3 个评论 • 3839 次浏览 • 2018-07-21 11:53
Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。大家在使用的过程中肯定也体验过其启动时的慢吞吞,那么有什么办法可以减少等待 Logstash 的启动时间,提高编写其处理配置文件的效率呢?本文给大家推荐一个小技巧,帮助大家解决如下两个问题,让大家更好地与这个笨重的大家伙相处。
- 减少 Logstash 重启的次数,也就节省宝贵的时间
- 方便快捷地向 Logstash 输入需要处理的内容
1. 打开 reload 配置开关
Logstash 启动的时候可以加上-r
的参数来做到配置文件热加载,效果是:
- 当你修改了配置文件后,无需重启 Logstash 即可让新配置文件生效。
它的含义如下:

当你写好配置文件,比如 test.conf ,启动命令如下:
bin/logstash -f test.conf -r
启动完毕,修改 test.conf 的内容并保存后,过 1 秒钟,你会发现 Logstash 端有类似如下日志输出(注意红色框标记的部分),此时说明 reload 的成功。

如果你修改的配置文件有错误,会看到报错的日志,你可以根据错误提示修改。

至此,第一个问题解决!
2. 使用 HTTP INPUT
编写配置文件的另一个痛点是需要针对不同格式的输入内容进行详细的测试,以防解析报错的情况出现。此时大家常用标准输入来解决这个问题(stdin input),但是标准输入对于文字编辑支持不太友好,而且配置文件热更新的功能也不支持标准输入。
在这里向大家推荐使用 http input 插件,配置如下:
<br /> input{<br /> http{<br /> port => 7474<br /> codec => "json"<br /> }<br /> }<br />
然后大家再用自己喜欢的 http 请求工具,比如 POSTMan、Insomnia 等向<a href="http://loclahost:7474" rel="nofollow" target="_blank">http://loclahost:7474</a>
发送待测试内容即可,如下是 Insomnia 的截图。

至此,第二个问题也解决了。
3. 总结
相信看到这里,大家一定是跃跃欲试了,赶紧打开电脑,找到 Logstash,然后编辑 test.conf,输入如下内容:
<br /> input{<br /> http{<br /> port => 7474<br /> codec => "json"<br /> }<br /> }<br /> <br /> filter{<br /> <br /> }<br /> <br /> output{<br /> stdout{<br /> codec => rubydebug{<br /> metadata => true<br /> }<br /> }<br /> }<br />
然后执行启动命令:
bin/logstash -f test.conf -r
打开 Insomnia ,输入要测试的内容,点击发送,开始舒爽流畅的配置文件编写之旅吧!

- 当你修改了配置文件后,无需重启 Logstash 即可让新配置文件生效。
社区日报 第339期 (2018-07-21)
社区日报 • bsll 发表了文章 • 0 个评论 • 2084 次浏览 • 2018-07-21 10:25
- 使用Elasticsearch和Azure Active Directory实现基于SAML的单点登录。
[http://t.cn/RgTH5sa](http://t.cn/RgTH5sa)
- 使用 Apache Spark 和 Elasticsearch 构建推荐系统。
[http://t.cn/Rj8rNDe](http://t.cn/Rj8rNDe)
- 一周热点:WebIDE:在浏览器中写代码的时代即将来临?
[http://t.cn/RgH4hqq](http://t.cn/RgH4hqq)
活动预告 - Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
https://conf.elasticsearch.cn/2018/shenzhen.html
profile的内容如何分析?
Elasticsearch • laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 2420 次浏览 • 2018-07-20 23:45
手动载入索引模板的疑问
Beats • rockybean 回复了问题 • 3 人关注 • 1 个回复 • 2184 次浏览 • 2018-07-20 19:54