7月21日,周六,Elastic 上海 线下 Meetup [线上直播注册中]

活动medcl 发布了置顶文章 • 30 个评论 • 2267 次浏览 • 2018-06-05 13:37 • 来自相关话题

函数查询Java API使用方法(5.x版本) FunctionScoreQueryBuilder FieldValueFactorFunctionBuilder

Elasticsearchxiaozhi 回复了问题 • 3 人关注 • 3 个回复 • 2947 次浏览 • 3 小时前 • 来自相关话题

logstash同步mysql的数据到elasticsearch时重复

LogstashFanfan 回复了问题 • 3 人关注 • 3 个回复 • 703 次浏览 • 4 小时前 • 来自相关话题

logstash 发送日志内容丢失

LogstashFanfan 回复了问题 • 2 人关注 • 1 个回复 • 36 次浏览 • 4 小时前 • 来自相关话题

ET001 不可不掌握的 Logstash 使用技巧

Logstashrockybean 发表了文章 • 0 个评论 • 33 次浏览 • 13 小时前 • 来自相关话题

Logstash 是 Elastic Stack 中功能最强大的 ETL 工具,相较于 beats 家族,虽然它略显臃肿,但是强在功能丰富、处理能力强大。大家在使用的过程中肯定也体验过其启动时的慢吞吞,那么有什么办法可以减少等待 Logstash 的启动时间,提高编写其处理配置文件的效率呢?本文给大家推荐一个小技巧,帮助大家解决如下两个问题,让大家更好地与这个笨重的大家伙相处。

  1. 减少 Logstash 重启的次数,也就节省宝贵的时间
  2. 方便快捷地向 Logstash 输入需要处理的内容


    1. 打开 reload 配置开关


    Logstash 启动的时候可以加上 -r 的参数来做到配置文件热加载,效果是:

    • 当你修改了配置文件后,无需重启 Logstash 即可让新配置文件生效。

      它的含义如下:

      ![](http://p8z8qq24s.bkt.clouddn.c ... 55.png)

      当你写好配置文件,比如 test.conf ,启动命令如下:

      bin/logstash -f test.conf -r

      启动完毕,修改 test.conf 的内容并保存后,过 1 秒钟,你会发现 Logstash 端有类似如下日志输出(注意红色框标记的部分),此时说明 reload 的成功。

      ![](http://p8z8qq24s.bkt.clouddn.c ... 11.png)

      如果你修改的配置文件有错误,会看到报错的日志,你可以根据错误提示修改。

      ![](http://p8z8qq24s.bkt.clouddn.c ... 55.png)



      至此,第一个问题解决!

      2. 使用 HTTP INPUT


      编写配置文件的另一个痛点是需要针对不同格式的输入内容进行详细的测试,以防解析报错的情况出现。此时大家常用标准输入来解决这个问题(stdin input),但是标准输入对于文字编辑支持不太友好,而且配置文件热更新的功能也不支持标准输入。

      在这里向大家推荐使用 http input 插件,配置如下:

      <br /> input{<br /> http{<br /> port => 7474<br /> codec => "json"<br /> }<br /> }<br />

      然后大家再用自己喜欢的 http 请求工具,比如 POSTMan、Insomnia 等向 <a href="http://loclahost:7474" rel="nofollow" target="_blank">http://loclahost:7474</a>发送待测试内容即可,如下是 Insomnia 的截图。

      ![](http://p8z8qq24s.bkt.clouddn.c ... 08.png)



      至此,第二个问题也解决了。



      3. 总结


      相信看到这里,大家一定是跃跃欲试了,赶紧打开电脑,找到 Logstash,然后编辑 test.conf,输入如下内容:

      <br /> input{<br /> http{<br /> port => 7474<br /> codec => "json"<br /> }<br /> }<br /> <br /> filter{<br /> <br /> }<br /> <br /> output{<br /> stdout{<br /> codec => rubydebug{<br /> metadata => true<br /> }<br /> }<br /> }<br />

      然后执行启动命令:

      bin/logstash -f test.conf -r

      打开 Insomnia ,输入要测试的内容,点击发送,开始舒爽流畅的配置文件编写之旅吧!

      ![](http://p8z8qq24s.bkt.clouddn.c ... 24.png)

Elastic日报 第339期 (2018-07-21)

Elastic日报bsll 发表了文章 • 0 个评论 • 43 次浏览 • 15 小时前 • 来自相关话题

  1. 使用Elasticsearch和Azure Active Directory实现基于SAML的单点登录。
    [http://t.cn/RgTH5sa](http://t.cn/RgTH5sa)

  2. 使用 Apache Spark 和 Elasticsearch 构建推荐系统。
    [http://t.cn/Rj8rNDe](http://t.cn/Rj8rNDe)

  3. 一周热点:WebIDE:在浏览器中写代码的时代即将来临?
    [http://t.cn/RgH4hqq](http://t.cn/RgH4hqq)

    活动预告
  4. Elastic 中国开发者大会 2018 ,开始接受演讲申请和赞助合作
    https://conf.elasticsearch.cn/2018/shenzhen.html

ES迁移分片时,对于正在更新分片是如何迁移的?

Elasticsearchrockybean 回复了问题 • 3 人关注 • 2 个回复 • 44 次浏览 • 15 小时前 • 来自相关话题

elasticsearch有没有类似sql的连表查?

回复

Elasticsearchwincheck 发起了问题 • 1 人关注 • 0 个回复 • 54 次浏览 • 15 小时前 • 来自相关话题

kibana6.3.1版本xpack配置

回复

Kibanazhenhao857 发起了问题 • 1 人关注 • 0 个回复 • 47 次浏览 • 1 天前 • 来自相关话题

profile的内容如何分析?

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 37 次浏览 • 1 天前 • 来自相关话题

手动载入索引模板的疑问

Beatsrockybean 回复了问题 • 2 人关注 • 1 个回复 • 27 次浏览 • 1 天前 • 来自相关话题

ElasticTalk #3 Elasticsearch压测实战 II esrally 进阶实战

资料分享rockybean 发表了文章 • 0 个评论 • 22 次浏览 • 1 天前 • 来自相关话题

ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/
ElasticTalk 第3期 直播的内容是 Elasticsearch 压测实战之 esrally 进阶实战。

本次我们主要讲解了 esrally 如何自定义测试集群、自定义数据集和报告,最后还讲了三步上手 esrally 的方法。
 
视频地址如下:
http://www.bilibili.com/video/av27117279/

ElasticTalk #2 Elasticsearch压测实战 I esrally 入门与实战

资料分享rockybean 发表了文章 • 0 个评论 • 19 次浏览 • 1 天前 • 来自相关话题

 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/
 
ElasticTalk 第2期 直播的内容是 Elasticsearch 压测实战之 esrally 入门和实战。希望这次直播可以帮助大家快速掌握 esrally 这款优秀的 es 压测工具。
 
视频地址如下:
https://www.bilibili.com/video/av27114309/

ElasticTalk #1 用 ElasticStack 快速收集和分析 Nginx 日志

资料分享rockybean 发表了文章 • 2 个评论 • 37 次浏览 • 1 天前 • 来自相关话题

 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/
 
去年做了3期 ElasticTalk 的直播节目,预计下周开始恢复。现在放出相关的视频内容,希望对大家有所帮助。
 
第1期的课程内容为用 ElasticStack 快速收集分析 Nginx 日志,其中详细讲解了如何使用 filebeat 的 module 功能。
 
 
视频地址如下:
https://www.bilibili.com/video/av27123368/

kibana Y轴显示具体数据

Kibanablue521 回复了问题 • 3 人关注 • 2 个回复 • 695 次浏览 • 1 天前 • 来自相关话题