沙师弟,师父的充电器掉了

社区日报 第170期 (2018-01-26)

社区日报laoyang360 发表了文章 • 0 个评论 • 1343 次浏览 • 2018-01-26 06:15 • 来自相关话题

1、Elasticsearch性能监控指北
http://t.cn/RQkbVhv
2、ElasticSearch Aggregations 进行统计分析实战
http://t.cn/RQD5n3F
3、注意,这6种方式能搞死Elasticsearch!
http://t.cn/RQxkfQH

编辑:铭毅天下
归档:https://elasticsearch.cn/article/471
订阅:https://tinyletter.com/elastic-daily

关于 社区发帖,是否支持markdown 编辑呢?

默认分类medcl 回复了问题 • 2 人关注 • 2 个回复 • 2817 次浏览 • 2018-01-25 23:50 • 来自相关话题

Elastic 中文社区运维监控实战 (1) - 序

经验分享medcl 发表了文章 • 1 个评论 • 6333 次浏览 • 2018-01-25 21:47 • 来自相关话题



本文为系列文章第一篇,主要介绍如何把 Elastic 中文社区的网站服务器监控起来,对有同样想了解如何使用 Elastic Stack 来做运维监控的同学,可以作为一个很好的参考和入门资料,学习门槛定义为入门级。

首先,我们要监控的网站,也就是大家现在正在访问的 Elastic 官方中文社区,网址:[elasticsearch.cn](https://elasticsearch.cn/),这个网站基于开源的 [WeCenter](https://github.com/wecenter/wecenter/) 搭建,开发语言是 PHP,后端数据库是 MySQL,目前只有一台服务器,由 [ConvertLab](http://convertlab.com/) 友情无偿赞助,大写的赞!再次感谢!

服务器部署环境是 Ubuntu 16.04.2,部署了以下服务及软件:

  • Nginx - Http 反向代理,不要介绍了吧
  • PHP-FPM - 一个常用的 PHP FastCGI 管理
  • Elasticsearch - Elasticsearch 服务,用于社区的垂直搜索服务 [Elastic 情报局](https://index.elasticsearch.cn) 服务
  • GOPA - 可以说是为社区而写的,一个轻量级的爬虫,用于爬取 Elatic 周边相关相关资料,创建索引存放到 Elasticsearch 里面,提供垂直搜索服务,[代码地址](https://github.com/infinitbyte/gopa)
  • Grok Debugger - 一个 Java 的 Grok pattern 调试服务,方便大家调试 Grok 日志解析规则,访问地址:[grok.elasticsearch.cn](http://grok.elasticsearch.cn/)

    服务器上所有的财产就这些了,一个平淡无奇的网站,基本上所有的东西都能公开访问到,这个网站的目的就是为所有 Elastic 爱好者服务的,供大家交流和沟通的专属平台,所以请各位黑客大侠不要再扫描和攻击啦,画一个简单的拓扑图如下所示:

    topology.png



    作为一个合格的网管,除了重启服务器之外,还必须要保证网站的正常运行,所以了解网站的运行情况就变成了一个需要解决的首要问题,我们可以先把任务具体列一下:

  • 网站是否正常访问,各项服务有没有挂
  • 网站访问情况如何,用户访问速度如何
  • 网站访客统计分析,访客相关数据分析
  • 服务器的各项指标,详细指标监控分析
  • 服务器的各项服务,日志集中分析处理
  • 服务器是否很安全,有没有黑客来造访
  • 数据是否安全备份,有没有定期测试过

    实在编不下去了(话说对的还蛮齐),说人话就是监控起服务器的各项指标和收集服务的日志,然后出几个分析的 Dashboard,监控报警整起来。

    我们这次需要用到的工具主要就是 Elastic Stack 啦,Elastic Stack 包括 Elasticsearch、Logstash、Beats 和 Kibana,版本都用最新的 6.x,再结合我们实际的数据和实际的需求,在后面的文章里面,我会具体介绍它们是什么以及如何使用。

    今天先写到这里,明天写监控指标的收集,此系列文章暂且定为需要 100 期完成。(开个玩笑,哈哈)。

es date_range 是否支持时间戳

Elasticsearchstrglee 回复了问题 • 3 人关注 • 1 个回复 • 8549 次浏览 • 2018-01-25 17:56 • 来自相关话题

winlogbeat 采集的windows日志host字段里为什么是主机名而不是IP?

BeatsRonnie 回复了问题 • 3 人关注 • 2 个回复 • 5623 次浏览 • 2018-01-25 16:14 • 来自相关话题

report生成pdf报告时报超过最大尝试次数的错误

Kibanasmiling 回复了问题 • 3 人关注 • 2 个回复 • 2864 次浏览 • 2018-01-25 16:02 • 来自相关话题

constant_score查询不到es中已有的问题,这是为什么?

回复

Elasticsearchbrew 发起了问题 • 1 人关注 • 0 个回复 • 3354 次浏览 • 2018-01-25 15:07 • 来自相关话题

filebeat收集日志时多条件过滤

BeatsAtom 回复了问题 • 2 人关注 • 2 个回复 • 10568 次浏览 • 2018-01-25 14:58 • 来自相关话题

小白问题:搭建一个网页搜索应用的方式

Elasticsearchpandazn 回复了问题 • 2 人关注 • 2 个回复 • 2588 次浏览 • 2018-01-25 14:19 • 来自相关话题

请问kibana有中文版么?

Kibanaredfree 回复了问题 • 13 人关注 • 10 个回复 • 37162 次浏览 • 2018-01-25 14:10 • 来自相关话题

kibana界面汉化问题

Kibanaredfree 回复了问题 • 7 人关注 • 5 个回复 • 25967 次浏览 • 2018-01-25 14:09 • 来自相关话题

我这个特殊场景该怎么优化呢,多field主要使用minimum_should_match

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 5511 次浏览 • 2018-01-25 11:47 • 来自相关话题

如何利用中间结果进行计算?

回复

ElasticsearchJacobChang 发起了问题 • 1 人关注 • 0 个回复 • 1432 次浏览 • 2018-01-25 11:28 • 来自相关话题

logstash安装logstash-input-mongodb 写.conf es获取到索引没有数据 可是启动logstash一直有数据写入的

Logstashfantesycjt 回复了问题 • 4 人关注 • 5 个回复 • 5150 次浏览 • 2018-01-25 11:18 • 来自相关话题

kibana如何显示指定目前最后一条数据

Kibanafantesycjt 回复了问题 • 2 人关注 • 2 个回复 • 3253 次浏览 • 2018-01-25 11:14 • 来自相关话题