20w条数据频繁出现内存溢出??
Elasticsearch • laoyang360 回复了问题 • 2 人关注 • 1 个回复 • 4065 次浏览 • 2018-01-29 07:52
社区日报 第172期 (2018-01-28)
社区日报 • 至尊宝 发表了文章 • 0 个评论 • 1407 次浏览 • 2018-01-28 09:07
1. Puppet使用ELK堆栈进行日志记录--Part 2。
[http://t.cn/R878jnu](http://t.cn/R878jnu)
2. Kubernetes监测:最佳实践,方法和现有解决方案。
[http://t.cn/R87HYZE](http://t.cn/R87HYZE)
3. (自备梯子)你职业生涯中的三个问题。
[http://t.cn/R87YMvk](http://t.cn/R87YMvk)
使用java使用script更新出现DocumentMissingException
回复Elasticsearch • ColouredGlaze 回复了问题 • 0 人关注 • 1 个回复 • 5492 次浏览 • 2018-01-27 22:49
elasticsearch支持类似mysql的自增id吗
Elasticsearch • medcl 回复了问题 • 4 人关注 • 3 个回复 • 4193 次浏览 • 2018-06-20 14:26
社区日报 第171期 (2018-01-27)
社区日报 • bsll 发表了文章 • 0 个评论 • 1382 次浏览 • 2018-01-27 09:01
1、社区文章:利用es获取词频的方法
[https://elasticsearch.cn/article/461](https://elasticsearch.cn/article/461)
2、关于es搜索客户端的源码分析,该博客的一系列es源码分析都值得一看。
[http://t.cn/RtLXZol](http://t.cn/RtLXZol)
3、一周热点:你是怎么抢火车票的呢?
[http://t.cn/R8vJ9Rf](http://t.cn/R8vJ9Rf)
logstash 性能问题
Logstash • shitangjiejie 回复了问题 • 3 人关注 • 2 个回复 • 3402 次浏览 • 2018-01-29 13:12
metricbeat搜集的system socket数据不准
回复Beats • yang59324 回复了问题 • 1 人关注 • 1 个回复 • 2544 次浏览 • 2018-01-26 17:05
elasticsearch平滑重启的问题
Elasticsearch • kennywu76 回复了问题 • 7 人关注 • 3 个回复 • 5863 次浏览 • 2018-01-29 11:40
社区日报 第170期 (2018-01-26)
社区日报 • laoyang360 发表了文章 • 0 个评论 • 1346 次浏览 • 2018-01-26 06:15
http://t.cn/RQkbVhv
2、ElasticSearch Aggregations 进行统计分析实战
http://t.cn/RQD5n3F
3、注意,这6种方式能搞死Elasticsearch!
http://t.cn/RQxkfQH
编辑:铭毅天下
归档:https://elasticsearch.cn/article/471
订阅:https://tinyletter.com/elastic-daily
Elastic 中文社区运维监控实战 (1) - 序
经验分享 • medcl 发表了文章 • 1 个评论 • 6333 次浏览 • 2018-01-25 21:47
序
本文为系列文章第一篇,主要介绍如何把 Elastic 中文社区的网站服务器监控起来,对有同样想了解如何使用 Elastic Stack 来做运维监控的同学,可以作为一个很好的参考和入门资料,学习门槛定义为入门级。
首先,我们要监控的网站,也就是大家现在正在访问的 Elastic 官方中文社区,网址:[elasticsearch.cn](https://elasticsearch.cn/),这个网站基于开源的 [WeCenter](https://github.com/wecenter/wecenter/) 搭建,开发语言是 PHP,后端数据库是 MySQL,目前只有一台服务器,由 [ConvertLab](http://convertlab.com/) 友情无偿赞助,大写的赞!再次感谢!
服务器部署环境是 Ubuntu 16.04.2,部署了以下服务及软件:
- Nginx - Http 反向代理,不要介绍了吧
- PHP-FPM - 一个常用的 PHP FastCGI 管理
- Elasticsearch - Elasticsearch 服务,用于社区的垂直搜索服务 [Elastic 情报局](https://index.elasticsearch.cn) 服务
- GOPA - 可以说是为社区而写的,一个轻量级的爬虫,用于爬取 Elatic 周边相关相关资料,创建索引存放到 Elasticsearch 里面,提供垂直搜索服务,[代码地址](https://github.com/infinitbyte/gopa)
- Grok Debugger - 一个 Java 的 Grok pattern 调试服务,方便大家调试 Grok 日志解析规则,访问地址:[grok.elasticsearch.cn](http://grok.elasticsearch.cn/)
服务器上所有的财产就这些了,一个平淡无奇的网站,基本上所有的东西都能公开访问到,这个网站的目的就是为所有 Elastic 爱好者服务的,供大家交流和沟通的专属平台,所以请各位黑客大侠不要再扫描和攻击啦,画一个简单的拓扑图如下所示:
作为一个合格的网管,除了重启服务器之外,还必须要保证网站的正常运行,所以了解网站的运行情况就变成了一个需要解决的首要问题,我们可以先把任务具体列一下:
- 网站是否正常访问,各项服务有没有挂
- 网站访问情况如何,用户访问速度如何
- 网站访客统计分析,访客相关数据分析
- 服务器的各项指标,详细指标监控分析
- 服务器的各项服务,日志集中分析处理
- 服务器是否很安全,有没有黑客来造访
- 数据是否安全备份,有没有定期测试过
实在编不下去了(话说对的还蛮齐),说人话就是监控起服务器的各项指标和收集服务的日志,然后出几个分析的 Dashboard,监控报警整起来。
我们这次需要用到的工具主要就是 Elastic Stack 啦,Elastic Stack 包括 Elasticsearch、Logstash、Beats 和 Kibana,版本都用最新的 6.x,再结合我们实际的数据和实际的需求,在后面的文章里面,我会具体介绍它们是什么以及如何使用。
今天先写到这里,明天写监控指标的收集,此系列文章暂且定为需要 100 期完成。(开个玩笑,哈哈)。
logstash提取完日志时间,然后替换timestamp后,发现timestamp与日志中的时间相差15个小时
Logstash • Atom 回复了问题 • 2 人关注 • 2 个回复 • 5020 次浏览 • 2018-01-26 10:00