有个人长的像洋葱,走着走着就哭了…….

ES内存数据占用异常问题

Elasticsearchmedcl 回复了问题 • 5 人关注 • 1 个回复 • 5360 次浏览 • 2017-02-23 16:50 • 来自相关话题

elasticsearch 搜索漏数据

回复

Elasticsearchcggy2012 发起了问题 • 1 人关注 • 0 个回复 • 3534 次浏览 • 2016-12-06 17:59 • 来自相关话题

关于5.0的beats使用问题

Beatsleighton_buaa 回复了问题 • 2 人关注 • 1 个回复 • 4832 次浏览 • 2016-12-07 15:07 • 来自相关话题

求一个kibana5能用的高德地图URL

回复

KibanaYid1201 发起了问题 • 1 人关注 • 0 个回复 • 5167 次浏览 • 2016-12-06 15:51 • 来自相关话题

求一个Kibana5能用的高德地图URL

KibanaBirdZhang 回复了问题 • 5 人关注 • 4 个回复 • 9719 次浏览 • 2017-02-10 16:58 • 来自相关话题

求一个Kibana5能用的高德URL

KibanaYid1201 发表了文章 • 0 个评论 • 4167 次浏览 • 2016-12-06 15:41 • 来自相关话题

kibana到5.0后可以直接在kibana.yml上面使用tilemap.url进行配置,
但是之前使用的url貌似都不行,有伙伴能提供个K5能用的url吗?
kibana到5.0后可以直接在kibana.yml上面使用tilemap.url进行配置,
但是之前使用的url貌似都不行,有伙伴能提供个K5能用的url吗?

ES集群节点脱离,cpu,内存负载过高问题

Elasticsearchfamoss 回复了问题 • 6 人关注 • 4 个回复 • 9573 次浏览 • 2016-12-08 18:49 • 来自相关话题

kibana 二次开发 有哪些做法

Kibana三斗室 回复了问题 • 4 人关注 • 1 个回复 • 12867 次浏览 • 2016-12-06 11:13 • 来自相关话题

Day5: 《PacketBeat奇妙的OOM小记》

Adventkira8565 发表了文章 • 0 个评论 • 5474 次浏览 • 2016-12-05 23:00 • 来自相关话题

Beats这个项目的确很好用,几行命令下来,一个成型的Agent就出来了。使用者只需要关注采集什么数据就好,后续的事情libbeat基本都处理完了。不过值得吐槽的是,Beat太散了,管理起来东一个西一个的,产品化的时候对客户说,我们要在机器上放n个Agent不知道客户会是什么样的表情。


d7d0a529244b57acb6ce3796da132df8.jpg



不过轻量级、已部署的特点还是极大的吸引了我,于是就有了后面的事情了。

PacketBeat不明原因的OOM

某天我把PacketBeat放到了我的服务器上面,这台服务器上面有个MongoDB,MongoDB主要是拿来存放ES的元数据的。ES2.x的时候并没有很好的元数据管理,为了能让ES的索引分配的比较均匀,并且有元数据辅助查询,设计好一个元数据管理的仓库是必要的。然后我打开了对MongoDB的抓包功能,恩,一切都很好,接着我打开了日志管理页面,看到了一条一条的MongoDB的包被抓回来,解码,然后塞到了ES。可是第二天一看,咦??Packet跪了?不是吧,ElasticSearch做的产品这么不稳定么。我不信。


06170826_dLgU.png



然后我又启动了第二次,紧接着熟练的top了一下,观察了PacketBeat半个多小时,在被观察的这段时间里面,PacketBeat的表现非常的正常,看不出有什么异样。好吧,那上一次的OOM可能只是个意外,Windows也经常蓝屏嘛,OOM一次也正常。结果第二天我再次打开终端,发现这货居然又OOM了!!


06170909_irst.png



好吧好吧,我感觉我已经踩到Bug了,拿了开源社区这么多东西,总得贡献一下的,好吧,提个Issue去 https://github.com/elastic/beats/issues/2867

真相只有一个

微信群里面聊起这个奇妙的OOM,Medcl大神问是不是因为采集了ES的日志,(我的这台服务器和日志服务器有关系)然后导致滚雪球把PacketBeat给滚死了。咦?说不定真的是这个原因耶!但是看了看PacketBeat,我并没有抓ES的包,而且假如我采集了ES的包,应该一下就OOM掉了,不应该等那么久。不过这么一说,却仿佛打开了新世界的大门


06171040_FVEG.png



我把这台服务器在日志服务器中的角色重新梳理了下,终于发现了这次OOM的原因了。。

由于2.X的ES没有比较好的元数据信息,所以当日志送到LogServer的时候,我做了些额外的操作,让LogServer持久化到ES一定量的时候就会往Mongo写一下元数据信息(当然也有其他服务会往里面做CRUD啦),开始的时候访问Mongo的次数其实是很少的,假设按1W来算。那么问题来了,由于我们的PacketBeat抓了Mongo的包,那么LogServer往ES的CRUD操作都会被PacketBeat给抓走,然后再送回给LogServer


06171248_tcdl.png



那么一个隐藏的滚雪球事件就产生了,刚开始的那段时间,Mongo被抓包的次数只有1W,然后就往LogServer多送了1W条日志,不。。应该多很多,毕竟网络包嘛,然后就导致LogServer因为要管理元数据的频率开始逐渐地提高,逐渐提高CRUD的频率后抓包的内容也越来越多,紧接着到这发生到LogServer的频率也越来越高。。。。。每次PacketBeat崩掉的时候,都送了80W左右的日志量出去,然后它就OOM掉了(因为我那台机器就只剩下2G的空闲内存给它用,被系统给干掉了)。。我居然发现了这样的场景


06171336_PbWI.png



结论

使用PacketBeat的时候,记得要留意一下有没这种反馈型滚雪球的情况,多发生在自己的日志服务器上面。当然那种直接抓ES的就没什么好说了,估计启动了之后没多久就崩溃掉了

ES聚合中文问题

Elasticsearchtwinboss 回复了问题 • 5 人关注 • 3 个回复 • 5275 次浏览 • 2017-02-09 17:39 • 来自相关话题

每天5T/50亿日志优化

回复

Elasticsearchfamoss 发起了问题 • 4 人关注 • 0 个回复 • 4397 次浏览 • 2016-12-05 17:54 • 来自相关话题

Logstash5.0.X离线安装插件报错,仍然提示无法联网

Logstashtzwgod 回复了问题 • 3 人关注 • 2 个回复 • 8320 次浏览 • 2016-12-16 15:20 • 来自相关话题

kibana中的Metric里的高级中json input都有哪些玩法?

回复

Kibanaguitar1314 回复了问题 • 2 人关注 • 1 个回复 • 14518 次浏览 • 2016-12-06 14:08 • 来自相关话题

elasticsearch5.0集成ik分词问题(type报错)

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 5516 次浏览 • 2017-01-10 10:34 • 来自相关话题

ES5.0 批量导入数据,设置导入结束后刷新不生效

ElasticsearchJaret 回复了问题 • 3 人关注 • 3 个回复 • 8427 次浏览 • 2020-04-22 14:30 • 来自相关话题