无论才能、知识多么卓著,如果缺乏热情,则无异纸上画饼充饥,无补于事。

基于Kibana和ES的苏宁实时日志分析平台

2016-12-10 by 彭燕卿

彭燕卿,目前就职于苏宁云商IT总部云事业部监控研发中心技术副总监,工作地点南京。
9年软件研发经验,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台、等系统研发和架构工作,苏宁双11等大促保障工作。
目前主要负责苏宁云迹产品线 系统架构、产品设计及技术管理工作,为苏宁IT系统的高效稳定运行提供强有力的保障。主要专注于APM以及elasticsearch等实时大数据分析计算领域。
主题:
实时分析日志是程序员定位问题非常重要的环节,从最原始的SSH到主机tail grep日志文件到现在的ELK全套解决方案,从安全性及效率上都是质的提升。
目前苏宁在ELK的基础上搭建云迹实时日志分析产品,提供应用、web、防火墙、中间件等日志的实时检索、统计分析、告警。为苏宁1000+系统提供日志的实时检索分析服务。
在本演讲中,将和大家分享这套系统从无到有的一些技术架构演变,ES使用过程中遇到的坑及调优,Kibana二次开发等。