有个人长的像洋葱,走着走着就哭了…….

字节跳动的ES的智能运维和数据管理中台演进

2019-12-07 by 高英举

高英举
字节跳动 大数据工程师
高英举是Elastic的北京社区负责人,他有7年大数据行业经验,目前任职于字节跳动广告数据平台,曾在微博、乐视、新浪负责过多个业务线的PB级数据仓库建设、流式计算服务、AIOps的探索应用。精通Hadoop, Spark, Flink, Kafka, Elasticsearch等大数据技术。在Github上,他领导团队开源了Waterdrop项目(620+ star, 200+ fork),一个支持Spark,Flink引擎的数据计算产品。Waterdrop在字节跳动、360、微博、新浪,滴滴,网易公司的等生产环境中有持续产生价值收益。

演讲:字节跳动的ES的智能运维和数据管理中台演进
字节跳动拥有非常大的ES集群规模,为了解决和优化在运维和用户服务上面临的巨大挑战,研发了ES智能诊断系统和数据管理中台,将线上运维经验、基于机器学习的智能运维和实际的用户使用ES的数据管理需求固化到了这两个平台中。在这个过程中,字节跳动的ES团队的产出和技术水平有较大的提升。此次期望通过社区将团队曾经的痛点和经验分享出来,和社区共同发展。