访谈:Elasticsearch在360企业安全集团的应用实践
medcl 发表了文章 • 0 个评论 • 3822 次浏览 • 2019-01-25 12:08
欢迎来到Elastic社区电台的第十期节目,本期我们节目的嘉宾是来自于360企业安全集团的资深研发工程师张超和段军义,张超也是 Elasticsearch 相关新书《Elasticsearch 源码解析与优化实战》的作者,让我们一起走进360企业安全的大数据团队,了解他们是如何使用 Elasticsearch 来解决公司内部和外部客户的各类需求,以及在实践过程中的经验分享。
收听地址
- [喜马拉雅: https://www.ximalaya.com/keji/14965410/155209795](https://www.ximalaya.com/keji/14965410/155209795)
- [Apple iTunes: https://itunes.apple.com/cn/podcast/elastic-社区电台](https://itunes.apple.com/cn/podcast/elastic-社区电台/)
时间线
- 00:20 - 嘉宾介绍
- 02:10 - 张超的新书《Elasticsearch 源码解析与优化实战》
- 04:21 - 360 与 Elasticsearch 的故事
- 05:25 - Elasticsearch 在 360 的应用场景介绍
- 07:30 - 产品选型与比较
- 08:20 - 有关版本升级的经验分享
- 12:00 - 典型场景的数据规模及配置情况
- 15:00 - 360 基于 Elasticsearch 的源码优化
- 21:00 - Frozen Index 与按需加载的需求
- 22:00 - Rollup 数据上卷的功能介绍
- 26:00 - 关于如何学习 Elasticsearch 的经验分享
- 29:00 - Elasticsearch 踩坑故事分享
- 37:00 - 关于入库与副本同步的改进问题讨论
- 30:30 - 关于异地多活与 CCR 的介绍
- 41:00 - 关于 Elasticsearch 相关职位的要求
- 42:00 - 360 团队对于 Elastic 未来的期望
- 43:50 - 有关目前 Elasticsearch 的痛点
- 46:00 - 有关 Rollover 的功能介绍
- 48:00 - 尾声
嘉宾
- 张超,大数据平台内核资深研发工程师,《Elasticsearch源码解析与优化实战》作者,就职于360企业安全集团,在基础大数据平台部门负责 Elasticsearch 内核研发工作,喜欢研究底层原理与系统优化,尤其喜欢解决深层次的问题。
- 段军义,大数据平台资深开发工程师,就职于360企业安全集团,主要负责Elasticsearch研发,喜欢研究Java、Linux、搜索相关技术。
主持人
Elastic 技术布道师,曾勇(Medcl)。
关于360企业安全
360企业安全创建于2012年,是360公司继个人安全市场后致力服务于政府企业机构网络安全与信息安全管理的安全产品业务线。作为中国互联网安全的领导者,360凭借在PC终端安全、移动终端安全、桌面安全管理、大数据分析、云安全等方面的深厚积累,成功推出各行业用户所急需的终端安全与管理一体化、未知高级威胁检测、移动终端安全管理、大数据安全分析等多项创新型企业安全产品。
关于Elastic社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
相关链接
- [360企业安全团队招聘链接](https://m.zhipin.com/weijd/v2/ ... q_FFA~)
- [Rollups](https://www.elastic.co/guide/e ... s.html)
- [Rollover](https://www.elastic.co/guide/e ... x.html)
- [CCR](https://www.elastic.co/guide/e ... r.html)
访谈:2亿+ vivo 手机背后搜索服务平台的故事
medcl 发表了文章 • 0 个评论 • 2717 次浏览 • 2018-12-24 19:09
欢迎来到 Elastic 社区电台的第九期节目,我们本期节目的嘉宾是来自于 vivo 互联网负责搜索业务研发的杨振涛,vivo 从 Elasticsearch 2.1.1 版本开始,如今使用 100 多个 Elasticsearch 集群来支撑全球 2 亿多台手机每天的各种搜索请求,如 vivo 的应用商店、游戏、音乐、主题、壁纸、铃声等各种手机服务背后的搜索服务,也包括产品配件、售后、FAQ 等企业门户官网的搜索请求。今天让我们一起走进 vivo,看看 vivo 具体是如何使用 Elasticsearch 来解决这些搜索问题的。
可以点击下面的任意链接来收听(时长约 50 分钟):
- Apple iTunes: [https://itunes.apple.com/cn/podcast/elastic-社区电台/](https://itunes.apple.com/cn/po ... %25B0/)
- 喜马拉雅:[https://www.ximalaya.com/keji/14965410/146649768](https://www.ximalaya.com/keji/14965410/146649768)
- 蜻蜓 FM:[https://www.qingting.fm/channe ... 96421](https://www.qingting.fm/channe ... 396421)
嘉宾
杨振涛,vivo 互联网搜索引擎架构师,专注于数据的存储、检索与可视化,以及 DevOps 与软件过程改进。Elastic 中文社区深圳地区负责人,发起并组织 Elasticsearch、Redis、Jenkins 等主题的技术沙龙,并参与多个开源项目的文档翻译和中文化工作。 技术翻译爱好者,InfoQ 中文社区编辑,TED Translator。
主持人
Elastic 技术布道师,曾勇(Medcl)。
关于 vivo
vivo为一个专注于智能手机领域的手机品牌,vivo和追求乐趣、充满活力、年轻时尚的群体一起打造拥有卓越外观、专业级音质、极致影像、愉悦体验的智能产品,并将敢于追求极致、持续创造惊喜作为vivo的坚定追求。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
相关链接
- [社区活动计划](https://meetup.elasticsearch.c ... 9.html)
- [vivo 招聘页面](https://hr.vivo.com)
访谈:Elastic Stack v6.5 新特性解读
medcl 发表了文章 • 0 个评论 • 3510 次浏览 • 2018-11-25 21:23
欢迎来到 Elastic 社区电台的第八期节目,我们本期节目的嘉宾是来自于Elastic 在中国的首席架构师吴斌, Elastic 在本月11月14日发布了一个全新的版本 6.5,放出了一系列精彩的特性,本次节目我们就这些最近发布的新特性做一个简单的解读。
收听地址
[https://www.ximalaya.com/keji/14965410/139462151](https://www.ximalaya.com/keji/14965410/139462151)
嘉宾
吴斌,十年 IT 行业经验,经历了软件工程师到架构师的全方位磨练。专注于海量数据处理、挖掘、分析和企业级搜索等领域。 现任 Elastic 架构师,负责公司亚太地区事务。致力于应用 Elastic 的先进技术产品解决企业数据应用问题。
主持人
Elastic 技术布道师,曾勇(Medcl)。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
访谈:Elastic 在今日头条广告系统中的大规模应用
medcl 发表了文章 • 0 个评论 • 3349 次浏览 • 2018-11-03 02:24
欢迎来到 Elastic 社区电台的第七期节目,我们本期节目的嘉宾是来自于今日头条广告系统的工程师徐磊和张海雷,今日头条作为业界非常流行的新闻资讯类软件,坐拥上亿互联网用户,其内部目前正大量使用了 Elasticsearch 来解决各式各样的业务问题,最早从15年开始的接触,到如今多达几十个集群的规模,以及成为公司平台化的基础服务,承载着PB级规模的数据,快来收听本期节目来一探究竟吧。
嘉宾
- 张海雷,今日头条广告系统研发工程师,现负责ES平台的运维以及平台化建设。
- 徐磊,今日头条广告系统研发工程师,有3年大规模ELK集群运维及平台化经验。
主持人
Elastic 技术布道师,曾勇(Medcl)。
收听
可以点击下面的任意链接来收听(时长约 34 分钟):
- Apple iTunes: [https://itunes.apple.com/cn/po ... 25B0/](https://itunes.apple.com/cn/po ... %25B0/)
- 喜马拉雅:[https://www.ximalaya.com/keji/14965410/133699689](https://www.ximalaya.com/keji/14965410/133699689)
- 蜻蜓 FM:[https://www.qingting.fm/channe ... 50814](https://www.qingting.fm/channe ... 050814)
关于今日头条
北京字节跳动科技有限公司成立于2012年3月,公司的主要产品“今日头条”客户端,是一款基于数据挖掘技术的个性化推荐引擎产品。“今日头条”致力于帮助用户在移动互联网上方便快捷地获取最有价值的信息,它会根据用户的兴趣为其推荐内容,这是对传统信息分发方式的一次巨大颠覆
“今日头条”面市后,迅速获得市场认可,长期占据苹果应用商店新闻类榜首。目前已有超过160万个个人、组织开设头条号。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
Elastic 社区电台 第六期,嘉宾:韩炳海、蔡国兴@神州泰岳
medcl 发表了文章 • 2 个评论 • 2472 次浏览 • 2018-10-21 14:45
欢迎来到 Elastic 社区电台的第六期节目,本期节目我们来到了位于北京的神州泰岳研发中心。神州泰岳在国内 IT 运维管理市场上拥有相当广泛的客户群,覆盖电信、金融、政府、能源、交通等行业,是国内领先的 IT 运维管理软件开发商、解决方案提供商和服务提供商。神州泰岳及其下属子公司大量使用了 Elastic Stack 来解决多个业务场景下的多种需求,这期的节目我们请来了神州泰岳 IT 监控产品线和应用产品线的两位总监来给大家带来分享,快来收听本期节目了解他们具体是如何使用 Elasticsearch 的吧。
嘉宾:
蔡国兴,北京神州泰岳软件股份有限公司研发中心 IT 监控产品线副总监,现致力于网络管理类产品建设和解决方案的提供。
韩炳海,神州泰岳研发中心应用产品线研发总监,有十几年的研发经历,现聚焦APM、微服务领域。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
可以点击下面的任意链接来收听(时长约 50 分钟):
- Apple iTunes: https://itunes.apple.com/cn/po ... 25B0/
- 喜马拉雅:https://www.ximalaya.com/keji/14965410/124736791
- 蜻蜓 FM:https://www.qingting.fm/channe ... 17402
关于神州泰岳
神州泰岳是国内领先的综合类软件产品及服务提供商,着力于用信息技术手段推动行业发展和社会进步,提升人们工作和生活品质。自公司成立以来,始终以市场为导向,深耕细作、创新拓展,形成了以“ICT运营管理”、“手机游戏”、“人工智能与大数据”、“物联网与通讯技术应用”为核心的相关多元化发展格局。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
Elastic 社区电台 第五期,嘉宾:李啸、张振风@趋势科技
medcl 发表了文章 • 0 个评论 • 3074 次浏览 • 2018-10-17 15:47
欢迎来到 Elastic 社区电台的第五期节目,本期分享嘉宾邀请来自位于南京的趋势科技中国研发中心。趋势科技是网络安全软件及服务领域的全球领导者。趋势科技深度的使用了 Elastic Stack 来解决多个业务场景下的多种需求,目前部署共超过 8 个集群,单个最大集群承载了上百个 TB 的业务数据。比如在病毒样本的分析场景,通过使用 Elasticsearch 来构建的病毒特征库,比之前的方案更快更高效。另外移动端手机 APP 行为数据的安全分析以及趋势内部应用的日志分析也都是使用的 Elasticsearch 来完成的。想要了解更多详情,快来收听本期节目来吧。
嘉宾:
李啸(white), 目前就职于趋势科技中国研发中心,担任 staff software engineer一职,2012 年接触 elk 技术,7 年分布式系统开发,devops 经验,目前主要从事移动病毒大数据分析平台系统研发工作。
张振风(houper), 趋势高级研发工程师,从事 big data 相关工作,自 2015 年起接触和关注 elastic 技术。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
可以点击下面的任意链接来收听(时长约 50 分钟):
Apple iTunes: https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:https://www.ximalaya.com/keji/14965410/124736791
蜻蜓 FM:https://www.qingting.fm/channe ... 17402
关于趋势科技
趋势科技——网络安全软件及服务领域的全球领导者,以卓越的前瞻和技术革新能力引领了从桌面防毒到网络服务器和网关防毒的潮流,以独特的服务理念向业界证明了趋势科技的前瞻性和领导地位。总部位于日本东京和美国硅谷,在38个国家和地区设有分公司,拥有7 个全球研发中心,员工总数超过4000人。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
Elastic 社区电台第四期,嘉宾:阮一鸣/丁旻奕@eBay
medcl 发表了文章 • 0 个评论 • 3148 次浏览 • 2018-09-17 17:23
欢迎来到 Elastic 社区电台的第四期节目,本期嘉宾是来自 eBay 中国研发中心 Pronto 团队的两位技术负责人。eBay 的 Pronto 平台是 eBay 内部用于托管 Elasticsearch 集群的平台,该平台使得 eBay 内部客户能够更加方便地部署和使用 Elasticsearch。当前 Pronto 平台管理着 50 多个 Elasticsearch 集群和超过 2000 多个数据节点。本期节目我们会聊聊 eBay如何应对这样大规模部署的挑战,介绍他们开发的各种自定义插件和相关工具,还会有非常多的经验分享。
嘉宾
丁旻奕, 软件工程师,在eBay Pronto从事ES软件即服务云的开发工作。
阮一鸣,软件工程师,在 eBay 从事软件开发工作。
收听节目
可以点击下面的任意链接来收听(时长约 37 分钟):
- Apple iTunes:https://itunes.apple.com/cn/po ... t%3D2
- 喜马拉雅:https://www.ximalaya.com/keji/14965410/100939459
- 蜻蜓 FM:http://m.qingting.fm/vchannels ... 01001
主持人
Elastic 技术布道师,曾勇(Medcl)。
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
关于 eBay
eBay (NASDAQ:EBAY; http://www.ebay.com) 是全球最大的网络交易平台之一。经过二十多年的发展,eBay 成长为历史上发展最快的公司之一。目前eBay在全球33个国家和地区设有分支机构,拥有超过 2.12亿注册用户,被誉为全球互联网上最受欢迎的购物网站。
Elastic 社区电台第三期,嘉宾:徐胜/张延明@饿了么
medcl 发表了文章 • 0 个评论 • 2209 次浏览 • 2018-09-05 12:00
欢迎来到 Elastic 社区电台的第三期节目,本期嘉宾是来自上海饿了么公司的两位技术负责人。饿了么是中国专业的网上订餐平台,饿了么最早从 2.3 版本开始使用 Elasticsearch,从最早的 12 个集群,100 个节点,每天 400 万单,到如今达到 32 个集群,300 多个节点,千万个索引,总数据量达到 60 TB,共十几个业务系统的接入,每天高峰处理超 800 万单数据,搜索推荐、用户交易、后台营销等均通过 Elastic Stack 来实现。欢迎收听本期节目,了解饿了么应用 Elastic Stack 的具体情况、在规模化过程中遇到的挑战,以及他们的经验分享。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
嘉宾:
张延明,饿了么运维专家,主要负责 ES 的部署、运维和 JVM 性能优化。曾供职于腾讯等大公司,在业务和基础运维方面有十年的工作经验,对 ES、Kafka 等分布式技术具有强烈的兴趣,一直负责核心业务场景的运维部署。
徐胜,饿了么 ES 的负责人,主要负责 ES 的平台化研发、ES 集群和查询性能优化,以及基于 ES 构建通用搜索引擎平台。对分布式计算、大数据具有浓厚的兴趣,在 ES 分布式搜索、大数据计算、聚合统计分析、性能优化等业务场景积累了三年经验。
可以点击下面的任意链接来收听(时长约 45 分钟):
Apple iTunes:https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:http://www.ximalaya.com/keji/14965410/94803743
蜻蜓 FM:http://share.qingting.fm/vchan ... 12932
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
关于饿了么
“饿了么”是中国专业的餐饮O2O平台,由拉扎斯网络科技(上海)有限公司开发运营。 作为中国餐饮业数字化领跑者,“饿了么”秉承激情、极致、创新之信仰,以建立全面完善的数字化餐饮生态系统为使命,为用户提供便捷服务极致体验,为餐厅提供一体化运营解决方案,推进整个餐饮行业的数字化发展进程。
Elastic 社区电台第三期,嘉宾:徐胜/张延明@饿了么
medcl 发表了文章 • 2 个评论 • 2442 次浏览 • 2018-06-28 09:30
欢迎来到 Elastic 社区电台的第三期节目,本期嘉宾是来自上海的饿了么的两位技术负责人,饿了么是中国专业的网上订餐平台,饿了么最早从 2.3 版本开始使用 ES,从最早的 12 个集群 100个节点,每天 400 万单,到如今达到 32 个集群,300 多个节点,千万个索引,总数据量达到 60 TB,共 10 几个业务系统的接入,每天高峰处理超 800 万单数据,搜索推荐、用户交易、后台营销等都是通过 ES 来实现,欢迎收听本期节目来了解饿了么具体是如何应用 ES 以及在规模化过程中遇到的挑战。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
嘉宾:
张延明,饿了么运维专家,主要 ES 的部署、运维、JVM 性能优化。曾供职于腾讯等大公司,在业务和基础运维方面有十年的工作经验,对 ES、Kafka 等分布式技术具有强烈的兴趣,一直负责核心业务场景的运维部署。
徐胜,饿了么 ES 的负责人,主要是负责 ES 的平台化研发,ES 集群和查询性能优化。负责基于 ES 构建通用搜索引擎平台。对分布式计算、大数据具有浓厚的兴趣,在 ES 分布式搜索、大数据计算、聚合统计分析、性能优化等业务场景积累了三年经验。
可以点击下面的任意链接来收听(时长约 50 分钟):
- SoundCloud:https://soundcloud.com/elastic ... eleme
- 喜马拉雅:http://www.ximalaya.com/keji/14965410/94803743
- 蜻蜓 FM:http://share.qingting.fm/vchan ... 12932
关于 Elastic 社区电台
Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。
关于饿了么
“饿了么”是中国专业的餐饮O2O平台,由拉扎斯网络科技(上海)有限公司开发运营。 作为中国餐饮业数字化领跑者,“饿了么”秉承激情、极致、创新之信仰,以建立全面完善的数字化餐饮生态系统为使命,为用户提供便捷服务极致体验,为餐厅提供一体化运营解决方案,推进整个餐饮行业的数字化发展进程。
Elastic Podcast 第二期,嘉宾:吴晓刚/胡航@Ctrip
medcl 发表了文章 • 14 个评论 • 3825 次浏览 • 2018-05-21 12:30
Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网,携程内部大量运用了 Elasticsearch 来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台,目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个 Elasticsearch 节点,每天新增日志 1600 亿条,峰值达到 300 万每秒,存放在 Elasticsearch 里面的索引文档达到 2.5 万亿,磁盘存储达到 PB 级。想知道携程是如何应对这些海量数据下的挑战,以及最佳实践,让我们一起来收听这一期的 Podcast,跟随携程的两位技术负责人吴晓刚和胡航来一探究竟。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
嘉宾:
吴晓刚,携程技术保障部系统研发总监, Elasticsearch 国内早期实践者,中文社区活跃用户。 曾在 eBay, Morgan Stanley, PPTV 等国内外公司从事系统软件研发、系统集成与技术支持工作。对于大规模 IT 系统的运维自动化、可视化、性能优化具有浓厚的兴趣。在技术方面一直抱有知其然知其所以然的态度。
胡航,携程旅行网高级技术经理,负责相关搜索实现、SOA服务的开发。曾供职于腾讯、盛大等公司,对新技术持有强烈的好奇心,目前关注于 Elasticsearch 的业务实现、JVM 性能优化等。
可以点击下面的任意链接来收听(时长约 50 分钟):
- SoundCloud:https://soundcloud.com/elastic ... ctrip
- 喜马拉雅:http://m.ximalaya.com/111156131/sound/89571047
- 蜻蜓 FM:http://m.qingting.fm/vchannels ... 45776
往期:Elastic 在德比软件的使用
关于 Elastic Podcast
《Elastic Podcast》是由 Elastic 中文社区发起的一档谈话类的播客节目,节目会定期邀请 Elastic 开源软件的用户,一起来聊一聊围绕他们在使用 Elastic 开源软件过程中的各种话题,包括行业应用、架构案例、经验分享等等。
[胡航/吴晓刚/曾勇]
Elastic Podcast 第一期,嘉宾:解恒跃@德比软件
medcl 发表了文章 • 0 个评论 • 2833 次浏览 • 2018-04-19 17:01
Elastic Podcast 来啦!让我来先给大家介绍一下什么是 Elastic Podcast,这是一档新的由 Elastic 中文社区发起的谈话类播客节目,我们会定期邀请 Elastic 软件的用户,一起来聊一聊他们与 Elastic 的故事,会围绕各种有意思的话题进行讨论,比如具体的行业应用实践啦、实际的架构部署啦、来自一线的实战经验分享等等。他山之石可以攻玉,相信会对你有帮助。
好啦,回到正题,第一期有什么呢,让我们一起走进位于上海的 DerbySoft(德比软件),德比软件是一家专注于旅游酒店行业管理系统的公司,其客户分布全球,每天有上千台服务器在不停的产生日志,让我们来听听德比软件的解经理给大家介绍,他们是如何用不到 20 台的 Elasticsearch 服务器来支撑总量 800 亿的日志分析,以及了解他们具体是如何使用 Kibana,以及在使用过程中的各种经验和分享。
主持人:
Elastic 技术布道师,曾勇(Medcl)。
嘉宾:
解恒跃,德比软件研发一部高级技术经理,从事软件开发和管理工作 12 年;擅长 Java 相关技术,webservice,微服务,敏捷软件开发。
收听方法
可以点击下面的任意链接来收听(时长约 30 分钟):
- SoundCloud: [https://soundcloud.com/elastic ... t1...](https://soundcloud.com/elastic ... bysoft)
- 喜马拉雅:[http://m.ximalaya.com/111156131/sound/82918649](http://m.ximalaya.com/111156131/sound/82918649)
- 蜻蜓 FM:[https://www.qingting.fm/channe ... 16389](https://www.qingting.fm/channe ... 916389)
关于 DerbySoft:
德比软件创立于 2002 年,是专业从事旅游网络营销系统的技术服务公司,近 400 人的员工分布于上海、北京、南京、达拉斯、伦敦、东京等地。是拥有全部产品自主知识产权并为全球酒店行业提供软件服务的公司,是目前全球提供酒店对接服务最好,并且对接上线成功案例最多的公司。https://www.derbysoft.com/