三人行必有我师

【深圳ES Meetup】阿里云欧阳楚才:ES实践中最大的业务挑战是保障线上服务稳定

活动 | 作者 nodexy | 发布于2019年11月14日 | | 阅读数:1109

11月16日 Elastic 中文社区深圳 Meetup 上,欧阳楚才将为大家分享 阿里云Elasticsearch内核优化与应用实践。借此机会,我们邀请到他聊聊选ES在阿里云实践过程中遇到的最大业务挑战和解决方案,以及他在高并发架构设计方面的心得。

分享嘉宾 欧阳楚才 搜索技术专家 @阿里巴巴

在阿里巴巴负责Elasticsearch云服务研发工作,有比较丰富的搜索引擎研发经验,熟悉Lucene、Elasticsearch等开源技术,擅长高并发系统架构设计。


Q1、ES 在阿里云实践中遇到最大的业务挑战是什么?如何解决的?

A:阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署,避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储,避免IO瓶颈导致查询响应慢,使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引,避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况,及时发现系统存在的隐患。


Q2、您在高并发系统架构设计方面有哪些心得为大家分享?

A:结合业务场景做容量规划,评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言,通常最大的瓶颈在磁盘IO,尽量使用SSD盘高性能存储设备。为了系统稳定,单个节点Elasticsearch的JVM内存尽量不要超过32G,单节点存储数据量尽量不要超过5TB,高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个,数据量大的集群根据业务拆分多个集群,配置跨集群搜索。系统上线前做全链路压测,找到系统瓶颈。生产环境开启慢查询日志,分析bad case。


Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法?

A:Elasticsearch是开源的分布式搜索和分析引擎,开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈,版本迭代持续加速,Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎,后来不断被应用到日志分析、数据库加速、安全风控等领域,通过插件扩展机制可以用于图像、视频等非结构化数据分析。


Q4、您对本次技术沙龙活动的主题分享有什么期待?

A:期待能看到更多Elasticsearch应用案例,跟大家一起交流最佳实践。


Q5、您对 Elastic 中文社区发展有什么意见或建议呢?

A:Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档,当时的Elasticsearch版本为2.x,现在的Elasticsearch7.x版本在API、功能方面已经有很大变化,建议组织志愿者更新文档。




11月16日 Elastic 中文社区深圳 Meetup 火热报名中

主题分享:《阿里云Elasticsearch内核优化与应用实践》欧阳楚才
 
主题摘要:Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。

b89578fa-29bc-49c3-a515-837cf1dcf7c3.png

 

[尊重社区原创,转载请保留或注明出处]
本文地址:http://elasticsearch.cn/article/13549


0 个评论

要回复文章请先登录注册