沙师弟,师父的充电器掉了
深圳

深圳

【深圳ES Meetup】阿里云欧阳楚才:ES实践中最大的业务挑战是保障线上服务稳定

活动nodexy 发表了文章 • 0 个评论 • 808 次浏览 • 2019-11-14 16:23 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,欧阳楚才将为大家分享 阿里云Elasticsearch内核优化与应用实践。借此机会,我们邀请到他聊聊选ES在阿里云实践过程中遇到的最大业务挑战和解决方案,以及他在高并发架构设计方面的心得。 分享嘉宾 欧阳楚才 搜索技术专家 @阿里巴巴 在阿里巴巴负责Elasticsearch云服务研发工作,有比较丰富的搜索引擎研发经验,熟悉Lucene、Elasticsearch等开源技术,擅长高并发系统架构设计。 Q1、ES 在阿里云实践中遇到最大的业务挑战是什么?如何解决的? A:阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署,避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储,避免IO瓶颈导致查询响应慢,使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引,避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况,及时发现系统存在的隐患。 Q2、您在高并发系统架构设计方面有哪些心得为大家分享? A:结合业务场景做容量规划,评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言,通常最大的瓶颈在磁盘IO,尽量使用SSD盘高性能存储设备。为了系统稳定,单个节点Elasticsearch的JVM内存尽量不要超过32G,单节点存储数据量尽量不要超过5TB,高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个,数据量大的集群根据业务拆分多个集群,配置跨集群搜索。系统上线前做全链路压测,找到系统瓶颈。生产环境开启慢查询日志,分析bad case。 Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A:Elasticsearch是开源的分布式搜索和分析引擎,开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈,版本迭代持续加速,Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎,后来不断被应用到日志分析、数据库加速、安全风控等领域,通过插件扩展机制可以用于图像、视频等非结构化数据分析。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期待能看到更多Elasticsearch应用案例,跟大家一起交流最佳实践。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档,当时的Elasticsearch版本为2.x,现在的Elasticsearch7.x版本在API、功能方面已经有很大变化,建议组织志愿者更新文档。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《阿里云Elasticsearch内核优化与应用实践》欧阳楚才   主题摘要:Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png
 

【深圳ES Meetup】字节跳动黄杨锋:从0到1构建 ES 服务平台的挑战

活动nodexy 发表了文章 • 0 个评论 • 1140 次浏览 • 2019-11-13 09:07 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,黄杨锋将为大家分享基于K8S的ES服务平台在头条的实践。借此机会,我们邀请到他聊聊从0到1构建ES服务平台遇到的痛点、解决方案以及未来的规划。 分享嘉宾 黄杨锋 高级工程师 @字节跳动 目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。 Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的? A:(1)需要隔离,远离大集群,是通过 k8s来解决。       (2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。 Q2、在 ES 服务平台方面未来还有什么样的规划? A:相关规划详见下图
CAPTURE_20191113_90835.jpg
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望看到性能优化、机器学习相关的最新进展。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;       (2)希望官方出一些内核相关的书籍或文章;       (3)希望价钱可以再调低点。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋 主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png

【深圳ES Meetup】李猛:DB与ES结合,是业务系统实践值得探讨的事

活动nodexy 发表了文章 • 2 个评论 • 1328 次浏览 • 2019-11-09 17:41 • 来自相关话题

1月16日 Elastic 中文社区深圳 Meetup 上,李猛将带来关于ES 实践方面的主题分享。借此机会,我们邀请到他聊聊作为ES深度用户在探索ES过程中的心得以及对ES社区、活动、未来生态发展等方面的看法。   李猛 架构师/Elastic认证工程师 Elastic Stack产品深度用户,2012/2013年接触Elasticsearch,对Elastic Stack开发、架构、运维等方面有深入体验,实践过多种ES项目,最暴力的大数据分析应用,最复杂的业务系统应用等。   Q1、作为深度用户,当初是基于什么样的动机和考量选择使用 ES 产品并持续深入探索的? A:易用性与功能强大,个人平常比较爱好算法研究,选择任何数据产品本质上都是选择算法,算法的本质决定了产品的强大。 架构是个宏观问题,ES的设计是标准的分布式,架构的优秀设计带来的是易用性; 算法是个微观问题,ES集成了很多优秀的算法,这样在很多业务场景下都可满足,而不用更换不同的数据产品,这样也会带来产品运维方面的便利性,保障应用的技术栈不至于过多复杂。 Q2、在探索 DB 与 ES 的互通方面,有遇到什么难题吗?最后是如何解决的呢? A:数据一致性与实时性问题。应用架构思维变化,业务调整变化与技术方案变化。 Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A:ES目前主要应用是在单索引条件下查询,附带有简单的聚合分析能力。复杂的分析能力不具备,ES未来会增强复杂的分析能力,比如有条件的支持2个索引的关联分析。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望更多人参加探讨更多的业务应用场景,比如传统应用方面、大数据方面、机器学习方面;帮助大家以后项目实战有更多的案例参考。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:ES目前在国内的热度几乎超过任何数据库,几乎大大小小的公司,都在使用;从开始入门到成熟运用多多少少都会遇到很多问题,  希望社区活动更加多一点,业余的交流更多一点。比如可以办一些,走进某些企业的活动。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 分享主题:《DB到ES数据实时同步之路》 李猛  主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷;如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png
 

深圳 ES Meetup 来啦! 11月16日 阿里中心

活动nodexy 发表了文章 • 1 个评论 • 655 次浏览 • 2019-11-05 10:08 • 来自相关话题

shenzhen-es-201911_(1).png
    活动链接:   https://meetup.elasticsearch.c ... .html    议程   13:00-13:30  签到 13:30-13:40  活动介绍 13:40-14:20 分享主题:基于K8S的ES服务平台在头条的实践介绍 分享嘉宾:黄杨锋 @字节跳动 主题摘要:ES服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍ES服务平台从0到1的创建过程中所做的一些工作,包括K8S碰到的一些难点、ES功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。 14:20-15:00 分享主题:DB到ES数据实时同步之路 分享嘉宾:李猛 主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷; 如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。 15:20-16:00 分享主题:Elasticsearch在腾讯的优化实践 分享嘉宾:陈曦 @腾讯云 主题摘要:Elasticsearch在腾讯得到了大规模应用,支撑了后台海量日志分析、腾讯云监控系统、腾讯文档搜索服务等。在服务公司内外部用户的过程中,腾讯ES团队碰到了很多痛点,对ES内核做了大量优化,使其在高性能、高可用性、低成本等方面有了大幅度的提升。本次分享将着重介绍腾讯ES团队对ES的优化实践。 16:00-16:40 分享主题:阿里云Elasticsearch内核优化与应用实践 分享嘉宾:欧阳楚才 @阿里巴巴 主题摘要: Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。   16:40-17:20 分享主题:码云Gitee的Elasticsearch检索优化实战 分享嘉宾:陈鑫 @码云 主题摘要: 码云(Gitee.com)的Elasticsearch应用实战,以代码仓库搜索为例,讲解Elasticsearch在分词、信息检索模型、排序模型的自定义、重写和优化经验。   17:20-18:00 抽奖 & 交流  

参加 2018 Elastic 中国开发者大会是一个什么样的体验?

灌水区medcl 回复了问题 • 9 人关注 • 7 个回复 • 1475 次浏览 • 2018-11-25 11:17 • 来自相关话题

Elastic Meetup 深圳交流会

活动medcl 发表了文章 • 13 个评论 • 3875 次浏览 • 2017-12-04 09:59 • 来自相关话题

Elastic Meetup 线下交流活动再次来到鹏城深圳,此次活动是社区在深圳的第二次线下聚会了,深圳的小伙伴们,快快报名吧!

回顾去年的线下活动,可以点击这里:https://elasticsearch.cn/article/99  

timg-3.jpeg

主办:

本次活动由 Elastic 与 腾讯基础架构部 联合举办。  

媒体:

本次活动由 IT大咖说 独家提供现场直播。  

时间:

2017.12.16​  下午2:00-5:00(1点半开始签到)  

地点:

广东省深圳市南山区高新南一道飞亚达科技大厦506多功能厅

 

主题:

  1. 腾讯 - 姜国强 - 基于ES的时序数据库服务
  2. 中投证券 - 尉晋洪 - ELK在证券行业业务监控中的应用
  3. vivo 手机 - 杨振涛 - Elasticsearch在vivo互联网的最佳实践
  4. 中信银行信用卡中心 - 陈刚 - ES的容器化之路
  5. Elastic - 曾勇 - 基于爬虫和 Elasticsearch 快速构建站内搜索引擎
  6. 闪电分享(5-10分钟,可现场报名) 

参会报名:

http://elasticsearch.mikecrm.com/O6o0yq3  

现场直播:

直播连接: http://itdks.com/eventlist/detail/1826

主题介绍:

Elasticsearch在vivo互联网的最佳实践

内容介绍:

  • 主要介绍vivo的搜索需求,方案的选型,搜索团队的发展,Elasticsearch从入门到普及,以及实践中遇到的典型功能和性能问题及解决方案;

  • 同时会简单分享个人对数据的存储、索引、检索及可视化的想法和经验积累;

  • 最后介绍下与AI相关的LTR和NLP应用现状及未来方向。

分享嘉宾:

小图2.png!thumbnail_.png

杨振涛,vivo互联网搜索团队负责人 。  

基于ES的时序数据库服务

内容介绍:

  主要介绍腾讯在时序数据库产品方面的技术实践,包含读写性能优化、高级功能特性、应用现状等方面,以及相比开源时序数据库产品的优势。

分享嘉宾:

WechatIMG34.jpeg

姜国强,腾讯高级工程师,2012年毕业加入百度,从事大数据OLAP相关研发工作;目前在腾讯TEG基础架构部,负责腾讯时序数据库(CTSDB)研发相关工作。  

ELK在证券行业业务监控中的应用

内容介绍:

介绍最近一年间,使用ELK做业务监控的一些案例分享。

分享嘉宾:

WechatIMG15.jpeg

尉晋洪,就职于中国中投证券信息技术部,负责券商周边系统的运维。  

ES的容器化之路

内容介绍:

现在应用的趋势是docker化,容器化,ES如何实现容器化,性能又如何呢。

分享嘉宾:

WechatIMG27.jpeg

陈刚 ,男,华南师大硕士,职场新人,搜索应用开发猿。接触ES时间不久,但对其技术拥有极厚的兴趣,希望能和各位大牛交流学习如何玩转ES,不断优化查询,一切为了搜索~  

基于爬虫和 Elasticsearch 快速构建站内搜索引擎

内容介绍

介绍如何基于开源的 Elasticsearch 和开源的爬虫 GOPA 来快速构建自己的搜索引擎。

分享嘉宾

IMG_9199.jpg

曾勇,Elastic 技术布道师。


  


关于 Elastic Meetup

Elastic Meetup 由 Elastic 中文社区定期举办的线下交流活动,主要围绕 Elastic 的开源产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。

 

关于 Elastic

4674f044b99931926b236fdbc5e900ac.jpg

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 http://elastic.co/cn 。  

关于腾讯基础架构部

Snip20171204_13.png

基础架构部(Cloud Foundation Department)作为腾讯TEG重要的技术支持部门,拥有业界领先的云平台技术,为数以万计的业务提供云数据库、云存储、云接入的专业服务,是腾讯公司“互联网+”战略的践行者,为公司互联网支付、金融类业务提供有力的支撑。部门拥有的产品包括CDB、CMongo、CTSDB、CRS、CMem、CBS、CNAS、TGW、CMQ、CKafka等。

关于IT大咖说

 

9b1d7341a45bb36fdd15da5fb508606b.jpg

IT大咖说,IT垂直领域的大咖知识分享平台,践行“开源是一种态度”,通过线上线下开放模式分享行业TOP大咖干货,技术大会在线直播点播,在线活动直播平台。http://www.itdks.com 。  

再次感谢腾讯基础架构部和IT大咖说的大力支持!

线下活动又来啦,长沙,武汉,广州,深圳的同学快来报名啊 ?

活动medcl 发表了文章 • 18 个评论 • 4731 次浏览 • 2017-09-08 14:21 • 来自相关话题

Elastic 线下活动又双叒叕来啦,????,这次的活动日程是:   在这些城市的同学快快来报名,可以报名分享,也可以报名参会,更欢迎一起组织✌️。   干货交流,免费参加,不收费(一直都是)! 已有主题(欢迎报名分享):
  • Elastic - Medcl - Elastic Stack 6.0 新功能介绍
  • 基于爬虫和 Elasticsearch 快速构建站内搜索引擎
  • 芒果 TV - 刘波涛 - 芒果日志之旅
  • 尚德机构 - 白凡 - 高吞吐状况下斗鱼搜索引擎优化之路
  • 腾讯 - 姜国强- 基于 ES 的时序数据库服务
  • 中信银行信用卡中心 - 陈刚 - ES的容器化之路
  • 中投证券 - 尉晋洪 - ELK 在证券行业业务监控中的应用
  • 网易 - ELK 在藏宝阁中的应用
  • 网易 - 网易 ELK 系统综述
  • 数说故事 - 吴文杰 - ElasticSearch with OLAP in Datastory
  • 酷狗 - 钟旺 - 基于ES的音乐搜索引擎
  • Vivo - 杨振涛 - Elasticsearch在vivo互联网的最佳实践
  报名分享与场地赞助请加微信:medcl123 上半年往期回顾~ 对了,报名链接:http://elasticsearch.mikecrm.com/O6o0yq3   名额有限哦!

【深圳ES Meetup】李猛:DB与ES结合,是业务系统实践值得探讨的事

活动nodexy 发表了文章 • 2 个评论 • 1328 次浏览 • 2019-11-09 17:41 • 来自相关话题

1月16日 Elastic 中文社区深圳 Meetup 上,李猛将带来关于ES 实践方面的主题分享。借此机会,我们邀请到他聊聊作为ES深度用户在探索ES过程中的心得以及对ES社区、活动、未来生态发展等方面的看法。   李猛 架构师/Elastic认证工程师 Elastic Stack产品深度用户,2012/2013年接触Elasticsearch,对Elastic Stack开发、架构、运维等方面有深入体验,实践过多种ES项目,最暴力的大数据分析应用,最复杂的业务系统应用等。   Q1、作为深度用户,当初是基于什么样的动机和考量选择使用 ES 产品并持续深入探索的? A:易用性与功能强大,个人平常比较爱好算法研究,选择任何数据产品本质上都是选择算法,算法的本质决定了产品的强大。 架构是个宏观问题,ES的设计是标准的分布式,架构的优秀设计带来的是易用性; 算法是个微观问题,ES集成了很多优秀的算法,这样在很多业务场景下都可满足,而不用更换不同的数据产品,这样也会带来产品运维方面的便利性,保障应用的技术栈不至于过多复杂。 Q2、在探索 DB 与 ES 的互通方面,有遇到什么难题吗?最后是如何解决的呢? A:数据一致性与实时性问题。应用架构思维变化,业务调整变化与技术方案变化。 Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A:ES目前主要应用是在单索引条件下查询,附带有简单的聚合分析能力。复杂的分析能力不具备,ES未来会增强复杂的分析能力,比如有条件的支持2个索引的关联分析。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望更多人参加探讨更多的业务应用场景,比如传统应用方面、大数据方面、机器学习方面;帮助大家以后项目实战有更多的案例参考。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:ES目前在国内的热度几乎超过任何数据库,几乎大大小小的公司,都在使用;从开始入门到成熟运用多多少少都会遇到很多问题,  希望社区活动更加多一点,业余的交流更多一点。比如可以办一些,走进某些企业的活动。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 分享主题:《DB到ES数据实时同步之路》 李猛  主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷;如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png
 

参加 2018 Elastic 中国开发者大会是一个什么样的体验?

回复

灌水区medcl 回复了问题 • 9 人关注 • 7 个回复 • 1475 次浏览 • 2018-11-25 11:17 • 来自相关话题

【深圳ES Meetup】阿里云欧阳楚才:ES实践中最大的业务挑战是保障线上服务稳定

活动nodexy 发表了文章 • 0 个评论 • 808 次浏览 • 2019-11-14 16:23 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,欧阳楚才将为大家分享 阿里云Elasticsearch内核优化与应用实践。借此机会,我们邀请到他聊聊选ES在阿里云实践过程中遇到的最大业务挑战和解决方案,以及他在高并发架构设计方面的心得。 分享嘉宾 欧阳楚才 搜索技术专家 @阿里巴巴 在阿里巴巴负责Elasticsearch云服务研发工作,有比较丰富的搜索引擎研发经验,熟悉Lucene、Elasticsearch等开源技术,擅长高并发系统架构设计。 Q1、ES 在阿里云实践中遇到最大的业务挑战是什么?如何解决的? A:阿里云Elasticsearch最大的业务挑战是保障线上服务稳定。通过支持多可用区部署,避免单机房异常导致服务不可用。通过ECS本地盘、ESSD云盘提供高IOPS的存储,避免IO瓶颈导致查询响应慢,使用ECS本地盘也可以降低存储成本。通过ElasticFlow离线构建索引,避免写入和查询争抢资源导致查询响应变慢。通过智能诊断服务Eyou定期检查Elasticsearch服务健康状况,及时发现系统存在的隐患。 Q2、您在高并发系统架构设计方面有哪些心得为大家分享? A:结合业务场景做容量规划,评估系统需要支撑的写入TPS、查询QPS、最大响应延迟时间。对于Elasticsearch而言,通常最大的瓶颈在磁盘IO,尽量使用SSD盘高性能存储设备。为了系统稳定,单个节点Elasticsearch的JVM内存尽量不要超过32G,单节点存储数据量尽量不要超过5TB,高并发搜索场景推荐单节点配置16核CPU、64G内存、2TB SSD盘。Elasticsearch集群节点数不要超过300个,数据量大的集群根据业务拆分多个集群,配置跨集群搜索。系统上线前做全链路压测,找到系统瓶颈。生产环境开启慢查询日志,分析bad case。 Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A:Elasticsearch是开源的分布式搜索和分析引擎,开箱即用、弹性扩展方便。从早期的ELK到现在的Elastic技术栈,版本迭代持续加速,Elasticsearch的性能、扩展性、相关性不断优化。Elasticsearch最开始设计用于搜索引擎,后来不断被应用到日志分析、数据库加速、安全风控等领域,通过插件扩展机制可以用于图像、视频等非结构化数据分析。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期待能看到更多Elasticsearch应用案例,跟大家一起交流最佳实践。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:Elastic中文社区之前组织过翻译《Elasticsearch权威指南》中文文档,当时的Elasticsearch版本为2.x,现在的Elasticsearch7.x版本在API、功能方面已经有很大变化,建议组织志愿者更新文档。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《阿里云Elasticsearch内核优化与应用实践》欧阳楚才   主题摘要:Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png
 

【深圳ES Meetup】字节跳动黄杨锋:从0到1构建 ES 服务平台的挑战

活动nodexy 发表了文章 • 0 个评论 • 1140 次浏览 • 2019-11-13 09:07 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,黄杨锋将为大家分享基于K8S的ES服务平台在头条的实践。借此机会,我们邀请到他聊聊从0到1构建ES服务平台遇到的痛点、解决方案以及未来的规划。 分享嘉宾 黄杨锋 高级工程师 @字节跳动 目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。 Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的? A:(1)需要隔离,远离大集群,是通过 k8s来解决。       (2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。 Q2、在 ES 服务平台方面未来还有什么样的规划? A:相关规划详见下图
CAPTURE_20191113_90835.jpg
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望看到性能优化、机器学习相关的最新进展。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;       (2)希望官方出一些内核相关的书籍或文章;       (3)希望价钱可以再调低点。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋 主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png

【深圳ES Meetup】李猛:DB与ES结合,是业务系统实践值得探讨的事

活动nodexy 发表了文章 • 2 个评论 • 1328 次浏览 • 2019-11-09 17:41 • 来自相关话题

1月16日 Elastic 中文社区深圳 Meetup 上,李猛将带来关于ES 实践方面的主题分享。借此机会,我们邀请到他聊聊作为ES深度用户在探索ES过程中的心得以及对ES社区、活动、未来生态发展等方面的看法。   李猛 架构师/Elastic认证工程师 Elastic Stack产品深度用户,2012/2013年接触Elasticsearch,对Elastic Stack开发、架构、运维等方面有深入体验,实践过多种ES项目,最暴力的大数据分析应用,最复杂的业务系统应用等。   Q1、作为深度用户,当初是基于什么样的动机和考量选择使用 ES 产品并持续深入探索的? A:易用性与功能强大,个人平常比较爱好算法研究,选择任何数据产品本质上都是选择算法,算法的本质决定了产品的强大。 架构是个宏观问题,ES的设计是标准的分布式,架构的优秀设计带来的是易用性; 算法是个微观问题,ES集成了很多优秀的算法,这样在很多业务场景下都可满足,而不用更换不同的数据产品,这样也会带来产品运维方面的便利性,保障应用的技术栈不至于过多复杂。 Q2、在探索 DB 与 ES 的互通方面,有遇到什么难题吗?最后是如何解决的呢? A:数据一致性与实时性问题。应用架构思维变化,业务调整变化与技术方案变化。 Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A:ES目前主要应用是在单索引条件下查询,附带有简单的聚合分析能力。复杂的分析能力不具备,ES未来会增强复杂的分析能力,比如有条件的支持2个索引的关联分析。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望更多人参加探讨更多的业务应用场景,比如传统应用方面、大数据方面、机器学习方面;帮助大家以后项目实战有更多的案例参考。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:ES目前在国内的热度几乎超过任何数据库,几乎大大小小的公司,都在使用;从开始入门到成熟运用多多少少都会遇到很多问题,  希望社区活动更加多一点,业余的交流更多一点。比如可以办一些,走进某些企业的活动。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 分享主题:《DB到ES数据实时同步之路》 李猛  主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷;如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png
 

深圳 ES Meetup 来啦! 11月16日 阿里中心

活动nodexy 发表了文章 • 1 个评论 • 655 次浏览 • 2019-11-05 10:08 • 来自相关话题

shenzhen-es-201911_(1).png
    活动链接:   https://meetup.elasticsearch.c ... .html    议程   13:00-13:30  签到 13:30-13:40  活动介绍 13:40-14:20 分享主题:基于K8S的ES服务平台在头条的实践介绍 分享嘉宾:黄杨锋 @字节跳动 主题摘要:ES服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍ES服务平台从0到1的创建过程中所做的一些工作,包括K8S碰到的一些难点、ES功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。 14:20-15:00 分享主题:DB到ES数据实时同步之路 分享嘉宾:李猛 主题摘要:关系型数据库天然具备最严格的事务特性,有效的保证数据库一致性,但在高效查询方面显得很无力;Elasticsearch天然具备高效的查询算法,但在数据一致性方面却是先天缺陷; 如何将DB与ES的优点结合,是任何一个企业公司业务系统实践都值得探讨的事。 15:20-16:00 分享主题:Elasticsearch在腾讯的优化实践 分享嘉宾:陈曦 @腾讯云 主题摘要:Elasticsearch在腾讯得到了大规模应用,支撑了后台海量日志分析、腾讯云监控系统、腾讯文档搜索服务等。在服务公司内外部用户的过程中,腾讯ES团队碰到了很多痛点,对ES内核做了大量优化,使其在高性能、高可用性、低成本等方面有了大幅度的提升。本次分享将着重介绍腾讯ES团队对ES的优化实践。 16:00-16:40 分享主题:阿里云Elasticsearch内核优化与应用实践 分享嘉宾:欧阳楚才 @阿里巴巴 主题摘要: Elasticsearch在阿里云上服务了大量的客户,同时也面临着巨大的业务挑战。阿里云ES在内核引擎、中文分词、向量检索、容器化部署等方面做了一系列开发工作,应用于文档、日志、图像、视频的检索与分析。   16:40-17:20 分享主题:码云Gitee的Elasticsearch检索优化实战 分享嘉宾:陈鑫 @码云 主题摘要: 码云(Gitee.com)的Elasticsearch应用实战,以代码仓库搜索为例,讲解Elasticsearch在分词、信息检索模型、排序模型的自定义、重写和优化经验。   17:20-18:00 抽奖 & 交流  

Elastic Meetup 深圳交流会

活动medcl 发表了文章 • 13 个评论 • 3875 次浏览 • 2017-12-04 09:59 • 来自相关话题

Elastic Meetup 线下交流活动再次来到鹏城深圳,此次活动是社区在深圳的第二次线下聚会了,深圳的小伙伴们,快快报名吧!

回顾去年的线下活动,可以点击这里:https://elasticsearch.cn/article/99  

timg-3.jpeg

主办:

本次活动由 Elastic 与 腾讯基础架构部 联合举办。  

媒体:

本次活动由 IT大咖说 独家提供现场直播。  

时间:

2017.12.16​  下午2:00-5:00(1点半开始签到)  

地点:

广东省深圳市南山区高新南一道飞亚达科技大厦506多功能厅

 

主题:

  1. 腾讯 - 姜国强 - 基于ES的时序数据库服务
  2. 中投证券 - 尉晋洪 - ELK在证券行业业务监控中的应用
  3. vivo 手机 - 杨振涛 - Elasticsearch在vivo互联网的最佳实践
  4. 中信银行信用卡中心 - 陈刚 - ES的容器化之路
  5. Elastic - 曾勇 - 基于爬虫和 Elasticsearch 快速构建站内搜索引擎
  6. 闪电分享(5-10分钟,可现场报名) 

参会报名:

http://elasticsearch.mikecrm.com/O6o0yq3  

现场直播:

直播连接: http://itdks.com/eventlist/detail/1826

主题介绍:

Elasticsearch在vivo互联网的最佳实践

内容介绍:

  • 主要介绍vivo的搜索需求,方案的选型,搜索团队的发展,Elasticsearch从入门到普及,以及实践中遇到的典型功能和性能问题及解决方案;

  • 同时会简单分享个人对数据的存储、索引、检索及可视化的想法和经验积累;

  • 最后介绍下与AI相关的LTR和NLP应用现状及未来方向。

分享嘉宾:

小图2.png!thumbnail_.png

杨振涛,vivo互联网搜索团队负责人 。  

基于ES的时序数据库服务

内容介绍:

  主要介绍腾讯在时序数据库产品方面的技术实践,包含读写性能优化、高级功能特性、应用现状等方面,以及相比开源时序数据库产品的优势。

分享嘉宾:

WechatIMG34.jpeg

姜国强,腾讯高级工程师,2012年毕业加入百度,从事大数据OLAP相关研发工作;目前在腾讯TEG基础架构部,负责腾讯时序数据库(CTSDB)研发相关工作。  

ELK在证券行业业务监控中的应用

内容介绍:

介绍最近一年间,使用ELK做业务监控的一些案例分享。

分享嘉宾:

WechatIMG15.jpeg

尉晋洪,就职于中国中投证券信息技术部,负责券商周边系统的运维。  

ES的容器化之路

内容介绍:

现在应用的趋势是docker化,容器化,ES如何实现容器化,性能又如何呢。

分享嘉宾:

WechatIMG27.jpeg

陈刚 ,男,华南师大硕士,职场新人,搜索应用开发猿。接触ES时间不久,但对其技术拥有极厚的兴趣,希望能和各位大牛交流学习如何玩转ES,不断优化查询,一切为了搜索~  

基于爬虫和 Elasticsearch 快速构建站内搜索引擎

内容介绍

介绍如何基于开源的 Elasticsearch 和开源的爬虫 GOPA 来快速构建自己的搜索引擎。

分享嘉宾

IMG_9199.jpg

曾勇,Elastic 技术布道师。


  


关于 Elastic Meetup

Elastic Meetup 由 Elastic 中文社区定期举办的线下交流活动,主要围绕 Elastic 的开源产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。

 

关于 Elastic

4674f044b99931926b236fdbc5e900ac.jpg

Elastic 通过构建软件,让用户能够实时地、大规模地将数据用于搜索、日志和分析场景。Elastic 创立于 2012 年,相继开发了开源的 Elastic Stack(Elasticsearch、Kibana、Beats 和 Logstash)、X-Pack(商业功能)和 Elastic Cloud(托管服务)。截至目前,累计下载量超过 1.5 亿。Benchmark Capital、Index Ventures 和 NEA 为 Elastic 提供了超过 1 亿美元资金作为支持,Elastic 共有 600 多名员工,分布在 30 个国家/地区。有关更多信息,请访问 http://elastic.co/cn 。  

关于腾讯基础架构部

Snip20171204_13.png

基础架构部(Cloud Foundation Department)作为腾讯TEG重要的技术支持部门,拥有业界领先的云平台技术,为数以万计的业务提供云数据库、云存储、云接入的专业服务,是腾讯公司“互联网+”战略的践行者,为公司互联网支付、金融类业务提供有力的支撑。部门拥有的产品包括CDB、CMongo、CTSDB、CRS、CMem、CBS、CNAS、TGW、CMQ、CKafka等。

关于IT大咖说

 

9b1d7341a45bb36fdd15da5fb508606b.jpg

IT大咖说,IT垂直领域的大咖知识分享平台,践行“开源是一种态度”,通过线上线下开放模式分享行业TOP大咖干货,技术大会在线直播点播,在线活动直播平台。http://www.itdks.com 。  

再次感谢腾讯基础架构部和IT大咖说的大力支持!

线下活动又来啦,长沙,武汉,广州,深圳的同学快来报名啊 ?

活动medcl 发表了文章 • 18 个评论 • 4731 次浏览 • 2017-09-08 14:21 • 来自相关话题

Elastic 线下活动又双叒叕来啦,????,这次的活动日程是:   在这些城市的同学快快来报名,可以报名分享,也可以报名参会,更欢迎一起组织✌️。   干货交流,免费参加,不收费(一直都是)! 已有主题(欢迎报名分享):
  • Elastic - Medcl - Elastic Stack 6.0 新功能介绍
  • 基于爬虫和 Elasticsearch 快速构建站内搜索引擎
  • 芒果 TV - 刘波涛 - 芒果日志之旅
  • 尚德机构 - 白凡 - 高吞吐状况下斗鱼搜索引擎优化之路
  • 腾讯 - 姜国强- 基于 ES 的时序数据库服务
  • 中信银行信用卡中心 - 陈刚 - ES的容器化之路
  • 中投证券 - 尉晋洪 - ELK 在证券行业业务监控中的应用
  • 网易 - ELK 在藏宝阁中的应用
  • 网易 - 网易 ELK 系统综述
  • 数说故事 - 吴文杰 - ElasticSearch with OLAP in Datastory
  • 酷狗 - 钟旺 - 基于ES的音乐搜索引擎
  • Vivo - 杨振涛 - Elasticsearch在vivo互联网的最佳实践
  报名分享与场地赞助请加微信:medcl123 上半年往期回顾~ 对了,报名链接:http://elasticsearch.mikecrm.com/O6o0yq3   名额有限哦!