搜索

搜索

Elastic Podcast 第二期,嘉宾:吴晓刚/胡航@Ctrip

Podcastmedcl 发表了文章 • 14 个评论 • 853 次浏览 • 2018-05-21 12:30 • 来自相关话题

banner.jpg
 Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网,携程内部大量运用了 Elasticsearch 来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台,目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个 Elasticsearch 节点,每天新增日志 1600 亿条,峰值达到 300 万每秒,存放在 Elasticsearch 里面的索引文档达到 2.5 万亿,磁盘存储达到 PB 级。想知道携程是如何应对这些海量数据下的挑战,以及最佳实践,让我们一起来收听这一期的 Podcast,跟随携程的两位技术负责人吴晓刚和胡航来一探究竟。 主持人: Elastic 技术布道师,曾勇(Medcl)。 嘉宾: 吴晓刚,携程技术保障部系统研发总监, Elasticsearch 国内早期实践者,中文社区活跃用户。 曾在 eBay, Morgan Stanley, PPTV 等国内外公司从事系统软件研发、系统集成与技术支持工作。对于大规模 IT 系统的运维自动化、可视化、性能优化具有浓厚的兴趣。在技术方面一直抱有知其然知其所以然的态度。 胡航,携程旅行网高级技术经理,负责相关搜索实现、SOA服务的开发。曾供职于腾讯、盛大等公司,对新技术持有强烈的好奇心,目前关注于 Elasticsearch 的业务实现、JVM 性能优化等。 可以点击下面的任意链接来收听(时长约 50 分钟): 往期:Elastic 在德比软件的使用 关于 Elastic Podcast 《Elastic Podcast》是由 Elastic 中文社区发起的一档谈话类的播客节目,节目会定期邀请 Elastic 开源软件的用户,一起来聊一聊围绕他们在使用 Elastic 开源软件过程中的各种话题,包括行业应用、架构案例、经验分享等等。  
ctrip_podcast_pic.jpg
[胡航/吴晓刚/曾勇]

在实现类似万方二次搜索遇到的问题

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 215 次浏览 • 2018-04-11 18:46 • 来自相关话题

上海Elasticsearch技术沙龙

活动zengcici 发表了文章 • 3 个评论 • 727 次浏览 • 2018-03-13 14:21 • 来自相关话题

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

问下,ES能设置不同的字段间共享docFreq和docCount么

回复

ElasticsearchHowie Tien 发起了问题 • 1 人关注 • 0 个回复 • 255 次浏览 • 2018-02-22 18:09 • 来自相关话题

node.master 和 node.data 配置导致search问题

Elasticsearchxinfanwang 回复了问题 • 4 人关注 • 2 个回复 • 402 次浏览 • 2018-02-08 15:48 • 来自相关话题

"message":"{}" 这样的数据如何搜索? 5.6.4版本

Elasticsearchliujia 回复了问题 • 2 人关注 • 2 个回复 • 366 次浏览 • 2017-12-06 16:05 • 来自相关话题

es怎么用本地的Python脚本过滤搜索结果

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 443 次浏览 • 2017-12-05 10:30 • 来自相关话题

类似数据库中反向like的查询怎么写

Elasticsearchyushun 回复了问题 • 2 人关注 • 1 个回复 • 438 次浏览 • 2017-11-28 17:45 • 来自相关话题

求教ES切词精确匹配

Elasticsearchxiaoke 回复了问题 • 2 人关注 • 3 个回复 • 973 次浏览 • 2017-09-12 19:55 • 来自相关话题

java api如何用索引通配查询?

ElasticsearchCheetah 回复了问题 • 4 人关注 • 3 个回复 • 1122 次浏览 • 2017-08-25 10:47 • 来自相关话题

Elastic用kibana执行rest语句和java执行结果不一致

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 726 次浏览 • 2017-07-31 19:39 • 来自相关话题

搜尋交集結果

回复

Elasticsearchccw125 发起了问题 • 1 人关注 • 0 个回复 • 733 次浏览 • 2017-07-31 16:23 • 来自相关话题

[热招]饿了么搜索推荐研发部招聘信息

Elasticsearchcwwcsw 发表了文章 • 1 个评论 • 2048 次浏览 • 2017-07-19 18:11 • 来自相关话题

饿了么搜索推荐研发部现热招搜索相关人才 投递方式:wei.chen04@ele.me QQ:2908368828 岗位福利:定期技术分享,良好的技术氛围,超级nice的leader,五险一金+补充商业保险等多种福利政策 薪资:行业内有竞争力的薪资 坐标:上海市普陀区金沙江路,13号线真北路下,地铁出来即是,大热天不怕晒   一、搜索架构工程师 岗位职责: 1、负责在线搜索服务的稳定性,性能,时效性和扩展性; 2、负责构建一套能快速满足多种业务检索需求的通用搜索平台; 3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护; 4、关注行业搜索技术,引进和改善搜索架构; 职位要求: 1、本科以上学历 ,3年以上搜索相关工作经验 2、精通Lucene、Elastic Search开发和实战,能够修改Lucene、Elastic Search源代码 3、精通高可用、高并发分布式系统设计,有熟悉分布式搜索系统的架构和运维经验者有些 4、熟练掌握多线程,线程池技术,对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解 5、具有高度的抽象设计能力,思路清晰,善于思考,能独立驱动、分析和解决问题 6、责任心强,良好的沟通交流、团队合作精神、以结果为导向 二、高级搜索工程师(Elasticsearch)     岗位职责:  1、参与平台化的各类搜索相关的功能;  2、参与系统的设计和核心代码的编写;  3、明确搜索业务需求,按时完成指定模块的设计与开发,并确保质量;  4、对自己的代码要求严格,并对已有模块进行优化升级;  5、搜索算法研究及实现,搜索相关扩展应用研发;  6、善于思考,能解决复杂的ES性能调优问题。 任职要求:  1、211本科以上学历,计算机或者相关专业;  2、至少一年Elasticsearch开发经验,一年Java开发经验;  3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构,良好的数据结构基础;  4、熟悉Java开发语言,熟悉Spring MVC、iBatis、netty等主流框架,熟练使用eclipse等开发工具;  5、熟悉MySQL数据库应用;  6、熟悉lucene,ELK生态,大数据平台优先;  7、对技术富有激情,对新技术有了解,思路清晰;  8、工作态度积极、踏实、认真,有责任感,有团队合作意识;     欢迎大家推荐或者自荐~  

请教关于搜索的问题

Elasticsearchwilbur 回复了问题 • 1 人关注 • 1 个回复 • 1933 次浏览 • 2017-06-14 22:43 • 来自相关话题

es查询附带什么参数可以返回匹配的关键字列表

Elasticsearchhuigy 回复了问题 • 2 人关注 • 4 个回复 • 1660 次浏览 • 2017-03-31 19:29 • 来自相关话题

在实现类似万方二次搜索遇到的问题

回复

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 215 次浏览 • 2018-04-11 18:46 • 来自相关话题

问下,ES能设置不同的字段间共享docFreq和docCount么

回复

ElasticsearchHowie Tien 发起了问题 • 1 人关注 • 0 个回复 • 255 次浏览 • 2018-02-22 18:09 • 来自相关话题

node.master 和 node.data 配置导致search问题

回复

Elasticsearchxinfanwang 回复了问题 • 4 人关注 • 2 个回复 • 402 次浏览 • 2018-02-08 15:48 • 来自相关话题

"message":"{}" 这样的数据如何搜索? 5.6.4版本

回复

Elasticsearchliujia 回复了问题 • 2 人关注 • 2 个回复 • 366 次浏览 • 2017-12-06 16:05 • 来自相关话题

es怎么用本地的Python脚本过滤搜索结果

回复

Elasticsearchmedcl 回复了问题 • 3 人关注 • 2 个回复 • 443 次浏览 • 2017-12-05 10:30 • 来自相关话题

类似数据库中反向like的查询怎么写

回复

Elasticsearchyushun 回复了问题 • 2 人关注 • 1 个回复 • 438 次浏览 • 2017-11-28 17:45 • 来自相关话题

求教ES切词精确匹配

回复

Elasticsearchxiaoke 回复了问题 • 2 人关注 • 3 个回复 • 973 次浏览 • 2017-09-12 19:55 • 来自相关话题

java api如何用索引通配查询?

回复

ElasticsearchCheetah 回复了问题 • 4 人关注 • 3 个回复 • 1122 次浏览 • 2017-08-25 10:47 • 来自相关话题

Elastic用kibana执行rest语句和java执行结果不一致

回复

Elasticsearchlaoyang360 回复了问题 • 2 人关注 • 1 个回复 • 726 次浏览 • 2017-07-31 19:39 • 来自相关话题

搜尋交集結果

回复

Elasticsearchccw125 发起了问题 • 1 人关注 • 0 个回复 • 733 次浏览 • 2017-07-31 16:23 • 来自相关话题

请教关于搜索的问题

回复

Elasticsearchwilbur 回复了问题 • 1 人关注 • 1 个回复 • 1933 次浏览 • 2017-06-14 22:43 • 来自相关话题

es查询附带什么参数可以返回匹配的关键字列表

回复

Elasticsearchhuigy 回复了问题 • 2 人关注 • 4 个回复 • 1660 次浏览 • 2017-03-31 19:29 • 来自相关话题

elasticsearch中如何模糊查询同时邻近匹配?

回复

ElasticsearchWumpus 发起了问题 • 1 人关注 • 0 个回复 • 2272 次浏览 • 2017-02-25 16:59 • 来自相关话题

Completion Suggester使用过程中遇到的问题

回复

Elasticsearchmedcl 回复了问题 • 2 人关注 • 1 个回复 • 3497 次浏览 • 2017-02-23 15:56 • 来自相关话题

elasticsearch 搜索漏数据

回复

Elasticsearchcggy2012 发起了问题 • 1 人关注 • 0 个回复 • 2285 次浏览 • 2016-12-06 17:59 • 来自相关话题

Elastic Podcast 第二期,嘉宾:吴晓刚/胡航@Ctrip

Podcastmedcl 发表了文章 • 14 个评论 • 853 次浏览 • 2018-05-21 12:30 • 来自相关话题

banner.jpg
 Elastic Podcast 第二期来啦, 这一次我们来到了位于上海的携程旅行网,携程内部大量运用了 Elasticsearch 来进行集中式的运维日志管理和为业务部门提供统一的搜索服务平台,目前线上总共部署了多达 94 个 Elasticsearch 集群和超过 700 多个 Elasticsearch 节点,每天新增日志 1600 亿条,峰值达到 300 万每秒,存放在 Elasticsearch 里面的索引文档达到 2.5 万亿,磁盘存储达到 PB 级。想知道携程是如何应对这些海量数据下的挑战,以及最佳实践,让我们一起来收听这一期的 Podcast,跟随携程的两位技术负责人吴晓刚和胡航来一探究竟。 主持人: Elastic 技术布道师,曾勇(Medcl)。 嘉宾: 吴晓刚,携程技术保障部系统研发总监, Elasticsearch 国内早期实践者,中文社区活跃用户。 曾在 eBay, Morgan Stanley, PPTV 等国内外公司从事系统软件研发、系统集成与技术支持工作。对于大规模 IT 系统的运维自动化、可视化、性能优化具有浓厚的兴趣。在技术方面一直抱有知其然知其所以然的态度。 胡航,携程旅行网高级技术经理,负责相关搜索实现、SOA服务的开发。曾供职于腾讯、盛大等公司,对新技术持有强烈的好奇心,目前关注于 Elasticsearch 的业务实现、JVM 性能优化等。 可以点击下面的任意链接来收听(时长约 50 分钟): 往期:Elastic 在德比软件的使用 关于 Elastic Podcast 《Elastic Podcast》是由 Elastic 中文社区发起的一档谈话类的播客节目,节目会定期邀请 Elastic 开源软件的用户,一起来聊一聊围绕他们在使用 Elastic 开源软件过程中的各种话题,包括行业应用、架构案例、经验分享等等。  
ctrip_podcast_pic.jpg
[胡航/吴晓刚/曾勇]

上海Elasticsearch技术沙龙

活动zengcici 发表了文章 • 3 个评论 • 727 次浏览 • 2018-03-13 14:21 • 来自相关话题

活动介绍

本期邀请了阿里巴巴、Elastic、eBay、饿了么的技术专家,分享Elasticsearch及其相关组件在搜索、日志分析和监控领域的应用,帮助开发者更好的理解Elastisearch及其相关组件。

活动安排

时间:2018年3月24日周六 13:30-17:30
地点:上海浦东南路855号世界广场B2层路演中心会场

活动主题

  • 13:30—14:00 签到
  • 14:00—14:40 《Elasticsearch在智能运维领域的应用》 Elastic布道师 曾勇
  • 14:40—15:20 《Performance Tuning Best Practice in Elasticsearch》 eBay技术专家 王佩
  • 15:20—16:00 《基于Elasticsearch的离线搜索平台架构设计》 阿里巴巴技术专家 杨孔仕
  • 16:00—16:40 《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么资深搜索工程师 徐胜
  • 16:40—17:30 自由交流

报名通道

活动报名通道:

https://yq.aliyun.com/event/208/join

使用钉钉扫描,加入Elasticsearch技术交流群:

QR

嘉宾介绍

曾勇 Elastic布道师、Elasticsearch中国社区发起人

在分布式搜索、高性能、高可用架构、自动化运维等方面积累了超过七年的经验。曾勇是Elasticsearch国内首批用户,自2010年起就开始接触Elasticsearch并投入到生产环境中使用,并编写过一系列的中文处理相关的插件。

演讲主题:《Elasticsearch在智能运维领域的应用》 分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

王佩 eBay技术专家

9年文档存储、索引、搜索领域软件行业从业经验,使用ElasticSearch约3年。现在eBay的ElasticSearch管理平台Pronto项目组工作,主要方向是ElasticSearch集群的部署和性能调优。

演讲主题:《Performance Tuning Best Practice in Elasticsearch》 eBay内部很多个项目组使用了Elasticsearch来提供数据查询和分析服务,其中绝大部分cluster都是建立在Pronto平台上,由Pronto项目组负责管理维护60+集群和监控调优工作。本次分享介绍了Pronto的ElasticSearch性能调优实践流程,调优过程中的注意事项和检查手段。

杨孔仕 阿里巴巴技术专家

2013年加入阿里巴巴, 先后在淘宝终搜和主搜做搜索平台化的工作。2017年加入美柚,负责美柚的搜索工程技术, 同年11月回到阿里巴巴搜索事业部负责Elasticsearch项目开发工作。

演讲主题:《基于Elasticsearch的离线搜索平台架构设计》 本次分享介绍了基于Elasticsearch的搜索离线平台的系统设计,结合阿里终搜和阿里主搜以及美柚的离线平台的设计,聊聊离线的数据流程。

徐胜 饿了么资深搜索工程师

在ELasticsearch运维配置、性能调优、分布式计算有丰富实践。目前是饿了么搜索推荐研发部的资深搜索工程师,负责饿了么十几条业务线的es集群的运维、查询和监控平台。

演讲主题:《饿了么在ELasticsearch自动化运维平台和监控平台的应用实践》 饿了么在10+个业务场景下,Elastisearch集群达到数百个node、千万级indices、TB级别数据量规模。嘉宾分享如何对大规模的线上集群进行运维配置、查询和监控应用。  

[热招]饿了么搜索推荐研发部招聘信息

Elasticsearchcwwcsw 发表了文章 • 1 个评论 • 2048 次浏览 • 2017-07-19 18:11 • 来自相关话题

饿了么搜索推荐研发部现热招搜索相关人才 投递方式:wei.chen04@ele.me QQ:2908368828 岗位福利:定期技术分享,良好的技术氛围,超级nice的leader,五险一金+补充商业保险等多种福利政策 薪资:行业内有竞争力的薪资 坐标:上海市普陀区金沙江路,13号线真北路下,地铁出来即是,大热天不怕晒   一、搜索架构工程师 岗位职责: 1、负责在线搜索服务的稳定性,性能,时效性和扩展性; 2、负责构建一套能快速满足多种业务检索需求的通用搜索平台; 3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护; 4、关注行业搜索技术,引进和改善搜索架构; 职位要求: 1、本科以上学历 ,3年以上搜索相关工作经验 2、精通Lucene、Elastic Search开发和实战,能够修改Lucene、Elastic Search源代码 3、精通高可用、高并发分布式系统设计,有熟悉分布式搜索系统的架构和运维经验者有些 4、熟练掌握多线程,线程池技术,对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解 5、具有高度的抽象设计能力,思路清晰,善于思考,能独立驱动、分析和解决问题 6、责任心强,良好的沟通交流、团队合作精神、以结果为导向 二、高级搜索工程师(Elasticsearch)     岗位职责:  1、参与平台化的各类搜索相关的功能;  2、参与系统的设计和核心代码的编写;  3、明确搜索业务需求,按时完成指定模块的设计与开发,并确保质量;  4、对自己的代码要求严格,并对已有模块进行优化升级;  5、搜索算法研究及实现,搜索相关扩展应用研发;  6、善于思考,能解决复杂的ES性能调优问题。 任职要求:  1、211本科以上学历,计算机或者相关专业;  2、至少一年Elasticsearch开发经验,一年Java开发经验;  3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构,良好的数据结构基础;  4、熟悉Java开发语言,熟悉Spring MVC、iBatis、netty等主流框架,熟练使用eclipse等开发工具;  5、熟悉MySQL数据库应用;  6、熟悉lucene,ELK生态,大数据平台优先;  7、对技术富有激情,对新技术有了解,思路清晰;  8、工作态度积极、踏实、认真,有责任感,有团队合作意识;     欢迎大家推荐或者自荐~