在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。
沙龙

沙龙

Elastic&滴滴 meetup杭州站 2019年9月7日,抓紧报名哦

活动Allwang 发表了文章 • 5 个评论 • 5105 次浏览 • 2019-07-22 10:38 • 来自相关话题

Elastic中文社区联合滴滴出行,将于2019年9月7日,在杭州举办一次线下技术交流活动。 本次活动交流内容主要围绕Elastic的开源产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。 活动分享火热报名中! 报名地址 朱杰 Elastic elastic资深顾问 《卓越运维三连击日志、指标和APM》 主题摘要:讲解将日志、指标和APM融入同一个技术栈的优势,在Elastic Stack中统一管理这三者的挑战和解决方法。分析在同一个技术栈里做三者的关联的优势和意义。相关问题解答和产品演示。 高斌龙 腾讯 Elasticsearch云服务后台开发工程师 《云上Elasticsearch的容灾与数据备份机制》 主题摘要:介绍基于云服务器和云硬盘搭建的ES集群,如何实现跨机房容灾和跨地域容灾;另外介绍云上的ES集群如何进行数据备份和恢复。 朱永清 杭州美创 技术专家 《ES 认证工程师考试经验分享》 主题摘要:如何参加 ES 认证工程师考试,如何做好考前准备并顺利通过考试,和一些经验分享。 钟华 滴滴ES团队 资深软件开发工程师 《基于Hadoop快速构建离线elasticsearch索引》 主题摘要:本主题介绍滴滴内部FastIndex服务,一种利用Hadoop计算能力快速离线构建elasticsearch索引的方式,替代之前使用DataX离线导入方式,在大数据场景下,可将写入时间降低为DataX的十分之一,同时不影响在线ES集群。 活动时间: 2019年9月7日 活动地址: 杭州市西湖区弘德路256号 西溪谷国际商务中心G座8楼(滴滴办公大楼) 报名地址

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 6243 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 ? https://conf.elasticsearch.cn/2018/shenzhen.html

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 6243 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 ? https://conf.elasticsearch.cn/2018/shenzhen.html

Elastic&滴滴 meetup杭州站 2019年9月7日,抓紧报名哦

活动Allwang 发表了文章 • 5 个评论 • 5105 次浏览 • 2019-07-22 10:38 • 来自相关话题

Elastic中文社区联合滴滴出行,将于2019年9月7日,在杭州举办一次线下技术交流活动。 本次活动交流内容主要围绕Elastic的开源产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。 活动分享火热报名中! 报名地址 朱杰 Elastic elastic资深顾问 《卓越运维三连击日志、指标和APM》 主题摘要:讲解将日志、指标和APM融入同一个技术栈的优势,在Elastic Stack中统一管理这三者的挑战和解决方法。分析在同一个技术栈里做三者的关联的优势和意义。相关问题解答和产品演示。 高斌龙 腾讯 Elasticsearch云服务后台开发工程师 《云上Elasticsearch的容灾与数据备份机制》 主题摘要:介绍基于云服务器和云硬盘搭建的ES集群,如何实现跨机房容灾和跨地域容灾;另外介绍云上的ES集群如何进行数据备份和恢复。 朱永清 杭州美创 技术专家 《ES 认证工程师考试经验分享》 主题摘要:如何参加 ES 认证工程师考试,如何做好考前准备并顺利通过考试,和一些经验分享。 钟华 滴滴ES团队 资深软件开发工程师 《基于Hadoop快速构建离线elasticsearch索引》 主题摘要:本主题介绍滴滴内部FastIndex服务,一种利用Hadoop计算能力快速离线构建elasticsearch索引的方式,替代之前使用DataX离线导入方式,在大数据场景下,可将写入时间降低为DataX的十分之一,同时不影响在线ES集群。 活动时间: 2019年9月7日 活动地址: 杭州市西湖区弘德路256号 西溪谷国际商务中心G座8楼(滴滴办公大楼) 报名地址

9月8日 Elastic Meetup 北京线下沙龙报名中

活动medcl 发表了文章 • 15 个评论 • 6243 次浏览 • 2018-08-16 17:57 • 来自相关话题

meetup-beijing.png
 时间:9月8日 地点:北京市海淀区上地西路6号,联想研究院圆楼三层报告厅 活动页面:https://meetup.elasticsearch.cn/2018/beijing.html  议题:征集中,等你来投稿
  • 58到家搜索服务化实践和演进  -- 邢天宇/五八到家
  • Elasticsearch在百度aladdin日志系统的应用  -- 王鹏/百度
  • elasticsearch 在58集团信息安全部的应用 -- 亢伟楠/五八集体
  • Waterdrop:构建在Spark之上的简单高效数据处理系统  -- 霍晨/新浪网
  • 基于 ElasticSearch 构建个性化推荐和高级搜索  -- 周金阳/果壳网/在行
  报名地址:http://elasticsearch.mikecrm.com/fUqiv0T  演讲主题介绍   #1 基于 ElasticSearch 构建个性化推荐和高级搜索 [周金阳]周金阳果壳网/在行 算法工程师 使用 ES 来构建一个简易却行之有效的个性化推荐系统,以及一些高级搜索排序的实践。 搜索排序主要是分享一些机器学习工具与 ES 配合的实践心得。   #2 elasticsearch 在58集团信息安全部的应用 [亢伟楠]亢伟楠58集团 资深开发工程师 全面介绍 ELK Stack 在58集团信息安全部的落地,升级,优化以及应用。 包括如下等方面:接入背景,存储选型,性能挑战,master node以及data node优化,安全实践,高吞吐量以及低延迟搜索优化;kibana 的落地,本地化使其更方便产品、运营使用。   #3 58到家搜索服务化实践和演进 [邢天宇]邢天宇北京五八到家信息技术有限公司 java工程师 介绍58到家搜索服务体系的构建和普及,elasticsearch在到家中的各种应用以及优化等等。   #4 Waterdrop:构建在Spark之上的简单高效数据处理系统 [霍晨]霍晨新浪网,大数据研发工程师 大数据时代,随着Spark等工具的出现,数据处理能力在逐渐提升。 但是Spark本身的开发和运维具有一定的成本,为此我们开源了Waterdrop,通过配置文件的形式配置Spark任务,企图降低Spark的使用门槛,减小开发和运维成本 - 什么是waterdrop - Waterdrop架构介绍 - Waterdrop VS Spark - Waterdrop VS Logstash - Waterdrop的优势 - Waterdrop使用场景 - Roadmap   #5 elasticsearch在百度aladdin日志系统的应用 [王鹏]王鹏百度,研发工程师 背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。 方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。 效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。   报名地址:http://elasticsearch.mikecrm.com/fUqiv0T      Elastic 中国开发者大会 2018,阵容强大,正在火热售票中 ? https://conf.elasticsearch.cn/2018/shenzhen.html