1. 主办方
Elastic中文社区  趋势科技



2. 时间地点
 活动时间：2017年6月10日 13:30 - 18:00 
 活动地点：雨花区软件大道48号苏豪国际广场B座 趋势科技中国研发中心（靠花神庙地铁站）

3. 主题

分享一：The State of Elastic Stack
演讲者简介：



曾勇（Medcl） Elastic工程师与布道师
Elasticsearch爱好者，2015年加入Elastic，Elastic 中文社区的发起人，Elastic在中国的首位员工。

主题简介：
Elastic Stack是Elastic公司的开源产品：Elasticsearch、Logstash、Kibana和Beats的统称，这些产品发布速度貌似有点快，在最近已经发布了的版本中有哪些值得关注的特性，然后Elastic的工程师手头上又在忙着码哪些新的特性呢?
机器学习、AI目前非常火，Elastic在最近的5.0也发布了一个机器学习的模块，这次也会带来demo演示。

分享二： Elastic Stack的容器化使用与Alert

演讲者简介：



瞿盛熙 嘀哒物流科技有限公司运维组组长

主题简介：
介绍嘀哒物流在公有云上的Elastic Stack部署以及日志分析与监控
1.目的和环境 
2.部署：自动化，容器化下kubernetes与single mode的考量
3.日志分析与alert
4.监控：prometheus与docker

分享三：Elasticsearch辅助的智能客服机器人 

演讲者简介：



杨文俊 趋势科技个人消费者部机器学习工程师
从2013年开始投入大数据处理与机器学习，目前依托Elasticsearch的搜索能力构建了一系列的智能服务。

主题简介：
1. 将原始的日文记录导入Elasticsearch之中
2. 使用Elasticsearch对原始内容进行初次过滤
3. 在过滤的基础之上，调用wmd + word2vec进行rerank，并综合进行判定

分享四： Elastic在华为电信软件运维中的应用简介

演讲者简介：



肖曙旭 华为电信软件业务云运维开发部软件工程师
华为日志服务特性负责人。从2015年起开始接触Elasticsearch并使用至今。先后负责服务调用链和日志服务特性的设计和开发，依托Elasticsearch实现搜索相关能力。

主题简介：
1. 日志采集代理。提供按正则表达式匹配或者分隔符的逻辑行分割方式；支持逻辑行内按分隔符提取字段，或者按正则表达式提取字段；支持一些简易算子对字段进行处理。
2. 日志汇聚。不同的日志类型通过不同的Topic区分
3. 流式处理。日志数据二次处理，或者一些实时分析的逻辑处理。
4. 参考kibana开发搜索和可视化能力，同时支持关键词告警，环比告警等告警能力，以及整个日志服务通道的自身监控能力。

分享五：基于ES的SQL报警引擎

演讲者简介：



张立丹 南京云利来软件科技有限公司
2010年参加工作，工作内容包括：Windows音频驱动及声卡固件；Linux高并发服务器；数据采集及分析。自2015年开始接触Elasticsearch，在工作中使用ES进行网络数据（TCP/HTTP/DNS等）的安全分析。

主题简介：
1. SQL：将ES的DSL抽象成 SQL
2. RDL：规则描述语言
3. 报警规则

主办：Elastic 中文社区



协办：众安保险



时间：2017-05-14 13:30PM-18:00PM
地点：上海市虹口区四川北路859号中信广场42楼
 
PPT 下载：https://pan.baidu.com/s/1eS157 ... %252F
 
分享主题：




个人介绍：杨智健, 众安保险搜索组负责人。
主题：es在众安保险的实践
内容介绍： es在众安保险业务线和日志类的实践，和相关平台化建设。
录像：https://v.qq.com/x/page/x0509wkr513.html 
 



个人介绍：Medcl, Elastic工程师与布道师，2015年加入Elastic公司, Elastic中文社区的发起人。
主题：ElasticStack 5.x 最新进展
内容介绍：ElasticStack 5.x 新增了很多新的激动人心的特性，本次分享将为大家一一解读。
录像：https://v.qq.com/x/page/m0509dt9f80.html





个人介绍：魏彬, rockybean，穿衣助手技术负责人，Elastic Stack 粉丝。
主题：用 Elastic Stack 来诊断下你的redis slowlog
内容介绍：
1. Elastic Stack 之 ElasticSearch Beats Kibana 简介
2. redis 和 slowlog 简介
3. 实现原理介绍
4. Kibana图形化结果展示介绍
5. 代码解析
6. 开源过程中的几点心得分享
录像：https://v.qq.com/x/page/m0509j6kyzj.html 




个人介绍: 柯诗豪，携程旅行网高级软件工程师。
主题：基于Docker的ES PaaS云平台
内容介绍：伴随着公司越来越多的团队开始使用ES，部署和管理ES集群成本增加。所以建立了基于Docker通过Mesos提供的资源管理机制的ES PaaS平台，用户可以在平台上快捷的创建、配置和管理ES集群。
录像：https://v.qq.com/x/page/n0509pzjgxq.html 
 



个人介绍: 彭科，13年从武汉理工毕业 ，16年进入斗鱼大数据基础架构组，主要负责日志监控平台和一些大数据技术的预研。目前已经从斗鱼离职，接下来会去一家云计算创业公司，从事大数据产品研发和AI方向研究。
主题：基于Elastic Stack+Kafka的日志监控平台架构演进
内容介绍：基于在斗鱼的工作经验，基于Elastic Stack和kafka做TB级日志监控平台搭建，架构演讲，踩过哪些坑，如何调优，与大数据组件技术对比，如何结合使用，如何监控基础组件与业务，分享一些自己的心得。
录像：https://v.qq.com/x/page/m05099qj8f9.html

ES5.2.2真的 支持geo排序+聚合
具体查询条件，这里不写了；
查询结果如下：

{ "took": 90, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "hits": { "total": 10, "max_score": null, "hits": [ { "_index": "testindex", "_type": "testdoc07", "_id": "1-1000000", "_score": null, "_source": { "comId": 1, "comName": "佛山消防支队", "elemetType": 2, "equipCode": "1000000", "equipName": "灭火剂0", "equipValue": 73, "location": { "lat": 23.027237, "lon": 113.123618 }, "phone": "15986190299", "userName": "李成龙" }, "sort": [ 3740.583503580435 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "1-1000003", "_score": null, "_source": { "comId": 1, "comName": "佛山消防支队", "elemetType": 2, "equipCode": "1000003", "equipName": "灭火剂3", "equipValue": 47, "location": { "lat": 23.027237, "lon": 113.123618 }, "phone": "15986190299", "userName": "李成龙" }, "sort": [ 3740.583503580435 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "1-1000001", "_score": null, "_source": { "comId": 1, "comName": "佛山消防支队", "elemetType": 2, "equipCode": "1000001", "equipName": "灭火剂1", "equipValue": 12, "location": { "lat": 23.027237, "lon": 113.123618 }, "phone": "15986190299", "userName": "李成龙" }, "sort": [ 3740.583503580435 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "1-1000004", "_score": null, "_source": { "comId": 1, "comName": "佛山消防支队", "elemetType": 2, "equipCode": "1000004", "equipName": "灭火剂4", "equipValue": 2, "location": { "lat": 23.027237, "lon": 113.123618 }, "phone": "15986190299", "userName": "李成龙" }, "sort": [ 3740.583503580435 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "1-1000002", "_score": null, "_source": { "comId": 1, "comName": "佛山消防支队", "elemetType": 2, "equipCode": "1000002", "equipName": "灭火剂2", "equipValue": 57, "location": { "lat": 23.027237, "lon": 113.123618 }, "phone": "15986190299", "userName": "李成龙" }, "sort": [ 3740.583503580435 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "2-1000018", "_score": null, "_source": { "comId": 2, "comName": "禅城大队", "elemetType": 2, "equipCode": "1000018", "equipName": "灭火剂8", "equipValue": 61, "location": { "lat": 23.057237, "lon": 113.103618 }, "phone": "13925403119", "userName": "郭武斌" }, "sort": [ 7648.2045946025555 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "2-1000014", "_score": null, "_source": { "comId": 2, "comName": "禅城大队", "elemetType": 2, "equipCode": "1000014", "equipName": "灭火剂4", "equipValue": 81, "location": { "lat": 23.057237, "lon": 113.103618 }, "phone": "13925403119", "userName": "郭武斌" }, "sort": [ 7648.2045946025555 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "2-1000016", "_score": null, "_source": { "comId": 2, "comName": "禅城大队", "elemetType": 2, "equipCode": "1000016", "equipName": "灭火剂6", "equipValue": 81, "location": { "lat": 23.057237, "lon": 113.103618 }, "phone": "13925403119", "userName": "郭武斌" }, "sort": [ 7648.2045946025555 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "2-1000015", "_score": null, "_source": { "comId": 2, "comName": "禅城大队", "elemetType": 2, "equipCode": "1000015", "equipName": "灭火剂5", "equipValue": 87, "location": { "lat": 23.057237, "lon": 113.103618 }, "phone": "13925403119", "userName": "郭武斌" }, "sort": [ 7648.2045946025555 ] }, { "_index": "testindex", "_type": "testdoc07", "_id": "2-1000017", "_score": null, "_source": { "comId": 2, "comName": "禅城大队", "elemetType": 2, "equipCode": "1000017", "equipName": "灭火剂7", "equipValue": 90, "location": { "lat": 23.057237, "lon": 113.103618 }, "phone": "13925403119", "userName": "郭武斌" }, "sort": [ 7648.2045946025555 ] } ] }, "aggregations": { "aggEquip": { "doc_count_error_upper_bound": 0, "sum_other_doc_count": 0, "buckets": [ { "key": "1000000", "doc_count": 1, "sumEquipValue": { "value": 73 } }, { "key": "1000001", "doc_count": 1, "sumEquipValue": { "value": 12 } }, { "key": "1000002", "doc_count": 1, "sumEquipValue": { "value": 57 } }, { "key": "1000003", "doc_count": 1, "sumEquipValue": { "value": 47 } }, { "key": "1000004", "doc_count": 1, "sumEquipValue": { "value": 2 } }, { "key": "1000014", "doc_count": 1, "sumEquipValue": { "value": 81 } }, { "key": "1000015", "doc_count": 1, "sumEquipValue": { "value": 87 } }, { "key": "1000016", "doc_count": 1, "sumEquipValue": { "value": 81 } }, { "key": "1000017", "doc_count": 1, "sumEquipValue": { "value": 90 } }, { "key": "1000018", "doc_count": 1, "sumEquipValue": { "value": 61 } }, { "key": "10000210", "doc_count": 1, "sumEquipValue": { "value": 70 } }, { "key": "10000211", "doc_count": 1, "sumEquipValue": { "value": 55 } }, { "key": "1000027", "doc_count": 1, "sumEquipValue": { "value": 19 } }, { "key": "1000028", "doc_count": 1, "sumEquipValue": { "value": 25 } }, { "key": "1000029", "doc_count": 1, "sumEquipValue": { "value": 3 } }, { "key": "10000311", "doc_count": 1, "sumEquipValue": { "value": 97 } }, { "key": "10000312", "doc_count": 1, "sumEquipValue": { "value": 79 } }, { "key": "10000313", "doc_count": 1, "sumEquipValue": { "value": 95 } }, { "key": "10000314", "doc_count": 1, "sumEquipValue": { "value": 6 } }, { "key": "10000315", "doc_count": 1, "sumEquipValue": { "value": 8 } } ] } } }
 

https://vastxiao.github.io/zabbixMonitorES/

我经过实际测试es5.2.2，发现_source/_all特性很好用：
1. _source可用通过配置includes、excludes获取应用需要的field
"_source": {
          "enabled": true,
          "includes": [
            "comId",
            "name",
            "userName",
            "equips.name",
            "equips.amount"
          ],
          "excludes": [
            "phone",
            "equips.code"
          ]
        },
2.设置enabled=false关闭_source功能，关闭后，查询结果只返回doc的ID，而不会返回_source
 "_source": {
          "enabled": false,
3._all、include_in_all结合使用，是用户可用通过_all分词查询多个字段，而不需要写多个查询条件
 "mappings": {
      "testdoc03": {
        "_all": {
          "enabled": true
        },
        "_source": {
          "enabled": false,
          "includes": [
            "comId",
            "name",
            "userName",
            "equips.name",
            "equips.amount"
          ],
          "excludes": [
            "phone",
            "equips.code"
          ]
        },
        "properties": {
          "comId": {
            "type": "long"
          },
          "equips": {
            "properties": {
              "amount": {
                "type": "double",
                "include_in_all": true
              },
              "code": {
                "type": "text"
              },
              "name": {
                "type": "text",
                "include_in_all": true
              }
            }
          },
          "name": {
            "type": "text",
            "include_in_all": true
          },
          "phone": {
            "type": "keyword"
          },
          "userName": {
            "type": "text",
            "include_in_all": true
          }
        }
      }
    }
  }