1. 主办方
Elastic中文社区  趋势科技


2. 时间地点
 活动时间：2016年6月25日 14:00 - 17:30 
 活动地点：雨花区软件大道48号苏豪国际广场B座（靠花神庙地铁站）


3. 主题 
分享一：ES和Kibana在实时流量分析中的应用
演讲者简介：
杨润达​ 南京云利来软件科技有限公司研发部
 
主题简介：
流量的抓取和存储，流量的可视化，有关流量异常的案例分析，在线的kibana功能展示。
 
分享二：ELK平台SaaS化的问题和解决方案
演讲者简介：
 
王晓亮（Tomo Wang） 瀚思安信高级研发工程师
毕业于南京大学，曾就职于趋势科技、Opera，现任瀚思安信高级研发工程师，负责瀚思在线安全分析平台“安全易”的研发工作。
 
主题简介：
ELK（ElasticSearch，Logstash，Kibana）是一套有效的开源日志分析平台，它们作为工具使用非常便利，但是如果要围绕它们搭建在线服务，却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
 
分享三：ES在苏宁海量日志平台的实践
演讲者简介：

彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验，09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作，目前主要从事苏宁监控系统架构及技术管理工作，专注于APM以及Elasticsearch等实时计算领域。
 
主题简介：
实时日志平台ES架构演变，ES使用过程中遇到的坑及调优，Kibana二次开发等。
 
分享四：甲方安全看日志消息在ELK中的流转​
演讲者简介：
李天爽 闻心科技上海研发中心总监
毕业于南京大学，曾担任趋势科技高级工程师，携程信息安全部资深安全研发工程师。
 
主题简介：
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
 
分享五：ES在移动病毒分析和检测中的应用
演讲者简介：

李啸（White Li） 趋势科技中国研发中心资深工程师
毕业于南京邮电大学，曾就职于小米、百度，专注于大规模分布式系统的架构和运维，现负责趋势科技移动安全专家系统的开发工作。
 
主题简介：
介绍ES在样本分析、检测系统中的应用和逐步演变，重点探讨碰到的问题和解决方案。
 
4. 主题slides

ES南京meetup资料


 

PPT下载地址:
 百度云盘:  http://pan.baidu.com/s/1slQn93v   提取码:jqqi
 淘云盘： http://yunpan.taobao.com/s/E2TDSFivxt  提取码: vwIWlm
  
 Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会，欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩

• 时间：2016-6-18 13:00:00
• 地点：杭州市滨江区上峰电商产品园1-227(从聚才路门口进来会比较近，离阿里网易5分钟路程)

                               
 
 
分享主题 :   

•   有赞搜索引擎实践   ——   洪斌@有赞大数据团队负责人
•    Elastic结合Hbase的应用实践  —— 汪兴@浙大中控
•    购阿购数据分析平台对Elasticsearch使用实践     —— 万斌@北京购阿购技术服务有限公司
•    beats介绍与扩展   ——  曾勇@elastic
•    基于ELK的云日志产品实践 —— 宁海元@袋鼠云
•    elasticsearch-jdbc介绍以及基于binlog的增量数据同步方案 —— 卢栋@码耘网络  

 
 
报名方式：

•   扫描下面微信二维码加入杭州Elastic聚会群，成功加入即算报名成功
•   无法扫描的同学加我微信(573513542)，我来拉你进群

                     

乘车：  
   附近公交站: 

• 秋溢路聚才路口(139路直达)
• 江虹路秋溢路口(139路、175路)
• 滨安路江虹路口(225、B支6 路）

   地铁：

•  坐到滨和路站或者西兴站，然后打车过来起步价

 
    ps :  如果到了滨江不认识路，可以打我手机(15858279062) 我可以来接你。
 

 公司介绍：NobleProg（诺波中国），公司成立于2005年，总部设在英国伦敦并在欧洲和美国建立了特许经营和分公司。2015年来到中国，面对国内企业提供人工智能、IT、统计、管理、编程的培训和咨询服务。
 聘Machine Learning/Elasticserach/Ducker and kubemetes三个方向兼职培训师/讲师。
基本要求如下：
1、具有丰富的理论知识和技能；
2、有一定的项目经验（这包括你是项目leader或项目组成员）；
3、有培训师或讲师的经验最佳； 
4、可以依据我们提供的培训大纲结合客户需求做出培训计划；  
5、可授受出差（视项目决定）；
6、可接受兼职；
7、薪资待遇请与我们商谈。
 
公司网站：http://www.nobleprog.cn/training
对以上招聘信息感兴趣，请与我们联系。
 
Tina
手机：18610650025
QQ：1575119117

https://github.com/medcl/elasticsearch-migration
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
 
欢迎测试！
 

#copy index index_name from 192.168.1.x to 192.168.1.y:9200

./bin/esm  -s http://192.168.1.x:9200   -d http://192.168.1.y:9200 -x index_name  -w=5 -b=10 -c 10000



#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index

./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100



#support Basic-Auth

./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -n admin:111111



#copy settings and override shard size

./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50  --copy_settings 



#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration

./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index"  -d http://localhost:9201  -c 10000 --shards=5  --copy_settings --copy_mapping --force  --refresh



#dump elasticsearch documents into local file

./bin/esm -s http://localhost:9200 -x "src_index"  -m admin:111111 -c 5000 -b -q=query:mixer  --refresh -o=dump.bin 



#loading data from dump files, bulk insert to another es instance

./bin/esm -d http://localhost:9200 -y "dest_index"   -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin