在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

filebeat传输数据给logstash那么timestamp标签是谁的

tianqi 回复了问题 • 3 人关注 • 3 个回复 • 4459 次浏览 • 2017-12-29 15:42 • 来自相关话题

新手想请教大家在公司里边是有什么应用会用到ES和kibana吗?

mangolzy 回复了问题 • 3 人关注 • 2 个回复 • 8110 次浏览 • 2016-08-24 23:38 • 来自相关话题

marvel插件,不能显示数据

medcl 回复了问题 • 2 人关注 • 1 个回复 • 5095 次浏览 • 2016-07-05 23:24 • 来自相关话题

如何修改filed数据类型?

回复

modernist 发起了问题 • 2 人关注 • 0 个回复 • 6710 次浏览 • 2016-05-27 15:29 • 来自相关话题

南京Elastic社区第一次线下活动

kenny_ye 发表了文章 • 0 个评论 • 8489 次浏览 • 2016-05-26 20:45 • 来自相关话题

1. 主办方
Elastic中文社区  趋势科技
eslogo.jpg


2. 时间地点
 活动时间:2016年6月25日 14:00 - 17:30 
 活动地点:雨花区软件大道48号苏豪国际广场B座(靠花神庙地铁站)
suhao.PNG


3. 主题 
分享一:ES和Kibana在实时流量分析中的应用
演讲者简介:
杨润达​ 南京云利来软件科技有限公司研发部
 
主题简介:
流量的抓取和存储,流量的可视化,有关流量异常的案例分析,在线的kibana功能展示。
 
分享二:ELK平台SaaS化的问题和解决方案
演讲者简介:
翰思-王晓亮.jpg
 
王晓亮(Tomo Wang) 瀚思安信高级研发工程师
毕业于南京大学,曾就职于趋势科技、Opera,现任瀚思安信高级研发工程师,负责瀚思在线安全分析平台“安全易”的研发工作。
 
主题简介:
ELK(ElasticSearch,Logstash,Kibana)是一套有效的开源日志分析平台,它们作为工具使用非常便利,但是如果要围绕它们搭建在线服务,却有诸多问题。这次的分享主要介绍“安全易”在SaaS化ELK平台的过程中遇到的问题以及对应的技术方案。
 
分享三:ES在苏宁海量日志平台的实践
演讲者简介:
苏宁-彭燕卿.jpg

彭燕卿 苏宁云商IT总部监控研发中心技术副总监
9年软件研发经验,09年加入苏宁,先后从事了SOA系统开发、苏宁易购等大型网站的性能分析调优、监控平台等系统研发和架构工作,目前主要从事苏宁监控系统架构及技术管理工作,专注于APM以及Elasticsearch等实时计算领域。
 
主题简介:
实时日志平台ES架构演变,ES使用过程中遇到的坑及调优,Kibana二次开发等。
 
分享四:甲方安全看日志消息在ELK中的流转​
演讲者简介:
李天爽 闻心科技上海研发中心总监
毕业于南京大学,曾担任趋势科技高级工程师,携程信息安全部资深安全研发工程师。
 
主题简介:
分享携程的日志平台架构、安全事件在ELK中的生命周期、ES的权限方案等。
 
分享五:ES在移动病毒分析和检测中的应用
演讲者简介:
趋势-李啸.jpg

李啸(White Li) 趋势科技中国研发中心资深工程师
毕业于南京邮电大学,曾就职于小米、百度,专注于大规模分布式系统的架构和运维,现负责趋势科技移动安全专家系统的开发工作。
 
主题简介:
介绍ES在样本分析、检测系统中的应用和逐步演变,重点探讨碰到的问题和解决方案。
 
4. 主题slides

ES南京meetup资料


 

杭州 Elastic社区第一次线下活动 开始报名啦!!!

owen 发表了文章 • 8 个评论 • 5182 次浏览 • 2016-05-25 15:20 • 来自相关话题

PPT下载地址:
 百度云盘:  http://pan.baidu.com/s/1slQn93v   提取码:jqqi
 淘云盘: http://yunpan.taobao.com/s/E2TDSFivxt  提取码: vwIWlm
  
 Elastic 中文社区联手杭州码耘网络共同举办第一次线下聚会,欢迎对elastic、搜索、大数据等技术感兴趣的朋友来玩玩
  • 时间:2016-6-18 13:00:00
  • 地点:杭州市滨江区上峰电商产品园1-227(从聚才路门口进来会比较近,离阿里网易5分钟路程)


                               
 
 
分享主题 :   
  •   有赞搜索引擎实践   ——   洪斌@有赞大数据团队负责人
  •    Elastic结合Hbase的应用实践  —— 汪兴@浙大中控
  •    购阿购数据分析平台对Elasticsearch使用实践     —— 万斌@北京购阿购技术服务有限公司
  •    beats介绍与扩展   ——  曾勇@elastic
  •    基于ELK的云日志产品实践 —— 宁海元@袋鼠云
  •    elasticsearch-jdbc介绍以及基于binlog的增量数据同步方案 —— 卢栋@码耘网络  

 
 
报名方式:
  •   扫描下面微信二维码加入杭州Elastic聚会群,成功加入即算报名成功
  •   无法扫描的同学加我微信(573513542),我来拉你进群


                     
QQ20160613-2@2x.png



乘车:  
   附近公交站: 
  • 秋溢路聚才路口(139路直达)
  • 江虹路秋溢路口(139路、175路)
  • 滨安路江虹路口(225、B支6 路)

   地铁:
  •  坐到滨和路站或者西兴站,然后打车过来起步价

 
    ps :  如果到了滨江不认识路,可以打我手机(15858279062) 我可以来接你。
 

北京 Elastic社区第一次线下活动

cheerbabylove 发表了文章 • 0 个评论 • 4849 次浏览 • 2016-05-11 11:08 • 来自相关话题

1、主办方:
    

      ElasticSearch中文社区    奇点机智

QQ20160511-0@2x.png




2、时间与地点:


      5月15日14:00 - 17:30(周日)

     北京海淀区中关村鼎好电子大厦太库孵化器路演厅


QQ20160511-8@2x.png


 

沙龙主题:


分享一:5miles基于es的对外搜索业务实践 

QQ20160511-1@2x.png


王浩宇

5miles搜索工程师

主题简介:

和大家交流一些5miles对外搜索业务中的工作,例如基于es function_score 的rerank的实现,通过geohash减少请求,通过多个data center来实现请求异步,风险控制等

 

分享二: Elasticsearch与Spark的整合

QQ20160511-2@2x.png



祝威廉

多年大数据经验,现专注于Spark/ES 相关领域

主题简介:

个人对ElasticSearch 和 Spark的整合一些看法,简要介绍通过对elasticsearch-hadoop项目的改进,以Spark 和 ElasticSearch 为依托,构建一个Ad-Hoc 查询引擎。

 

分享三:ElasticStack 5.0 介绍


QQ20160511-3@2x.png



medcl

Developer@Elastic

主题简介:

ElasticStack 5.0的新特性介绍


 

活动流程:


13:00-13:45  签到及入场

13:45-14:00  主持人介绍活动

14:00-15:00  王浩宇    5miles基于es的对外搜索业务实践

15:00-16:00  祝威廉    ElasticSearch 与 Spark 的整合 

16:00-16:30  茶歇与自由沟通

16:30-17:30  medcl   ElasticStack 5.0 介绍


QQ20160511-5@2x.png




报名方式:

本次活动全程免费,欢迎报名
http://www.huodongxing.com/event/6334153926600#rd


活动联系:
联系人:凌霄
手机:18600209779
邮箱:hellolingxiao@gmail.com



QQ20160511-7@2x.png

想要加入Elastic北京微信群,扫描上方二维码加小助手拉你进群

QQ20160511-6@2x.png






 

社区使用WeCenter,一个开源的php+mysql社区问答系统搭建

kl 发表了文章 • 2 个评论 • 5316 次浏览 • 2016-04-25 10:48 • 来自相关话题

前言

之前学习Lucene和ElasticSearch的时候经常逛逛Elastic的中文社区,发现社区做的蛮不错的,风格和ui都比较清新,今天突然看到了一个站和其风格类似,我就肯定是个开源的产品二次开发的,后来发现了WeCenter,一个很不错的社区问答系统

简介

WeCenter 是一款知识型的社交化开源社区程序,专注于企业和行业社区内容的整理、归类、检索和再发行。

为什么选择WeCenter

管理中心,一手掌控
管理中心为你建立起快速通路,所有功能开关,只需轻点一下,即可轻松完成配置,如此众多的操控,任你一挥而就

开放源码,便捷开发
WeCenter 含有多项创新功能,遵循 MVC 架构,充分利用当下最新技术,对于开发者来说都会大有帮助,二次开发,更强定制,更易上手

个性路由,个性定制
WeCenter 让你用你喜欢的方式,更灵活地定制 URL 路由,URL 地址不再是千篇一律的样式,在 SEO 优化上祝你一臂之力
设计之妙,上手即知
我们创造的每一件产品,从来都不仅仅追求设计的美观。我们在考虑设计的同时,更希望用户更能容易定制模板,最终我们选择了 Bootstrap,定制模板时你会发现一切都是那么的方便,简易

安装初体验

从官网下载源代码后将UPLOAD放入你的http服务器入目下,开始安装体验之旅

QQ图片20160425102527.png

原文地址:http://www.kailing.pub/article ... .html

Shanghai Elastic Meetup启动啦!

kinghack 发表了文章 • 5 个评论 • 6178 次浏览 • 2016-03-30 11:09 • 来自相关话题

Shanghai Elastic Meetup

时间:2016年5月7日 13:30

地点:上海市徐汇区广元西路55号浩然科技大厦1808(交通大学内)

报名链接:

[Meetup](http://www.meetup.com/Shanghai ... 07915/)

[微信](https://jinshuju.net/f/Ed5I5o)

## 《ES用于时间序列存储 - Hickwall监控报警平台简介》

唐锐华  携程旅行网软件技术专家

简介:
  
  
  随着携程业务的扩张,新应用不断涌现,基础监控和应用监控的需求迅猛增长,zabbix已经不堪负重。在调研了很多开源的解决方案之后发觉或多或少都存在不太满意的地方。
  所以在借鉴多种方案的基础上重新设计开发了一套监控告警系统。其中对比过多种现有存储方案之后我们选择了ES。这里和大家分享一下这个系统和ES用在在我们场景中的优缺点。

提纲:

* 为什么会有这个项目
* 现有开源项目的调研
* 项目的整体设计与其特点
* ES在使用过程中碰到的问题

## 《ES在日志分析产品中的实践》

简介:

主要介绍如何在JAVA开发产品中使用ES,以及常用的ES JAVA接口,以及JAVA代码阅读的简单说明

2010年进入深圳天源迪科从事运营商业务系统相关的开发工作,期间做过软件开发,需求分析师,架构师等职务,后面2006年进入江苏保旺达从事安全产品相关的研发。从毕业到工作十几年的时间大部分都在做和技术相关的工作,本人非常热爱技术,热爱开发,现任赛克蓝德公司技术总监,从事数据分析领域相关产品的研发,现在主要研发日志分析产品(SeciLog)。

## 《Hangout: 一个logstash indexer的替代方案》
讲师简介:

刘佳  携程旅行网软件技术专家

简介:

logstash以其丰富的插件功能,成为ELK技术栈中不可或缺的一个组件。 但目前版本的logstash主要由jruby实现,在处理日志的吞吐量方面不尽如人意。 hangout是一个类logsatsh的java实现,提供了logstash里常用的filter功能。 这里分享一下hangout的特性,实际生产环境的吞吐量以及多实例的管理方式。

提纲:

* 为何开发hangout   
* 支持的filter
* 与logsatsh性能对比
* 影响吞吐量的主要参数及其含
* 用mesos+marathon管理hangout
    

为中文社区开发了个小App

medcl 回复了问题 • 10 人关注 • 9 个回复 • 4807 次浏览 • 2016-09-19 11:23 • 来自相关话题

还有人用logstash-forward嘛?有遇到这个问题的吗?

回复

evis 回复了问题 • 1 人关注 • 1 个回复 • 5737 次浏览 • 2016-01-21 12:27 • 来自相关话题

感谢elastic送来的圣诞礼物!

atomyliu 发表了文章 • 2 个评论 • 4240 次浏览 • 2015-12-28 10:01 • 来自相关话题

圣诞节收到了elastic圣诞老人medcl送来的圣诞礼物,在此特别感谢!
发个赞吧!
晒图@!

IMG_0245.JPG


IMG_0246.JPG


IMG_0247.JPG


IMG_0248.JPG


IMG_0249.JPG


IMG_0250.JPG


IMG_0251.JPG

居然有个瓶起子,看来不喝一台是不行了。。。
sugru据说是什么都能粘的‘硅胶’。。。
elastic的周边越来越强大了。
特别感谢medcl大神对中国地区elastic用户的关照!

kibana显示查询速度非常慢

medcl 回复了问题 • 2 人关注 • 1 个回复 • 12384 次浏览 • 2015-12-09 16:10 • 来自相关话题

10月北京es第4届国内开发者大会现在可以开始报名了.

medcl 发表了文章 • 3 个评论 • 5458 次浏览 • 2015-08-12 12:04 • 来自相关话题

第四届Elasticsearch国内开发者大会北京站马上就要开始了,目前已确定分享的主题有6篇了,有来自百度\新浪\芒果TV等公司同学们的精彩分享,有国内最大规模elasticsearch集群搭建的经验分享,有ELK的实践应用,有最新的Kibana4的插件开发,有安全领域的分析实战,干货多多,非常值得期待,报名地址(因为meetup不支持国内很多邮箱的注册,请大家使用下面的表单报名,辛苦已经报过名的同学了): [ http://t.cn/Ry2aVzr]( http://t.cn/Ry2aVzr)

ESCC#4全称:The 4th Elasticsearch China Conference,是由elasticsearch中文社区每年定期举办的线下交流活动,今年已经是第四届了,会议围绕elasticsearch及周边产品和技术,如:kibana\logstash\beats\logging\nlp等相关领域及话题都可以进行讨论,只要是你认为可能会感兴趣的话题,都可以提交过来,分享嘉宾来自国内一线互联网公司,倡导干货接地气纯粹的技术交流.​

北京地区:
地点:中国科学院软件研究所; 时间:2015年10月17日

其它城市正在筹划中,有愿意提供帮助和愿意分享你们和elasticsearch的经验或者故事的同学欢迎和Medcl联系.

关于活动最新动态请访问: http://www.meetup.com/Elasticsearch-China-Users/

elasticsearch 关于排序部分有没有中文文档或者博客,能否推荐点资料给个我

stab 回复了问题 • 3 人关注 • 3 个回复 • 12395 次浏览 • 2015-03-07 21:25 • 来自相关话题