问大神ES服务器配置问题
Elasticsearch • BrickXu 回复了问题 • 5 人关注 • 3 个回复 • 6026 次浏览 • 2017-05-16 16:47
es1.x版本10GB数据如何实现2.3.4版本迁移操作?
Elasticsearch • novia 回复了问题 • 4 人关注 • 3 个回复 • 3280 次浏览 • 2017-07-11 10:56
用logstash-input-jdbc传输mysql里数据到es,es创建索引数量不一致
Logstash • gzliudan 回复了问题 • 4 人关注 • 3 个回复 • 4559 次浏览 • 2017-08-02 10:28
geoip和timestamp的两个问题
Kibana • benny 回复了问题 • 3 人关注 • 2 个回复 • 6768 次浏览 • 2017-11-02 09:42
ELK中的logstash是必须的么?
Logstash • BrickXu 回复了问题 • 3 人关注 • 4 个回复 • 7219 次浏览 • 2017-10-25 12:22
【线下活动】2017-05-21 Elastic Meetup 北京站日程安排
活动 • medcl 发表了文章 • 12 个评论 • 5926 次浏览 • 2017-05-08 22:58
协办:HULU 北京研发中心
时间:2017-05-21 13:30PM-18:00PM
地点:北京市朝阳区望京大科技园浦项中心b座21楼 hulu
分享主题:
个人介绍:倪顺,Hulu软件工程师,ELK粉。主要负责用户播放日志数据的收集,处理和可视化,以及服务监控。
主题:Elasticsearch 和 Kibana 在 Hulu视频的应用实践
内容介绍:Elasticsearch作为优秀的开源工具,很早就在Hulu内部使用。Hulu是一家视频公司,我们在用Elastic stack优化视频播放体验。本次分享中,主要包括:1)Kibana可视化视频播放日志数据;2)Elastic Stack使用的经验tips。
个人介绍:黄鑫,运维开发工程师,Pythonista,在监控和部署领域耕耘多年,一年前接触了 ELK。
主题:ELK CI/CD 部署实践
内容介绍:
使用 SaltStack 对 ELK 维护。配置管理,持续集成和持续部署的设计和实施。日常运维管理。
- 背景介绍
- 可用性设计
- 配置管理和持续集成
- 持续部署
- 发现的问题和未来展望
个人介绍:罗喆,最早加入快手的视频技术工程师,负责移动直播系统的构建和调优,并且搭建了基于大数据的质量监测系统,之前曾在腾讯从事实时视音频传输优化工作。
主题:Elastic Stack驱动的直播体验优化
内容介绍:
移动端视频直播业务经过2016年的井喷期,已经进入下半场,大家的关注点已经从如何构建完善的直播平台的粗放增长阶段,转入精细化运营阶段。如何在巨大的流量、复杂的应用场景、复杂的网络条件下,持续优化用户体验,是我们亟待回答的问题。构建大数据驱动的直播优化体系是快手为应对这一难题所提出的解决方案。
为此,我们基于完善的Elastic Stack建立了流媒体大数据分析和可视化平台。一切优化均围绕着数据进行:找到用户痛点,指导优化方向,评估优化效果,走出了一条行之有效的数据驱动之路。
演讲提纲:
1. 快手直播的业务背景,移动直播体验优化的方法论
2. Elastic Stack系统构建历程和真实优化案例
eslastic 对TB以上的数据集查询是否有严重的性能degrade
回复Elasticsearch • photogamerun 发起了问题 • 2 人关注 • 0 个回复 • 3856 次浏览 • 2017-05-08 19:08
logstash 执行多个conf文件
Logstash • zqc0512 回复了问题 • 6 人关注 • 5 个回复 • 10298 次浏览 • 2018-04-26 15:25
filebeat配置文件里面的paths路径可以设置为变量吗
Beats • Wenbo Yang 回复了问题 • 4 人关注 • 4 个回复 • 10150 次浏览 • 2017-08-24 09:50
增加一个字段,改变文档格式后,搜索不出
Elasticsearch • wstorm 回复了问题 • 3 人关注 • 2 个回复 • 3343 次浏览 • 2017-05-10 09:40
求解,ES模糊匹配查询不到数据
Elasticsearch • ghnjk 回复了问题 • 4 人关注 • 3 个回复 • 10475 次浏览 • 2018-09-02 10:04
为何搜索高亮字段返回不完整
Elasticsearch • wuyinggui 回复了问题 • 3 人关注 • 2 个回复 • 8074 次浏览 • 2017-05-10 16:33
【线下活动】2017-06-10南京Elastic Meetup日程安排
活动 • kenny_ye 发表了文章 • 12 个评论 • 6293 次浏览 • 2017-05-08 14:07
Elastic中文社区 趋势科技
2. 时间地点
活动时间:2017年6月10日 13:30 - 18:00
活动地点:雨花区软件大道48号苏豪国际广场B座 趋势科技中国研发中心(靠花神庙地铁站)
3. 主题
分享一:The State of Elastic Stack
演讲者简介:
曾勇(Medcl) Elastic工程师与布道师
Elasticsearch爱好者,2015年加入Elastic,Elastic 中文社区的发起人,Elastic在中国的首位员工。
主题简介:
Elastic Stack是Elastic公司的开源产品:Elasticsearch、Logstash、Kibana和Beats的统称,这些产品发布速度貌似有点快,在最近已经发布了的版本中有哪些值得关注的特性,然后Elastic的工程师手头上又在忙着码哪些新的特性呢?
机器学习、AI目前非常火,Elastic在最近的5.0也发布了一个机器学习的模块,这次也会带来demo演示。
分享二: Elastic Stack的容器化使用与Alert
演讲者简介:
瞿盛熙 嘀哒物流科技有限公司运维组组长
主题简介:
介绍嘀哒物流在公有云上的Elastic Stack部署以及日志分析与监控
1.目的和环境
2.部署:自动化,容器化下kubernetes与single mode的考量
3.日志分析与alert
4.监控:prometheus与docker
分享三:Elasticsearch辅助的智能客服机器人
演讲者简介:
杨文俊 趋势科技个人消费者部机器学习工程师
从2013年开始投入大数据处理与机器学习,目前依托Elasticsearch的搜索能力构建了一系列的智能服务。
主题简介:
1. 将原始的日文记录导入Elasticsearch之中
2. 使用Elasticsearch对原始内容进行初次过滤
3. 在过滤的基础之上,调用wmd + word2vec进行rerank,并综合进行判定
分享四: Elastic在华为电信软件运维中的应用简介
演讲者简介:
肖曙旭 华为电信软件业务云运维开发部软件工程师
华为日志服务特性负责人。从2015年起开始接触Elasticsearch并使用至今。先后负责服务调用链和日志服务特性的设计和开发,依托Elasticsearch实现搜索相关能力。
主题简介:
1. 日志采集代理。提供按正则表达式匹配或者分隔符的逻辑行分割方式;支持逻辑行内按分隔符提取字段,或者按正则表达式提取字段;支持一些简易算子对字段进行处理。
2. 日志汇聚。不同的日志类型通过不同的Topic区分
3. 流式处理。日志数据二次处理,或者一些实时分析的逻辑处理。
4. 参考kibana开发搜索和可视化能力,同时支持关键词告警,环比告警等告警能力,以及整个日志服务通道的自身监控能力。
分享五:基于ES的SQL报警引擎
演讲者简介:
张立丹 南京云利来软件科技有限公司
2010年参加工作,工作内容包括:Windows音频驱动及声卡固件;Linux高并发服务器;数据采集及分析。自2015年开始接触Elasticsearch,在工作中使用ES进行网络数据(TCP/HTTP/DNS等)的安全分析。
主题简介:
1. SQL:将ES的DSL抽象成 SQL
2. RDL:规则描述语言
3. 报警规则
es最大只能用32G内存吗
Elasticsearch • Jea 回复了问题 • 2 人关注 • 1 个回复 • 6240 次浏览 • 2017-05-08 11:41
[线下活动] 2017-05-14 Elastic Meetup 上海日程
活动 • medcl 发表了文章 • 2 个评论 • 6935 次浏览 • 2017-05-08 10:47
协办:众安保险
时间:2017-05-14 13:30PM-18:00PM
地点:上海市虹口区四川北路859号中信广场42楼
PPT 下载:https://pan.baidu.com/s/1eS157 ... %252F
分享主题:
个人介绍:杨智健, 众安保险搜索组负责人。
主题:es在众安保险的实践
内容介绍: es在众安保险业务线和日志类的实践,和相关平台化建设。
录像:https://v.qq.com/x/page/x0509wkr513.html
个人介绍:Medcl, Elastic工程师与布道师,2015年加入Elastic公司, Elastic中文社区的发起人。
主题:ElasticStack 5.x 最新进展
内容介绍:ElasticStack 5.x 新增了很多新的激动人心的特性,本次分享将为大家一一解读。
录像:https://v.qq.com/x/page/m0509dt9f80.html
个人介绍:魏彬, rockybean,穿衣助手技术负责人,Elastic Stack 粉丝。
主题:用 Elastic Stack 来诊断下你的redis slowlog
内容介绍:
1. Elastic Stack 之 ElasticSearch Beats Kibana 简介
2. redis 和 slowlog 简介
3. 实现原理介绍
4. Kibana图形化结果展示介绍
5. 代码解析
6. 开源过程中的几点心得分享
录像:https://v.qq.com/x/page/m0509j6kyzj.html
个人介绍: 柯诗豪,携程旅行网高级软件工程师。
主题:基于Docker的ES PaaS云平台
内容介绍:伴随着公司越来越多的团队开始使用ES,部署和管理ES集群成本增加。所以建立了基于Docker通过Mesos提供的资源管理机制的ES PaaS平台,用户可以在平台上快捷的创建、配置和管理ES集群。
录像:https://v.qq.com/x/page/n0509pzjgxq.html
个人介绍: 彭科,13年从武汉理工毕业 ,16年进入斗鱼大数据基础架构组,主要负责日志监控平台和一些大数据技术的预研。目前已经从斗鱼离职,接下来会去一家云计算创业公司,从事大数据产品研发和AI方向研究。
主题:基于Elastic Stack+Kafka的日志监控平台架构演进
内容介绍:基于在斗鱼的工作经验,基于Elastic Stack和kafka做TB级日志监控平台搭建,架构演讲,踩过哪些坑,如何调优,与大数据组件技术对比,如何结合使用,如何监控基础组件与业务,分享一些自己的心得。
录像:https://v.qq.com/x/page/m05099qj8f9.html