不要急,总有办法的

【北京 去哪儿】搜索开发工程师

北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com
继续阅读 »
北京去哪儿招聘搜索开发工程师,急招岗位职责:
1、负责搜索排序的系统设计和可发,并与业务相结合;
2、技术和业务架构设计优化、梳理和解决系统关键问题和难题。
职位要求:
1、本科以上学历,1-4年经验,可接受16年毕业优秀工程师;
2、具有良好的数据结构/算法、忘了、操作系统等计算机基础知识;
3、精通Java,熟悉各种中间件技术,熟悉各种常见数据库,熟悉网络编程,多线程编程;
4、熟悉kafka,elasticsearch等系统,并且基于相关集群做过开发工作;
5、有搜索或者推荐系统相关算法经验者优先。
工作地点:北京西小口东升科技园
简历请投递:chuoying.huang@qunar.com 收起阅读 »

社区日报 第23期 (2017-08-21)

1.Kibana 图表中的 Visual Builder 还没用过?先来看看油管上的官方演示视频(自备梯子) http://t.cn/RCVjwya  http://t.cn/RCVjyNL

2.还是 Visual Builder,再来详细入个门吧!http://t.cn/RCVj5Wm

3.来学习下如何使用 Elastic Stack 来分析 NYC 311 的电话记录!(自备梯子) http://t.cn/RCVjJuc


招聘启事:
Elastic日报招聘编辑一名,负责日报相关事宜,机不可失,感兴趣的请加微信 rockybean 私聊!
编辑要求如下:
1. 熟悉Elastic相关产品,可以筛选相关高质量文章
2. 有一定文字组织能力,可以快速提炼文章精华,写出概要推荐语
3. 轻功要好

编辑:rockybean
归档:https://elasticsearch.cn/article/232
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Kibana 图表中的 Visual Builder 还没用过?先来看看油管上的官方演示视频(自备梯子) http://t.cn/RCVjwya  http://t.cn/RCVjyNL

2.还是 Visual Builder,再来详细入个门吧!http://t.cn/RCVj5Wm

3.来学习下如何使用 Elastic Stack 来分析 NYC 311 的电话记录!(自备梯子) http://t.cn/RCVjJuc


招聘启事:
Elastic日报招聘编辑一名,负责日报相关事宜,机不可失,感兴趣的请加微信 rockybean 私聊!
编辑要求如下:
1. 熟悉Elastic相关产品,可以筛选相关高质量文章
2. 有一定文字组织能力,可以快速提炼文章精华,写出概要推荐语
3. 轻功要好

编辑:rockybean
归档:https://elasticsearch.cn/article/232
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第22期 (2017-08-20)

1. 自动同步MySQL数据到Elasticsearch:
http://t.cn/RC44piW
2. 如何使用Filebeat自动跟踪Linux系统日志文件并传送到Elasticsearch
http://t.cn/RCqAWlU
3. 刷爆朋友圈的「我们是谁」图片,用小程序也能一键生成,超简单超好笑!
http://t.cn/RCwTd4x

编辑:至尊宝

归档:https://elasticsearch.cn/article/231
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 自动同步MySQL数据到Elasticsearch:
http://t.cn/RC44piW
2. 如何使用Filebeat自动跟踪Linux系统日志文件并传送到Elasticsearch
http://t.cn/RCqAWlU
3. 刷爆朋友圈的「我们是谁」图片,用小程序也能一键生成,超简单超好笑!
http://t.cn/RCwTd4x

编辑:至尊宝

归档:https://elasticsearch.cn/article/231
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第21期 (2017-08-19)

1. filters操作一定在query前执行吗?事实比你想象的要复杂一点!

http://t.cn/RCwV6RP

   

2. 深度好文,看看你的集群还有哪里可以继续优化?   

part1:http://t.cn/RCwMJWl 

part2:http://t.cn/RCwMSzb 

part3:http://t.cn/RCwMKrA 




编辑:bsll

归档:https://elasticsearch.cn/article/230
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. filters操作一定在query前执行吗?事实比你想象的要复杂一点!

http://t.cn/RCwV6RP

   

2. 深度好文,看看你的集群还有哪里可以继续优化?   

part1:http://t.cn/RCwMJWl 

part2:http://t.cn/RCwMSzb 

part3:http://t.cn/RCwMKrA 




编辑:bsll

归档:https://elasticsearch.cn/article/230
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第20期 (2017-08-18)

1.阮一峰老师也来推荐 elasticsearch 了,还不赶紧用起来!http://t.cn/RCZ7g3x

2.想引入SSD来提升es的读写性能,但又不是土豪,来看看冷热分离的方案吧!http://t.cn/RCAnz4Y

3.推荐油管上的一个视频:用Elastic Stack 来收集和分析网络数据,各种炫酷可视化UI(请自备梯子)http://t.cn/RCAnXiA

编辑:rockybean

归档:https://elasticsearch.cn/article/229

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.阮一峰老师也来推荐 elasticsearch 了,还不赶紧用起来!http://t.cn/RCZ7g3x

2.想引入SSD来提升es的读写性能,但又不是土豪,来看看冷热分离的方案吧!http://t.cn/RCAnz4Y

3.推荐油管上的一个视频:用Elastic Stack 来收集和分析网络数据,各种炫酷可视化UI(请自备梯子)http://t.cn/RCAnXiA

编辑:rockybean

归档:https://elasticsearch.cn/article/229

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第19期 (2017-08-17)

1.用if else 来清洗多个数据流?Logstash 6.0给你呈现新的解决办法:http://t.cn/RC7P3LH

2.还在用shell管理elasticsearch数据?out啦!这篇文章教你用elasticsearch-curator管理elasticsearch数据:http://t.cn/RC7Pdvv

3.用ansible来部署你的elastic stack:http://t.cn/RC7Peo9

编辑:金桥
归档:https://elasticsearch.cn/article/228
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.用if else 来清洗多个数据流?Logstash 6.0给你呈现新的解决办法:http://t.cn/RC7P3LH

2.还在用shell管理elasticsearch数据?out啦!这篇文章教你用elasticsearch-curator管理elasticsearch数据:http://t.cn/RC7Pdvv

3.用ansible来部署你的elastic stack:http://t.cn/RC7Peo9

编辑:金桥
归档:https://elasticsearch.cn/article/228
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第18期 (2017-08-16)

1. 手摸手教你基于 5.2.2 搭建 ELK 日志处理系统,小白福音:
http://t.cn/RCPI7zF 
2. 基于 elasticsearch-learning-to-rank 插件的 Machine Learning:
http://t.cn/R9SHrJb 
3. 基于 Elasticsearch 的 Hive 查询,弹性伸缩的组合套餐:
http://t.cn/RCP6v1n 

编辑:江水

归档:https://elasticsearch.cn/article/227 
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. 手摸手教你基于 5.2.2 搭建 ELK 日志处理系统,小白福音:
http://t.cn/RCPI7zF 
2. 基于 elasticsearch-learning-to-rank 插件的 Machine Learning:
http://t.cn/R9SHrJb 
3. 基于 Elasticsearch 的 Hive 查询,弹性伸缩的组合套餐:
http://t.cn/RCP6v1n 

编辑:江水

归档:https://elasticsearch.cn/article/227 
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

【腾讯.深圳.急聘】ES开发工程师

工作职责:
1、负责ElasticSearch集群的配置优化;
2、提升系统和集群性能,优化代码和数据结构。

技能及资质要求:
1、本科及以上学历,计算机专业背景,有独立分析问题和解决问题的能力;
2、熟练掌握ElasticSearch,熟悉其原理、常用算法和源代码;
3、熟悉hadoop、saprk技术体系者优先

有意向者,请将简历发送至:594940831@qq,或者直接加QQ联系,QQ:594940831
 
继续阅读 »
工作职责:
1、负责ElasticSearch集群的配置优化;
2、提升系统和集群性能,优化代码和数据结构。

技能及资质要求:
1、本科及以上学历,计算机专业背景,有独立分析问题和解决问题的能力;
2、熟练掌握ElasticSearch,熟悉其原理、常用算法和源代码;
3、熟悉hadoop、saprk技术体系者优先

有意向者,请将简历发送至:594940831@qq,或者直接加QQ联系,QQ:594940831
  收起阅读 »

社区日报 第17期 (2017-08-15)

1.  Hawkular 与 Elasticsearch 集成,实现监控报警:http://t.cn/R9kMKgChttp://t.cn/R9kMWIl

2. 借助 Elasticsearch 来实现网站交互的追踪:http://t.cn/R9kMs8G  

3. 微服务监控实战:http://t.cn/R9kxtFF

4. 中国人寿的 Elastic 选择之路: http://t.cn/R9kJ6Wi
 

编辑:Medcl
归档:https://elasticsearch.cn/article/225
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.  Hawkular 与 Elasticsearch 集成,实现监控报警:http://t.cn/R9kMKgChttp://t.cn/R9kMWIl

2. 借助 Elasticsearch 来实现网站交互的追踪:http://t.cn/R9kMs8G  

3. 微服务监控实战:http://t.cn/R9kxtFF

4. 中国人寿的 Elastic 选择之路: http://t.cn/R9kJ6Wi
 

编辑:Medcl
归档:https://elasticsearch.cn/article/225
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第16期 (2017-08-14)

1.Kafka Elasticsearch Connect: From 9,071 to 1 Line of Code http://t.cn/R9eL0zT
使用 一句 shell 脚本将 Kafka 的数据存入 es,你可以做到吗?

2.Timelion Tutorial – From Zero to Hero http://t.cn/R9eyjfe
如果你想学习 Kibana 中的 Timelion 功能,那么不要错过这篇文章哦!

3.Elasticsearch cheetsheet http://t.cn/R9eGZFc
送你一份 Elasticsearch 的 cheetsheet,再也不用为记不住语法发愁了!

编辑:rockybean

归档:https://elasticsearch.cn/article/224

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Kafka Elasticsearch Connect: From 9,071 to 1 Line of Code http://t.cn/R9eL0zT
使用 一句 shell 脚本将 Kafka 的数据存入 es,你可以做到吗?

2.Timelion Tutorial – From Zero to Hero http://t.cn/R9eyjfe
如果你想学习 Kibana 中的 Timelion 功能,那么不要错过这篇文章哦!

3.Elasticsearch cheetsheet http://t.cn/R9eGZFc
送你一份 Elasticsearch 的 cheetsheet,再也不用为记不住语法发愁了!

编辑:rockybean

归档:https://elasticsearch.cn/article/224

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第15期 (2017-08-13)

1. Elastic :heart: Windows (aka Windows MSI Installer release)  http://t.cn/R9rIrc0

   你知道es发布了windows MSI版本吗?

2. High-quality-recommendation-systems-with-elastic 

   part1:http://t.cn/Rcp2m5J

   part2:http://t.cn/Rcp2m5i    

3. 你知道最受欢迎的数据库排行吗? http://t.cn/R9rIVOB

   周末放松一下,看一下目前排名前十的数据库吧,es也在其列哦!

编辑:bsll

归档:https://elasticsearch.cn/article/223

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. Elastic :heart: Windows (aka Windows MSI Installer release)  http://t.cn/R9rIrc0

   你知道es发布了windows MSI版本吗?

2. High-quality-recommendation-systems-with-elastic 

   part1:http://t.cn/Rcp2m5J

   part2:http://t.cn/Rcp2m5i    

3. 你知道最受欢迎的数据库排行吗? http://t.cn/R9rIVOB

   周末放松一下,看一下目前排名前十的数据库吧,es也在其列哦!

编辑:bsll

归档:https://elasticsearch.cn/article/223

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第14期 (2017-08-12)

1. Text Classification made easy with Elasticsearch  http://t.cn/RahB79C

   你可能不知道,es也可以做文本分类哦!

2. ES内存那点事 http://t.cn/R9uJcWg

   有关es内存的问题一网打尽,感谢wood在社区的分享

3. Solr VS Elasticsearch  http://t.cn/zjZ9f80

   同样都是基于Apache Lucene,Solr 和 Elasticsearch 究竟差在哪 

编辑:bsll

归档:https://elasticsearch.cn/article/222

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1. Text Classification made easy with Elasticsearch  http://t.cn/RahB79C

   你可能不知道,es也可以做文本分类哦!

2. ES内存那点事 http://t.cn/R9uJcWg

   有关es内存的问题一网打尽,感谢wood在社区的分享

3. Solr VS Elasticsearch  http://t.cn/zjZ9f80

   同样都是基于Apache Lucene,Solr 和 Elasticsearch 究竟差在哪 

编辑:bsll

归档:https://elasticsearch.cn/article/222

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第13期 (2017-08-11)

1.有赞订单管理的三生三世与“十面埋伏”  http://t.cn/R6rEbC1


订单系统是电商交易的核心,如何实现海量订单数据的管理呢?来看看有赞的解决方案以及 es 在其中发挥的作用吧!

2.高可用日志探险——基于 Kubernetes 中的 ELK http://t.cn/R9nL7kg

来看看 Parsec 工程师基于 Kubernetes 使用 ELK 的经验分享!

3.Building a Better Search Experience in Kibana http://t.cn/R9RLj5f

在 Kibana 6.0.0-Beta1 中新增了 Kuery 查询语言,相比之前 Lucene 的查询语言使用体验更好,快来体验下吧!

4.Github UseCase http://t.cn/R9RZb04

天天上 Github 的你可知道它背后大量使用了 elastic 的产品吗?来看看 Github 是如何用的吧!




编辑:rockybean

归档:https://elasticsearch.cn/article/221

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.有赞订单管理的三生三世与“十面埋伏”  http://t.cn/R6rEbC1


订单系统是电商交易的核心,如何实现海量订单数据的管理呢?来看看有赞的解决方案以及 es 在其中发挥的作用吧!

2.高可用日志探险——基于 Kubernetes 中的 ELK http://t.cn/R9nL7kg

来看看 Parsec 工程师基于 Kubernetes 使用 ELK 的经验分享!

3.Building a Better Search Experience in Kibana http://t.cn/R9RLj5f

在 Kibana 6.0.0-Beta1 中新增了 Kuery 查询语言,相比之前 Lucene 的查询语言使用体验更好,快来体验下吧!

4.Github UseCase http://t.cn/R9RZb04

天天上 Github 的你可知道它背后大量使用了 elastic 的产品吗?来看看 Github 是如何用的吧!




编辑:rockybean

归档:https://elasticsearch.cn/article/221

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第12期 (2017-08-10)

1.elasticsearch中的机器学习集群规模设计
http://t.cn/R9QP6II
elastic stack 5之后推出了机器学习的功能,越来越多的公司开始使用elastic的机器学习功能来进行安全分析,操作分析,那么在elastic stack中机器学习应该怎么分配资源呢?

2.日志聚合和APM,不一样的事情
http://t.cn/R9QzkKE
在这篇文章中,我们将看一下日志聚合与APM,以及这两个数据累积/分析域之间的关系,以及为什么重要的是使用一整套适合的工具来解决这两个问题,而不是一个单一工具。

3.用heartbeat监控服务的运行情况
http://t.cn/R9QZvYJ
如何使用elastic stack中的Heartbeat的监控服务,并结合elasticsearch,kibana一起使用。

4.elastic stack 6.0 beta了,参加官方的先锋计划
http://t.cn/R9QZz9J
参与官方6.0试用,赢Elastic{ON}参会机票。

编辑:金桥

归档:https://elasticsearch.cn/article/220

订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.elasticsearch中的机器学习集群规模设计
http://t.cn/R9QP6II
elastic stack 5之后推出了机器学习的功能,越来越多的公司开始使用elastic的机器学习功能来进行安全分析,操作分析,那么在elastic stack中机器学习应该怎么分配资源呢?

2.日志聚合和APM,不一样的事情
http://t.cn/R9QzkKE
在这篇文章中,我们将看一下日志聚合与APM,以及这两个数据累积/分析域之间的关系,以及为什么重要的是使用一整套适合的工具来解决这两个问题,而不是一个单一工具。

3.用heartbeat监控服务的运行情况
http://t.cn/R9QZvYJ
如何使用elastic stack中的Heartbeat的监控服务,并结合elasticsearch,kibana一起使用。

4.elastic stack 6.0 beta了,参加官方的先锋计划
http://t.cn/R9QZz9J
参与官方6.0试用,赢Elastic{ON}参会机票。

编辑:金桥

归档:https://elasticsearch.cn/article/220

订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic Stack 6.0 发布 beta 版本啦!

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg

 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability

移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords

为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能

 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png

  • Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

Snip20170809_9.png

  • Experimental Kibana Query Language

引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code

通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。

issue_11786_0.JPG

  • X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

Snip20170809_7.png

  • Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

image_(3).png

  • New Colors to Improve Accessibility

改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。

Screen_Shot_2017-07-28_at_1.26_.42_PM_.png

Snip20170809_10.png

  • Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。

Snip20170809_8.png

更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer

X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。

pipeline_viz2.png

  • Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。

Snip20170809_11.png

  • Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
  • Auditbeat

一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

auditbeat-file-integrity-dashboard.png

  • New commands and configuration layout

一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis

  • Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring

Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads

 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
 
继续阅读 »
头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg

 

6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability

移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords

为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能

 更多改进:[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png

  • Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

Snip20170809_9.png

  • Experimental Kibana Query Language

引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code

通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。

issue_11786_0.JPG

  • X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

Snip20170809_7.png

  • Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

image_(3).png

  • New Colors to Improve Accessibility

改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。

Screen_Shot_2017-07-28_at_1.26_.42_PM_.png

Snip20170809_10.png

  • Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。

Snip20170809_8.png

更多详情:[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer

X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。

pipeline_viz2.png

  • Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。

Snip20170809_11.png

  • Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 


 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
  • Auditbeat

一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

auditbeat-file-integrity-dashboard.png

  • New commands and configuration layout

一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis

  • Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring

Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
 
更多详情:[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads

 
更多详情:[Release Notes]
 
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
  收起阅读 »