在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。
beta1

beta1

Elastic Stack 6.0 发布 beta 版本啦!

资讯动态medcl 发表了文章 • 11 个评论 • 6403 次浏览 • 2017-08-09 10:29 • 来自相关话题

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn      注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg
  6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。   Elasticsearch [下载] [6.0 Breaking Chages] https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能
 更多改进:[Beta1 Release Notes]     Kibana [下载] [Breaking Changes] https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support
  新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png
  • Watcher UI for Threshold Based Alerts
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。
Snip20170809_9.png
  • Experimental Kibana Query Language
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。
issue_11786_0.JPG
  • X-Pack Monitoring Email Notifications for Cluster Alerts
支持设置监控的告警邮件发送。
Snip20170809_7.png
  • Cluster Alert for X-Pack License Expiration
证书过期现在有自动的提示了。
image_(3).png
  • New Colors to Improve Accessibility
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。
Screen_Shot_2017-07-28_at_1.26_.42_PM_.png
Snip20170809_10.png
  • Full Screen Mode for Dashboard
新增的全屏模式对 Dashboard 的大屏展现更加友好。
Snip20170809_8.png
更多详情:[6.0 Beta1 Release Notes]     Logstash [下载]  https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。
pipeline_viz2.png
  • Centrally manage configurations
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。
Snip20170809_11.png
  • Ingest to Logstash convertor
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 

   Beats [下载] [Breaking Changes] https://www.elastic.co/blog/be ... eased
  • Auditbeat
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。
auditbeat-file-integrity-dashboard.png
  • New commands and configuration layout
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis
  • Add Docker metadata to the Docker logs
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。   更多详情:[Beta1 Release Notes]    ES-Hadoop [下载] https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads
  更多详情:[Release Notes]   上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!  

Elastic Stack 6.0 发布 beta 版本啦!

资讯动态medcl 发表了文章 • 11 个评论 • 6403 次浏览 • 2017-08-09 10:29 • 来自相关话题

头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn      注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
DGu1frNXoAEVYlM.jpg
  6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。   Elasticsearch [下载] [6.0 Breaking Chages] https://www.elastic.co/blog/el ... eased
  • Sequence numbers and fast recovery
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
  • Search scalability
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
  • Preventing full disks
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
  • Removal of default passwords
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
  • 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
  • 提升 Percolator 的性能
 更多改进:[Beta1 Release Notes]     Kibana [下载] [Breaking Changes] https://www.elastic.co/blog/ki ... eased
  • Upgrade Assistant and Rolling Upgrade Support
  新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
issue_1619_2.png
  • Watcher UI for Threshold Based Alerts
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。
Snip20170809_9.png
  • Experimental Kibana Query Language
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
  • Refactoring of the Visualizations Code
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。
issue_11786_0.JPG
  • X-Pack Monitoring Email Notifications for Cluster Alerts
支持设置监控的告警邮件发送。
Snip20170809_7.png
  • Cluster Alert for X-Pack License Expiration
证书过期现在有自动的提示了。
image_(3).png
  • New Colors to Improve Accessibility
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。
Screen_Shot_2017-07-28_at_1.26_.42_PM_.png
Snip20170809_10.png
  • Full Screen Mode for Dashboard
新增的全屏模式对 Dashboard 的大屏展现更加友好。
Snip20170809_8.png
更多详情:[6.0 Beta1 Release Notes]     Logstash [下载]  https://www.elastic.co/blog/lo ... eased
  • Pipeline Viewer
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。
pipeline_viz2.png
  • Centrally manage configurations
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。
Snip20170809_11.png
  • Ingest to Logstash convertor
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 

   Beats [下载] [Breaking Changes] https://www.elastic.co/blog/be ... eased
  • Auditbeat
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。
auditbeat-file-integrity-dashboard.png
  • New commands and configuration layout
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis
  • Add Docker metadata to the Docker logs
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
  • Internal pipeline refactoring
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。   更多详情:[Beta1 Release Notes]    ES-Hadoop [下载] https://www.elastic.co/blog/es ... eased
  • Spark 2.2.0 and Stable Support for Spark Structured Streaming
  • Support for new Join Fields
  • Multiple Mappings and Multiple Index Reads
  更多详情:[Release Notes]   上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!