5.2.0
Elastic Stack 5.2.0 发布
资讯动态 • medcl 发表了文章 • 1 个评论 • 7274 次浏览 • 2017-02-03 13:26
本周三，Elastic 发布了 ElasticStack 的全新版本5.2.0，包含了很多激动人心的特性，让我们 一起来看看吧，
（Elastic Stack 包括 Elasticsearch、Logstash、Kibana、Beats）：
Elasticsearch 5.2.0 主要亮点:
- 新增数字和日期范围字段类型，非常方便对范围类型进行交并集的查询，比如你的数据是日历类型的数据，每天都有一些会议信息，会议的开始和结束时间都不同，你想看本周那天有空，可以使用 range fields 很方便的进行查询。了解更多
- 新增分片分配解释 API，会告知分片失败的具体原因，如分片损坏、磁盘写满还是配置错误，进行快速运维，以前只能根据经验到处寻找可能是什么问题，费事费力，了解更多。
- 对 Keyword 类型标准化，在5.0将 string 类型拆成了 text 和 keyword两种类型，text 支持分词，keyword 则不分词默认支持 doc values，不过有时候你还需要对 keyword 类型进行一些标准化处理，如都转成小写，现在可以使用 normalizers 参数来指定标准化的 filter。
- Terms 聚合的分区，terms 聚合默认返回10个 term，以前如果你需要返回全部的 term 列表是不可能的任务（基于内存压力），现在你可以通过将请求分区，以多次请求的方式来取回这些数据，了解更多。
- 字段折叠，在搜索时可以按某个字段的值进行折叠，在每个折叠的值内进行排序选取 topN，了解更多。
- 新的监控 UI，现在 X-Pack 也能监控 logstash 了，X-Pack 基础免费版就包括，如下图：
- 更多的监控 API，新增3个类型的统计信息：cgroup、持久化队列和 output新增持续时间字段。
- 离线插件管理，在很多没有公网的部署环境，都需要离线安装，以前的离线安装不够完善，尽管大部分插件没问题，但是还是存在个别插件的依赖链下载不完整的问题，为了解决这个问题，我们基本上重新设计了整个工作流程使用了新的方式来打包插件和他所有的依赖，了解更多。
- 支持 Elasticsearch Tribe 节点，在“admin”集群的基础上，引入了新的“data”集群，“data”集群可以理解成 Kibana 后面的数据来源，可以是 tribe 节点，而“admin”集群是存放 kibana 可视化信息“。kibana”索引的地方，默认 data 和 admin 集群都是在同一个集群，且不能是 tribe 节点，目前还有一些细节正在处理，如 console 还不能很好的工作。
- 增加新的可视化类型：热点图（heatmap），可以很方便的按区间和按时间来显示数据的范围分布，如下图：
- 开始进行国际化的支持，感谢 IBM 团队的努力，目前已经提供了基础的框架支持，虽然是万里长征的第一大步，但也是非常激动人心的。
- 地图服务的改进，Elastic 自己的 Tile 地图服务已经上线几个月了，我们现在能提供10个级别的缩放了，X-Pack 基础用户可以达到12个级别的缩放，并且我们正在尝试18个级别的缩放，并且从5.2开始，我们能让这些级别动态调整，不用发布新的 Kibana。
- 监控容器中的 Elasticsearch，现在我们可以监控容器里面的 Elasticsearch 实例的运行情况了，CPU 利用率、GC、堆栈使用情况等，如下图：
- 新增 Beat：Heartbeat，一个新的正式的官方beat 成员，用于可用性监控，和所有的 beat 一样，轻量级，Heartbeat 可以用于很多场景，比如安全，你不希望暴露某个端口时，使用 Heartbeat，当你发现该端口对外开启了，就可以触发通知，或者服务/网站可用性检测，服务down 了可以及时感知，目前支持：ICMP、TCP 和 HTTP 类型的监控，目前 Heartbeat还处于 beat 阶段，暂不推荐用于生产环境。
- Metricbeat 可跟踪网络连接，从5.2开始，Metricbeat 导出了 linux 系统的应用程序的网络连接信息，每个进程打开的 tcp 套接字，本地及远程的 ip 都包含在内，基于它，你可以进行如下的图分析：
- 收集Prometheus导出的指标，从5.2开始，监控系统普罗米修斯的收集模块导出的数据可以提供给 Metricbeat 然后索引进 Elasticsearch。
Elastic Stack 5.2.0 发布
资讯动态 • medcl 发表了文章 • 1 个评论 • 7274 次浏览 • 2017-02-03 13:26
本周三，Elastic 发布了 ElasticStack 的全新版本5.2.0，包含了很多激动人心的特性，让我们 一起来看看吧，
（Elastic Stack 包括 Elasticsearch、Logstash、Kibana、Beats）：
Elasticsearch 5.2.0 主要亮点:
- 新增数字和日期范围字段类型，非常方便对范围类型进行交并集的查询，比如你的数据是日历类型的数据，每天都有一些会议信息，会议的开始和结束时间都不同，你想看本周那天有空，可以使用 range fields 很方便的进行查询。了解更多
- 新增分片分配解释 API，会告知分片失败的具体原因，如分片损坏、磁盘写满还是配置错误，进行快速运维，以前只能根据经验到处寻找可能是什么问题，费事费力，了解更多。
- 对 Keyword 类型标准化，在5.0将 string 类型拆成了 text 和 keyword两种类型，text 支持分词，keyword 则不分词默认支持 doc values，不过有时候你还需要对 keyword 类型进行一些标准化处理，如都转成小写，现在可以使用 normalizers 参数来指定标准化的 filter。
- Terms 聚合的分区，terms 聚合默认返回10个 term，以前如果你需要返回全部的 term 列表是不可能的任务（基于内存压力），现在你可以通过将请求分区，以多次请求的方式来取回这些数据，了解更多。
- 字段折叠，在搜索时可以按某个字段的值进行折叠，在每个折叠的值内进行排序选取 topN，了解更多。
- 新的监控 UI，现在 X-Pack 也能监控 logstash 了，X-Pack 基础免费版就包括，如下图：
- 更多的监控 API，新增3个类型的统计信息：cgroup、持久化队列和 output新增持续时间字段。
- 离线插件管理，在很多没有公网的部署环境，都需要离线安装，以前的离线安装不够完善，尽管大部分插件没问题，但是还是存在个别插件的依赖链下载不完整的问题，为了解决这个问题，我们基本上重新设计了整个工作流程使用了新的方式来打包插件和他所有的依赖，了解更多。
- 支持 Elasticsearch Tribe 节点，在“admin”集群的基础上，引入了新的“data”集群，“data”集群可以理解成 Kibana 后面的数据来源，可以是 tribe 节点，而“admin”集群是存放 kibana 可视化信息“。kibana”索引的地方，默认 data 和 admin 集群都是在同一个集群，且不能是 tribe 节点，目前还有一些细节正在处理，如 console 还不能很好的工作。
- 增加新的可视化类型：热点图（heatmap），可以很方便的按区间和按时间来显示数据的范围分布，如下图：
- 开始进行国际化的支持，感谢 IBM 团队的努力，目前已经提供了基础的框架支持，虽然是万里长征的第一大步，但也是非常激动人心的。
- 地图服务的改进，Elastic 自己的 Tile 地图服务已经上线几个月了，我们现在能提供10个级别的缩放了，X-Pack 基础用户可以达到12个级别的缩放，并且我们正在尝试18个级别的缩放，并且从5.2开始，我们能让这些级别动态调整，不用发布新的 Kibana。
- 监控容器中的 Elasticsearch，现在我们可以监控容器里面的 Elasticsearch 实例的运行情况了，CPU 利用率、GC、堆栈使用情况等，如下图：
- 新增 Beat：Heartbeat，一个新的正式的官方beat 成员，用于可用性监控，和所有的 beat 一样，轻量级，Heartbeat 可以用于很多场景，比如安全，你不希望暴露某个端口时，使用 Heartbeat，当你发现该端口对外开启了，就可以触发通知，或者服务/网站可用性检测，服务down 了可以及时感知，目前支持：ICMP、TCP 和 HTTP 类型的监控，目前 Heartbeat还处于 beat 阶段，暂不推荐用于生产环境。
- Metricbeat 可跟踪网络连接，从5.2开始，Metricbeat 导出了 linux 系统的应用程序的网络连接信息，每个进程打开的 tcp 套接字，本地及远程的 ip 都包含在内，基于它，你可以进行如下的图分析：
- 收集Prometheus导出的指标，从5.2开始，监控系统普罗米修斯的收集模块导出的数据可以提供给 Metricbeat 然后索引进 Elasticsearch。
