三人行必有我师

发布一个免费的 Elasticsearch 多集群监控和管理平台 - 极限数据平台

随着单个 Elasticsearch 集群规模的越来越大,大家要么在拆集群的路上,要么是已经是多套集群了, 据路边社消息,一个公司超过5个集群的情况已经变得非常普遍,而管理多个集群着实是有点痛苦,比如常规的玩法可能是一套集群一个 Kibana,集群一多,切换来切换去就有点懵圈了有木有?

fansile.gif

作为一个优雅的程序员或者运维管理员,是可忍孰不可忍啊。

另外,多个集群的监控也是一个麻烦事,目前常见的几种监控如:

  • 使用 Kibana 自带的监控
  • 使用 Prometheus + Grafana
  • 使用 Zabbix

Kibana 自带的监控可以很好的满足单个集群的监控场景,不过集群规模大了之后,经常会出现指标丢失的问题,如果使用单独的监控集群,需要修改每个节点的配置,集群都需要重启,对于已经上了生产的集群,有点不方便,另外多集群监控需要商业授权。

e82a31225ca28ed8029e0681f9346ee2.gif

那 Prometheus 呢, 一个 Elasticsearch 集群如果要监控起来,首先需要部署一个 Exporter 来暴露集群指标,然后部署一套Prometheus 来采集 Elasticsearch 指标,采集完了之后再部署一套 Grafana 来进行报表分析,不同的集群要做好切换,简单的事情,搞复杂了,整个监控体系偏重,维护成本高。

Zabbix 和 Prometheus 的场景差不多,就不赘述了。

530a83558eabaa4ae4eb25501349a7a3_16590_250_187.jpeg

那么问题来了,有没有一个更加简单方便的多集群监控和管理方案呢,并且要支持不同版本的集群,最好是 v2、v5、v6、v7 以及最新的 v8 都能统统接管,哈哈,没错了,这里给大家介绍一个我们极限实验室团队最近开发出来的一款免费的多集群监控和管理工具-极限数据平台,目前版本 v0.1,新鲜出炉。

废话不多少,咱们直接看图说话:

Jietu20211122-183111.jpg

首先是多集群的纳管,目前从 1.0 到最新的 8.0 统统都可以接进来。

Jietu20211122-183020.jpg

然后就是集群的监控拉,要多简单有多简单,就是一个开关的事情,注册集群的时候,启用即开启监控,目标集群啥都不用动,费那劲干啥。

监控界面如图:

Jietu20211122-183309.jpg

集群概览,总体情况一目了然。

Jietu20211122-183438.jpg

各个节点信息,分门别类。

Jietu20211122-183504.jpg

各个索引级别的信息,挨个查看。

Jietu20211122-183558.jpg

多个集群之间的监控查看一键切换,非常方便。

查看监控的时候,发现不对劲,要操作一下集群,直接调出控制台,如下图:

Jietu20211122-183717.jpg

常用的操作命令,可以保存起来,方便下次使用。

Jietu20211122-183815.jpg

别再保存在记事本里面了,下次又找不到,直接加载执行就好了。

Jietu20211122-183924.jpg

好了,你要是用 Elasticsearch 不知道这个工具,那就 out 了,赶快耍起来吧。

下载地址:

http://release.elasticsearch.cn/console/snapshot/

安装巨简单,简直懒得说,一个二进制可执行文件,一个 yml 配置文件,里面修改 Elasticsearch 地址,结束。

可以在这里查看 介绍和 Demo 演示视频

最后,欢迎关注极限实验室,获取更多 Elasticsearch 免费工具及业界资讯的第一手消息。

WechatIMG700.jpeg

继续阅读 »

随着单个 Elasticsearch 集群规模的越来越大,大家要么在拆集群的路上,要么是已经是多套集群了, 据路边社消息,一个公司超过5个集群的情况已经变得非常普遍,而管理多个集群着实是有点痛苦,比如常规的玩法可能是一套集群一个 Kibana,集群一多,切换来切换去就有点懵圈了有木有?

fansile.gif

作为一个优雅的程序员或者运维管理员,是可忍孰不可忍啊。

另外,多个集群的监控也是一个麻烦事,目前常见的几种监控如:

  • 使用 Kibana 自带的监控
  • 使用 Prometheus + Grafana
  • 使用 Zabbix

Kibana 自带的监控可以很好的满足单个集群的监控场景,不过集群规模大了之后,经常会出现指标丢失的问题,如果使用单独的监控集群,需要修改每个节点的配置,集群都需要重启,对于已经上了生产的集群,有点不方便,另外多集群监控需要商业授权。

e82a31225ca28ed8029e0681f9346ee2.gif

那 Prometheus 呢, 一个 Elasticsearch 集群如果要监控起来,首先需要部署一个 Exporter 来暴露集群指标,然后部署一套Prometheus 来采集 Elasticsearch 指标,采集完了之后再部署一套 Grafana 来进行报表分析,不同的集群要做好切换,简单的事情,搞复杂了,整个监控体系偏重,维护成本高。

Zabbix 和 Prometheus 的场景差不多,就不赘述了。

530a83558eabaa4ae4eb25501349a7a3_16590_250_187.jpeg

那么问题来了,有没有一个更加简单方便的多集群监控和管理方案呢,并且要支持不同版本的集群,最好是 v2、v5、v6、v7 以及最新的 v8 都能统统接管,哈哈,没错了,这里给大家介绍一个我们极限实验室团队最近开发出来的一款免费的多集群监控和管理工具-极限数据平台,目前版本 v0.1,新鲜出炉。

废话不多少,咱们直接看图说话:

Jietu20211122-183111.jpg

首先是多集群的纳管,目前从 1.0 到最新的 8.0 统统都可以接进来。

Jietu20211122-183020.jpg

然后就是集群的监控拉,要多简单有多简单,就是一个开关的事情,注册集群的时候,启用即开启监控,目标集群啥都不用动,费那劲干啥。

监控界面如图:

Jietu20211122-183309.jpg

集群概览,总体情况一目了然。

Jietu20211122-183438.jpg

各个节点信息,分门别类。

Jietu20211122-183504.jpg

各个索引级别的信息,挨个查看。

Jietu20211122-183558.jpg

多个集群之间的监控查看一键切换,非常方便。

查看监控的时候,发现不对劲,要操作一下集群,直接调出控制台,如下图:

Jietu20211122-183717.jpg

常用的操作命令,可以保存起来,方便下次使用。

Jietu20211122-183815.jpg

别再保存在记事本里面了,下次又找不到,直接加载执行就好了。

Jietu20211122-183924.jpg

好了,你要是用 Elasticsearch 不知道这个工具,那就 out 了,赶快耍起来吧。

下载地址:

http://release.elasticsearch.cn/console/snapshot/

安装巨简单,简直懒得说,一个二进制可执行文件,一个 yml 配置文件,里面修改 Elasticsearch 地址,结束。

可以在这里查看 介绍和 Demo 演示视频

最后,欢迎关注极限实验室,获取更多 Elasticsearch 免费工具及业界资讯的第一手消息。

WechatIMG700.jpeg

收起阅读 »

社区日报 第1257期 (2021-11-21)

1.使用helm部署EFK日志平台
https://blog.happyhack.io/2020/07/14/efk/

2.elasticsearch发展历程
https://www.elastic.co/cn/abou ... earch

3.负载均衡在elasticsearch中的应用
https://www.codenong.com/cs106813223/

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用helm部署EFK日志平台
https://blog.happyhack.io/2020/07/14/efk/

2.elasticsearch发展历程
https://www.elastic.co/cn/abou ... earch

3.负载均衡在elasticsearch中的应用
https://www.codenong.com/cs106813223/

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

极限网关入门视频教程已发布

录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:) 

 
 
极限网关地址:https://极限网关.com
继续阅读 »
录制了一系列视频教程,介绍极限网关的使用,不断更新中,第一次做 up 主,记得一键三连,支持一下。:) 

 
 
极限网关地址:https://极限网关.com 收起阅读 »

社区日报 第1255期 (2021-11-19)

1、Elasticsearch 集群docker化部署(热乎刚开源)
https://github.com/iamunnip/elastic-stack-cluster
2、WordPress + Elasticsearch 会发生什么?
https://www.cloudways.com/blog ... ress/
3、基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
https://ift.tt/3FrUG0G

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、Elasticsearch 集群docker化部署(热乎刚开源)
https://github.com/iamunnip/elastic-stack-cluster
2、WordPress + Elasticsearch 会发生什么?
https://www.cloudways.com/blog ... ress/
3、基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
https://ift.tt/3FrUG0G

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1254期 (2021-11-18)

1.剖析Elasticsearch的IndexSorting:一种查询性能优化利器
https://zhuanlan.zhihu.com/p/49206974

2.使用 Elasticsearch field collapse 折叠搜索结果
https://blog.csdn.net/UbuntuTo ... 93811

3. Elastic Stack 初学者快速入门课程
https://github.com/LisaHJung/B ... tents

编辑:Se7en  
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.剖析Elasticsearch的IndexSorting:一种查询性能优化利器
https://zhuanlan.zhihu.com/p/49206974

2.使用 Elasticsearch field collapse 折叠搜索结果
https://blog.csdn.net/UbuntuTo ... 93811

3. Elastic Stack 初学者快速入门课程
https://github.com/LisaHJung/B ... tents

编辑:Se7en  
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1253期 (2021-11-17)

1.filebeat 源码分析
https://segmentfault.com/a/1190000006124064
2. 一篇文章搞懂Filebeat
https://mp.weixin.qq.com/s/W2jLIHiy-K-yHhRCOipGAg
3. Beats:使用 Filebeat 中的 filestream 输入更快速、更轻松地读取活动日志文件
https://elasticstack.blog.csdn ... 34455

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.filebeat 源码分析
https://segmentfault.com/a/1190000006124064
2. 一篇文章搞懂Filebeat
https://mp.weixin.qq.com/s/W2jLIHiy-K-yHhRCOipGAg
3. Beats:使用 Filebeat 中的 filestream 输入更快速、更轻松地读取活动日志文件
https://elasticstack.blog.csdn ... 34455

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第 1252 期 (2021-11-16)

1. 聊聊 Elasticsearch 的查询毛刺
https://www.easyice.cn/archives/361

2. Elasticsearch性能调优之毫秒级搜索POI业务
http://armsword.com/2021/09/09 ... vice/

3. 企业数字化转型的主要制约
https://www.elastic.co/blog/se ... ation

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 聊聊 Elasticsearch 的查询毛刺
https://www.easyice.cn/archives/361

2. Elasticsearch性能调优之毫秒级搜索POI业务
http://armsword.com/2021/09/09 ... vice/

3. 企业数字化转型的主要制约
https://www.elastic.co/blog/se ... ation

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1250期 (2021-11-014)

1. 广告倒排索引架构与优化
https://zhuanlan.zhihu.com/p/69382309

2.【Elasticsearch源码解析】从Lucene开始
https://www.jianshu.com/p/11dc4c64866f

3.elasticsearch插件的开发--计算特征向量的相似度
https://www.cnblogs.com/whb-20 ... .html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 广告倒排索引架构与优化
https://zhuanlan.zhihu.com/p/69382309

2.【Elasticsearch源码解析】从Lucene开始
https://www.jianshu.com/p/11dc4c64866f

3.elasticsearch插件的开发--计算特征向量的相似度
https://www.cnblogs.com/whb-20 ... .html

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1247期 (2021-11-12)

1. Elasticsearch 异步搜索 Async search 实战
https://mp.weixin.qq.com/s/XYXp5Xn2r7Vnqxj3iswi9A
2.TB级微服务海量日志监控平台
https://mp.weixin.qq.com/s/8BgCxczzFBMTweyRINA0rw
3. Lucene源码解析——DocValue存储方式
https://zhuanlan.zhihu.com/p/384487150

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Elasticsearch 异步搜索 Async search 实战
https://mp.weixin.qq.com/s/XYXp5Xn2r7Vnqxj3iswi9A
2.TB级微服务海量日志监控平台
https://mp.weixin.qq.com/s/8BgCxczzFBMTweyRINA0rw
3. Lucene源码解析——DocValue存储方式
https://zhuanlan.zhihu.com/p/384487150

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elastic 中国开发者大会 2021 开启了,预热铁粉票已开抢,手慢无!


banner-1080x640-infini.png

Elastic 中国开发者大会 2021 是由 Elastic 官方、Elastic 中文社区和极限科技联合主办的开发者大会,作为中国国内唯一一个专门讨论 Elasticsearch 开源技术的大会,是中国最权威和最具实力干货的技术大会,其专业性和内容的质量一直以来在业内都是有口皆碑,大会最早发起于 2013 年初一个很小的线下聚会,之后每年迅速成长,往年大会的演讲嘉宾有来自 Elastic 官方、百度、腾讯、阿里巴巴、360、微博、美团、58、苏宁等众多公司的技术专家,带来过众多精彩的分享,与会听众大多为大数据领域相关的架构师、技术经理与一线开发工程师和运维工程师。

我们本着非盈利目的来举办大会,今年的大会将于2022年1月8号在深圳举行,举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。
 
大会官网:https://conf.elasticsearch.cn

Elasticsearch铁粉福利:
预热-铁粉票(79元/张), 共计100张,数量有限,赶紧去报名抢购吧!
购票地址:https://www.bagevent.com/event/7899116
 
同时大会也在公开征集演讲议题与合作赞助商,欢迎各位Elastic相关技术大咖报名参与分享,欢迎有兴趣的赞助商金主大大前来合作。

演讲报名申请:http://elasticsearch.mikecrm.com/uXH61JL
赞助合作申请:http://elasticsearch.mikecrm.com/6LGkKK0
 
 
继续阅读 »

banner-1080x640-infini.png

Elastic 中国开发者大会 2021 是由 Elastic 官方、Elastic 中文社区和极限科技联合主办的开发者大会,作为中国国内唯一一个专门讨论 Elasticsearch 开源技术的大会,是中国最权威和最具实力干货的技术大会,其专业性和内容的质量一直以来在业内都是有口皆碑,大会最早发起于 2013 年初一个很小的线下聚会,之后每年迅速成长,往年大会的演讲嘉宾有来自 Elastic 官方、百度、腾讯、阿里巴巴、360、微博、美团、58、苏宁等众多公司的技术专家,带来过众多精彩的分享,与会听众大多为大数据领域相关的架构师、技术经理与一线开发工程师和运维工程师。

我们本着非盈利目的来举办大会,今年的大会将于2022年1月8号在深圳举行,举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。
 
大会官网:https://conf.elasticsearch.cn

Elasticsearch铁粉福利:
预热-铁粉票(79元/张), 共计100张,数量有限,赶紧去报名抢购吧!
购票地址:https://www.bagevent.com/event/7899116
 
同时大会也在公开征集演讲议题与合作赞助商,欢迎各位Elastic相关技术大咖报名参与分享,欢迎有兴趣的赞助商金主大大前来合作。

演讲报名申请:http://elasticsearch.mikecrm.com/uXH61JL
赞助合作申请:http://elasticsearch.mikecrm.com/6LGkKK0
 
  收起阅读 »

社区日报 第1246期 (2021-11-11)

1.使用 Elasticsearch 和 Python 构建面部识别系统
https://blog.csdn.net/UbuntuTo ... 27926

2.运用 Fleet 来轻松地导入 Nginx 日志及指标
https://elasticstack.blog.csdn ... 43697

3.Elasticsearch 可视化管理工具 dejavu
https://github.com/appbaseio/dejavu#4-roadmap

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用 Elasticsearch 和 Python 构建面部识别系统
https://blog.csdn.net/UbuntuTo ... 27926

2.运用 Fleet 来轻松地导入 Nginx 日志及指标
https://elasticstack.blog.csdn ... 43697

3.Elasticsearch 可视化管理工具 dejavu
https://github.com/appbaseio/dejavu#4-roadmap

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1245期 (2021-11-10)

1. Lucene源码解析——StoredField存储方式
https://zhuanlan.zhihu.com/p/384486147
2.如何在 Kibana 的 Discover 界面中让显示图片字段
https://www.bilibili.com/video/BV14P4y1L7XL/
https://elasticstack.blog.csdn ... 19074
3. 几种常见的查询性能问题及优化方式--字节:张超
https://mp.weixin.qq.com/s/w7hEn2JE9ZXUBh3kZ0uOGg

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Lucene源码解析——StoredField存储方式
https://zhuanlan.zhihu.com/p/384486147
2.如何在 Kibana 的 Discover 界面中让显示图片字段
https://www.bilibili.com/video/BV14P4y1L7XL/
https://elasticstack.blog.csdn ... 19074
3. 几种常见的查询性能问题及优化方式--字节:张超
https://mp.weixin.qq.com/s/w7hEn2JE9ZXUBh3kZ0uOGg

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1244期 (2021-11-09)

1. painless 在不同使用场景中的构建示例
https://www.compose.com/articl ... arch/
2. ES 常见的一些企业使用场景
https://ubuntu.com/blog/what-is-elasticsearch
3. ES 插件开发的极简示例
https://www.viget.com/articles ... ugin/
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. painless 在不同使用场景中的构建示例
https://www.compose.com/articl ... arch/
2. ES 常见的一些企业使用场景
https://ubuntu.com/blog/what-is-elasticsearch
3. ES 插件开发的极简示例
https://www.viget.com/articles ... ugin/
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »