要不要再翻翻文档呢?

社区日报 第1289期 (2021-12-23)

1.使用 Terraform 在 Elastic Cloud 上实现自动部署
https://xeraa.net/blog/2020_ho ... form/
2.从 Elasticsearch 来看分布式系统架构设计
https://zhuanlan.zhihu.com/p/32990496
3.如何使用 Elastic 机器学习来侦测异常(一)&(二)
https://juejin.cn/post/7044108496626778149
https://juejin.cn/post/7044108511101321253

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用 Terraform 在 Elastic Cloud 上实现自动部署
https://xeraa.net/blog/2020_ho ... form/
2.从 Elasticsearch 来看分布式系统架构设计
https://zhuanlan.zhihu.com/p/32990496
3.如何使用 Elastic 机器学习来侦测异常(一)&(二)
https://juejin.cn/post/7044108496626778149
https://juejin.cn/post/7044108511101321253

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第 1287 期 (2021-12-21)

1. Netflix 对 ES 索引的最佳实践(需要梯子)
https://netflixtechblog.medium ... 1e541

2. 看看国外公司是如何用ES 帮“官府”做一些(你懂的)的事情 (需要梯子)
https://medium.com/fiscalnotew ... 567cf

3. 5天内对360亿数据通过reindex做迁移,现实吗?(需要梯子)
https://thoughts.t37.net/how-w ... d1db8

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Netflix 对 ES 索引的最佳实践(需要梯子)
https://netflixtechblog.medium ... 1e541

2. 看看国外公司是如何用ES 帮“官府”做一些(你懂的)的事情 (需要梯子)
https://medium.com/fiscalnotew ... 567cf

3. 5天内对360亿数据通过reindex做迁移,现实吗?(需要梯子)
https://thoughts.t37.net/how-w ... d1db8

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1286期 (2021-12-20)

1、Elastic Cloud 云服务功能列表
https://www.elastic.co/cn/subscriptions/cloud
2、Amazon OpenSearch Service 功能
https://aws.amazon.com/cn/open ... ures/
3、Elasticsearch &  Aws OpenSearch 的一些对比
https://www.elastic.co/cn/blog ... rvice
编辑:  庞颖
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、Elastic Cloud 云服务功能列表
https://www.elastic.co/cn/subscriptions/cloud
2、Amazon OpenSearch Service 功能
https://aws.amazon.com/cn/open ... ures/
3、Elasticsearch &  Aws OpenSearch 的一些对比
https://www.elastic.co/cn/blog ... rvice
编辑:  庞颖
归档:https://ela.st/cn-daily-all 
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1284期 (2021-12-18)

1.利用NLP增强es搜索能力的开源工具

https://github.com/o19s/hello-nlp

2.es根据more_like_this实现用户新闻或视频推荐系统

https://blog.csdn.net/weixin_41036106/article/details/88390636

3.一周热点:Apache Log4j 又出现漏洞,发现者建议尽快升级到 2.16.0

https://www.ithome.com/0/593/076.htm

继续阅读 »

1.利用NLP增强es搜索能力的开源工具

https://github.com/o19s/hello-nlp

2.es根据more_like_this实现用户新闻或视频推荐系统

https://blog.csdn.net/weixin_41036106/article/details/88390636

3.一周热点:Apache Log4j 又出现漏洞,发现者建议尽快升级到 2.16.0

https://www.ithome.com/0/593/076.htm

收起阅读 »

社区日报 第1285期 (2021-12-19)

1. 今后五年国内外数据库趋势分析与预测
https://dbaplus.cn/news-160-3857-1.html

2.基于Elastic Stack来做智能化运维
https://www.modb.pro/db/142903

3.对比选择:自建es还是使用云托管服务es
https://cloud.netapp.com/blog/ ... rvice

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 今后五年国内外数据库趋势分析与预测
https://dbaplus.cn/news-160-3857-1.html

2.基于Elastic Stack来做智能化运维
https://www.modb.pro/db/142903

3.对比选择:自建es还是使用云托管服务es
https://cloud.netapp.com/blog/ ... rvice

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1283期 (2021-12-17)

1、Log4j2 各大厂商中招截图
https://github.com/YfryTchsGD/Log4jAttackSurface

2、关于Log4j2,Elastic 官方工程师有话说
https://xeraa.net/blog/2021_mi ... arch/

3、Kubernetes部署Elasticsearch(ECK)详尽指南(梯子)
https://medium.com/99dotco/a-d ... 60466

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、Log4j2 各大厂商中招截图
https://github.com/YfryTchsGD/Log4jAttackSurface

2、关于Log4j2,Elastic 官方工程师有话说
https://xeraa.net/blog/2021_mi ... arch/

3、Kubernetes部署Elasticsearch(ECK)详尽指南(梯子)
https://medium.com/99dotco/a-d ... 60466

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1282期 (2021-12-16)

1. Elasticsearch 分片恢复并发过高引发的bug分析
https://cloud.tencent.com/deve ... 70560
2.Filebeat 配置最佳实践
https://coralogix.com/blog/fil ... rial/
3.Limitless XDR with Elastic Security(需要梯子)
https://www.youtube.com/watch?v=AcauUZrvkpg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Elasticsearch 分片恢复并发过高引发的bug分析
https://cloud.tencent.com/deve ... 70560
2.Filebeat 配置最佳实践
https://coralogix.com/blog/fil ... rial/
3.Limitless XDR with Elastic Security(需要梯子)
https://www.youtube.com/watch?v=AcauUZrvkpg

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1281期 (2021-12-15)

1.  ELK-加密通信的说明和配置教程
https://zhuanlan.zhihu.com/p/385120999
2. Elasticsearch Open Source Monitoring Tools
https://sematext.com/blog/elas ... ools/
3. 如何在生产中实现Elasticsearch的零停机升级
https://lex-lee.blog.csdn.net/ ... 68696


编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.  ELK-加密通信的说明和配置教程
https://zhuanlan.zhihu.com/p/385120999
2. Elasticsearch Open Source Monitoring Tools
https://sematext.com/blog/elas ... ools/
3. 如何在生产中实现Elasticsearch的零停机升级
https://lex-lee.blog.csdn.net/ ... 68696


编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elastic 7.16 版:精简的数据集成驱动重要的结果


7.16_.png

我们很高兴地宣布 Elastic 7.16 版正式发布,这个版本为 Elastic Search Platform(包括 Elasticsearch 和 Kibana)及其三个内置解决方案(Elastic 企业搜索、Elastic 可观测性和 Elastic 安全)带来一系列广泛的全新功能。

Elastic 7.16 版简化了将各类数据从任何来源采集到 Elastic Search Platform 的过程。这个版本引入了数十个预构建的 Elastic 代理数据集成、适用于持续集成和持续交付 (CI/CD) 管道的可观测性工具、两个新获认证的 ServiceNow 应用程序,以及 Amazon Web Services (AWS) 和 Elastic Cloud 之间的原生数据集成,极大扩展了对复杂的分布式云原生服务的可见性。

此外,Elastic 企业搜索的一体化用户界面现已在 Kibana 中正式上线,让您可以更轻松地使用强大的可视化功能深入了解最终用户的搜索体验。而且,由自适应相关性提供支持的搜索结果管理功能现已推出公测版,这样一来,Elastic App Search 用户可以利用收集到的分析和自动建议,打造更好的搜索体验。

从改善最终用户的搜索体验,到使用临时分析加快故障排除速度、扩展管道构建和部署的可见性,以及保护终端免受高级威胁的影响,Elastic 7.16 版的正式发布,将能够协助组织打造出色的搜索体验,提升解决问题的能力,为组织取得成功助一臂之力。
 
详细阅读,请参阅 https://elasticstack.blog.csdn ... 50764
继续阅读 »

7.16_.png

我们很高兴地宣布 Elastic 7.16 版正式发布,这个版本为 Elastic Search Platform(包括 Elasticsearch 和 Kibana)及其三个内置解决方案(Elastic 企业搜索、Elastic 可观测性和 Elastic 安全)带来一系列广泛的全新功能。

Elastic 7.16 版简化了将各类数据从任何来源采集到 Elastic Search Platform 的过程。这个版本引入了数十个预构建的 Elastic 代理数据集成、适用于持续集成和持续交付 (CI/CD) 管道的可观测性工具、两个新获认证的 ServiceNow 应用程序,以及 Amazon Web Services (AWS) 和 Elastic Cloud 之间的原生数据集成,极大扩展了对复杂的分布式云原生服务的可见性。

此外,Elastic 企业搜索的一体化用户界面现已在 Kibana 中正式上线,让您可以更轻松地使用强大的可视化功能深入了解最终用户的搜索体验。而且,由自适应相关性提供支持的搜索结果管理功能现已推出公测版,这样一来,Elastic App Search 用户可以利用收集到的分析和自动建议,打造更好的搜索体验。

从改善最终用户的搜索体验,到使用临时分析加快故障排除速度、扩展管道构建和部署的可见性,以及保护终端免受高级威胁的影响,Elastic 7.16 版的正式发布,将能够协助组织打造出色的搜索体验,提升解决问题的能力,为组织取得成功助一臂之力。
 
详细阅读,请参阅 https://elasticstack.blog.csdn ... 50764 收起阅读 »

Elastic:在 CentOS 上一步一步安装 Elastic Stack

在我之前的许多文章中,我介绍了如何在 Ubuntu 系统上安装 Elasticsearch。没有 centos 的安装步骤。其中的原因是我自己没有一台 centos 的机器。在今天的教程中,我来详述如何使用 Vagrant 来安装 centos,并在它上面安装 Elastic Stack。

如果你从来还没有安装过 Vagrant,请参照我之前的教程 “Vagrant 入门教程” 来进行学习。在今天的练习中,我们使用如下的配置:



centos.png

详细阅读,请参阅 https://elasticstack.blog.csdn ... 14413
继续阅读 »
在我之前的许多文章中,我介绍了如何在 Ubuntu 系统上安装 Elasticsearch。没有 centos 的安装步骤。其中的原因是我自己没有一台 centos 的机器。在今天的教程中,我来详述如何使用 Vagrant 来安装 centos,并在它上面安装 Elastic Stack。

如果你从来还没有安装过 Vagrant,请参照我之前的教程 “Vagrant 入门教程” 来进行学习。在今天的练习中,我们使用如下的配置:



centos.png

详细阅读,请参阅 https://elasticstack.blog.csdn ... 14413 收起阅读 »

社区日报 第1280期 (2021-12-14)

1. 使用Elastic security检测log4j2 CVE-2021-44228漏洞
https://www.elastic.co/blog/de ... urity

2. Elasticsearch 存储成本省 60%,稿定科技干货分享
https://juicefs.com/blog/cn/po ... cefs/

3. 将github action日志发送elasticsearch(自备梯子)
https://anecdotes.dev/integrat ... 38106

编辑:wt
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. 使用Elastic security检测log4j2 CVE-2021-44228漏洞
https://www.elastic.co/blog/de ... urity

2. Elasticsearch 存储成本省 60%,稿定科技干货分享
https://juicefs.com/blog/cn/po ... cefs/

3. 将github action日志发送elasticsearch(自备梯子)
https://anecdotes.dev/integrat ... 38106

编辑:wt
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

【警惕】Grafana 0day 高危漏洞已爆出,尽快处理

来源:https://www.freebuf.com/vuls/307891.html
 
一、漏洞概况

Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知。它主要有以下六大特点:

1、展示方式:快速灵活的客户端图表,面板插件有许多不同方式的可视化指标和日志,官方库中具有丰富的仪表盘插件,比如热图、折线图、图表等多种展示方式;

2、数据源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticsearch,CloudWatch和KairosDB等;

3、通知提醒:以可视方式定义最重要指标的警报规则,Grafana将不断计算并发送通知,在数据达到阈值时通过Slack、PagerDuty等获得通知;

4、混合展示:在同一图表中混合使用不同的数据源,可以基于每个查询指定数据源,甚至自定义数据源;

5、注释:使用来自不同数据源的丰富事件注释图表,将鼠标悬停在事件上会显示完整的事件元数据和标记;

6、过滤器:Ad-hoc过滤器允许动态创建新的键/值过滤器,这些过滤器会自动应用于使用该数据源的所有查询。


二、漏洞分析

此次受影响的版本如下:

Grafana

是否受影响

8.x




漏洞由grafana-main\pkg\api\api.go引起

1639011455_61b1547fd88db6e6a34c4.png


分析原因:
api功能可以实现加载插件文件,然后返回文件内容
由于加载路径时候未进行过滤,导致../实现任意文件读取。

1639011486_61b1549e779dae64bdd3a.png

最后返回文件内容:

1639011521_61b154c188615e1b0dd3f.png



二、漏洞利用
GET /public/plugins/welcome/../../../../../../../../etc/passwd HTTP/1.1 Host: 127.0.0.1:3000 Content-Length: 21 Connection: close

1639011659_61b1554bb48bb99945d6f.png



三、漏洞评估

公开程度:已出现在野利用

利用条件:无权限要求

交互要求:0 click

漏洞危害:高危、任意文件读取

影响范围:Grafana 8.x

四、修复方案
 
1、目前厂商暂未修复,建议对../以及相关编码进行过滤。
2、上waf
3、加反向代理利用中间件对路径做normalize操作。
继续阅读 »
来源:https://www.freebuf.com/vuls/307891.html
 
一、漏洞概况

Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知。它主要有以下六大特点:

1、展示方式:快速灵活的客户端图表,面板插件有许多不同方式的可视化指标和日志,官方库中具有丰富的仪表盘插件,比如热图、折线图、图表等多种展示方式;

2、数据源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticsearch,CloudWatch和KairosDB等;

3、通知提醒:以可视方式定义最重要指标的警报规则,Grafana将不断计算并发送通知,在数据达到阈值时通过Slack、PagerDuty等获得通知;

4、混合展示:在同一图表中混合使用不同的数据源,可以基于每个查询指定数据源,甚至自定义数据源;

5、注释:使用来自不同数据源的丰富事件注释图表,将鼠标悬停在事件上会显示完整的事件元数据和标记;

6、过滤器:Ad-hoc过滤器允许动态创建新的键/值过滤器,这些过滤器会自动应用于使用该数据源的所有查询。


二、漏洞分析

此次受影响的版本如下:

Grafana

是否受影响

8.x




漏洞由grafana-main\pkg\api\api.go引起

1639011455_61b1547fd88db6e6a34c4.png


分析原因:
api功能可以实现加载插件文件,然后返回文件内容
由于加载路径时候未进行过滤,导致../实现任意文件读取。

1639011486_61b1549e779dae64bdd3a.png

最后返回文件内容:

1639011521_61b154c188615e1b0dd3f.png



二、漏洞利用
GET /public/plugins/welcome/../../../../../../../../etc/passwd HTTP/1.1 Host: 127.0.0.1:3000 Content-Length: 21 Connection: close

1639011659_61b1554bb48bb99945d6f.png



三、漏洞评估

公开程度:已出现在野利用

利用条件:无权限要求

交互要求:0 click

漏洞危害:高危、任意文件读取

影响范围:Grafana 8.x

四、修复方案
 
1、目前厂商暂未修复,建议对../以及相关编码进行过滤。
2、上waf
3、加反向代理利用中间件对路径做normalize操作。 收起阅读 »

社区日报 第1279期 (2021-12-13)

1. 通过插件提升ES filter性能的一些实践(需要梯子)
https://luis-sena.medium.com/i ... 16c1a
2. 日志类数据的ES集群的测定与规划参考
https://www.elastic.co/cn/blog ... trics
3. ES 的snapshot是怎么玩的
https://www.linkedin.com/pulse ... shero
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1. 通过插件提升ES filter性能的一些实践(需要梯子)
https://luis-sena.medium.com/i ... 16c1a
2. 日志类数据的ES集群的测定与规划参考
https://www.elastic.co/cn/blog ... trics
3. ES 的snapshot是怎么玩的
https://www.linkedin.com/pulse ... shero
编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

社区日报 第1278期 (2021-12-12)

1. Elasticsearch集群实现安全防护的几个建议
https://blog.csdn.net/pony_mag ... 01901

2.Elastic Stack SIEM 实现安全防护
https://www.elastic.co/cn/siem/

3.ES 在舆情搜索中的实践
https://developer.aliyun.com/article/784159

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Elasticsearch集群实现安全防护的几个建议
https://blog.csdn.net/pony_mag ... 01901

2.Elastic Stack SIEM 实现安全防护
https://www.elastic.co/cn/siem/

3.ES 在舆情搜索中的实践
https://developer.aliyun.com/article/784159

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1276期 (2021-12-11)

1. Elastic:负载均衡在 Elastic Stack 中的应用
https://www.codenong.com/cs106813223/

2. 通过ELK将多node的日志收集汇总(需要梯子)
https://ermolchik-dmitry.mediu ... 89c2e

3. TrueCar 公司在应对流量高峰时对 ES 的部分调优记录(需要梯子)
https://medium.com/driven-by-c ... 08a1d

编辑:斯蒂文
归档:https://ela.st/cn-daily-all   
订阅:https://ela.st/cn-daily-sub  
沙龙:https://ela.st/cn-meetup
继续阅读 »
1. Elastic:负载均衡在 Elastic Stack 中的应用
https://www.codenong.com/cs106813223/

2. 通过ELK将多node的日志收集汇总(需要梯子)
https://ermolchik-dmitry.mediu ... 89c2e

3. TrueCar 公司在应对流量高峰时对 ES 的部分调优记录(需要梯子)
https://medium.com/driven-by-c ... 08a1d

编辑:斯蒂文
归档:https://ela.st/cn-daily-all   
订阅:https://ela.st/cn-daily-sub  
沙龙:https://ela.st/cn-meetup 收起阅读 »