使用 nohup 或 disown 如果你要让某个进程运行在后台。

社区日报 第1223期 (2021-03-25)

1.从MongoDB到ElasticSearch同步数据的5种不同方式(梯子)
https://code.likeagirl.io/5-di ... 3d44f
2.Elasticsearch作为图数据库(梯子)
https://medium.com/%40imriqwe/ ... f7622
3.Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布
https://mp.weixin.qq.com/s/5JL4WMs07VV6UkXw1WBYhw

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.从MongoDB到ElasticSearch同步数据的5种不同方式(梯子)
https://code.likeagirl.io/5-di ... 3d44f
2.Elasticsearch作为图数据库(梯子)
https://medium.com/%40imriqwe/ ... f7622
3.Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布
https://mp.weixin.qq.com/s/5JL4WMs07VV6UkXw1WBYhw

编辑:寂寞的烟
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

Elastic 7.12 版重磅发布:读时模式、冻结层技术预览版和自动扩展功能正式发布

我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136
继续阅读 »
我们非常高兴地宣布 Elastic 7.12 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。在这个版本中,客户能够通过读时模式,在无与伦比的灵活性和速度之间进行权衡选择,可使用新的冻结层实现对象存储的完全可搜索,从而获取新的价值,还能在 Elastic Cloud 上自动扩展部署。

Elastic 企业搜索得益于大量架构的增强功能,这些增强可减少部署规模、加快导入索引的速度并提供更相关的结果。Elastic 可观测性中新增了关联性功能,有助于识别导致应用程序性能问题和错误的主要原因。面向分析师的关联性功能简化了 Elastic 安全中的安全运维工作流程。

Elastic 7.12 版现已在 Elastic Cloud 上正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。

请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。

Elastic Stack 和 Elastic Cloud
我们现已正式推出解决方案,让分析师通过读时模式灵活探究数据的这一设想得以实现。

Elasticsearch 因其速度超快的分布式搜索和分析引擎而闻名,这部分要归功于 Elasticsearch 默认的写时模式 (schema on write)。虽然这种有序的数据结构需要规划并测试如何在 Elasticsearch 中表示数据,但可以在速度上得到巨大的回报。

当您需要采集新数据或采用快速周转的新用例时,会发生什么?如果您可以选择使用读时模式在查询时创建动态模式,那又会怎样?除了使用写时模式外,现在提供的运行时字段还可让您灵活地定义读时模式(schema on read)。这个功能通过牺牲一些搜索性能,极大缩短了实现数据价值的时间。随着 7.12 版的发布,运行时字段现在可以在 Kibana Discover 中进行搜索,这使得分析师能够通过 Elasticsearch 中的读时模式灵活地探索结构化数据。

我们对读时模式的实施非常特别。使用 Elasticsearch 运行时字段,您不必在写时模式的速度和规模或读时模式的灵活性之间艰难取舍。您可以同时在同一 Elastic Stack 和相同的数据上使用这两种模式,鱼和熊掌兼得。既能探索新的数据并动态定义新的字段,同时仍可在已知数据中搜索字段。可以轻松地在新创建的字段(在运行时字段中定义)和写时模式之间切换,以获得最佳速度和性能。无论您采用哪种方法,Elasticsearch 都能让您在速度和规模上享有无可比拟的灵活性。

利用新的冻结层,可使 S3 这样的对象存储完全可搜索,从而获取新的价值;这一功能目前以技术预览版提供,不久 Elastic Cloud 将提供此功能的简化版本。

借助这一新冻结层(目前为技术预览版),您可以将计算与存储分离,并添加直接在对象存储(如 Amazon S3、Google Cloud Storage 和 Microsoft Azure Storage)上进行搜索的功能。这项功能允许您在性能上做出权衡,实现以很小的成本搜索数据,同时减少搜索所需的专用资源量。通过仅从对象存储中提取完成查询所需的数据,并根据需要在本地缓存这些数据,冻结层既可提供最佳的搜索体验,同时又能够存储无限量的数据。我们还将持续提升在 Elastic Cloud 中配置冻结层的用户体验,不日推出,敬请期待。

通过使用可搜索快照,您可在控制成本的同时,高效地搜索所有应用程序内容和工作场所历史记录。存储更多分析数据用于营销分析,或测试和发布有版本号的应用程序目录,作为新的部署策略。在可观测性方面,您不再需要纠结于要删除哪些日志、指标或 APM 数据来节省开支。试想一下,您可以逐年搜索应用程序性能,而无需从备份中解冻数据。想象一下,威胁猎人和安全分析师将能够通过可搜索快照,轻松访问多年的大容量安全数据源,做到明察秋毫。以更大的规模收集更多与安全相关的数据 — IDS、Netflow、DNS、PCAP 或终端数据,并让您能够更长久地访问这些数据。

有了“将搜索保存到后台”这项新功能,长时间运行的查询可以自己完成,让您心无旁骛地继续分析数据。

像大海捞针一样在海量数据中搜索是 Elastic 技术的核心追求。即使那些结果存在于跨越多个集群且采用冻结索引的数据中,Elastic Stack 也不会停止为您梳理文档,直到作业完成。但不会仅仅因为它走得更远就意味着您必须停止正在做的事情。现在有了 7.12 版,您可以在 Discover 或 Kibana 仪表板上将长时间运行的搜索会话发送到后台运行,然后专心去安排自己的工作就好了。使用新的搜索会话管理界面,您可以随时查看结果,无论是 5 分钟、5 小时,甚或是 5 天之后。让 Elastic Stack 进行多任务处理,这样您就可以集中精力完成任务。
 
https://elasticstack.blog.csdn ... 96136 收起阅读 »

社区日报 第1221期 (2021-03-23)

1.Grafana与Kibana之间的比较。
https://www.jianshu.com/p/3ebbde9601be
2.企业级绝对靠谱的日志分析系统ELK。
http://dreamphp.cn/blog/detail?blog_id=26813
3.使用 Logstash 的 JDBC模块 确保 与关系数据库管理系统 (RDBMS) 保持同步。
https://mp.weixin.qq.com/s%3F_ ... irect


编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
 
继续阅读 »
1.Grafana与Kibana之间的比较。
https://www.jianshu.com/p/3ebbde9601be
2.企业级绝对靠谱的日志分析系统ELK。
http://dreamphp.cn/blog/detail?blog_id=26813
3.使用 Logstash 的 JDBC模块 确保 与关系数据库管理系统 (RDBMS) 保持同步。
https://mp.weixin.qq.com/s%3F_ ... irect


编辑:叮咚光军
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
  收起阅读 »

Elastic:监控 Elasticsearch 及 Kibana

一个稳定的 Elastic Stack 集群对于数据的实时采集,处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控”,我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中,我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的状态信息导入到自己的索引中以进行分析,但是在实际的使用中,我们还是倾向于设置一个专用的 Elasticsearch 集群来进行监控,原因是:
  • 减少受监视集群上的负载和存储
  • 即使对于运行状况不佳的群集,也可以继续访问监控。如果没有单独的集群,那么当集群发生故障时,我们不可以继续提供监视
  • 支持隔离职责(单独的安全策略)


原文链接:https://blog.csdn.net/UbuntuTo ... 68537
继续阅读 »
一个稳定的 Elastic Stack 集群对于数据的实时采集,处理及查询非常重要。我们可以使用一个专有的 Elasticsearch 集群来监视一个生产环境的 Elasticsearch 集群。在之前的文章 “Beats:通过 Metricbeat 实现外部对 Elastic Stack 的监控”,我已经讲述了如何对 Elasticsearch 进行监控。在今天及以后的几篇文章中,我将详细讲述如何来对 Elastic Stack 的各个软件栈进行监控。尽管我们可以使用把 Elasticsearch 自己的状态信息导入到自己的索引中以进行分析,但是在实际的使用中,我们还是倾向于设置一个专用的 Elasticsearch 集群来进行监控,原因是:
  • 减少受监视集群上的负载和存储
  • 即使对于运行状况不佳的群集,也可以继续访问监控。如果没有单独的集群,那么当集群发生故障时,我们不可以继续提供监视
  • 支持隔离职责(单独的安全策略)


原文链接:https://blog.csdn.net/UbuntuTo ... 68537 收起阅读 »

社区日报 第1220期 (2021-03-22)

1.使用ElasticSearch实现基于标签的兴趣推荐。
https://my.oschina.net/waterbear/blog/4493422

2.同步mongodb数据到elasticsearch的开源方案 
https://github.com/mmwl/mongo-sync-elasticsearch

3.Elasticsearch可观测性介绍
https://blog.csdn.net/UbuntuTo ... 81329

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用ElasticSearch实现基于标签的兴趣推荐。
https://my.oschina.net/waterbear/blog/4493422

2.同步mongodb数据到elasticsearch的开源方案 
https://github.com/mmwl/mongo-sync-elasticsearch

3.Elasticsearch可观测性介绍
https://blog.csdn.net/UbuntuTo ... 81329

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1219期 (2021-3-21)

1.ZELK与ELK:Zebrium与Elastic机器学习
https://www.zebrium.com/blog/z ... brium
2.使用ELK充分利用您的日志。
https://pmihaylov.com/analysing-logs-elk/
3.电气工程的自学计划。
https://i-kh.net/2021/03/20/el ... plan/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.ZELK与ELK:Zebrium与Elastic机器学习
https://www.zebrium.com/blog/z ... brium
2.使用ELK充分利用您的日志。
https://pmihaylov.com/analysing-logs-elk/
3.电气工程的自学计划。
https://i-kh.net/2021/03/20/el ... plan/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1217期 (2021-03-19)

1、MySQL 到 Elasticsearch 实时同步构建数据检索服务的选型与思考
 
https://mp.weixin.qq.com/s/A3DPumB5DmbnXIV18-oavg
 
2、logstash 同步 nested 字段实现
https://www.ketek.ro/2020/01/2 ... arch/
 
3、如何使用 Filebeat,ILM 和数据流跨多个索引管理 Elasticsearch 数据
https://elasticstack.blog.csdn ... 51958
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、MySQL 到 Elasticsearch 实时同步构建数据检索服务的选型与思考
 
https://mp.weixin.qq.com/s/A3DPumB5DmbnXIV18-oavg
 
2、logstash 同步 nested 字段实现
https://www.ketek.ro/2020/01/2 ... arch/
 
3、如何使用 Filebeat,ILM 和数据流跨多个索引管理 Elasticsearch 数据
https://elasticstack.blog.csdn ... 51958
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1216期 (2021-03-18)

1.elasticsearch报Data too large异常处理
https://www.jianshu.com/p/fb35df087b49
2.如何测试 Beats processors
https://blog.csdn.net/UbuntuTo ... 37542
3.肢解架构-日志管理
https://www.jianshu.com/p/3caba9a9312e

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.elasticsearch报Data too large异常处理
https://www.jianshu.com/p/fb35df087b49
2.如何测试 Beats processors
https://blog.csdn.net/UbuntuTo ... 37542
3.肢解架构-日志管理
https://www.jianshu.com/p/3caba9a9312e

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1214期 (2021-03-15)

1.Elasticsearch 分词器使用概览。
https://www.cnblogs.com/cjsblog/p/10171695.html

2.elasticsearch 优化之拨云见雾
https://zhuanlan.zhihu.com/p/145375514

3.从Elasticsearch的插件实现机制见:如何在Java中实现一个插件化系统
https://cloud.tencent.com/deve ... 50241

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.Elasticsearch 分词器使用概览。
https://www.cnblogs.com/cjsblog/p/10171695.html

2.elasticsearch 优化之拨云见雾
https://zhuanlan.zhihu.com/p/145375514

3.从Elasticsearch的插件实现机制见:如何在Java中实现一个插件化系统
https://cloud.tencent.com/deve ... 50241

编辑:cyberdak
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1033期 (2021-3-14)

1.使用Logstash和Elasticsearch计算微服务架构中的交易持续时间。
https://alexmarquardt.com/2020 ... ents/ 
2.(自备梯子)如何使用keepalived为Logstash或其他日志收集器提供故障转移。 
https://maciejszymczyk.medium. ... cc302 
3.苹果将停止生产原始的HomePod,它将专注于迷你。 
https://techcrunch.com/2021/03 ... mini/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用Logstash和Elasticsearch计算微服务架构中的交易持续时间。
https://alexmarquardt.com/2020 ... ents/ 
2.(自备梯子)如何使用keepalived为Logstash或其他日志收集器提供故障转移。 
https://maciejszymczyk.medium. ... cc302 
3.苹果将停止生产原始的HomePod,它将专注于迷你。 
https://techcrunch.com/2021/03 ... mini/

编辑:至尊宝
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1031期 (2021-03-12)

1、canal 多个mysql服务器同步到elasticsearch
http://blog.51yip.com/elastics ... -2506
2、如何系统的学习 Elasticsearch?
https://elastic.blog.csdn.net/ ... 96262
3、Elasticsearch 节省内存的优化配置列表
https://gist.github.com/dominicsayers/8319752
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1、canal 多个mysql服务器同步到elasticsearch
http://blog.51yip.com/elastics ... -2506
2、如何系统的学习 Elasticsearch?
https://elastic.blog.csdn.net/ ... 96262
3、Elasticsearch 节省内存的优化配置列表
https://gist.github.com/dominicsayers/8319752
 
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

社区日报 第1030期 (2021-03-11)

1.使用Filebeat,ILM和数据流跨多个索引管理ES数据
https://www.elastic.co/cn/blog ... reams
2.Elasticsearch 搜索应用实践(搭建篇)
https://mp.weixin.qq.com/s/pjV--8i7nSKotv2aZtMzPA
3.记录一次诡异的数据丢失的问题
https://www.jianshu.com/p/bc3be02da961

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
继续阅读 »
1.使用Filebeat,ILM和数据流跨多个索引管理ES数据
https://www.elastic.co/cn/blog ... reams
2.Elasticsearch 搜索应用实践(搭建篇)
https://mp.weixin.qq.com/s/pjV--8i7nSKotv2aZtMzPA
3.记录一次诡异的数据丢失的问题
https://www.jianshu.com/p/bc3be02da961

编辑:金桥
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup 收起阅读 »

如何使用 Filebeat,ILM 和数据流跨多个索引管理 Elasticsearch 数据

索引是 Elasticsearch 的重要组成部分。 每个索引使你的数据集保持分离和有条理,从而使你可以灵活地以不同方式对待每个数据集,并使其在整个生命周期中都易于管理。 通过提供摄入方法和管理工具来简化流程,Elastic 可以轻松地充分利用索引。

在本文中,我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中,然后将使用索引生命周期管理(ILM)和数据流来进一步控制该数据。
 
https://elasticstack.blog.csdn ... 51958
继续阅读 »
索引是 Elasticsearch 的重要组成部分。 每个索引使你的数据集保持分离和有条理,从而使你可以灵活地以不同方式对待每个数据集,并使其在整个生命周期中都易于管理。 通过提供摄入方法和管理工具来简化流程,Elastic 可以轻松地充分利用索引。

在本文中,我们将使用 Filebeat 将来自多个源的数据摄入到多个索引中,然后将使用索引生命周期管理(ILM)和数据流来进一步控制该数据。
 
https://elasticstack.blog.csdn ... 51958 收起阅读 »