如同磁铁吸引四周的铁粉,热情也能吸引周围的人,改变周围的情况。

社区日报 第1737期 (2023-11-14)

社区日报God_lockin 发表了文章 • 0 个评论 • 2521 次浏览 • 2023-11-14 09:40 • 来自相关话题


1. 我和ES结缘的第一天(需要梯子)
https://medium.com/%40bairagia ... 0f977
2. 拿ES怼时序数据也可以哦(需要梯子)
https://medium.com/data-reply- ... 68f56
3. ELK 全家初探(需要梯子)
https://medium.com/codenx/expl ... c26d6

编辑:斯蒂文
 

搜索客:Elasticsearch 中文社区的崭新征程

默认分类medcl 发表了文章 • 0 个评论 • 4028 次浏览 • 2023-11-13 19:58 • 来自相关话题

 Elasticsearch 中文社区在不知不觉中已经走过了十二个春秋。这段时间,我们有幸因为 Elasticsearch 相识,相聚于线上线下的社区活动,共同切磋技术,互相吐槽。从最初的 QQ 群到后来的微信群,从最初几个人的小聚到后来接近千人的大会,社区的成长仿佛是一场神奇的旅程。Elasticsearch 中文社区一直保持着一种松散而亲切的组织形式,相信参与社区活动的小伙伴们都能感受到我们与其他社区的不同之处。
 
01.png

 
社区就是一个大家庭,很多小伙伴可能现在已经没有活跃在相关领域了,但是在咱们社区发展的过程中,有很多优秀的小伙伴积极参与做出了大量杰出的贡献,第一次大会的场地离不开 @三斗室 的大力支持,还记得只有 20-30 号人,糙的很,连拍照都没有来得及进行,社区里面带来各种干货分享 @wood 大叔,一直在社区默默奉献的石阳,说学逗唱样样精通的斌哥,深圳分会的杨振涛,武汉分会的白凡,南京分会的李啸,广州分会的鸿智等等其他各个城市的社区分会主席们,咱们甚至台湾还有分会,还记得 Advent 分享文章接力么,还记得咱们的翻译小组么,还记得咱们一起通宵达旦编写 Elasticsearch 权威指南中文版本的的日子么, 80 多人浩浩荡荡分成 5 个团队,中国开源史上最早的大协作,咱们还有社区编辑部,现在还在坚持每天一篇相关行业新闻的社区日报社,迄今为止已经 1700 多期了,还有每次大会的志愿者们,还有给咱们社区带来几百个分享的嘉宾们,名字实在太多了,不能一一列举了,但我都记下了,这个社区正是因为有了你们,才这么精彩,感谢你们。

然而,没有哪项技术能永远保持新鲜活力,当一些技术逐渐成熟,相应的讨论似乎也变得有限。然而,搜索领域的从业者并未停止前行的脚步,每一年都有新的搜索技术涌现,今年的最火话题必然是 GenAI 或者 AIGC 啦,Embedding、LLM、向量数据库、RAG 摩拳擦掌,传统搜索是否还能再战几个回合?硬件发展也是一日千里,几百核,上 TB SSD 的机器成为常态,快速迭代的硬件架构需要与时俱进的软件架构,兼顾安全和高效的 Rust 发展也是热火朝天,我于 2021 年底离开 Elastic 出来创办了 INFINI Labs 也在积极探索下一代搜索引擎的发展,不过可以预见的是,未来的搜索必定将更加智能化,性能更加强悍,使用更加简单,相信大家和我一样我对新技术的发展充满了期待,拭目以待吧。

从业十多年来一直在围绕搜索打转,深感搜索技术所涵盖的领域极为广泛,从文本分析到从自然语言处理,从算法到数据结构,从单机高性能到海量 PB 分布式,从机器学习到大模型,从传统的运维日志分析到上天揽月的前沿科技,都有搜索技术的身影。众行致远,国外有类似 BERLIN BUZZWORDS 这样优质的大会和交流社区,而国内这样垂直且优质的社区还相对较为缺乏,希望咱们的社区能够成为这样一个专注于搜索领域的小圈子。并且应该更加开放,除了 Elasticsearch,其他任何跟搜索相关的技术和框架我们都欢迎交流,也希望国内更多和我们一样参与搜索核心技术研究的厂商和同仁们也能参与进来,并且希望在这里,不仅是可以围绕搜索的各种相关技术进行讨论交流,还能找到志同道合的朋友一起共同进步,共同构建一个咱们自己的小家园。

04.png


因此,Elasticsearch 中文社区进行全新的品牌升级,正式更名为“搜索客”,以新的 Slogan:“搜索人自己的社区” 为宣言,并以全新的面貌来迎接社区的小伙伴们,相信你们已经注意到了我们的社区网站已经更新了全新的 Logo 和视觉风格,后续调整完毕也将启用新的域名:searchkit.org/searchkit.cn。 我们期望新的搜索客社区能够为广大搜索领域的从业者提供更为丰富和便捷的交流平台。希望在这里,我们能够共同见证搜索技术的新篇章,为整个搜索领域的发展添砖加瓦。


Medcl

社区日报 第1736期 (2023-11-13)

社区日报yuebancanghai 发表了文章 • 0 个评论 • 2135 次浏览 • 2023-11-13 16:58 • 来自相关话题

1. Elasticsearch 8.11 ES|QL 初体验
   https://mp.weixin.qq.com/s/GCcmBixIvOjblkHZiAGXCw
2. Elasticsearch 性能监控
   https://blog.csdn.net/mingongg ... 98538
3. Elasticsearch分片数量选择及如何保证数据一致性 
   https://blog.csdn.net/github_3 ... 83971
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

如何在搜索的时候,针对字段的模糊匹配时又对内容正则或wildcard匹配

Elasticsearchmryu 回复了问题 • 2 人关注 • 1 个回复 • 2146 次浏览 • 2023-11-10 16:59 • 来自相关话题

社区日报 第1735期 (2023-11-10)

社区日报laoyang360 发表了文章 • 0 个评论 • 2413 次浏览 • 2023-11-10 13:33 • 来自相关话题

1、Elasticsearch 8.11 信特性
https://www.elastic.co/fr/blog ... -11-0

2、Elasticsearch ES|QL 牛在哪里

https://www.elastic.co/cn/blog ... guage

3、Elasticsearch 向量检索视频解读(梯子)
https://www.elastic.co/cn/vide ... earch
 
编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili

社区日报 第1734期 (2023-11-09)

社区日报Se7en 发表了文章 • 0 个评论 • 1995 次浏览 • 2023-11-09 12:37 • 来自相关话题

1.给 Elasticsearch 加上向量检索能力,支撑大模型场景需求
https://mp.weixin.qq.com/s/tU9nN7AOFJs13QazPLfKJA
2.使用 Elastic Beat 采集 Prometheus 数据(需要梯子)
https://thomasdecaux.medium.co ... 1fedd
3.ES|QL(Elasticsearch 查询语言)入门
https://www.elastic.co/blog/ge ... guage

编辑:Se7en
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili

社区日报 第1733期 (2023-11-08)

社区日报kin122 发表了文章 • 0 个评论 • 1958 次浏览 • 2023-11-08 20:26 • 来自相关话题

1.ES json数据格式的转换(需要梯子)
https://medium.com/%40andre.lu ... 0c055
2.Elasticsearch:搜索架构
https://elasticstack.blog.csdn ... 44073
3.Elasticsearch:处理 Elasticsearch 中的字段名称不一致
https://elasticstack.blog.csdn ... 75664

编辑:kin122
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

从白日梦到现实:推出 Elastic 的管道查询语言 ES|QL

Elasticsearchliuxg 发表了文章 • 0 个评论 • 2078 次浏览 • 2023-11-08 13:26 • 来自相关话题

原文:https://elasticstack.blog.csdn ... 86439


!(https://img-blog.csdnimg.cn/a5 ... 63.png)

今天,我们很高兴地宣布 Elastic® 的新管道查询语言 [ES|QL](https://www.elastic.co/guide/e ... .html "ES|QL")(Elasticsearch 查询语言)的技术预览版,它可以转换、丰富和简化数据调查。 ES|QL 由新的查询引擎提供支持,通过并发处理提供高级搜索功能,无论数据源和结构如何,都可以提高速度和效率。 通过在单个屏幕上创建聚合和可视化来快速解决问题,以实现迭代和流畅的工作流程。

ES|QL 介绍

Elasticsearch 的演变
-----------------

在过去 13 年中,[Elasticsearch®](https://www.elastic.co/elasticsearch/ "Elasticsearch®") 取得了显着发展,适应了用户需求和不断变化的数字环境。 Elasticsearch 最初用于全文搜索,后来根据用户反馈扩展到支持更广泛的用例。 在整个过程中,Elasticsearch [Query DSL](https://www.elastic.co/guide/e ... .html "Query DSL")(我们第一个采用的搜索语言)为过滤器、聚合和其他操作提供了丰富的查询集。 这种基于 JSON 的 DSL 最终成为我们 [_search](https://www.elastic.co/guide/e ... .html "_search") API 端点的基础。

随着时间的推移和需求的多样化,逐渐显现出用户需要的不仅仅是查询 DSL 所提供的功能。我们开始在查询 DSL 下引入和融合了其他 DSL,用于[脚本编写](https://www.elastic.co/guide/e ... .html "脚本编写")、安全调查中的[事件](https://www.elastic.co/guide/e ... .html "事件")等等。然而,尽管这些扩展功能非常多才多艺,它们并没有完全满足用户的一些需求。

用户想要一种能够:

*   简化威胁和安全调查,同时通过提供全面和迭代方法的单个查询观察和解决生产问题
*   通过单一界面搜索、丰富、聚合和可视化更多内容来简化数据调查
*   使用高级搜索功能(例如带有并发处理的查找)提高查询大量数据的速度和效率,无论来源和结构如何

更多阅读,请点击 https://elasticstack.blog.csdn ... 86439

社区日报 第1732期 (2023-11-07)

社区日报God_lockin 发表了文章 • 0 个评论 • 1860 次浏览 • 2023-11-07 09:37 • 来自相关话题


1. K8S里的日志处理,这次我想试试EFK(需要梯子)
https://medium.com/%40kishorch ... c5e84

2. 你看到的相关性分数,你看不到的核心库 —— lucene(需要梯子)
https://medium.com/%40josemamg ... 95a09

3. prometheus VS ES 全家监控和日志分析的巅峰对决(需要梯子)
https://medium.com/cloud-nativ ... 791cd

编辑:斯蒂文
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili

reindex是否支持只更新版本号比较低的旧文档?

ElasticsearchCharele 回复了问题 • 3 人关注 • 2 个回复 • 2275 次浏览 • 2023-11-06 14:27 • 来自相关话题

社区日报 第1731期 (2023-11-06)

社区日报yuebancanghai 发表了文章 • 0 个评论 • 1997 次浏览 • 2023-11-06 09:01 • 来自相关话题

1. Elasticsearch 8.X 如何生成 TB 级的测试数据
   https://mp.weixin.qq.com/s/_WSMVB6fj8-89nRbBb8ELw
2. Elasticsearch高性能优化实践
   https://blog.csdn.net/fanshuku ... 39803
3. ElasticSearch线程池设置以及EsRejectedExcutionException排查 
   https://blog.51cto.com/u_14014612/6004450
编辑:yuebancanghai
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站:https://ela.st/bilibili

ES8.8向量查询性能问题

Elasticsearchhapjin 回复了问题 • 3 人关注 • 2 个回复 • 1385 次浏览 • 2023-11-05 12:11 • 来自相关话题

社区日报 第1730期 (2023-11-03)

社区日报laoyang360 发表了文章 • 0 个评论 • 2021 次浏览 • 2023-11-03 23:13 • 来自相关话题



1、Elasticsearch 实现语义搜索
https://heidloff.net/article/s ... arch/

2、Elasticsearch 实现相似文档检索
https://www.prakashbhandari.co ... arch/

3、Elasticsearch 实现混合搜索
https://heidloff.net/article/h ... ctor/

编辑:铭毅天下
归档:https://ela.st/cn-daily-all
订阅:https://ela.st/cn-daily-sub
沙龙:https://ela.st/cn-meetup
B站: https://ela.st/bilibili

filebeat7.4停止采集kubernetes日志

Beatssailq21 回复了问题 • 2 人关注 • 2 个回复 • 2879 次浏览 • 2023-11-03 18:16 • 来自相关话题

INFINI Labs 产品更新 | Agent 全新重构,优化指标采集,支持集中配置管理,支持动态下发等功能

资讯动态liaosy 发表了文章 • 0 个评论 • 2237 次浏览 • 2023-11-03 15:32 • 来自相关话题

![release](https://www.infinilabs.com/img ... er.png)

INFINI Labs 产品又更新啦~

本次更新主要有 Agent、Console、Loadgen 等产品,其中 Agent 进行全新重构升级,新版限制了 CPU 资源消耗,优化了内存,相比旧版内存使用率降低 10 倍,极大的降低了对宿主服务器资源占用的压力。同时 Agent 还优化了指标采集,支持集中配置管理,支持动态下发,支持一键安装和自动注册到 Console,可通过 Console 集中管理,并进行关联集群和节点。

以下是本次更新的详细说明。

INFINI Agent v0.7.0


INFINI Agent 是 INFINI Console 的一个可选探针组件,负责采集和上传集群指标和日志等信息,并可通过 Console 管理。Agent 支持主流操作系统和平台,安装包轻量且无任何外部依赖,可以快速方便地安装。

探针 Agent 本次更新如下:

Features


  • 限制探针资源消耗,限制 CPU 的使用
  • 优化探针内存使用,10 倍降低
  • 支持集中配置管理,支持动态下发
  • 支持探针一键安装和自动注册
  • 优化节点指标采集,仅采集本节点指标

    Improvements


  • 重构节点统计信息
  • 删除未使用的文件
  • 添加发现未知节点的 API
  • 重构节点发现
  • 重构新的 API

    INFINI Console v1.10.0


    INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管, 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

    Console 在线体验: <http://demo.infini.cloud>; (用户名/密码:readonly/readonly)。

    探针管理

    新版 Agent 安装好之后可在 Console 探针管理界面集中纳管,支持发现 ES 进程 和 疑似 ES 进程,并支持手动和自动批量关联到集群。如下图所示:

    ![](https://infinilabs.com/img/blo ... /1.jpg)

    实例动态配置

    Console 网关实例模块新增配置管理功能,支持实例配置内容查看和修改,修改后的配置支持自动加载生效,无需再去手动重启实例。如下图所示:

    ![](https://infinilabs.com/img/blo ... /2.jpg)

    集群动态

    集群动态界面进行了优化,新增了筛选过滤、时序图等。如下图所示:

    ![](https://infinilabs.com/img/blo ... /3.jpg)

    Console 本次更新详细清单如下:

    Features


  • 重构探针注册流程
  • 合并精简冗余接口
  • 支持实例的配置查看和动态修改
  • 允许准入和移除探针
  • 监控新增分片级别指标
  • 节点级别添加线程池相关指标

    Bug fix


  • 修复数据迁移/校验任务列表状态显示异常的问题
  • 修复数据探索索引选择列表数据不完整的问题
  • 修复开发工具集群列表找不到集群的问题
  • 修复监控告警详情点击后查询的数据未包含告警时间点产生的数据问题

    Improvements


  • 优化数据迁移/校验任务剩余时间显示
  • 数据探索查询数据支持自定超时时间
  • 数据探索字段 TOP5 统计的总数调整为当前时间范围内的文档数
  • 监控指标支持自定义时间桶的大小
  • 数据检验任务添加导出文档数提示信息
  • 优化集群,网关注册输入框,自动去除两边空格
  • 完善探针探测未知 ES 节点的流程
  • 优化探针安装脚本,新增远程配置服务器参数
  • 优化集群动态界面,新增筛选过滤、时序图等
  • 优化集群管理界面,新增筛选过滤

    INFINI Loadgen v1.8.0


    INFINI Loadgen 是一款支持 Easysearch、Elasticsearch 等搜索引擎压测工具,其特点轻量级无依赖、性能强劲、支持高并发、支持模板化参数随机、支持压测端均衡流量控制等。

    Loadgen 本次更新如下:

    Breaking changes


  • 原 Loadrun 功能并入 Loadgen
  • 测试请求、断言等使用新的 Loadgen DSL 语法来配置

    下载地址:<https://release.infinilabs.com/loadgen>;

    期待反馈


    欢迎下载体验使用,如果您在使用过程中遇到如何疑问或者问题,欢迎前往 INFINI Labs Github(<https://github.com/infinilabs>;) 中的对应项目中提交 Feature Request 或提交 Bug。

  • INFINI Gateway: <https://github.com/infinilabs/gateway/issues>;
  • INFINI Console: <https://github.com/infinilabs/console/issues>;
  • 下载地址: <https://www.infinilabs.com/download>;

    您还可以通过邮件联系我们:hello@infini.ltd

    或者拨打我们的热线电话:(+86) 400-139-9200

    欢迎加入 Discord 聊天室:<https://discord.com/invite/4tKTMkkvVX>;

    也欢迎大家微信扫码添加小助手(INFINI-Labs),加入用户群一起讨论交流。

    ![联系我们](https://www.infinilabs.com/img ... ew.jpg)


    关于极限科技(INFINI Labs)


    ![INFINI Labs](https://www.infinilabs.com/img ... bs.png)

    极限科技,全称极限数据(北京)科技有限公司,是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。

    极限科技是一支年轻的团队,采用天然分布式的方式来进行远程协作,员工分布在全球各地,希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选,为中国技术品牌输出添砖加瓦。

    官网:<https://www.infinilabs.com>;