1、IBM 工程师分享 大模型实战日常博客全集
https://heidloff.net/archives/

2、学术报告：基于深度学习的神经语义搜索

https://hub.baai.ac.cn/view/16490

3、语义检索在工业界使用 PPT
https://zliu.org/files/talks/ccir2019-20190921.pdf

4、号外！——Elastic 官方收编了 OpsterHQ。
https://www.elastic.co/cn/blog ... orces

编辑：铭毅天下
更多资讯：http://news.searchkit.cn

近年来，日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志，挖掘日志数据价值，驱动运维、运营，提升服务管理效率。

方案架构


• Beats 是轻量级采集器，包括 Filebeat、Metricbeat 等。
  
• Easysearch 是个分布式搜索引擎，提供搜集、分析、存储数据等主要功能。
  
• Console 是一个可视化工具，提供可视化查询，制作报表等功能。
  
  本文将搭建一个统一日志管理平台。使用 Filebeat 采集 OS 中的日志（其他日志大同小异），发送到 Easysearch 中。最后通过 Console 进行日志的可视化查询与分析。
  
  

  操作步骤
  

  
  

  1. 准备工作
     
     • 部署 Easysearch
       
     • 编辑 easysearch.yml 文件，打开注释 elasticsearch.api_compatibility: true
       
     • 部署 Console
       
  2. 安装并配置 Filebeat
     
     • 下载 Filebeat，版本建议选择 7.10.2。下载地址：[https://www.elastic.co/cn/down ... -10-2](https://www.elastic.co/cn/down ... 7-10-2)
       
     • 修改配置 filebeat.yml 文件
       
       <br /> setup.template.name: "filebeat"<br /> setup.template.pattern: "system-log*"<br /> setup.template.fields: "${path.config}/fields.yml"<br /> <br /> output.elasticsearch:<br /> hosts: ["localhost:9200"]<br /> protocol: "https"<br /> ssl.verification_mode: none<br /> username: "admin"<br /> password: "4ad8f8f792e81cd0a6de"<br /> index: "system-log"<br />
       
       
  3. 启用 system 模块并导入 pipeline
     
     ./filebeat modules enable system
./filebeat setup --pipelines --modules system
     
     
  4. 创建索引模板及初始索引，使用 [ZSTD+SOURCE_REUSE](https://www.infinilabs.com/blo ... ssion/) 技术节省磁盘空间
     
     <br /> PUT _template/system_log<br /> {<br /> "order": 100,<br /> "index_patterns": [<br /> "system_log*"<br /> ],<br /> "settings": {<br /> "index": {<br /> "format": "7",<br /> "lifecycle": {<br /> "name": "ilm_.infini_metrics-30days-retention",<br /> "rollover_alias": "system_log"<br /> },<br /> "codec": "ZSTD",<br /> "source_reuse": true,<br /> "number_of_shards": "1",<br /> "translog": {<br /> "durability": "async"<br /> }<br /> }<br /> },<br /> "mappings": {<br /> "dynamic_templates": [<br /> {<br /> "strings": {<br /> "mapping": {<br /> "ignore_above": 256,<br /> "type": "keyword"<br /> },<br /> "match_mapping_type": "string"<br /> }<br /> }<br /> ]<br /> }<br /> }<br /> <br /> PUT system-log-00001<br /> {<br /> "aliases":{<br /> "system-log":{<br /> "is_write_index":true<br /> }<br /> }<br /> }<br />
     
     
  5. 启动 filebeat
     
     nohup ./filebeat -c filebeat.yml 2>&1>/dev/null &
     
     
  6. 进入 Console 查看、搜索日志
     
     
  7. 进入 Console 创建 dashboard 进行日志分析
     
     

1.体验一把马斯克 Grok 背后的向量数据库 Qdrant（需要梯子）
https://medium.com/%40adrirajc ... 80e02
2.通过图像搜索找到您的小狗
https://www.elastic.co/search- ... earch
3.在 Elasticsearch 和 Go 中通过矢量搜索寻找 gophers
https://www.elastic.co/search- ... ector

编辑：Se7en

1.《搜索引擎与程序化广告》新书直播：文字总结（上篇）
https://zhuanlan.zhihu.com/p/658027772
2.《搜索引擎与程序化广告》新书直播：文字总结（下篇）
https://zhuanlan.zhihu.com/p/658029038
3MySQL, Redis和Lucene 索引设计思考
https://zhuanlan.zhihu.com/p/480308919

编辑：kin122

1. 我和ES结缘的第一天（需要梯子）
https://medium.com/%40bairagia ... 0f977
2. 拿ES怼时序数据也可以哦（需要梯子）
https://medium.com/data-reply- ... 68f56
3. ELK 全家初探（需要梯子）
https://medium.com/codenx/expl ... c26d6

编辑：斯蒂文
 

 Elasticsearch 中文社区在不知不觉中已经走过了十二个春秋。这段时间，我们有幸因为 Elasticsearch 相识，相聚于线上线下的社区活动，共同切磋技术，互相吐槽。从最初的 QQ 群到后来的微信群，从最初几个人的小聚到后来接近千人的大会，社区的成长仿佛是一场神奇的旅程。Elasticsearch 中文社区一直保持着一种松散而亲切的组织形式，相信参与社区活动的小伙伴们都能感受到我们与其他社区的不同之处。
 

 
社区就是一个大家庭，很多小伙伴可能现在已经没有活跃在相关领域了，但是在咱们社区发展的过程中，有很多优秀的小伙伴积极参与做出了大量杰出的贡献，第一次大会的场地离不开 @三斗室 的大力支持，还记得只有 20-30 号人，糙的很，连拍照都没有来得及进行，社区里面带来各种干货分享 @wood 大叔，一直在社区默默奉献的石阳，说学逗唱样样精通的斌哥，深圳分会的杨振涛，武汉分会的白凡，南京分会的李啸，广州分会的鸿智等等其他各个城市的社区分会主席们，咱们甚至台湾还有分会，还记得 Advent 分享文章接力么，还记得咱们的翻译小组么，还记得咱们一起通宵达旦编写 Elasticsearch 权威指南中文版本的的日子么， 80 多人浩浩荡荡分成 5 个团队，中国开源史上最早的大协作，咱们还有社区编辑部，现在还在坚持每天一篇相关行业新闻的社区日报社，迄今为止已经 1700 多期了，还有每次大会的志愿者们，还有给咱们社区带来几百个分享的嘉宾们，名字实在太多了，不能一一列举了，但我都记下了，这个社区正是因为有了你们，才这么精彩，感谢你们。

然而，没有哪项技术能永远保持新鲜活力，当一些技术逐渐成熟，相应的讨论似乎也变得有限。然而，搜索领域的从业者并未停止前行的脚步，每一年都有新的搜索技术涌现，今年的最火话题必然是 GenAI 或者 AIGC 啦，Embedding、LLM、向量数据库、RAG 摩拳擦掌，传统搜索是否还能再战几个回合？硬件发展也是一日千里，几百核，上 TB SSD 的机器成为常态，快速迭代的硬件架构需要与时俱进的软件架构，兼顾安全和高效的 Rust 发展也是热火朝天，我于 2021 年底离开 Elastic 出来创办了 INFINI Labs 也在积极探索下一代搜索引擎的发展，不过可以预见的是，未来的搜索必定将更加智能化，性能更加强悍，使用更加简单，相信大家和我一样我对新技术的发展充满了期待，拭目以待吧。

从业十多年来一直在围绕搜索打转，深感搜索技术所涵盖的领域极为广泛，从文本分析到从自然语言处理，从算法到数据结构，从单机高性能到海量 PB 分布式，从机器学习到大模型，从传统的运维日志分析到上天揽月的前沿科技，都有搜索技术的身影。众行致远，国外有类似 BERLIN BUZZWORDS 这样优质的大会和交流社区，而国内这样垂直且优质的社区还相对较为缺乏，希望咱们的社区能够成为这样一个专注于搜索领域的小圈子。并且应该更加开放，除了 Elasticsearch，其他任何跟搜索相关的技术和框架我们都欢迎交流，也希望国内更多和我们一样参与搜索核心技术研究的厂商和同仁们也能参与进来，并且希望在这里，不仅是可以围绕搜索的各种相关技术进行讨论交流，还能找到志同道合的朋友一起共同进步，共同构建一个咱们自己的小家园。



因此，Elasticsearch 中文社区进行全新的品牌升级，正式更名为“搜索客”，以新的 Slogan：“搜索人自己的社区” 为宣言，并以全新的面貌来迎接社区的小伙伴们，相信你们已经注意到了我们的社区网站已经更新了全新的 Logo 和视觉风格，后续调整完毕也将启用新的域名：searchkit.org/searchkit.cn。 我们期望新的搜索客社区能够为广大搜索领域的从业者提供更为丰富和便捷的交流平台。希望在这里，我们能够共同见证搜索技术的新篇章，为整个搜索领域的发展添砖加瓦。


Medcl

1. Elasticsearch 8.11 ES|QL 初体验
   https://mp.weixin.qq.com/s/GCcmBixIvOjblkHZiAGXCw
2. Elasticsearch 性能监控
   https://blog.csdn.net/mingongg ... 98538
3. Elasticsearch分片数量选择及如何保证数据一致性 
   https://blog.csdn.net/github_3 ... 83971
编辑：yuebancanghai
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

1、Elasticsearch 8.11 信特性
https://www.elastic.co/fr/blog ... -11-0

2、Elasticsearch ES|QL 牛在哪里

https://www.elastic.co/cn/blog ... guage

3、Elasticsearch 向量检索视频解读（梯子）
https://www.elastic.co/cn/vide ... earch
 
编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili

1.给 Elasticsearch 加上向量检索能力，支撑大模型场景需求
https://mp.weixin.qq.com/s/tU9nN7AOFJs13QazPLfKJA
2.使用 Elastic Beat 采集 Prometheus 数据（需要梯子）
https://thomasdecaux.medium.co ... 1fedd
3.ES|QL（Elasticsearch 查询语言）入门
https://www.elastic.co/blog/ge ... guage

编辑：Se7en
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili

1.ES json数据格式的转换（需要梯子）
https://medium.com/%40andre.lu ... 0c055
2.Elasticsearch：搜索架构
https://elasticstack.blog.csdn ... 44073
3.Elasticsearch：处理 Elasticsearch 中的字段名称不一致
https://elasticstack.blog.csdn ... 75664

编辑：kin122
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

原文：https://elasticstack.blog.csdn ... 86439


!(https://img-blog.csdnimg.cn/a5 ... 63.png)

今天，我们很高兴地宣布 Elastic® 的新管道查询语言 [ES|QL](https://www.elastic.co/guide/e ... .html "ES|QL")（Elasticsearch 查询语言）的技术预览版，它可以转换、丰富和简化数据调查。 ES|QL 由新的查询引擎提供支持，通过并发处理提供高级搜索功能，无论数据源和结构如何，都可以提高速度和效率。 通过在单个屏幕上创建聚合和可视化来快速解决问题，以实现迭代和流畅的工作流程。

ES|QL 介绍

Elasticsearch 的演变
-----------------

在过去 13 年中，[Elasticsearch®](https://www.elastic.co/elasticsearch/ "Elasticsearch®") 取得了显着发展，适应了用户需求和不断变化的数字环境。 Elasticsearch 最初用于全文搜索，后来根据用户反馈扩展到支持更广泛的用例。 在整个过程中，Elasticsearch [Query DSL](https://www.elastic.co/guide/e ... .html "Query DSL")（我们第一个采用的搜索语言）为过滤器、聚合和其他操作提供了丰富的查询集。 这种基于 JSON 的 DSL 最终成为我们 [_search](https://www.elastic.co/guide/e ... .html "_search") API 端点的基础。

随着时间的推移和需求的多样化，逐渐显现出用户需要的不仅仅是查询 DSL 所提供的功能。我们开始在查询 DSL 下引入和融合了其他 DSL，用于[脚本编写](https://www.elastic.co/guide/e ... .html "脚本编写")、安全调查中的[事件](https://www.elastic.co/guide/e ... .html "事件")等等。然而，尽管这些扩展功能非常多才多艺，它们并没有完全满足用户的一些需求。

用户想要一种能够：

*   简化威胁和安全调查，同时通过提供全面和迭代方法的单个查询观察和解决生产问题
*   通过单一界面搜索、丰富、聚合和可视化更多内容来简化数据调查
*   使用高级搜索功能（例如带有并发处理的查找）提高查询大量数据的速度和效率，无论来源和结构如何

更多阅读，请点击 https://elasticstack.blog.csdn ... 86439

1. K8S里的日志处理，这次我想试试EFK（需要梯子）
https://medium.com/%40kishorch ... c5e84

2. 你看到的相关性分数，你看不到的核心库 —— lucene（需要梯子）
https://medium.com/%40josemamg ... 95a09

3. prometheus VS ES 全家监控和日志分析的巅峰对决（需要梯子）
https://medium.com/cloud-nativ ... 791cd

编辑：斯蒂文
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili

1. Elasticsearch 8.X 如何生成 TB 级的测试数据
   https://mp.weixin.qq.com/s/_WSMVB6fj8-89nRbBb8ELw
2. Elasticsearch高性能优化实践
   https://blog.csdn.net/fanshuku ... 39803
3. ElasticSearch线程池设置以及EsRejectedExcutionException排查 
   https://blog.51cto.com/u_14014612/6004450
编辑：yuebancanghai
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

1、Elasticsearch 实现语义搜索
https://heidloff.net/article/s ... arch/

2、Elasticsearch 实现相似文档检索
https://www.prakashbhandari.co ... arch/

3、Elasticsearch 实现混合搜索
https://heidloff.net/article/h ... ctor/

编辑：铭毅天下
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili