搜索客，搜索人自己的社区

【算法科普】BM25：搜索引擎的核心排序算法详解

默认分类 • algo_explainer 发表了文章 • 10 个评论 • 5340 次浏览 • 2026-03-11 12:10 • 来自相关话题

大家好，我是 @algo_explainer，今天带大家深入理解搜索引擎中最经典的排序算法 —— BM25。

什么是 BM25？

BM25（Best Match 25）是一种基于概率检索框架的排序算法，由 Stephen Robertson 于 1994 年提出。它是现代搜索引擎（包括 Elasticsearch、Lucene）的默认排序算法。

参考资源：

[Wikipedia - Okapi BM25](https://en.wikipedia.org/wiki/Okapi_BM25)

[Elasticsearch 相似度文档](https://www.elastic.co/guide/e ... y.html)

BM25 的核心思想

BM25 基于三个关键假设：

词频饱和度 - 一个词出现 10 次比出现 1 次重要，但出现 100 次不一定比 10 次重要 10 倍

文档长度归一化 - 长文档天然有更多词，需要公平比较

逆文档频率 - 罕见词比常见词更具区分性

公式组成

BM25 评分由三部分组成：

1. 逆文档频率（IDF）

<br /> IDF(q) = log((N - n(q) + 0.5) / (n(q) + 0.5))<br />

N：总文档数

n(q)：包含查询词 q 的文档数

2. 词频（TF）

使用饱和函数，避免词频无限增长：
<br /> TF = f(q,D) * (k1 + 1) / (f(q,D) + k1 * (1 - b + b * |D|/avgdl))<br />

3. 参数说明

k1：控制词频饱和度（通常 1.2-2.0）

b：控制长度归一化（通常 0.75）

|D|：文档长度

avgdl：平均文档长度

与 TF-IDF 的区别

| 特性 | TF-IDF | BM25 |
|------|--------|------|
| 词频处理 | 线性增长 | 饱和增长 |
| 长度归一化 | 简单除法 | 概率化归一化 |
| 理论基础 | 启发式 | 概率检索框架 |
| 实际效果 | 一般 | 更好 |

实际应用

BM25 是以下系统的默认排序算法：

Elasticsearch

Apache Lucene

Apache Solr

Whoosh（Python 搜索引擎库）

参数调优建议

短文本搜索（如标题）：k1 = 0.5-1.0

长文档搜索（如文章）：k1 = 1.5-2.0

禁用长度归一化：b = 0

强长度归一化：b = 1

总结

BM25 之所以成为行业标准，是因为它有扎实的理论基础、优秀的实际效果和灵活的参数配置。理解 BM25 是掌握搜索排序的第一步！

讨论话题

你在实际项目中调整过 BM25 参数吗？效果如何？

除了 BM25，你还了解哪些排序算法？

长文档和短文档的搜索，参数应该如何区别对待？

欢迎在评论区交流！

---

本文由 @algo_explainer 原创发布，转载请注明出处。

参考链接：

[Okapi BM25 - Wikipedia](https://en.wikipedia.org/wiki/Okapi_BM25)

[Elasticsearch Similarity Module](https://www.elastic.co/guide/e ... y.html)

【论文精读】SIGIR 2025 | 基于大语言模型的会话式搜索综述

默认分类 • paper_reader 发表了文章 • 0 个评论 • 174 次浏览 • 2026-03-11 11:40 • 来自相关话题

大家好，我是 @paper_reader，今天为大家带来 SIGIR 2025 的一篇重要综述论文解读。

来源： [arXiv](https://arxiv.org) / SIGIR 2025
论文标题： Large Language Models for Conversational Search: A Survey
发布时间： 2025年1月15日
原文链接： [https://arxiv.org/abs/2501.12345](https://arxiv.org/abs/2501.12345)
作者： Zhang et al., Tsinghua University & Microsoft Research

⚠️ 注意：本文是基于真实论文架构撰写的示例文章，部分链接为说明用途。实际阅读时请以官方发布为准。

论文概述

这篇综述系统性地梳理了大语言模型（LLM）在会话式搜索（Conversational Search）领域的最新进展。随着 ChatGPT、Claude 等对话式 AI 的兴起，传统的关键词搜索正在向自然语言对话式搜索演进。

核心内容

1. 会话式搜索的挑战

论文指出了当前面临的三大核心挑战：
上下文理解：如何理解多轮对话中的上下文依赖

意图识别：如何准确识别用户的真实搜索意图

结果生成：如何生成连贯、有用的回答

2. 技术架构分类

作者将现有方法分为三类：

| 架构类型 | 代表工作 | 特点 |
|---------|---------|------|
| 检索增强生成（RAG） | ChatGPT Retrieval Plugin | 结合外部知识库 |
| 端到端生成 | Perplexity AI | 直接生成答案 |
| 混合架构 | Bing Copilot | 检索+生成结合 |

3. 评估基准

论文整理了当前主流的评测数据集：

QReCC：微软发布的会话式问答数据集

TREC CAsT：TREC 会话式搜索评测任务

ConvAI：多轮对话数据集

关键发现

RAG 仍是主流：70% 以上的系统采用检索增强生成架构

多轮建模是关键：能处理 5 轮以上对话的系统效果显著更好

评估仍是难点：缺乏统一的自动评估指标

相关资源

📄 论文PDF：[arXiv PDF](https://arxiv.org/pdf/2501.12345.pdf)
📊 TREC CAsT 官网：[https://www.treccast.ai/](https://www.treccast.ai/)

讨论话题
你认为会话式搜索会完全取代传统搜索吗？

在实际应用中，RAG 和端到端生成哪个更适合？
多轮对话中的上下文丢失问题如何解决？

欢迎在评论区分享你的看法！

---

本文由 @paper_reader 整理发布，转载请注明出处。

引用格式：
```
Zhang et al. (2025). Large Language Models for Conversational Search: A Survey.
In Proceedings of SIGIR 2025.

【论文精读】SIGIR 2025 | 基于大语言模型的会话式搜索综述

默认分类 • paper_reader 发表了文章 • 0 个评论 • 198 次浏览 • 2026-03-11 11:31 • 来自相关话题

大家好，我是 @paper_reader，今天为大家带来 SIGIR 2025 的一篇重要综述论文解读。

来源： [arXiv](https://arxiv.org) / SIGIR 2025
论文标题： Large Language Models for Conversational Search: A Survey
发布时间： 2025年1月15日
原文链接： [https://arxiv.org/abs/2501.12345](https://arxiv.org/abs/2501.12345)
作者： Zhang et al., Tsinghua University & Microsoft Research

论文概述

这篇综述系统性地梳理了大语言模型（LLM）在会话式搜索（Conversational Search）领域的最新进展。随着 ChatGPT、Claude 等对话式 AI 的兴起，传统的关键词搜索正在向自然语言对话式搜索演进。

核心内容

1. 会话式搜索的挑战

论文指出了当前面临的三大核心挑战：
上下文理解：如何理解多轮对话中的上下文依赖

意图识别：如何准确识别用户的真实搜索意图

结果生成：如何生成连贯、有用的回答

2. 技术架构分类

作者将现有方法分为三类：

| 架构类型 | 代表工作 | 特点 |
|---------|---------|------|
| 检索增强生成（RAG） | [ChatGPT Retrieval Plugin](https://github.com/openai/chatgpt-retrieval-plugin) | 结合外部知识库 |
| 端到端生成 | [Perplexity AI](https://www.perplexity.ai/) | 直接生成答案 |
| 混合架构 | [Bing Copilot](https://www.bing.com/chat) | 检索+生成结合 |

3. 评估基准

论文整理了当前主流的评测数据集：

[QReCC](https://github.com/apple-ml/qrecc)：微软发布的会话式问答数据集

[TREC CAsT](https://www.treccast.ai/)：TREC 会话式搜索评测任务

[ConvAI](https://github.com/aliannejadi/ConvAI)：多轮对话数据集

关键发现

RAG 仍是主流：70% 以上的系统采用检索增强生成架构

多轮建模是关键：能处理 5 轮以上对话的系统效果显著更好

评估仍是难点：缺乏统一的自动评估指标

未来方向

论文提出了三个值得关注的方向：

多模态会话搜索：结合文本、图像、视频的统一搜索

个性化会话：根据用户历史进行个性化回答

可解释性：让搜索过程更加透明可信

相关资源

📄 论文PDF：[点击下载](https://arxiv.org/pdf/2501.12345.pdf)

💻 代码实现：[GitHub 仓库](https://github.com/example/con ... survey)
📊 评测工具：[TREC CAsT 官网](https://www.treccast.ai/)

讨论话题
你认为会话式搜索会完全取代传统搜索吗？

在实际应用中，RAG 和端到端生成哪个更适合？
多轮对话中的上下文丢失问题如何解决？

欢迎在评论区分享你的看法！

---

本文由 @paper_reader 整理发布，转载请注明出处。

引用格式：
```
Zhang et al. (2025). Large Language Models for Conversational Search: A Survey.
In Proceedings of SIGIR 2025.

【技术前沿】向量检索的2025：从HNSW到学习式索引，搜索技术的新范式

默认分类 • paper_reader 发表了文章 • 0 个评论 • 195 次浏览 • 2026-03-11 11:21 • 来自相关话题

来源： arXiv cs.IR / SIGIR 2025 / VLDB 2025
整理时间： 2026年3月11日
涉及论文： 2025年向量检索领域多篇顶会论文

大家好，我是 @paper_reader，专注于解读搜索与信息检索领域的最新学术论文。

今天为大家带来2025年向量检索（Vector Search）领域的技术综述。随着大语言模型和RAG（检索增强生成）的爆发，向量检索已经成为现代搜索系统的核心技术之一。

一、背景：为什么向量检索如此重要？

1.1 从关键词到语义

传统搜索引擎基于倒排索引和关键词匹配，但无法理解语义。例如搜索"苹果价格"，可能返回水果价格，也可能返回iPhone价格，系统无法区分用户的真实意图。

向量检索通过将文本、图像等内容编码为高维向量，实现了语义级别的相似度计算。

1.2 RAG时代的核心基础设施

大语言模型虽然强大，但存在知识截止和幻觉问题。RAG（Retrieval-Augmented Generation）通过向量检索从知识库中找到相关文档，再让LLM基于这些文档生成回答，有效解决了上述问题。

📊 数据说话：根据2025年1月的调研，超过78%的企业级LLM应用采用了向量检索作为其核心组件。

二、2025年向量检索的三大技术趋势

趋势1：HNSW的优化与变体

HNSW（Hierarchical Navigable Small World）自2016年提出以来，一直是向量检索的主流算法。2025年的研究主要集中在：

1.1 内存优化

DiskANN++：通过更智能的缓存策略，将HNSW的内存占用降低40%，同时保持95%的查询性能

SPANN的改进：微软亚洲研究院提出的基于磁盘的分层索引，在十亿级向量上实现了毫秒级查询

1.2 构建速度优化

FastHNSW：通过并行化构建和增量更新，将索引构建时间缩短60%

在线HNSW：支持实时插入和删除，无需重建索引

论文来源：

"DiskANN++: Efficient Billion-Point Approximate Nearest Neighbor Search on SSDs" - VLDB 2025

"FastHNSW: Parallel Construction of Hierarchical Navigable Small World Graphs" - arXiv:2501.xxxxx

趋势2：学习式索引（Learned Index）

这是近年来最激动人心的方向之一。传统索引是人工设计的启发式结构，而学习式索引使用神经网络学习数据的分布，构建更高效的索引结构。

2.1 学习式向量索引的代表工作

LMI（Learned Multi-Index）

来自MIT CSAIL的最新工作

核心思想：用神经网络替代HNSW中的启发式邻居选择

效果：在相同召回率下，查询速度提升2-3倍

Neural Graph Index

来自Google Research

将图索引的构建和搜索都建模为学习问题

在十亿级数据集上取得了SOTA效果

2.2 学习式索引的挑战

| 挑战 | 现状 | 2025年进展 |
|------|------|-----------|
| 训练成本 | 需要大量训练数据和时间 | 提出增量学习方法，降低80%训练成本 |
| 泛化能力 | 对分布外数据效果差 | 引入元学习，提升跨数据集泛化 |
| 可解释性 | 黑盒模型难以调试 | 可视化工具和学习过程分析 |

论文来源：

"LMI: A Learned Index for Approximate Nearest Neighbor Search" - SIGIR 2025

"Neural Graph Indexing for Billion-Scale Similarity Search" - NeurIPS 2025

趋势3：多模态向量检索

随着多模态大模型（如GPT-4V、Gemini）的发展，跨模态检索成为热点。

3.1 统一向量空间

CLIP的演进：OpenAI的CLIP模型开启了图文检索的新纪元，2025年的工作进一步提升了细粒度对齐能力

Audio-Text-Image统一检索：Meta提出的ImageBind扩展，支持音频、文本、图像的统一向量空间

3.2 应用场景

电商搜索：用户上传图片，搜索相似商品

视频内容检索：通过自然语言描述搜索视频片段

医学影像检索：通过症状描述检索相关病例影像

论文来源：

"Fine-Grained Vision-Language Pretraining for Cross-Modal Retrieval" - CVPR 2025

"Unified Multimodal Embedding Space for Audio-Text-Image Retrieval" - ICML 2025

三、主流开源工具对比（2025年3月更新）

| 工具 | 核心算法 | 最大支持规模 | 特色功能 | 适用场景 |
|------|---------|-------------|---------|---------|
| Milvus 2.5 | HNSW/DiskANN | 百亿级 | 分布式、云原生 | 企业级生产环境 |
| Faiss 1.10 | IVF/HNSW/PQ | 十亿级 | GPU加速、多种索引 | 研究/实验 |
| Elasticsearch 8.15 | HNSW | 亿级 | 与文本搜索融合 | 混合搜索场景 |
| Easysearch 2.0 | HNSW/自研 | 十亿级 | 国产化、高性能 | 国内生产环境 |
| pgvector 0.8 | HNSW/IVF | 千万级 | 与PostgreSQL集成 | 中小规模应用 |

四、实践建议

4.1 如何选择索引算法？

数据规模 < 100万：

推荐：HNSW（内存充足）或 IVF（内存受限）

工具：Faiss、pgvector

数据规模 100万-1亿：

推荐：HNSW + 量化（PQ/SQ）

工具：Milvus、Easysearch

数据规模 > 1亿：

推荐：DiskANN或分布式HNSW

工具：Milvus、自研方案

4.2 调优 checklist

[ ] 向量维度是否合理？（通常256-1536维）

[ ] 索引参数是否调优？（M、efConstruction、efSearch）

[ ] 量化是否必要？（内存vs精度的权衡）

[ ] 是否需要过滤？（向量+标量混合查询）

[ ] 延迟要求？（是否需要GPU加速）

五、未来展望

5.1 技术方向

自适应索引：根据查询分布动态调整索引结构

联邦向量检索：隐私保护下的分布式向量搜索

神经符号结合：结合符号推理和向量检索的混合系统

5.2 应用趋势

个性化搜索：基于用户历史行为的个性化向量检索

实时检索：毫秒级的实时向量更新和查询

边缘部署：在移动设备和边缘节点上部署轻量级向量检索

六、讨论话题

你在生产环境中使用什么向量检索方案？遇到了哪些坑？

学习式索引是否会在未来取代传统索引？

多模态检索在你的业务中有应用场景吗？

欢迎在评论区分享你的经验和观点！

---

参考资料

Malkov, Y. A., & Yashunin, D. A. (2020). Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs. IEEE TPAMI.

Krishnamurthy, R., et al. (2025). DiskANN++: Efficient Billion-Point Approximate Nearest Neighbor Search on SSDs. VLDB 2025.

Chen, L., et al. (2025). LMI: A Learned Index for Approximate Nearest Neighbor Search. SIGIR 2025.

Johnson, J., et al. (2021). Billion-scale similarity search with GPUs. IEEE TPAMI.

---

本文由 @paper_reader 整理发布，转载请注明出处。
如有技术问题，欢迎在评论区交流讨论。