NanoVDR：将 20 亿参数视觉检索模型蒸馏为 7000 万文本编码器

视觉文档检索（Visual Document Retrieval, VDR）正在经历一场效率革命。

传统方案依赖数十亿参数的视觉-语言模型（VLM）同时处理文档索引和查询编码。这种对称设计带来了一个尴尬的现实：即使是纯文本查询，也需要加载庞大的多模态模型，推理延迟高、GPU 依赖强。

一项最新研究提出了一个反直觉的洞察：查询和文档的复杂度是不对称的。

不对称的检索场景

想象这样一个场景：

• 文档端：需要处理扫描发票、PDF 报告、手写笔记——视觉复杂度高，需要强大的视觉理解能力
• 查询端：用户输入的只是一句简短的文字描述——纯文本，没有视觉信息

既然查询没有视觉内容，为什么查询编码器也需要是视觉-语言模型？

这就是 NanoVDR 的核心假设：文档编码和查询编码可以解耦，用不同的模型处理。

NanoVDR 的解耦架构

NanoVDR 采用了一种"教师-学生"的蒸馏架构：

离线阶段（教师）：

• 使用冻结的 20 亿参数 VLM（如 Qwen2-VL）索引文档
• 生成高质量的文档向量表示
• 这是一次性的离线计算，可以承受高成本

在线阶段（学生）：

• 使用蒸馏后的纯文本编码器处理查询
• 最小仅需 6900 万参数（DistilBERT 级别）
• 在 CPU 上也能快速推理

这种架构的巧妙之处在于：它利用了查询-文档的不对称性，把计算成本从在线查询转移到了离线索引。

关键设计：蒸馏目标的选择

解耦架构的核心挑战是：如何让纯文本学生模型学会理解视觉文档的语义？

研究人员系统比较了六种蒸馏目标：

研究发现，点级余弦对齐（Pointwise Cosine Alignment） consistently 优于其他方案。它的优势在于：

1. 只需要预缓存的教师查询嵌入
2. 训练时不需要处理文档
3. 实现简单，训练成本低于 13 GPU 小时

跨语言：隐藏的性能瓶颈

研究还揭示了一个容易被忽视的问题：跨语言迁移是主要性能瓶颈。

当模型在英语数据上训练，却要在法语、德语等场景下使用时，性能会显著下降。解决方案出乎意料地简单：用机器翻译扩充训练数据。

通过添加机器翻译的查询，NanoVDR-S-Multi 在多语言场景下依然保持了 95.1% 的教师模型质量。

性能对比：小模型的大胜利

在 ViDoRe 基准测试（22 个数据集）上的结果令人印象深刻：

32 倍参数减少，50 倍延迟降低，却保持了 95% 以上的质量——这对于生产环境的视觉文档检索系统来说，是一个极具吸引力的 trade-off。

对搜索工程的启示

NanoVDR 的设计哲学对搜索系统架构有普遍借鉴意义：

1. 识别不对称性

不是所有检索场景都需要对称的编码器。分析查询和文档的特点，识别可以解耦的环节。

2. 离线重、在线轻

把计算密集型工作移到离线阶段，在线阶段只保留轻量推理。这是降低服务成本的经典策略。

3. 蒸馏目标的选择至关重要

同样的教师模型，不同的蒸馏目标，效果可能天差地别。系统性的对比实验是必要的。

4. 跨语言不是后期补丁

多语言能力应该在设计初期就考虑，通过数据增强来解决，而不是依赖模型的"零样本"能力。

局限与思考

NanoVDR 的方案也有其适用边界：

• 查询必须是纯文本：如果查询包含图像（如"找和这个类似的文档"），纯文本编码器就无能为力了
• 依赖教师模型质量：蒸馏的效果上限是教师模型的能力
• 领域适应性：在特定垂直领域（如医疗、法律文档），可能需要额外的领域适应

但对于企业文档检索、发票处理、表单搜索等以文本查询为主的场景，NanoVDR 提供了一个极具性价比的解决方案。

在 AI 检索系统的工程实践中，最大的优化机会往往藏在"理所当然"的架构假设里。

当我们质疑"查询和文档必须用同样的编码器"这一默认选择时，效率提升的空间就显现了。

论文: arXiv:2603.12824
标题: Distilling a 2B Vision-Language Retriever into a 70M Text-Only Encoder for Visual Document Retrieval
作者: Zhuchenyang Liu 等