OpenSearch 3.5 FP16 向量搜索优化：从 280ms 到 91ms 的技术突破

向量搜索的性能优化正在进入一个新的阶段。

OpenSearch 3.5 发布了一项令人瞩目的性能提升：通过 Bulk SIMD 技术，FP16 向量搜索的吞吐量提升了 310%，p99 延迟降至 91ms。这不仅仅是数字游戏，背后反映的是向量数据库在工程实现上的深层思考。

FP16 的困境：精度与性能的权衡

在向量检索场景中，FP16（半精度浮点数）是一个极具吸引力的选择：

• 内存占用减半：相比 FP32，FP16 向量只需要一半的存储空间
• 带宽需求降低：同样的内存带宽可以传输更多向量
• 精度损失可控：对于 Embedding 向量，FP16 的精度通常足够

但理想很丰满，现实很骨感。OpenSearch 3.1 引入内存优化搜索时，FP16 却成了性能瓶颈——搜索速度比 FP32 慢了近一倍。

问题出在哪里？

JVM 的先天不足

OpenSearch 基于 Java 生态，而 JVM 对 FP16 的支持存在一个根本性问题：没有原生 FP16 类型。

这意味着：

1. FP16 向量必须先转换为 FP32 才能进行计算
2. 转换过程是纯软件实现，无法利用 CPU 的硬件加速
3. 每次距离计算都要重复这个转换，成为性能瓶颈

对于高维向量（如 768 维或 1536 维），这个开销被放大到极致。

SIMD：向量化计算的救星

OpenSearch 3.4 开始引入 SIMD（Single Instruction Multiple Data）优化，将距离计算委托给 C++ 层的 SIMD 实现。

SIMD 的核心思想很简单：

• 一次性加载多个数据到寄存器
• 一条指令同时处理多个数据
• 充分利用现代 CPU 的并行计算能力

以 Faiss 库的 SIMD 实现为例，它可以同时处理 4 个维度的向量计算，通过循环展开技术大幅提升效率。

但这还不是最优解。

Bulk SIMD：从单次到批量

OpenSearch 3.5 的 Bulk SIMD 优化，解决了一个被忽视的问题：查询向量的重复加载。

在传统的 SIMD 实现中：

对于每个文档向量：
    加载查询向量的前 8 个维度到寄存器
    加载文档向量的前 8 个维度到寄存器
    执行 SIMD 计算
    加载查询向量的下 8 个维度...
    ...

问题很明显：查询向量的每个维度被重复加载了 N 次（N = 文档数量）。

Bulk SIMD 的改进思路是：一次性加载查询向量，批量处理多个文档向量。

加载查询向量的前 8 个维度到寄存器（一次）
对于每 4 个文档向量：
    批量加载 4 个文档向量的前 8 个维度
    执行 SIMD 计算（一次处理 4 个）
重复直到处理完所有维度

这种"查询向量复用"的策略，将内存访问模式从随机访问变为顺序访问，大幅提升了缓存命中率。

性能数据解读

OpenSearch 团队公布的性能数据值得关注：

从 280ms 到 91ms，延迟降低了 67%，这意味着：

• 同样的硬件可以支撑 3 倍的并发查询
• 或者将成本降低至原来的 1/3
• 用户体验从"可感知延迟"变为"瞬时响应"

对搜索工程的启示

OpenSearch 的优化路径给我们几个重要启示：

1. 性能优化是渐进式的

从 3.1 到 3.5，经历了三个版本的迭代优化。每个版本解决一个具体瓶颈，最终累积成质变。

2. 跨语言优化的必要性

Java 生态的便利性不应成为性能的天花板。通过 JNI 调用 C++ SIMD 代码，是 JVM 应用突破性能瓶颈的常见模式。

3. 内存访问模式比算法更重要

Bulk SIMD 的核心改进不是算法创新，而是优化了内存访问模式。在现代 CPU 架构下，缓存友好性往往比算法复杂度更影响性能。

4. 向量化是趋势

无论是 SIMD、GPU 还是专用向量处理器，向量化计算都是向量检索的必经之路。OpenSearch 的优化只是这个趋势的一个缩影。

局限与思考

Bulk SIMD 并非万能药：

• CPU 依赖：需要支持 AVX2/AVX-512 的现代 CPU
• 向量维度限制：某些优化对维度有特定要求（如 768 维）
• 实现复杂度：跨语言调用增加了维护成本

但对于大规模向量检索场景，这些代价是值得的。

未来展望

随着向量搜索成为 AI 应用的基础设施，性能优化将进入更深层次的竞争：

• 专用硬件：GPU、TPU、向量处理器的应用
• 量化技术：INT8、Binary 向量的工程化
• 索引算法：HNSW、IVF 的持续优化
• 内存架构：CXL、持久内存的利用

OpenSearch 的 FP16 优化只是这场竞赛的一个节点。对于搜索工程师而言，理解这些底层优化原理，将有助于在架构设计中做出更明智的权衡。

在 AI 时代，向量搜索的性能不再是"锦上添花"，而是决定产品体验的核心竞争力。

当延迟从 280ms 降到 91ms，用户感受到的不是数字变化，而是"流畅"与"卡顿"的本质区别。

来源: OpenSearch Blog (March 3, 2026)
标题: Accelerating FP16 vector search performance using bulk SIMD in OpenSearch 3.5
技术要点: SIMD, Bulk SIMD, FP16, 向量搜索性能优化