ES向量查询对于内存的依赖非常严重,只要有磁盘IO,性能骤降,有没有大佬有过海量向量数据的调优实践;
384维的向量数据,3亿左右大概1T(包括副本),已经设置不存储source。
痛点:全部数据都缓存到内存,成本非常高,直接使用磁盘IO(SSD)性能骤降,无法满足需求;
(使用内存缓存:300ms左右,使用磁盘IO:15s+,甚至30s+)
是否有大佬有过这方面的调优;
384维的向量数据,3亿左右大概1T(包括副本),已经设置不存储source。
痛点:全部数据都缓存到内存,成本非常高,直接使用磁盘IO(SSD)性能骤降,无法满足需求;
(使用内存缓存:300ms左右,使用磁盘IO:15s+,甚至30s+)
是否有大佬有过这方面的调优;
2 个回复
Charele - Cisco4321
赞同来自:
快慢,跟数据量和查询的复杂度有关吧,贴出大概地DSL形式
另外,“全部数据都缓存到内存”,你是通过何种方式做的?
hapjin
赞同来自: