我们用虚拟文件系统换掉了 RAG

一篇工程复盘:团队把文档助手的 RAG 架构整个拆掉,换成让模型在虚拟文件系统里自己翻文件,效果反而上去了。

为什么抛弃 RAG

团队踩过的坑很有代表性:向量检索召回的片段缺上下文,模型拿着碎片拼答案,错得自信满满;切块策略怎么调都有牺牲;检索失败时模型甚至不知道自己缺信息。新方案换了思路:把文档组织成虚拟文件系统,给模型 ls、cat、grep 这类工具,让它像工程师一样自己决定看哪个目录、读哪份文件、搜什么关键词。检索从「系统替模型猜需要什么」变成「模型自己找需要什么」。

这个转向的普遍意义

类似的架构迁移最近频繁出现,背后是模型能力的换代红利:上一代模型需要系统把信息嚼碎了喂,RAG 是那个时代的最优解;这一代模型的代理能力足以自主导航,喂碎片反而限制了它。当然,新方案的代价也写得很诚实:多轮工具调用比一次检索慢且贵,文件组织质量直接决定上限,等于把检索工程的难题换成了信息架构的难题。值得收藏的是文末那句判断:别问 RAG 死没死,问你的模型还需不需要被喂饭。

via: Hacker News