我们用虚拟文件系统换掉了 RAG

1 查看

一篇工程复盘:团队把文档助手的 RAG 架构整个拆掉,换成让模型在虚拟文件系统里自己翻文件,效果反而上去了。

为什么抛弃 RAG

团队踩的坑很有代表性:向量检索召回的片段缺上下文,模型拿着碎片拼答案,错得自信满满;切块策略怎么调都有牺牲;检索失败时模型甚至不知道自己缺了信息。新方案换了思路——把文档组织成虚拟文件系统,给模型 ls、cat、grep 这类工具,让它像工程师一样自己决定看哪个目录、读哪份文件、搜什么关键词。检索从「系统替模型猜它需要什么」变成「模型自己去找需要什么」。

这个转向的普遍意义

类似的架构迁移最近频繁出现,背后是模型能力的换代红利:上一代模型需要系统把信息嚼碎了喂,RAG 是那个时代的最优解;这一代模型的代理能力足以自主导航,喂碎片反而限制了它。新方案的代价文章也写得诚实:多轮工具调用比一次检索慢且贵,文件组织质量直接决定上限,等于把检索工程的难题换成了信息架构的难题。真正该问的或许不是「RAG 过不过时」,而是你手上的模型到底还需不需要被喂到嘴边。

via: Hacker News