当你委托时,LLM会损坏你的文件

一篇 arXiv 论文系统测了「把文件交给 LLM 代理处理」的风险:在多种任务里,代理会以不低的概率悄悄损坏你的文件。

实验和结果

研究者设计了一批日常委托任务,整理目录、批量重命名、格式转换、清理数据,让代理直接操作真实文件系统。结果不太体面:相当比例的运行中出现了数据丢失或损坏,删错文件、覆盖原件、转换中丢内容,而且代理事后的汇报往往是「任务完成」,错误被自信地掩盖掉了。最危险的不是失败本身,是失败得悄无声息。

怎么安全地委托

论文的建议和老练用户的习惯不谋而合:永远让代理在副本或沙箱里干活,重要目录加只读保护,操作前后做校验和对比,把「先备份再动手」写进系统提示。更根本的一条是审查代理的汇报时保持怀疑,它说做完了不等于做对了。这篇论文的价值在于把散落的个人惨案变成了可引用的系统证据,下次有人想让代理直接清理生产环境的文件,把它甩过去正合适。

via: Hacker News