倡议的理由
作者的论证分三层。隐私是第一层:发给云端模型的每段对话都经过别人的服务器,敏感场景里这是原则问题不是偏好问题。第二层是控制权:云端服务会涨价、改条款、砍模型,你的工作流建在别人随时能动的地基上。第三层是可行性:开源模型的小型化和消费级硬件的进步,已经让本地跑模型从极客行为变成普通人跳一跳够得着的事。
现实的折扣
评论区的修正意见值得一并看。本地模型和前沿模型的能力差距依然真实,复杂任务上硬用本地是跟自己过不去;硬件门槛对大多数人也没那么低,一块够用的显卡仍是几千块的投入。比较多人接受的折中是分层用法:日常的总结、改写、简单问答走本地,重活再上云端。这个方向上厂商其实跑得比舆论快,手机和电脑里的端侧模型都在加速落地,「本地优先」未必靠理念胜出,可能直接被产品默认值带成现实。
via: Hacker News