外包加本地模型,可能很快比前沿 API 更划算

一篇测算帖提出了一个让两边都不舒服的论点:把外包团队和本地开源模型组合起来,成本可能很快低于直接采购前沿实验室的 API。

测算的逻辑

作者的账是这样算的:前沿模型的 API 价格虽然在降,但用量增长更快,代理化的工作流动辄消耗海量 token,账单水涨船高。另一边,开源模型的能力在快速逼近,跑在自购或租用的硬件上边际成本极低,配合人力成本较低地区的工程师做监督和兜底,综合单价可能反超。结论是「前沿实验室订阅」未必是企业的长期默认选项。

争议在哪里

反驳的声音主要打两个点。一是隐性成本:自托管的运维、开源模型的能力差距造成的返工,这些很难进测算表;二是质量天花板,最难的任务仍然只有头部模型做得动,省下的钱可能在关键时刻赔回去。但即便如此,这篇帖子代表的趋势是真实的:推理成本结构在松动,前沿实验室的定价权不是铁打的,企业开始认真做替代方案的功课了。

via: Hacker News