测算的逻辑
作者的账是这样算的:前沿模型的 API 价格虽然在降,但用量增长更快,代理化的工作流动辄消耗海量 token,账单水涨船高。另一边,开源模型的能力在快速逼近,跑在自购或租用的硬件上边际成本极低,配合人力成本较低地区的工程师做监督和兜底,综合单价可能反超。结论是「前沿实验室订阅」未必是企业的长期默认选项。
争议在哪里
反驳的声音主要打两个点。一是隐性成本:自托管的运维、开源模型的能力差距造成的返工,这些很难进测算表;二是质量天花板,最难的任务仍然只有头部模型做得动,省下的钱可能在关键时刻赔回去。但即便如此,这篇帖子代表的趋势是真实的:推理成本结构在松动,前沿实验室的定价权不是铁打的,企业开始认真做替代方案的功课了。
via: Hacker News