被考核逼出来的「刷 token」:亚马逊员工的应对

报道称亚马逊内部把 AI 工具使用量当成考核信号,员工于是发明了「tokenmaxxing」:想方设法刷高用量,不管有没有用。

刷量是怎么发生的

逻辑链条堪称管理学反面教材:公司想推动 AI 落地,需要可量化的指标,于是盯上了最容易统计的「使用量」;用量进了考核,员工的理性反应就是刷,让 AI 总结根本不用看的文档、把一句话能写完的代码拆给代理慢慢生成。token 消耗上去了,仪表盘漂亮了,真实生产力原地不动,还白白多烧了算力账单。

古德哈特定律又赢了

「指标一旦成为目标,就不再是好指标」,这条定律在 AI 推广上的应验来得又快又典型。讨论区里不少其他大厂员工认领了同款现象,说明这不是亚马逊独有,而是所有用仪表盘管理 AI 转型的组织的通病。真正有效的度量应该盯结果而不是动作:缺陷率、交付周期、返工量。但结果指标慢、难归因,管理层等不及,于是继续数 token。这场闹剧最大的成本可能是员工对「AI 转型」这四个字残存的信任。

via: Hacker News