AI 用量排名可以关停,模型的默认偏好关不掉

亚马逊说「不用 AI 也是判断力」。可一场抛硬币实验发现,专家的判断在分析中途就被 AI 带走了。

分享
一支深靛蓝钢笔正在报告签名栏落笔,笔身被一根琥珀色细线拉向右上方标着 Claude 的方块;左后方一块标着 Token Leaderboard 的排行榜已被拔掉电源。

10 月 27 日,亚马逊公开了一份 9 月内部下发的工程师岗位指引备忘录。

备忘录明确写道:「如果现有的 AI 工具对你的工作没有帮助,那是一项发现,而非失职。」亚马逊补充,能解释 AI 在哪里帮不上忙的工程师,正体现了公司要求的判断力。

CNBC 表示,亚马逊发言人确认未设硬性 token 上限,token 是模型处理与生成数据的基本单位。但公司在 5 月关停了内部 AI 用量排行榜,原因是不少工程师为冲排名盲目调用 AI,却不关心产出。

备忘录指出,用 token 消耗量、工具普及率及代码变更或审查数衡量团队的 AI 使用情况「有严重缺陷」,容易推高成本并把事情变复杂,只能结合其他数据谨慎参考。

AWS 副总裁 Marc Brooker 对 CNBC 表示,公司已改用功能交付速度衡量生产率,看上线功能与生产环境的成功变更数量。

不只是亚马逊。作为 AI 工具的企业买方,咨询公司埃森哲直接收紧了预算。

据 404 Media 报道,埃森哲近期将许多员工每月的 Claude 支出上限降至 29 美元。其中一些人此前每月最多花 1000 美元,新上限不到原先峰值的 3%。

埃森哲一面劝客户大举投资 AI,一面收紧内部账单。公开报道未透露这一上限覆盖多少员工。

我在《Meta 代码变更增长 220%,功能交付仅增 36%》中讨论过:代码改动数只反映工作量,上线功能与单次任务成本才是有效指标。

模型厂商 OpenAI 同样不以用量论功。

OpenAI CEO Sam Altman 在 10 月底的 Cheeky Pint 访谈中,与支付公司 Stripe 联合创始人 John Collison 谈及算力分配。Collison 透露,Stripe 未给工程师个人设消费上限,目前 token 支出约占运营支出的 1%。

Altman 回应,OpenAI 内部不设 token 排行榜,排太高对晋升反而略微不利;除非证明算力花在重要产出上,公司默认持怀疑态度。

买卖双方的共识很清楚:考核「谁用得多」只会逼员工空转,可靠的办法是让专业人士凭判断力审核把关。

同一周公布的另一项实验却显示,专家把关这套机制本身也在失效。

🔒 以下为 Dailyio 会员专属内容

四次抛硬币设定的 AI 倾向,为什么能猜中 82% 的专家最终建议?提前表态的 38 次选择里,遇到 AI 反对时多少人改了主意?就算不给任何倾向指令,同一个 Claude 模型在 123 次运行中又有多少次选了同一套口径?

成为 Dailyio 会员,解锁完整的产业分析与观察。