我用一顿饭劝退了一个想开 Token 工厂的算力老板
几千张卡、开源模型、开源引擎,拼起来不就是印钞的 Token 工厂?那顿饭我给他拆了三层账:芯片一代差 10 倍,同样的硬件和模型,推理系统还能再差 10 倍,标品市场里效率差一截就是生死。再讲了 1987 年只代工不设计的台积电,和为什么需求最火的文生视频,我们碰都不碰。
AI Agent、大模型推理、Token 经济和 AI 行业的一线观察与思考
不知道看什么?从这里开始
今天去上海 AMD 开发者大会。2000 多人挤进现场,AMD 把两个开发者奖之一颁给了一个不会写代码的人,他靠 agent 把东西用 Rust 重写做出了性能优化。一年前大家还在愁需求,半年过去所有人见面第一句都是:再给我点货。
韩国总统府提议把 AI 超额收益做成全民分红那天,三星工会还在谈罢工。这件事是 AI 冲击下三道题里的中间一道。前面有一道失业题,后面还有一道更深的:工作不再定义价值之后,人靠什么继续走。
从 GitHub Copilot 到 Claude Code 走了五年。方向印证得越彻底,最早笃定方向的那批人活得越艰难。小模型、工作流、独立 IDE,一层一层被基础模型吞掉。剩下还能卖的东西其实清晰,只是不再叫软件。
几千张卡、开源模型、开源引擎,拼起来不就是印钞的 Token 工厂?那顿饭我给他拆了三层账:芯片一代差 10 倍,同样的硬件和模型,推理系统还能再差 10 倍,标品市场里效率差一截就是生死。再讲了 1987 年只代工不设计的台积电,和为什么需求最火的文生视频,我们碰都不碰。
一个我预期一夜跑完的任务,连着三天在原地打转。折腾完 harness 才发现不怪我:Codex 里的 GPT-5.5 被人扒出思考 token 恒定停在 516,平均思考长度从 268 跌到 107。同一周,Claude Code 被逆向出一段专门给中国用户打隐形标记的代码。付了顶配的钱,拿到的却是一个你完全不知道它状态的黑盒。
GPT 5.5 发布那天,一夜之间 Codex 里就能选了。这次 5.6,三档规格、benchmark 漂亮,我去切模型,下拉框却是空的——只给 20 家合作伙伴,每进一个还要美国政府审批。前阵子我还在担心最强的智能开始论钱,现在我得收回一半:钱能买到的智能,已经算是公平的智能了。
我们在推理引擎上研究三周,换来几个点的效率提升。某天早上上线,第二天它就变成了报表上的利润。这条从技术到利润的链,被 token 经济压成了史上最短的一条:智谱半年股价八倍,OpenAI 靠 GPT-5.5 把 Codex 拉到 500 万周活,MiniMax 一度超过百度又迅速回落。捧你和弃你,用的是同一种速度。
用 agent 从零做推理引擎,项目越探索越乱,模型表现肉眼可见地变差。后来每次的解法都一样:停下来重新定义目标,开新 repo 重来,同一个模型判若两人。微软模拟了 20 万场对话得出同一个结论:模型走错路,自己不会回头。
一个朋友用模型做小工具,觉得已经够牛了;任务一复杂,就开始反复被告知「我搞定了」但其实没搞定。这背后是一个正在发生的分叉:benchmark 分数挤在天花板、彼此快测不出差异,真实体感却越拉越开。会解最难的题、能可靠办成一件糙活、会探索没有标准答案的问题,正变成三种不同的能力。而最要紧的那一维,恰恰最难测、也最难练。
Opus 4.8 在研究和工程任务上连着让我失望,这些活我全转给了 GPT 5.5。但复盘下来,这不是 Claude 一家的问题。从英伟达、AMD 差点破产,到智谱掉队又翻身,顶尖模型一直在风水轮流转。别赌谁最强,赌谁还在牌桌上。
大家算 token 成本,习惯盯 TTFT、TPOT、吞吐速率。真正让账单差出 10 倍的是 KV cache 有没有命中。模型、服务端、用户三层都得对得上。
GPT-5.5、Opus 4.7 一档需求几乎无限,中等模型断档,中低端算力大量闲置。Token 经济听起来像卖电力,其实更像加油站:98 号汽油断货了,柴油桶装满了但需要自助,95 号装满了但空置。
上个月写了'无知是优势',这个月被 agent 连坑四次:性能虚高几十倍、实验机被删成砖、优化原地打转、目标太高交付不了。今天修正一下:无知让你敢试,常识让你不被骗。
新文章发布时第一时间通知你,不会发送垃圾邮件。
仅用于博客更新通知,随时可以取消订阅。