跳转到主内容
guanjiawei.ai
博客
AI大模型私有化部署开源思考

我花顶配的钱，买了个偷偷变笨还给我打暗记的模型

一个我预期一夜跑完的任务，连着三天在原地打转。折腾完 harness 才发现不怪我：Codex 里的 GPT-5.5 被人扒出思考 token 恒定停在 516，平均思考长度从 268 跌到 107。同一周，Claude Code 被逆向出一段专门给中国用户打隐形标记的代码。付了顶配的钱，拿到的却是一个你完全不知道它状态的黑盒。

关嘉伟关嘉伟13 分钟阅读
分享:

那天晚上我给 Codex 挂了个任务就去睡了。

这是我最近几个月养成的习惯。一个规模不小的重构，白天拆好、写清楚 AGENTS.md，晚上让它自己跑，第二天早上来收。这套流程我跑熟了，对它的能力有一套经验式的预期，大概几个小时能到什么程度，哪一步会卡，心里都有数。无人值守跑一整夜，交给 Codex 我是放心的。

结果那天早上，进度条卡在一个特别浅的地方。

我先怀疑是自己的问题。是不是 AGENTS.md 写得不够清楚，是不是文档结构没理顺，是不是哪个工具没配好。于是我开始折腾 harness，调提示词，改目录结构，拆任务粒度。折腾了整整两天，那种在原地打转的感觉一点没变。它总是在一些莫名其妙的地方绕圈子，绕到一半还很自信地告诉我做完了。

第三天我实在忍不住，在群里跟同事吐槽。话还没说完，好几个人同时冒出来：codex最近模型降智了，最近降得特别厉害，跟刚发布那会儿完全不是一个东西。

那一刻我有点哭笑不得。我折腾了三天的 harness，问题根本不在我这。

一个恒定的数字：516

我不甘心停在"大家都说降智"这种体感上。体感这东西不可证伪，今天状态不好也能怪到降智头上。我想找到点硬的。

翻社区的时候，我看到有人已经把这事扒到了底。

有个人干了件很硬核的事。他没去发牢骚，而是把自己本地 ~/.codex 目录下所有的会话日志翻了出来，从 2 月 1 号到 6 月 27 号，390,195 条响应记录，865 个会话，全都带着每一轮的 token_count 元数据。他把这些数据做了个统计，然后发现了一件很不对劲的事。

有 3363 次，模型的思考 token 数恰好是 516。

一个也不多，一个也不少，就是 516。

单看这个数字没什么，可怕的是它的分布。GPT-5.5 只占全部响应的 19.3%，却贡献了所有"恰好 516"事件的 82.0%。再往细看，GPT-5.5 里有 44% 的响应，思考 token 恰好等于或卡在 516 这条线上，而其他模型这个比例只有 1.3%。更要命的是月度演变：这个"恰好 516"的比例，5 月还只有 0.11%，到 6 月冲到了 53.30%。与此同时，GPT-5.5 的平均思考 token 数，从 5 月的 268 一路跌到 6 月的 107。

如果你把所有响应的 token 数画成直方图，会看到一排诡异的梳齿：516、1034、1552，每一根都精确地隔着 518。这不是一个正常模型该有的样子。一个模型面对难易不同的问题，思考的长度本该是连续分布的，简单问题想得短，难问题想得长。而这排梳齿说明，有什么东西在某个固定的位置，把它的思考一刀切断了。

它不是变笨了，是不让自己想完

这就对上了我这三天的体感。

之前用 Codex，它有时候会想很久，反应有点墨迹，你能感觉到它在"憋"。最近这段，它反馈快得反常，频率还特别一致，每次都是那种想了大概三十秒就给你答案的节奏。我原本还以为是优化了推理速度，现在回头看，它根本不是想得快，是没想完就被掐了。

那根 516 的梳齿，就是掐断的位置。

社区里比较主流的猜测，指向 GPT-5.5 在 Codex 里的 system prompt。它末尾有一段叫 ## Intermediary updates 的指令，让模型在干活的过程中往你的进度栏里播报进展。有人推测，就是这段指令让模型把"中间播报"和"最终答案"这两件事搞混了，思考还没结束，它就急着切去输出那句给你看的进度，于是整个推理链在 516 这个缓冲区边界上草草收尾。有人甚至把 516 拆开算给你看：512 字节的初始缓冲区，加 4 字节的头，正好 516，之后每次加 518。

我不打算断言这个技术解释一定对。但有一个由此推出来的修复手法，我亲自试了，是真有用。

一句话，智力回来一半

那个修复手法简单到离谱。你在 AGENTS.md 里加一句话：

Spend time on thinking; you do not need to use
the commentary channel to report progress to me.

翻译过来就是：好好花时间思考，你不需要用 commentary 频道向我播报进度。意思是别惦记着往进度栏里发那些"我正在读取文件""我准备开始改了"的话了，把那点力气用来把问题想完。

我加上这句，跑了几天。之前那几个死活推不动的项目，明显开始有实质进展了。不是玄学般的感觉变好了，是那种原本卡死、现在能往前走的确定性变化。社区里也有人说这句效果有限，更彻底的做法是直接把 system prompt 里整段 ## Intermediary updates 删掉，据说能稳定消除 516 的行为。

但你有没有意识到这里面透着一股荒诞。

我付的是 GPT-5.5 xhigh——最高档推理预算的钱。我预期拿到的，是一个会为难题深度思考的顶配模型。结果我得像哄小孩一样，在配置文件里写一句"求你了好好想别急着汇报"，才能把它本该有的智力哄回来一部分。这不是钱的问题。同样的成本，同样的模型名字，我要的是那份稳定的、可预期的能力。而现在，某一次我看不见的全球更新，就能让它悄没声地缩水，还不告诉我。

最讽刺的是官方的态度。那个最早报告 516 现象的 issue，开了 23 分钟就被以 not_planned 关掉了。后来那个附了完整数据统计的主 issue，一百多条评论，没有一个 OpenAI 的人回复。这事最后是被顶到 Hacker News 首页，才算有了点动静。

黑盒里能藏的，远不止降智

如果说 Codex 这事还能勉强解释成"某个优化搞砸了、无心之失"，那同一周 Claude Code 被扒出来的东西，就没法用无心来解释了。

有人逆向了 Claude Code 的安装包，一个 Anthropic 官方签名、被最小化压缩过的 JS bundle。在里面挖出了一段专门用来给特定用户打隐形标记的代码。

它的触发条件很刁钻：只有当你设置了 ANTHROPIC_BASE_URL、把请求指向一个非官方的第三方中转时，这段逻辑才会激活。官方直连的用户，它直接跳过。换句话说，它盯的就是那些走代理、走中转的人，而在中国用 Claude Code，基本都是这个路子。

激活之后，它做三件事的检测。先看你的系统时区是不是 Asia/Shanghai 或 Asia/Urumqi；再看你连的那个代理域名，是不是命中了一份藏起来的名单，大约 147 条，里面有 .cn 域名、baidu.com、alibaba-inc.com、bytedance.net，还有一大堆 Claude 中转站的地址；最后看域名里有没有 AI 实验室的关键词，deepseek、moonshot、minimax、zhipu 这些赫然在列。

检测到了，它怎么标记你？这是我觉得最阴的地方。

它会去改发给 Anthropic 服务器的那句系统上下文，就是那句平平无奇的 "Today's date is 2026-06-30."。如果你的时区命中了中国，它把日期里的分隔符 - 全换成 /，2026-06-30 变成 2026/06/30。如果你的代理域名命中了名单，它把 "Today's" 里那个撇号换成视觉上几乎全同的 Unicode 替身：正常的撇号是 '（U+0027），命中域名名单换成 '（U+2019），命中实验室关键词换成 ʼ（U+02BC），两个都命中再换一个 ʹ（U+02B9）。

你把这两句话摆在一起，人眼是看不出任何区别的。' 和 '，你能一眼分清吗？但机器一读一个准。服务器那端拿到请求，扫一眼这个撇号是哪个码位、日期用的什么分隔符，就能把你精准地分类归档：中国时区的用户，走的是某个中转，背后可能是某家实验室。

为了不被人发现，那两份检测名单还不是明文存的。它们先用 base64 编码，再用一个 XOR key（值是 91）异或加密，专门防你用 strings 命令直接把名单 dump 出来。

这已经不是"收集数据"了。这是我要收集本不该收集的信息，我还要费尽心思把这个意图藏起来，让你在做任何审计和排查的时候，尽量看不出我在干什么。这就是间谍软件的标准操作。

事后的处理，更值得玩味

这段代码是 2026 年 4 月 2 号，随 Claude Code v2.1.91 静默上线的，release notes 里一个字没提。6 月 30 号被 Reddit 用户和一个独立开发者同时挖出来，捅上了 Hacker News。

Anthropic 的反应倒是快。他们 Claude Code 团队的工程师在 X 上公开承认了这事，说这是他们 3 月启动的一个实验，目的是防止未授权的转售商滥用账户、防止模型蒸馏。第二天，v2.1.197 就把这段代码移除了。

听起来像是知错能改。但你细看时间线：静默上线，刻意混淆，被扒出来才承认，移除的那个版本 changelog 里依然只字不提。整个过程里，只有"被抓到"那一下是他们没法控制的，其余每一步都是精心设计的，藏进去、加密名单、悄悄删掉。

我完全能理解他们防蒸馏、防盗用的商业诉求。但当一家公司决定用这种手段去实现它，按国籍、按基础设施给用户打上机器可读的暗记，它透支的是所有人对这类云服务的信任。今天它为了防蒸馏这么干，明天它为了别的什么理由，会不会用同样的手法干别的？你不知道。因为它藏得足够好，你根本没法验证。事情的后续是，7 月 5 号有报道说阿里内部已经全面禁用 Claude Code，让员工切回自家工具。

玩宝可梦的人，在为无人机导航攒地图

数据被拿去做你想不到的事，AI 圈也不是头一个。

你大概还记得宝可梦 GO。那个满大街抓精灵的 AR 手游，全球玩了好几年。前段时间被荷兰媒体挖出来一条线：玩家们在游戏里到处扫描现实世界攒下来的数据，最后流向了军用无人机的导航技术。

这事的来龙去脉，比"卖数据"要精妙，也更值得警惕。

先说清楚一个常见的误解：没有任何证据表明有人把原始的地图数据打包卖给了军方。真实的链条是这样的。宝可梦 GO 从 2021 年起，用游戏奖励诱导玩家绕着一个个地标拍摄扫描。这些行人视角的街景照片，被拿去做摄影测量，生成厘米级精度的三维点云地图。这是卫星和街景车都拍不到的角度：贴着地面，走在人走的路上。Niantic 把这些扫描喂给了一个叫 Large Geospatial Model 的大模型，你可以把它理解成空间世界的 GPT，把几十亿张带精确位置的照片，压缩成对物理空间的"理解"。

2025 年底，Niantic 分拆出的空间业务公司，跟一家叫 Vantor 的公司公开宣布了合作。Vantor 的前身是 Maxar——美国国家地理空间情报局的主力承包商。他们要一起做的，是 GPS 拒止环境下的导航定位。在卫星信号被电子战干扰、压制的战场上，让无人机靠机载摄像头实时比对预建的高精三维地图，来维持自己的定位。乌克兰战场已经反复证明，GNSS 信号在现代战争里脆弱得不堪一击，视觉导航成了刚需。联合测试的数据是：定位误差最多降低 70%，精度约 1.5 米。

争议的核心，恰恰在这个最微妙的地方：流向军方的从来不是数据本身，是用这些数据训练出来的模型能力。Niantic 和 Vantor 都否认原始的宝可梦 GO 扫描交给了对方。但 Niantic 承认，玩家的扫描确实训练过它这套基础模型的早期版本。原始数据可以一直锁在自己手里从不转手，可训练出的模型权重里，已经把那份能力刻进去了，它带着这份能力，去了它该去或不该去的地方。

顺带一提，这家公司的血统本身就意味深长。Niantic 的创始人 John Hanke，2001 年搞过一家叫 Keyhole 的公司，2003 年拿过 CIA 的风投 In-Q-Tel 的钱（这笔钱主要来自国家地理空间情报局的前身），后来 Keyhole 被谷歌收购，变成了 Google Earth。而这次合作的 Vantor，也是同一个情报局的承包商。兜兜转转二十年，两条线在 2025 年又交汇到了一起。

我讲这个故事，不是要跑题去聊军事。是因为它和前面两件事，讲的是同一个道理：当你把数据、把计算、把你依赖的能力，交到一个你看不透的黑盒里，你就失去了对它去向的所有控制权。你以为你在抓精灵，其实你在给无人机测绘战场。你以为你在用一个顶配模型写代码，其实它在偷偷缩短思考、给你打暗记。

这些事，正在给私有化部署递上一把刀

把这几件事连起来看，我越来越确信一个判断：重要的智能化业务，会开始系统性地从公有云闭源模型，往开放权重加自有部署的方向迁。

不是因为情怀，是因为账算得过来了。

先说痛点这一侧，它已经不是我一个人的体感。Anthropic 自己在 2025 年 9 月发过一份 postmortem，白纸黑字承认：8 月到 9 月初，三个基础设施层面的 bug，让 Claude 的输出质量间歇性劣化了数周。这是官方盖章的黑盒静默降智。再加上模型的强制退役，Claude Opus 3 在 2026 年 1 月正式下线，OpenAI 那边的模型退役通知常常只给三个月缓冲。你辛辛苦苦在某个模型上调好的整套工作流、自动化管线，人家一纸公告就让你推倒重来。

对我一个人的工作流来说，降智是耽误几天。放到公司级别、放到已经搭好的任务流和自动化上，一次静默的降智或换代，就是整条业务线的震荡。企业要的从来不是永远用上最顶尖的那个模型，要的是稳定、可预期、不断层。哪怕慢一档、弱一档，只要它的行为是稳定的、升级是我自己控制节奏的、推理过程是我能审计的白盒，对很多业务来说，这比多那几个百分点的跑分重要得多。

再说供给这一侧，天平也在变。开源权重模型追得非常快。Epoch AI 的测算是，从 2026 年 1 月起，最强的开源权重模型平均只落后前沿闭源模型 4 个月，而这个差距在 2024 年还是差不多一年。"自己部署就得忍受代差"这个前提，正在快速失效。

美国那边其实已经跑出了成熟的模式。有一类叫 Baseten 的公司，核心卖点就是帮你把开放权重模型部署在单租户的专属环境、甚至你自己的服务器里，数据驻留、区域锁定、合规资质一应俱全。这家公司 16 个月里估值翻了 15 倍，从 8 亿多美元一路涨到 130 亿。资本用脚投票，投的就是"企业需要一个能自己掌控的推理层"这个判断。同类的 Together、Fireworks，口号一个比一个直白，Fireworks 干脆就叫"帮企业拥有自己的 AI"。

国内的节奏更猛，因为叠加了一层数据主权的焦虑。2025 年初 DeepSeek 出来之后，政务云、大三甲医院、央国企掀起了一波本地化部署的浪潮，有统计说 2025 年内 420 多家医疗机构自主部署了 DeepSeek。一体机市场跟着爆发，券商测算 2025 到 2027 年的市场空间，从一千两百多亿一路看到五千两百亿。华为、浪潮、联想、深信服、三大运营商全挤了进来。

一个诚实的反证

我得说句公道话，别把话说得太满。

至少到 2025 年底，现状和这个趋势是相反的。Menlo Ventures 的企业调研显示，闭源模型仍然占企业 token 用量的约 88%，开源的份额甚至从 18% 掉到了 12%。绝大多数企业还是选择买而不是自建。

这个反差不难理解。自建推理基础设施，是真的有成本、有门槛的，要卡，要人，要运维，要把整套 serving 优化调到能用。今天大多数企业还没到那个临界点：闭源云虽然是黑盒，但便宜、省心、开箱即用，为了这份方便，很多人愿意暂时忍受它的不透明。

但趋势和现状本来就不是一回事。我说的是那根杠杆正在往哪个方向压。降智、隐写标记、静默换代、说停就停，这些黑盒的代价，正在一件一件清清楚楚地摆到台面上；同一时间，开源模型在逼近，部署成本在下降，Baseten 们把私有化的工程门槛一点点铲平。这两条曲线一定会在某个点交叉。对那些把智能当成核心业务命脉的公司来说，交叉点只会来得更早。

值得企业家朋友们认真思考的点

回到那个卡住的早晨。

我折腾了三天 harness，以为是自己笨。后来才明白，我不是在跟一个我以为的顶配模型协作，我是在跟一个我完全不知道其真实状态的黑盒对赌。它可能昨天还好好的，今天就被一次我看不见的更新掐短了思考；它可能一边给我写代码，一边在发出去的请求里给我打上暗记。

黑盒最深的问题，不是它某一次变笨了，也不是它某一次动了坏心思，是你根本没有能力知道它此刻是什么状态。你付了顶配的钱，赌的却是对方的良心和运维水平。

对冲这种不确定性的，从来不是换一家更良心的云。是把你最要紧的那部分智能攥回自己手里，用能自己审计的白盒，用能自己控制节奏的部署，哪怕它慢一点、笨一点。

慢一点、笨一点，但它是你的，它的状态由你说了算。在一个连思考长度都能被人偷偷改掉的时代，这一点正在变得比什么都金贵。

参考资料

Codex / GPT-5.5 的 516 现象

Claude Code 的隐写标记

Fable 5 的静默降级机制

宝可梦 GO 与军用导航

私有化部署与开源趋势

推荐阅读

订阅博客更新

新文章发布时第一时间通知你，不会发送垃圾邮件。

仅用于博客更新通知，随时可以取消订阅。

评论

或匿名评论
0/2000