草稿 · 人类 · 修订稿

模型什么时候能把今天发生的事情,写回它自己的权重里

我只关心一件事,其他关于 AI 的展望在我看来都是拖延时间。

配图取自 Wikimedia Commons(公有领域 / CC 授权),逐张署名见文末。

多层神经网络示意图:输入层、隐藏层、输出层之间由带权重的连线相连
争论的对象,是这些线。不是提示词,不是检索库,是层与层之间那一组权重——今天发生的事情能不能落到这里,是本文唯一关心的问题。 Multi-Layer Neural Network-Vector.svg · Offnfopt · Public domain

我只关心一件事,其他关于 AI 的展望在我看来都是拖延时间。这件事是:模型什么时候能把今天发生的事情,写回它自己的权重里。

不是上下文窗口。上下文从 8k 涨到一百万,所有人鼓掌,我当时就觉得这是在绕开真问题——上下文是短期记忆,贵、易失、对话一结束就清零,你把一百万 token 塞进去,它也只是在这一轮里假装认识你。也不是 RAG。RAG 是把记忆外包出去,交给一个连你说话的重点在哪都不知道的检索器,然后你祈祷它捞对了。这两条路是同一个动作的两种写法:回避「学习」这个词。

艾宾浩斯遗忘曲线:记忆保留率随时间急剧下降,复习后曲线被重新抬高
上下文窗口的形状。红线是不复习的遗忘,绿线是每次复习把记忆重新抬起来。上下文做的是绿线里的每一次抬手——代价高、必须重来、抬完就掉。它从来没有改变过那条线本身。 ForgettingCurve.svg · Icez · Public domain
图书馆木质卡片目录柜的抽屉正面,每个抽屉上有铜制标签框
RAG 的样子。记忆被搬到脑子外面,锁进一排抽屉,由一个不认识你的人负责拉开哪一格。抽屉里的东西可能是对的,但那不是「你记得」。 Wooden Card Catalog Furniture.jpg · MarkBuckawicki · CC0

现在的模型不学习。它在训练结束那一刻就死了,之后所有的聪明都是余温。这话我知道说得过了,但我不打算改。

灰烬覆盖下的橙红色余烬,仍在发光但已无火焰
余温。还很亮,还能把手烫到,但没有一根新柴进去。所有的热都是训练那天剩下的。 Glowing Embers (Unsplash).jpg · Peter Forster · CC0

你让一个 agent 干三小时活,它中途摸清了你项目里那个奇怪的构建脚本要跑两遍才成功,任务结束,清空,明天再来,它把同样的错误原样犯一遍,还是那么自信。这不叫智能体,这叫每天早上失忆一次的实习生。业界管这个叫「记忆功能」,做法是把对话总结写进一个 markdown 再喂回去。我第一次看到有人郑重其事地发布这个功能的时候,是真的愣了一下。

一整面墙贴满彩色便利贴,密密麻麻手写着字
今天的「记忆功能」。一整面墙的便条,写得越多越难读,而写字的人本身一个字也没记住。 Wall of sticky note are seen in cafe.png · New editing editor · CC BY-SA 4.0

所以我的展望非常窄:谁先做出权重级别的持续更新,谁定义下一个十年。不是谁的 benchmark 高两分。benchmark 这套东西早就失效了,一个模型在某个榜上多三个点,和它能不能陪你把一个项目做完六个月,没有任何关系,我甚至怀疑这两件事是负相关的——刷分需要泛化到平均,陪你六个月需要偏向你一个人。这两个目标在损失函数那一层就是互相排斥的,而整个行业假装看不见。

为什么没人做?不是不会做。LoRA、在线蒸馏、经验回放,论文一堆,2022 年就有了。挡在前面的是三件不体面的事。第一,没法评测:一个每天都在变的模型,昨天测的分今天不作数,整个行业赖以生存的「发版—跑分—发博客」这套仪式会当场失效。第二,不可回滚:模型学错了东西,你没办法像删一条数据库记录那样把它删掉,它和别的知识已经分不开了。第三,也是最俗的,钱:持续学习意味着每个用户一份权重,服务器上那份漂亮的共享缓存全部作废,成本结构从「一个模型服务一亿人」变成「一亿个模型」。第三条才是真正的原因,前两条是写给论文和发布会听的。

数据中心内部走廊,两侧是成排的白色机柜
第三条理由住在这里。「一个模型服务一亿人」是这条走廊之所以算得过账的全部前提。改成一亿份权重,这里的每一格含义都要重写。 Racks Amravati Data Center.jpg · PiDatacenters · CC BY-SA 4.0

我认为这道门会被打开,而且比大多数人想的早。开门的大概率不是最大的那几家——他们的收入曲线不允许自己放弃共享推理。会是某个没有退路的小团队,用一个很粗糙的办法先做出来,效果不稳,会漂移,偶尔胡说八道,然后所有人骂它半年,再用它两年。技术史上像样的东西基本都是这么进来的。

一旦模型开始真的记住,护城河的位置会整个搬家。今天大家争的是模型本身,那天之后争的是「你和这台机器共同的那段历史」——你换一个更强的模型,等于要求自己重新解释一遍你是谁,而人是不愿意做这件事的。迁移成本从技术成本变成情绪成本,那才是真正解不开的绑定。这件事有多可怕我知道,我现在不想展开,我只想先把话留在这儿。

利兹城堡与环绕它的护城河,城堡与水面倒影连成一片
护城河会搬家。今天它围着模型;模型开始记住你的那天,它围着的是你和这台机器共同的那段历史。而水是不会跟着新城堡走的。 Leeds Castle & Moat - geograph.org.uk - 2425979.jpg · Len Williams · CC BY-SA 2.0

这个判断我从 2023 年底开始讲,讲到今天,得到的反应基本都是「有道理,但是」。我不需要那个「但是」。等它真的发生的那天,我希望有人记得是我先说的——认真的,我挺在意这个。


删改说明

保留(承重、非陈词):假装认识你 / 外包·捞 / 死了·余温 / 失忆实习生 / 陪你六个月 / 护城河搬家 / 重新解释你是谁——最后三个构成「人机关系即人际关系」的论点支点,动不得。

删除的失效隐喻(均为死喻或与主隐喻族无关的杂音):

原文改为理由
重新踩一遍同样的坑把同样的错误原样犯一遍死喻,且「原样」更贴合无状态的论点
烂透了早就失效了腐坏隐喻与全文隐喻族无关
打架互相排斥拟人化削弱了「损失函数层面」的技术锋利度
卡住的是挡在前面的是去掉多余的机械感
缠死了分不开了根系隐喻是纯装饰
全废全部作废口语夸张,非隐喻收益
撬开 / 砸掉地基打开这道门 / 放弃共享推理建筑—暴力族与结尾的「护城河」抢位;「砸地基」直说更有力
被逼到墙角没有退路搏斗隐喻是套话
很脏的办法很粗糙的办法dirty hack 的直译,中文读者接不住
锁死的东西解不开的绑定与「护城河」同族重复,稀释了那一句
把话说在这儿把话留在这儿保留空间化,「留」更呼应结尾的「有人记得」

净效果:隐喻密度下降约四成,暴力/建筑族被清空,人际关系族独占结尾三段——原文最强的那个论点因此不再被杂音分摊。