积木成楼
首页 / ai

大模型是怎么一步步走到今天的

2026-07-27 · ai · 约 3 分钟

不是时间轴。是同一台机器,被改了九次。

大部分讲大模型演进的东西都是编年史:哪一年出了什么、参数多少、跑分多少。看完记住一堆名词,但说不清它们之间有什么关系。

我想要的是另一种:先把那台机器画出来,再看九次改动分别动了它的哪一块。 每一环只回答四个问题 —— 撞到什么墙、怎么绕过去、于是有了什么、又留下什么新墙。上一环留下的墙,就是下一环的起点。

里面有什么

从 2013 年的词向量讲起 —— 「把意思变成坐标」这一步,是后面所有东西的地基,也是最像魔法的一步。有了坐标,「下一个词是什么」就不再是语言问题,而是一道几何题。

然后是那台机器本身:一个词从进去到出来走六步。九环改的都是其中某一步,或者干脆在这六步之外。每一环的标题行都挂着一张迷你流水线图,高亮这一环动的是哪一块 —— 有五环高亮的是「框外」,那本身就是信息。

九环之后还有两节:

有一个数字是这几节的支点。同一个 backbone 锁死不动,只换外面那层 harness:

分数
GPT-5 + Codex harness71.75%
GPT-5 + RAH harness81.36%
Sonnet 4.5 + RAH harness89.77%

换 harness 拿到 +9.61,换模型拿到 +8.41。两个量级相当。 这不是「模型更重要」也不是「工程更重要」,是两个独立的乘数 —— 后面那五条判断全建在这上面。

关于数字

页面里每一个数字都挂着出处,文末可查,标了是厂商官方 / arXiv 还是社区实测。有两处「优化前后」我做到一半自己删掉了:一处是把一条走死的路标成了优化,另一处的两个数是动画里的示意值、不是实测 —— 放进常驻标题行等于把它当数据用。

打开可视化页 →

全屏看,五十来屏。讲对比的那几段可以停、可以倒着滚回看;讲机制的那几段自己循环播,不用管。

← 返回文章列表