首页 / ai
大模型是怎么一步步走到今天的
不是时间轴。是同一台机器,被改了九次。
大部分讲大模型演进的东西都是编年史:哪一年出了什么、参数多少、跑分多少。看完记住一堆名词,但说不清它们之间有什么关系。
我想要的是另一种:先把那台机器画出来,再看九次改动分别动了它的哪一块。 每一环只回答四个问题 —— 撞到什么墙、怎么绕过去、于是有了什么、又留下什么新墙。上一环留下的墙,就是下一环的起点。
里面有什么
从 2013 年的词向量讲起 —— 「把意思变成坐标」这一步,是后面所有东西的地基,也是最像魔法的一步。有了坐标,「下一个词是什么」就不再是语言问题,而是一道几何题。
然后是那台机器本身:一个词从进去到出来走六步。九环改的都是其中某一步,或者干脆在这六步之外。每一环的标题行都挂着一张迷你流水线图,高亮这一环动的是哪一块 —— 有五环高亮的是「框外」,那本身就是信息。
九环之后还有两节:
- 未来 —— 三条现在还测不了的路。不画外推曲线,因为没有工具能测量它。
- 判断 —— 五条我认为会怎么走的预测。每一条都写上它会被什么证伪,明年回来可以一条条对。
有一个数字是这几节的支点。同一个 backbone 锁死不动,只换外面那层 harness:
| 分数 | |
|---|---|
| GPT-5 + Codex harness | 71.75% |
| GPT-5 + RAH harness | 81.36% |
| Sonnet 4.5 + RAH harness | 89.77% |
换 harness 拿到 +9.61,换模型拿到 +8.41。两个量级相当。 这不是「模型更重要」也不是「工程更重要」,是两个独立的乘数 —— 后面那五条判断全建在这上面。
关于数字
页面里每一个数字都挂着出处,文末可查,标了是厂商官方 / arXiv 还是社区实测。有两处「优化前后」我做到一半自己删掉了:一处是把一条走死的路标成了优化,另一处的两个数是动画里的示意值、不是实测 —— 放进常驻标题行等于把它当数据用。
全屏看,五十来屏。讲对比的那几段可以停、可以倒着滚回看;讲机制的那几段自己循环播,不用管。