据动察 Beating 监测,Thinking Machines联合创始人兼首席科学家翁荔(Lilian Weng)发表长文,对支撑AI行业扩张的「规模法则」(Scaling Laws)进行了系统性重校。在业界普遍质疑大模型因网页数据耗尽而「撞墙」的背景下,翁荔指出,规模法则并未失效,但传统的粗放型算力堆叠已走入死胡同,必须转向对数据受限、重复训练以及过拟合惩罚的精细化建模。在大模型研发早期,行业已从单纯堆参数的 Kaplan 定律,演进到主张参数与数据同比例增加的 Chinchilla 定律。面对高质量网页数据即将耗尽的「数据墙」,近年研究转向数据受限场景:Muennighoff 等人指出重复训练的数据价值呈指数级衰减;Lovelace 等人则在 2026 年量化了模型参数量与独创数据量之比($N/U_D$)带来的显式过拟合惩罚,并证实增强权重衰减等正则手段可有效抑制重复训练的损害。翁荔进一步指出,规模法则并非一成不变的物理定律,而是对工程细节高度敏感的观测指南。Kaplan 与 Chinchilla 的估算偏差,本质上源于是否计入嵌入层参数以及小模型外推的指数敏感性。在动辄数亿美元的超级训练中,参数统计口径或优化器设置的微调都会引发预测失准。因此,大模型研发不能迷信单一的理论公式,而必须在工程实践中严密拟合自身的损耗曲线,精确计算参数量与独创数据的容量比,用严谨的系统工程打破「数据墙」。