2026SEP 27
压缩即理解:大语言模型的智能来源、学术共识与批判审视
预测下一个 token 就是压缩,压缩就是智能——这句话是三种不同强度主张的混装。信息论层有香农定理背书,计算理论层成立但不可计算,认知层则是争论的战场。从 Othello-GPT 到斯坦福对"涌现"的质疑,我们把"压缩即理解"拆开,看哪部分是数学事实,哪部分只是叙事。
阅读全文 →共 2 篇 · 持续更新中
预测下一个 token 就是压缩,压缩就是智能——这句话是三种不同强度主张的混装。信息论层有香农定理背书,计算理论层成立但不可计算,认知层则是争论的战场。从 Othello-GPT 到斯坦福对"涌现"的质疑,我们把"压缩即理解"拆开,看哪部分是数学事实,哪部分只是叙事。
阅读全文 →保险只能处理"分布已知"的风险。可当分布未知、甚至"不知道自己不知道"时,风险靠什么处理?奈特说由企业家承担——但这句话是概念套概念,还是有真实机制?从信息论到有限责任制度,我们拆开"承担"二字,看社会究竟如何接住总量上无法消解的未知。
阅读全文 →