《算法之镜》各章定量结论
为什么两个人问同一个语言模型同一个题目,一个觉得它浅薄敷衍,另一个却觉得它能打开新的思路?本书把语言模型看作一个学得的条件分布 P(Y|X),用信息论、机器学习、控制论和认知心理学考察「提问的人带来什么」:条件熵与互信息,以及为什么约束性的提示是改变概率的方向,而不一定降低熵(对「坍缩到平均值」说法的修正,以及微调降低输出多样性的证据);缩放点积自注意力的几何,一个三簇玩具模型显示单一领域的查询与跨领域查询分别取用什么,以及 √d_k 缩放的作用,并与《学记》「善待问者如撞钟」并读;阿什比必要多样性定律与「好的调节者」定理,以及一个说明核查能力如何限制可被接受的错误的模型;巴纳姆效应、偏向同化与贝叶斯更新,以及投射对热衷者和怀疑者同样成立;舒迈洛夫等人的模型崩溃,以及累积真实数据如何避免崩溃;半人马式人机协作的真实证据:自由式国际象棋、德拉夸等人的「锯齿状前沿」,以及瓦卡罗等人发现人机组合平均不如两者中较好一方的元分析。
DOI 10.5281/zenodo.23723557 · 阅读本章所在专著 · English version
- 第 8 章 · 实践:提示审计与预注册试验
方案按中间情形计划,需要 53 个问题;抽取 60 个,以容纳因模型拒答或评审无法评估而剔除的问题。问题内差值的标准差 1.0 分是一个假设,将在 6 个问题的预试验中核对。
模型示意算例,非实时报价