《科学方法论、可证伪性与可重复性危机的数理统计》各章定量结论
一种保健品「经临床研究证实」,一份案例报告说转化率提高了三倍,一篇论文写着 p < 0.05——一个说法,凭什么相信?本书是 5D Library 的方法论总纲,用科学哲学与数理统计回答这个问题。依次讨论:波普尔的可证伪性与「经验内容」(命题禁止的可能世界越多说得越多,巴-希勒尔与卡尔纳普的语义信息量;事先什么都不禁止的理论信息量为零,也不能从任何观察中得到支持),杜恒—蒯因论题的贝叶斯读法与拉卡托斯的进步与退化研究纲领;伊奥尼迪斯阳性预测值公式的逐项核对(框架写法与原文等价;功效 0.20、事前比值 0.1、偏倚 0.20 时为 13.0%,而非约 12.8%;原文表 4 九行全部重现)及古德曼与格林兰的批评、贾格尔与利克约 14% 的经验估计;对西蒙斯等人 2011 年模拟的蒙特卡洛重做(四种研究者自由度合计使假阳性率达 57.9%,性别改按 0/1 编码时为 61.2%,原文 60.7%)、可选停止与 p 曲线、分岔花园;抽屉问题、失效安全数与漏斗图检验的局限,以及赢家诅咒(真实 d = 0.20、功效 20% 时显著结果平均约 0.45、夸大约 2.2 倍,而非约 0.65、3 倍);三个大型重复项目(心理学 35/97 = 36.1%、经济学 11/18、《自然》《科学》社会科学实验 13/21)、重复率为何不能直接换算为假发现率与置信区间捕获率的合理基准,以及吉尔伯特…
DOI 10.5281/zenodo.23782104 · 阅读本章所在专著 · English version
- 第 1 章 · 可证伪性与研究纲领:什么才算科学命题
第一种情形与多林讨论的历史案例相似:一个久经考验的理论(事先 0.90)加上一个不太可靠的辅助假设(事先 0.60)。预测失败后,理论的可信度只降到 0.783,辅助假设却从 0.60 跌到 0.130:责任主要落在辅助假设上,这是合理的。第二种情形反过来:一个年轻的理论(0.50)配上一个久经检验的辅助假设(0.95),失败后理论跌到 0.048。第三种情形说明,如果「理论为真而辅助假设出错」本身就很难造成这种失败,即使理论事先很可… - 第 2 章 · 为什么大多数已发表的发现可能是错的:伊奥尼迪斯的推导
伊奥尼迪斯把诊断检验的贝叶斯推理用到科学发现上:阳性预测值由事前比值 $R$、功效与显著性水平决定,偏倚 $u$ 会使它进一步下降。框架中的公式写法与原文等价;功效 0.20、$R = 0.1$、$u = 0.20$ 时阳性预测值约为 13.0%。古德曼与格林兰指出,把 $p$ 值一刀切会掩盖证据强度的差异,且「大多数是错的」依赖于假设;贾格尔与利克的经验估计(约 14%)本身也依赖于有争议的假设。下一章看偏倚 $u$ 从哪里来:研究… - 第 3 章 · p 值操纵、研究者自由度与分岔花园
在真实效应为零的数据中,挑选因变量、追加样本、加入协变量与取舍条件四种做法,各自把假阳性率从 5% 抬高到约 8% 到 13%,合在一起达到约六成(原文 60.7%;本书重做,性别按效应编码为 57.9%,按 0/1 编码为 61.2%)。可选停止越频繁,假阳性越多。$p$ 曲线的形状可以提示一组文献是否被操纵。格尔曼与洛肯强调,即使没有故意钓鱼,依赖数据的分析选择也会让 $p$ 值失去意义。下一章讨论另一层筛选:什么样的结果会被发表。 - 第 4 章 · 发表偏倚、抽屉问题与赢家诅咒
期刊主要发表显著结果,这一筛选从 1959 年至今几乎没有变化。失效安全数只回答「效应是否存在」,而且假设抽屉里的研究平均效应为零;在本章的模拟中,它显示「极其稳健」,而发表文献把效应夸大了 42%。漏斗图的埃格检验把握度有限,没有报警不等于没有偏倚。在低功效研究中,显著结果的效应量被系统性夸大:真实 $d = 0.20$、功效 20% 时,显著结果平均约为 0.45(夸大约 2.2 倍),方向弄反的概率约 0.5%。下一章看大规模重… - 第 5 章 · 大规模重复检验:结果与争议
三个大型重复项目给出的同方向显著率分别为 36.1%(心理学,35/97)、61%(经济学,11/18)与 62%(《自然》《科学》社会科学实验,13/21),重复效应量约为原研究的一半到三分之二。重复率不能直接换算成假发现率:一个没有任何假发现、但研究的效应很小的领域,重复率也可能很低。吉尔伯特等人关于异质性、单次重复与方案偏离的批评,与开放科学协作组的回应,各有道理。用置信区间判断重复时,合理的基准远低于 95%。下一章讨论怎样从… - 第 6 章 · 元科学的解药:预注册、注册报告与等效性检验
预注册在看到数据之前写下理论禁止什么,把假阳性率拉回名义水平;它不禁止多个结局或期中分析,只要求事先说清并调整标准。注册报告让发表与否不取决于结果;注册报告中第一个假说的阳性率约为 44%,标准文献约为 96%。等效性检验让「没有差别」也能被证明。本系列的判定规则有五种结论;它控制了第一类错误,但「90% 把握度」指的是得到某种获益结论,最强的结论在真实效应恰好等于最小关注效应时只有 2.5% 的机会出现。下一章回到中国古典学术,看「… - 第 8 章 · 实践与预注册试验
四步核查表依次检查一个说法是否事先可证伪、是否经过多重比较与可选停止、样本是否小到效应必然被夸大、是否经过独立重复并披露了利益关系。用于三个虚构的说法时,它能清楚地区分案例报告、保健品广告与预注册试验。用于本系列自身时,它显示本系列的方案只在写法上符合预注册的要求(尚未在登记平台登记),而且没有数据、效应量假设缺乏先验依据、由 AI 起草、作者有商业利益、没有独立重复。预注册试验以 $d'$ 为唯一主要结局,每组 176 名可分析、招…
模型示意算例,非实时报价