5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English
第八章 实践与预注册试验
注
本章的核查表用于判断证据强弱,不是医疗或投资建议。 如果你正在使用某种药物、保健品或疗法,核查表的结果不应成为你自行开始、停止或更改它的理由;请与医生或药师讨论。
第一部分 四步防忽悠元科学核查表
读到一个说法时,无论它来自商业报告、保健品广告还是学术论文,都可以依次问四个问题。
- 可证伪性与事前预测审计。 这个说法事先写明了「什么结果会证明它是错的」吗?有没有在收集数据之前注册的方案?如果结果不利,说法的提出者会不会用一个事后的理由把它「圆回来」?(第一章、第六章)
- 多重指标与可选停止筛查。 研究测了多少个结局、子群、时间点?报告的那一个是事先指定的主要结局,还是事后挑出来的?样本量是事先确定的,还是「做到显著为止」?(第三章)
- 小样本赢家诅咒折算。 每组有多少人?有没有对照组?如果真实效应只有该领域常见的大小,这项研究的功效是多少,显著结果大约会被夸大几倍?(第四章)
- 独立重复与利益冲突披露核查。 有没有与原作者无关的团队重复过这一结果?提出说法的人或资助者与结论有没有利益关系,是否如实披露?(第五章)
证据
夸大常常始于新闻稿。 萨姆纳等人分析了英国 20 所顶尖大学 2011 年发布的 462 份生物医学与健康新闻稿及相关报道:40% 的新闻稿含有夸大的行为建议,33% 把相关性研究说成因果,36% 把动物研究的结论推到人身上;新闻稿夸大时,报道跟着夸大的比例为 58%、81% 与 86%,新闻稿不夸大时只有 17%、18% 与 10% (Sumner et al. 2014)。所以核查一则报道时,问题往往不在记者,而在报道所依据的新闻稿甚至论文本身。
把核查表用于三个虚构的说法:一家机构的案例报告(「转化率提高 300%」)、一则保健品广告(「经临床研究证实」)和一篇发表在期刊上的预注册试验;再把它用于 5D Library 本系列自身。第二步用 粗略估计 次不加校正地查看数据时的假阳性风险(只对相互独立的检验精确);第三步假设真实效应为 。
推导
# The four-step checklist on three FICTIONAL claims and on the 5D Library series itself.
# Step 2: 1 - 0.95^k, a rough false-positive risk for k uncorrected looks. Step 3: with SE
# = sqrt(2 / n) a significant d must exceed 1.96 SE; power and exaggeration are for a true
# d = 0.20.
import math
from statistics import NormalDist
N = NormalDist()
def exaggeration(D, s):
hi, lo = 1 - N.cdf(1.96 - D / s), N.cdf(-1.96 - D / s)
m_hi, m_lo = D + s * N.pdf(1.96 - D / s) / hi, D - s * N.pdf(-1.96 - D / s) / lo
return hi + lo, (hi * m_hi - lo * m_lo) / (hi + lo) / D
ITEMS = [ # name, advance prediction + refutation stated, looks k, flexible stopping,
# n per arm
# (None = no control group, "plan" = no data yet), independent replications,
# COI declared
("A case report", False, 9, True, None, 0, False), # agency: "+300 % conversions"
("B supplement ad", False, 12, False, 12, 0, False), # "clinically proven"
("C registered RCT", True, 1, False, 400, 1, True), # pre-registered, in a journal
("D this series", True, 1, False, "plan", 0, True), # 5D Library trial protocols
]
rows = [[], [], [], []]
for name, pred, k, stop, n, rep, coi in ITEMS:
rows[0].append("yes" if pred else "NO")
risk = f"{'>' if stop else '~'}{1 - 0.95 ** k:.0%}"
rows[1].append(f"{k}{'+stop' if stop else ''} {risk}")
if n is None:
rows[2].append("no control group")
elif n == "plan":
rows[2].append("no data yet")
else:
se = math.sqrt(2 / n); pw, ex = exaggeration(0.20, se)
rows[2].append(f"{n} >{1.96 * se:.2f} {pw:.0%} x{ex:.1f}")
rows[3].append(f"{rep} / {'yes' if coi else 'NO'}")
print((f"{'step':24s}" + "".join(f"{it[0]:19s}" for it in ITEMS)).rstrip())
for lab, r in zip(("1 predicted in advance", "2 looks -> false pos.",
"3 n/arm, d_sig, pw, M", "4 replications / COI"), rows):
print((f"{lab:24s}" + "".join(f"{x:19s}" for x in r)).rstrip())
print("(step 3: n per arm, smallest significant d, power and exaggeration M"
" if true d = 0.20)")
print("D also: AI-drafted; author has a commercial interest;"
" no trial result in the books:")
print(" the protocols can be judged, the interventions cannot yet be.")
# step A case report B supplement ad C registered RCT D this series
# 1 predicted in advance NO NO yes yes
# 2 looks -> false pos. 9+stop >37% 12 ~46% 1 ~5% 1 ~5%
# 3 n/arm, d_sig, pw, M no control group 12 >0.80 8% x4.9 400 >0.14 81% x1.1 no data yet
# 4 replications / COI 0 / NO 0 / NO 1 / yes 0 / yes
# (step 3: n per arm, smallest significant d, power and exaggeration M if true d = 0.20)
# D also: AI-drafted; author has a commercial interest; no trial result in the books:
# the protocols can be judged, the interventions cannot yet be.三个虚构的说法得到了很不同的结果。案例报告没有事先的预测、看了 9 个指标并灵活地决定何时结束,假阳性风险超过 37%;更根本的是没有对照组,效应量无法估计。保健品广告引用的研究每组只有 12 人,12 个结局中挑出一个显著的,假阳性风险约 46%;在这个样本量下,只有 的估计才可能显著,如果真实效应只有 0.20,功效只有 8%,显著的结果平均夸大约 4.9 倍。期刊上的预注册试验每组 400 人,只有一个主要结局,在真实效应 0.20 时功效 81%,夸大比只有 1.1,并且有一次独立重复。
活标本:本系列的自检
按照这份核查表,本系列在前两步上只是写法合格:据本书所知,各书第八章都事先写明了唯一的主要结局与判定规则,假说框也写明了什么结果能证明它是错的。但这些方案目前只印在书中,据本书所知还没有在任何试验登记平台上登记,而写法合格不是证据。在后两步上,本系列必须诚实地承认以下局限:
- 没有数据。 书中的试验目前都只是方案;据本书所知,各书没有报告任何一项试验的结果。所以这些书能被评判的是方案本身,不是干预的效果。
- 效应量假设缺少先验依据。 按作者自己的评估,多数书的样本量计算依据的是设定的最小关注效应,而不是已发表研究中同类干预的效应估计;例如第 30 本第八章就写明,没有可借用的已发表训练效应量。本书的试验也是如此(见下文)。如果真实效应比设定的小,试验的实际功效会低于计划。
- 「90% 把握度」的含义。 第六章的程序显示,在真实效应恰好等于最小关注效应时,判定规则得出「至少达到最小关注效应」这一最强结论的机会只有 2.5%;90% 指的是得到某种「获益」结论的概率。
- AI 起草。 正文、标注框与代码由 AI 起草、作者审阅,细节可能出错;作者与 AI 工具的核查不等于独立同行评审,更不等于独立重复。
- 利益关系。 作者与本系列主题有商业利益关系;披露让读者知道,但不能消除利益的影响。
- 独立重复为零。 没有任何独立团队重复过本系列的任何一项主张。
这些局限不意味着本系列的内容是错的,而是意味着:按照本书自己的标准,读者对本系列的假说与试验方案,应当给予与对其他未经检验的说法同样的怀疑。
第二部分 预注册随机对照试验方案
问题
一次 20 分钟的「分岔花园与小样本赢家诅咒识别训练」,与花同样时间阅读一份常规的批判性思维格言相比,能否提高成年人区分「含方法学缺陷而夸大其词的新闻报道」与「如实报道的新闻」的能力?
框架中的主要结局是「评估 12 篇含方法学缺陷的新闻报道时识别夸大声称的辨别力 」。这里需要补充一点:辨别力 来自信号检测论(第 26 本第四章),必须同时有「信号」与「噪声」两类材料才能计算;只看 12 篇有缺陷的报道,只能得到「识别出缺陷的比例」(击中率),无法区分「真的更会辨别」与「对什么都更怀疑」。所以本方案在 12 篇有缺陷的报道之外,加入 12 篇在主题、长度与写法上配对的如实报道。
证据
教人评估治疗声称,有大型试验的先例。 在乌干达的一项整群随机对照试验中,120 所小学被随机分配到「知情健康选择」课程组或对照组。课程结束时,干预组学校儿童在一项评估治疗声称可靠性的测验中平均得分 62.4%,对照组 43.1%,调整后的平均差为 20.0 个百分点;达到及格线(24 题中答对至少 13 题)的比例为 69% 对 27% (Nsangi et al. 2017)。这项研究的对象是儿童,课程远长于 20 分钟,结局是知识测验而不是辨别力;它说明这类能力可以被教,但不能用来估计本试验的效应量。
设计
| 要素 | 规定 |
|---|---|
| 参与者 | 18 至 70 岁成年人,通过独立的在线调查样本库招募;不从作者的社群、学员、客户或牌卡用户中招募;排除受过研究方法或统计学专业训练(超过一门入门课程)的人、新闻或科研从业者,以及参加过预试验的人 |
| 测试材料 | 24 篇简短的新闻报道:12 篇含有由方法学缺陷造成的夸大声称(小样本子群挑选、无对照组的前后对比、多个结局中只报告显著的一个、相关当因果、动物结果推到人),12 篇如实报道;由三位与本研究无关的方法学专家在试验开始前独立分类,三人一致的才入选;预试验中删除仅凭表面线索(标题措辞、长度)就能分辨的报道;呈现顺序随机 |
| 随机分组 | 个体按 1:1 随机分配,按学历(是否有大学学位)分层;分配序列由与招募无关的人员用计算机生成,在参与者完成同意书后才显示 |
| A 组 | 20 分钟的自学模块:用四个实例讲解分岔花园(多个结局、子群、可选停止)与小样本赢家诅咒(显著的小样本效应偏大),附带反馈的练习题;练习材料与测试材料不重叠 |
| B 组(积极对照) | 20 分钟阅读一份常规的批判性思维与媒体素养格言(核对来源与作者、查看日期、寻找其他报道、警惕情绪化语言),形式与练习数量与 A 组相同,但不讲解研究设计与统计 |
| 盲法 | 参与者被告知研究比较「两种阅读新闻的方法」,不告知假说;判断由程序自动记分;分析者在锁定数据库与分析代码之前不知道分组 |
| 主要结局 | 训练后立即对 24 篇报道作「夸大/如实」判断的辨别力 ,计数加 0.5、总数加 1 的对数线性校正 (Hautus 1995; Macmillan and Creelman 2005) |
| 次要结局 | 判断标准 ;击中率与虚报率;信心评分的校准;4 周后对另一组平行的 24 篇报道的 ;六题知识测验(同时作为操纵检验) |
| 分析 | 线性模型,自变量为分组,协变量为分层变量;报告 A − B 的差及其 95% 置信区间;双侧 |
主要结局选 而不是「识别出多少篇有缺陷的报道」,有一个具体的理由,下面的程序会说明。
样本量
推导
# Sample size for the Chapter 8 trial. Primary outcome: discrimination d' when judging 24
# news reports (12 contain an exaggerated claim from a methodological flaw, 12 are
# accurate), with the log-linear correction (add 0.5 to each count, 1 to each total;
# Hautus 1995). ASSUMED, not taken from any study: true d' in the control arm ~ N(1.0,
# 0.5) between people, criterion c ~ N(0, 0.5).
import math, random
from statistics import NormalDist, mean, stdev
N = NormalDist()
def observed_dprime(rng, d, c, n=12):
h = sum(rng.random() < N.cdf(d / 2 - c) for _ in range(n))
f = sum(rng.random() < N.cdf(-d / 2 - c) for _ in range(n))
return N.inv_cdf((h + 0.5) / (n + 1)) - N.inv_cdf((f + 0.5) / (n + 1)), h / n, f / n
def arm(rng, shift_d=0.0, shift_c=0.0, people=20000):
out = [observed_dprime(rng, rng.gauss(1.0 + shift_d, 0.5), rng.gauss(shift_c, 0.5))
for _ in range(people)]
return [o[0] for o in out], mean(o[1] for o in out), mean(o[2] for o in out)
def per_arm(sd, delta, alpha=0.05, power=0.90):
z = N.inv_cdf(1 - alpha / 2) + N.inv_cdf(power)
return math.ceil(2 * z ** 2 * sd ** 2 / delta ** 2) + 1
if __name__ == "__main__":
rng = random.Random(1995)
b, hb, fb = arm(rng)
a, ha, fa = arm(rng, shift_d=0.25)
s, hs, fs = arm(rng, shift_c=-0.4)
sd = stdev(b)
print(f"control arm: observed d' mean {mean(b):.2f} (true 1.00),"
f" SD between people {sd:.2f}")
print(f"true d' raised by 0.25 -> observed difference {mean(a) - mean(b):.2f}"
f" (hits {hb:.2f} -> {ha:.2f}, false alarms {fb:.2f} -> {fa:.2f})")
print(f"only more sceptical (c lowered by 0.4) ->"
f" d' difference {mean(s) - mean(b):+.2f}"
f" (hits {hs:.2f}, false alarms {fs:.2f})")
print("people per arm, 90 % power, alpha 0.05 | observed-d' SESOI 0.20 | 0.25 | 0.30")
for v in (0.60, round(sd, 2), 0.90):
ns = " |".join(f"{per_arm(v, dl):5d}" for dl in (0.20, 0.25, 0.30))
print(f" SD of observed d' = {v:.2f} {'':16s}|" + ns)
n = per_arm(round(sd, 2), 0.25)
rec = math.ceil(n / 0.85)
print(f"chosen: SESOI 0.25 (observed d'), SD {sd:.2f} -> {n} analysable per arm")
print(f"allowing 15 % exclusions (attention checks, incomplete sessions)"
f" -> recruit {rec} per arm,"
f" {2 * rec} in all")
# control arm: observed d' mean 0.96 (true 1.00), SD between people 0.72
# true d' raised by 0.25 -> observed difference 0.23 (hits 0.67 -> 0.71, false alarms 0.33 -> 0.29)
# only more sceptical (c lowered by 0.4) -> d' difference -0.02 (hits 0.78, false alarms 0.46)
# people per arm, 90 % power, alpha 0.05 | observed-d' SESOI 0.20 | 0.25 | 0.30
# SD of observed d' = 0.60 | 191 | 123 | 86
# SD of observed d' = 0.72 | 274 | 176 | 123
# SD of observed d' = 0.90 | 427 | 274 | 191
# chosen: SESOI 0.25 (observed d'), SD 0.72 -> 176 analysable per arm
# allowing 15 % exclusions (attention checks, incomplete sessions) -> recruit 208 per arm, 416 in all这里没有可以借用的已发表效应量(上面的乌干达试验人群、干预时长与结局都不同),所以程序明确写出了假设:对照组真实 在人群中服从均值 1.0、标准差 0.5 的正态分布,判断标准 的标准差为 0.5。在这些假设下,24 篇报道得到的观察 均值为 0.96(对数线性校正使它略向零收缩),人与人之间的标准差为 0.72。真实 提高 0.25 时,观察到的差为 0.23。
程序的第三行说明了为什么主要结局必须是 :如果一种训练只是让人更多疑(判断标准降低 0.4),击中率会从 0.67 升到 0.78,看起来「识别出了更多缺陷」;但虚报率同时从 0.33 升到 0.46, 的差只有 −0.02。也就是说,只看有缺陷的报道,会把「什么都怀疑」误当作「会辨别」。
取观察 的最小关注效应为 0.25(约 0.35 个标准差)、90% 把握度,每组需要 176 名可分析的参与者;考虑约 15% 的排除(注意力检查不合格、未完成),每组招募 208 人,共 416 人。如果标准差是 0.60 或 0.90,每组所需人数分别为 123 与 274;如果最小关注效应取 0.20 或 0.30,分别为 274 与 123。按第六章的结果,「90% 把握度」指的是在真实效应等于 0.25 时,得出某种「获益」结论的概率约为 90%;要以较大把握得出「至少达到最小关注效应」的结论,真实效应需要约 0.4 到 0.5。
判定规则
推导
# Decision rule fixed before enrolment. D = arm A minus arm B in observed d' (24 reports),
# adjusted for the randomisation stratum (education); 95 % CI; positive = better
# discrimination in A. SESOI 0.25. Gates: more than 25 % of randomised people excluded, or
# the manipulation check fails (A not higher than B on the 6-item knowledge quiz,
# one-sided p < .05) -> NOT INTERPRETABLE.
SESOI = 0.25
def verdict(d, lo, hi, excluded=0.10, manip_ok=True, c_shift=None):
if excluded > 0.25:
return f"D = {d:+.2f}: NOT INTERPRETABLE - {excluded:.0%} excluded (limit 25 %)"
if not manip_ok:
return f"D = {d:+.2f}: NOT INTERPRETABLE - manipulation check failed"
if lo >= SESOI: v = "training improves discrimination by at least 0.25"
elif lo > 0: v = "training improves discrimination; size not shown to reach 0.25"
elif hi < 0: v = "training WORSENS discrimination"
elif lo >= -SESOI and hi <= SESOI: v = "no difference worth acting on"
else: v = "unclear: the interval is too wide to decide"
out = f"D = {d:+.2f} ({lo:+.2f} to {hi:+.2f}): {v}"
if c_shift is not None and abs(c_shift) >= 0.2 and not lo > 0:
out += (f"\n note: criterion moved {c_shift:+.2f}"
" - more suspicion, not more discernment")
return out
for case in ((0.42, 0.27, 0.57), (0.18, 0.03, 0.33), (0.03, -0.12, 0.18),
(-0.20, -0.35, -0.05), (0.10, -0.19, 0.39),
(0.02, -0.13, 0.17, 0.10, True, -0.38),
(0.40, 0.25, 0.55, 0.31), (0.35, 0.20, 0.50, 0.12, False)):
print(verdict(*case))
print("secondary outcomes (criterion c, hit and false-alarm rates, confidence ratings,"
" d' after")
print(" 4 weeks) are reported with intervals and never decide the verdict")
# D = +0.42 (+0.27 to +0.57): training improves discrimination by at least 0.25
# D = +0.18 (+0.03 to +0.33): training improves discrimination; size not shown to reach 0.25
# D = +0.03 (-0.12 to +0.18): no difference worth acting on
# D = -0.20 (-0.35 to -0.05): training WORSENS discrimination
# D = +0.10 (-0.19 to +0.39): unclear: the interval is too wide to decide
# D = +0.02 (-0.13 to +0.17): no difference worth acting on
# note: criterion moved -0.38 - more suspicion, not more discernment
# D = +0.40: NOT INTERPRETABLE - 31% excluded (limit 25 %)
# D = +0.35: NOT INTERPRETABLE - manipulation check failed
# secondary outcomes (criterion c, hit and false-alarm rates, confidence ratings, d' after
# 4 weeks) are reported with intervals and never decide the verdict示例结果是编造的。如果被随机分配者中超过 25% 被排除,或者操纵检验失败(A 组在知识测验上没有高于 B 组),无论主要结局如何,报告都写「不可解释」。只有当差值的置信区间下限不低于 0.25 时,报告才写「训练使辨别力提高了至少最小关注的幅度」。如果 没有差别而判断标准明显移动,报告会特别注明:训练让人更多疑,但没有让人更会辨别。
这项试验不能说明什么
第一,实验情境中对精选报道的即时判断,不能说明日常读新闻时会怎样,更不能说明实际决定(如是否购买保健品)会不会改变。第二,24 篇报道只覆盖几类缺陷。第三,阳性结果也不能说明训练的哪个成分起了作用。第四,在线志愿者与一般人群可能不同。第五,4 周后的测试只能部分说明效果能否持续。第六,结果不能用来支持或反对本系列其他书中的任何主张。
伦理与利益冲突
试验风险很低,但仍须经独立伦理委员会批准,参与者签署知情同意,并在第一位参与者入组之前登记方案、测试材料的分类与分析代码 (Nosek et al. 2018);如有可能,以注册报告的形式投稿 (Chambers 2013),使发表与否不取决于结果。试验结束后,向所有参与者说明哪些报道含有缺陷以及缺陷是什么,并向 B 组提供 A 组的训练材料。数据匿名存储。
利益披露
作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。本书不推销任何课程、牌卡或服务;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户中招募;书中所有代码与研究方案均公开,供任何人检验。为限制利益的影响:训练材料、测试材料与分析代码在入组前公开;无论结果如何,结果、数据和代码都将公开。
本章小结
四步核查表依次检查一个说法是否事先可证伪、是否经过多重比较与可选停止、样本是否小到效应必然被夸大、是否经过独立重复并披露了利益关系。用于三个虚构的说法时,它能清楚地区分案例报告、保健品广告与预注册试验。用于本系列自身时,它显示本系列的方案只在写法上符合预注册的要求(尚未在登记平台登记),而且没有数据、效应量假设缺乏先验依据、由 AI 起草、作者有商业利益、没有独立重复。预注册试验以 为唯一主要结局,每组 176 名可分析、招募 208 名,判定规则写成代码,无论结果如何都发表。
参考文献
Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).