5D Library › 科学方法论、可证伪性与可重复性危机的数理统计 · English

第八章 实践与预注册试验

注

本章的核查表用于判断证据强弱,不是医疗或投资建议。 如果你正在使用某种药物、保健品或疗法,核查表的结果不应成为你自行开始、停止或更改它的理由;请与医生或药师讨论。

第一部分 四步防忽悠元科学核查表

读到一个说法时,无论它来自商业报告、保健品广告还是学术论文,都可以依次问四个问题。

  1. 可证伪性与事前预测审计。 这个说法事先写明了「什么结果会证明它是错的」吗?有没有在收集数据之前注册的方案?如果结果不利,说法的提出者会不会用一个事后的理由把它「圆回来」?(第一章、第六章)
  2. 多重指标与可选停止筛查。 研究测了多少个结局、子群、时间点?报告的那一个是事先指定的主要结局,还是事后挑出来的?样本量是事先确定的,还是「做到显著为止」?(第三章)
  3. 小样本赢家诅咒折算。 每组有多少人?有没有对照组?如果真实效应只有该领域常见的大小,这项研究的功效是多少,显著结果大约会被夸大几倍?(第四章)
  4. 独立重复与利益冲突披露核查。 有没有与原作者无关的团队重复过这一结果?提出说法的人或资助者与结论有没有利益关系,是否如实披露?(第五章)

证据

夸大常常始于新闻稿。 萨姆纳等人分析了英国 20 所顶尖大学 2011 年发布的 462 份生物医学与健康新闻稿及相关报道:40% 的新闻稿含有夸大的行为建议,33% 把相关性研究说成因果,36% 把动物研究的结论推到人身上;新闻稿夸大时,报道跟着夸大的比例为 58%、81% 与 86%,新闻稿不夸大时只有 17%、18% 与 10% (Sumner et al. 2014)。所以核查一则报道时,问题往往不在记者,而在报道所依据的新闻稿甚至论文本身。

把核查表用于三个虚构的说法:一家机构的案例报告(「转化率提高 300%」)、一则保健品广告(「经临床研究证实」)和一篇发表在期刊上的预注册试验;再把它用于 5D Library 本系列自身。第二步用 1−0.95k1 – 0.95^k 粗略估计 kk 次不加校正地查看数据时的假阳性风险(只对相互独立的检验精确);第三步假设真实效应为 d=0.20d = 0.20。

推导

# The four-step checklist on three FICTIONAL claims and on the 5D Library series itself.
# Step 2: 1 - 0.95^k, a rough false-positive risk for k uncorrected looks. Step 3: with SE
# = sqrt(2 / n) a significant d must exceed 1.96 SE; power and exaggeration are for a true
# d = 0.20.
import math
from statistics import NormalDist
N = NormalDist()

def exaggeration(D, s):
    hi, lo = 1 - N.cdf(1.96 - D / s), N.cdf(-1.96 - D / s)
    m_hi, m_lo = D + s * N.pdf(1.96 - D / s) / hi, D - s * N.pdf(-1.96 - D / s) / lo
    return hi + lo, (hi * m_hi - lo * m_lo) / (hi + lo) / D

ITEMS = [  # name, advance prediction + refutation stated, looks k, flexible stopping,
           # n per arm
           # (None = no control group, "plan" = no data yet), independent replications,
           # COI declared
    ("A case report", False, 9, True, None, 0, False),     # agency: "+300 % conversions"
    ("B supplement ad", False, 12, False, 12, 0, False),   # "clinically proven"
    ("C registered RCT", True, 1, False, 400, 1, True),    # pre-registered, in a journal
    ("D this series", True, 1, False, "plan", 0, True),    # 5D Library trial protocols
]
rows = [[], [], [], []]
for name, pred, k, stop, n, rep, coi in ITEMS:
    rows[0].append("yes" if pred else "NO")
    risk = f"{'>' if stop else '~'}{1 - 0.95 ** k:.0%}"
    rows[1].append(f"{k}{'+stop' if stop else ''} {risk}")
    if n is None:
        rows[2].append("no control group")
    elif n == "plan":
        rows[2].append("no data yet")
    else:
        se = math.sqrt(2 / n); pw, ex = exaggeration(0.20, se)
        rows[2].append(f"{n} >{1.96 * se:.2f} {pw:.0%} x{ex:.1f}")
    rows[3].append(f"{rep} / {'yes' if coi else 'NO'}")
print((f"{'step':24s}" + "".join(f"{it[0]:19s}" for it in ITEMS)).rstrip())
for lab, r in zip(("1 predicted in advance", "2 looks -> false pos.",
                   "3 n/arm, d_sig, pw, M", "4 replications / COI"), rows):
    print((f"{lab:24s}" + "".join(f"{x:19s}" for x in r)).rstrip())
print("(step 3: n per arm, smallest significant d, power and exaggeration M"
      " if true d = 0.20)")
print("D also: AI-drafted; author has a commercial interest;"
      " no trial result in the books:")
print("  the protocols can be judged, the interventions cannot yet be.")
# step                    A case report      B supplement ad    C registered RCT   D this series
# 1 predicted in advance  NO                 NO                 yes                yes
# 2 looks -> false pos.   9+stop >37%        12 ~46%            1 ~5%              1 ~5%
# 3 n/arm, d_sig, pw, M   no control group   12 >0.80 8% x4.9   400 >0.14 81% x1.1 no data yet
# 4 replications / COI    0 / NO             0 / NO             1 / yes            0 / yes
# (step 3: n per arm, smallest significant d, power and exaggeration M if true d = 0.20)
# D also: AI-drafted; author has a commercial interest; no trial result in the books:
#   the protocols can be judged, the interventions cannot yet be.

三个虚构的说法得到了很不同的结果。案例报告没有事先的预测、看了 9 个指标并灵活地决定何时结束,假阳性风险超过 37%;更根本的是没有对照组,效应量无法估计。保健品广告引用的研究每组只有 12 人,12 个结局中挑出一个显著的,假阳性风险约 46%;在这个样本量下,只有 d>0.80d > 0.80 的估计才可能显著,如果真实效应只有 0.20,功效只有 8%,显著的结果平均夸大约 4.9 倍。期刊上的预注册试验每组 400 人,只有一个主要结局,在真实效应 0.20 时功效 81%,夸大比只有 1.1,并且有一次独立重复。

活标本:本系列的自检

按照这份核查表,本系列在前两步上只是写法合格:据本书所知,各书第八章都事先写明了唯一的主要结局与判定规则,假说框也写明了什么结果能证明它是错的。但这些方案目前只印在书中,据本书所知还没有在任何试验登记平台上登记,而写法合格不是证据。在后两步上,本系列必须诚实地承认以下局限:

  • 没有数据。 书中的试验目前都只是方案;据本书所知,各书没有报告任何一项试验的结果。所以这些书能被评判的是方案本身,不是干预的效果。
  • 效应量假设缺少先验依据。 按作者自己的评估,多数书的样本量计算依据的是设定的最小关注效应,而不是已发表研究中同类干预的效应估计;例如第 30 本第八章就写明,没有可借用的已发表训练效应量。本书的试验也是如此(见下文)。如果真实效应比设定的小,试验的实际功效会低于计划。
  • 「90% 把握度」的含义。 第六章的程序显示,在真实效应恰好等于最小关注效应时,判定规则得出「至少达到最小关注效应」这一最强结论的机会只有 2.5%;90% 指的是得到某种「获益」结论的概率。
  • AI 起草。 正文、标注框与代码由 AI 起草、作者审阅,细节可能出错;作者与 AI 工具的核查不等于独立同行评审,更不等于独立重复。
  • 利益关系。 作者与本系列主题有商业利益关系;披露让读者知道,但不能消除利益的影响。
  • 独立重复为零。 没有任何独立团队重复过本系列的任何一项主张。

这些局限不意味着本系列的内容是错的,而是意味着:按照本书自己的标准,读者对本系列的假说与试验方案,应当给予与对其他未经检验的说法同样的怀疑。

第二部分 预注册随机对照试验方案

问题

一次 20 分钟的「分岔花园与小样本赢家诅咒识别训练」,与花同样时间阅读一份常规的批判性思维格言相比,能否提高成年人区分「含方法学缺陷而夸大其词的新闻报道」与「如实报道的新闻」的能力?

框架中的主要结局是「评估 12 篇含方法学缺陷的新闻报道时识别夸大声称的辨别力 d′d'」。这里需要补充一点:辨别力 d′d' 来自信号检测论(第 26 本第四章),必须同时有「信号」与「噪声」两类材料才能计算;只看 12 篇有缺陷的报道,只能得到「识别出缺陷的比例」(击中率),无法区分「真的更会辨别」与「对什么都更怀疑」。所以本方案在 12 篇有缺陷的报道之外,加入 12 篇在主题、长度与写法上配对的如实报道。

证据

教人评估治疗声称,有大型试验的先例。 在乌干达的一项整群随机对照试验中,120 所小学被随机分配到「知情健康选择」课程组或对照组。课程结束时,干预组学校儿童在一项评估治疗声称可靠性的测验中平均得分 62.4%,对照组 43.1%,调整后的平均差为 20.0 个百分点;达到及格线(24 题中答对至少 13 题)的比例为 69% 对 27% (Nsangi et al. 2017)。这项研究的对象是儿童,课程远长于 20 分钟,结局是知识测验而不是辨别力;它说明这类能力可以被教,但不能用来估计本试验的效应量。

设计

要素 规定
参与者 18 至 70 岁成年人,通过独立的在线调查样本库招募;不从作者的社群、学员、客户或牌卡用户中招募;排除受过研究方法或统计学专业训练(超过一门入门课程)的人、新闻或科研从业者,以及参加过预试验的人
测试材料 24 篇简短的新闻报道:12 篇含有由方法学缺陷造成的夸大声称(小样本子群挑选、无对照组的前后对比、多个结局中只报告显著的一个、相关当因果、动物结果推到人),12 篇如实报道;由三位与本研究无关的方法学专家在试验开始前独立分类,三人一致的才入选;预试验中删除仅凭表面线索(标题措辞、长度)就能分辨的报道;呈现顺序随机
随机分组 个体按 1:1 随机分配,按学历(是否有大学学位)分层;分配序列由与招募无关的人员用计算机生成,在参与者完成同意书后才显示
A 组 20 分钟的自学模块:用四个实例讲解分岔花园(多个结局、子群、可选停止)与小样本赢家诅咒(显著的小样本效应偏大),附带反馈的练习题;练习材料与测试材料不重叠
B 组(积极对照) 20 分钟阅读一份常规的批判性思维与媒体素养格言(核对来源与作者、查看日期、寻找其他报道、警惕情绪化语言),形式与练习数量与 A 组相同,但不讲解研究设计与统计
盲法 参与者被告知研究比较「两种阅读新闻的方法」,不告知假说;判断由程序自动记分;分析者在锁定数据库与分析代码之前不知道分组
主要结局 训练后立即对 24 篇报道作「夸大/如实」判断的辨别力 d′d',计数加 0.5、总数加 1 的对数线性校正 (Hautus 1995; Macmillan and Creelman 2005)
次要结局 判断标准 cc;击中率与虚报率;信心评分的校准;4 周后对另一组平行的 24 篇报道的 d′d';六题知识测验(同时作为操纵检验)
分析 线性模型,自变量为分组,协变量为分层变量;报告 A − B 的差及其 95% 置信区间;双侧 α=0.05\alpha = 0.05

主要结局选 d′d' 而不是「识别出多少篇有缺陷的报道」,有一个具体的理由,下面的程序会说明。

样本量

推导

# Sample size for the Chapter 8 trial. Primary outcome: discrimination d' when judging 24
# news reports (12 contain an exaggerated claim from a methodological flaw, 12 are
# accurate), with the log-linear correction (add 0.5 to each count, 1 to each total;
# Hautus 1995). ASSUMED, not taken from any study: true d' in the control arm ~ N(1.0,
# 0.5) between people, criterion c ~ N(0, 0.5).
import math, random
from statistics import NormalDist, mean, stdev
N = NormalDist()

def observed_dprime(rng, d, c, n=12):
    h = sum(rng.random() < N.cdf(d / 2 - c) for _ in range(n))
    f = sum(rng.random() < N.cdf(-d / 2 - c) for _ in range(n))
    return N.inv_cdf((h + 0.5) / (n + 1)) - N.inv_cdf((f + 0.5) / (n + 1)), h / n, f / n

def arm(rng, shift_d=0.0, shift_c=0.0, people=20000):
    out = [observed_dprime(rng, rng.gauss(1.0 + shift_d, 0.5), rng.gauss(shift_c, 0.5))
           for _ in range(people)]
    return [o[0] for o in out], mean(o[1] for o in out), mean(o[2] for o in out)

def per_arm(sd, delta, alpha=0.05, power=0.90):
    z = N.inv_cdf(1 - alpha / 2) + N.inv_cdf(power)
    return math.ceil(2 * z ** 2 * sd ** 2 / delta ** 2) + 1

if __name__ == "__main__":
    rng = random.Random(1995)
    b, hb, fb = arm(rng)
    a, ha, fa = arm(rng, shift_d=0.25)
    s, hs, fs = arm(rng, shift_c=-0.4)
    sd = stdev(b)
    print(f"control arm: observed d' mean {mean(b):.2f} (true 1.00),"
          f" SD between people {sd:.2f}")
    print(f"true d' raised by 0.25 -> observed difference {mean(a) - mean(b):.2f}"
          f" (hits {hb:.2f} -> {ha:.2f}, false alarms {fb:.2f} -> {fa:.2f})")
    print(f"only more sceptical (c lowered by 0.4) ->"
          f" d' difference {mean(s) - mean(b):+.2f}"
          f" (hits {hs:.2f}, false alarms {fs:.2f})")
    print("people per arm, 90 % power, alpha 0.05 | observed-d' SESOI 0.20 | 0.25 | 0.30")
    for v in (0.60, round(sd, 2), 0.90):
        ns = " |".join(f"{per_arm(v, dl):5d}" for dl in (0.20, 0.25, 0.30))
        print(f"   SD of observed d' = {v:.2f} {'':16s}|" + ns)
    n = per_arm(round(sd, 2), 0.25)
    rec = math.ceil(n / 0.85)
    print(f"chosen: SESOI 0.25 (observed d'), SD {sd:.2f} -> {n} analysable per arm")
    print(f"allowing 15 % exclusions (attention checks, incomplete sessions)"
          f" -> recruit {rec} per arm,"
          f" {2 * rec} in all")
# control arm: observed d' mean 0.96 (true 1.00), SD between people 0.72
# true d' raised by 0.25 -> observed difference 0.23 (hits 0.67 -> 0.71, false alarms 0.33 -> 0.29)
# only more sceptical (c lowered by 0.4) -> d' difference -0.02 (hits 0.78, false alarms 0.46)
# people per arm, 90 % power, alpha 0.05 | observed-d' SESOI 0.20 | 0.25 | 0.30
#    SD of observed d' = 0.60                 |  191 |  123 |   86
#    SD of observed d' = 0.72                 |  274 |  176 |  123
#    SD of observed d' = 0.90                 |  427 |  274 |  191
# chosen: SESOI 0.25 (observed d'), SD 0.72 -> 176 analysable per arm
# allowing 15 % exclusions (attention checks, incomplete sessions) -> recruit 208 per arm, 416 in all

这里没有可以借用的已发表效应量(上面的乌干达试验人群、干预时长与结局都不同),所以程序明确写出了假设:对照组真实 d′d' 在人群中服从均值 1.0、标准差 0.5 的正态分布,判断标准 cc 的标准差为 0.5。在这些假设下,24 篇报道得到的观察 d′d' 均值为 0.96(对数线性校正使它略向零收缩),人与人之间的标准差为 0.72。真实 d′d' 提高 0.25 时,观察到的差为 0.23。

程序的第三行说明了为什么主要结局必须是 d′d':如果一种训练只是让人更多疑(判断标准降低 0.4),击中率会从 0.67 升到 0.78,看起来「识别出了更多缺陷」;但虚报率同时从 0.33 升到 0.46,d′d' 的差只有 −0.02。也就是说,只看有缺陷的报道,会把「什么都怀疑」误当作「会辨别」。

取观察 d′d' 的最小关注效应为 0.25(约 0.35 个标准差)、90% 把握度,每组需要 176 名可分析的参与者;考虑约 15% 的排除(注意力检查不合格、未完成),每组招募 208 人,共 416 人。如果标准差是 0.60 或 0.90,每组所需人数分别为 123 与 274;如果最小关注效应取 0.20 或 0.30,分别为 274 与 123。按第六章的结果,「90% 把握度」指的是在真实效应等于 0.25 时,得出某种「获益」结论的概率约为 90%;要以较大把握得出「至少达到最小关注效应」的结论,真实效应需要约 0.4 到 0.5。

判定规则

推导

# Decision rule fixed before enrolment. D = arm A minus arm B in observed d' (24 reports),
# adjusted for the randomisation stratum (education); 95 % CI; positive = better
# discrimination in A. SESOI 0.25. Gates: more than 25 % of randomised people excluded, or
# the manipulation check fails (A not higher than B on the 6-item knowledge quiz,
# one-sided p < .05) -> NOT INTERPRETABLE.
SESOI = 0.25

def verdict(d, lo, hi, excluded=0.10, manip_ok=True, c_shift=None):
    if excluded > 0.25:
        return f"D = {d:+.2f}: NOT INTERPRETABLE - {excluded:.0%} excluded (limit 25 %)"
    if not manip_ok:
        return f"D = {d:+.2f}: NOT INTERPRETABLE - manipulation check failed"
    if lo >= SESOI:   v = "training improves discrimination by at least 0.25"
    elif lo > 0:      v = "training improves discrimination; size not shown to reach 0.25"
    elif hi < 0:      v = "training WORSENS discrimination"
    elif lo >= -SESOI and hi <= SESOI: v = "no difference worth acting on"
    else:             v = "unclear: the interval is too wide to decide"
    out = f"D = {d:+.2f} ({lo:+.2f} to {hi:+.2f}): {v}"
    if c_shift is not None and abs(c_shift) >= 0.2 and not lo > 0:
        out += (f"\n      note: criterion moved {c_shift:+.2f}"
                " - more suspicion, not more discernment")
    return out

for case in ((0.42, 0.27, 0.57), (0.18, 0.03, 0.33), (0.03, -0.12, 0.18),
             (-0.20, -0.35, -0.05), (0.10, -0.19, 0.39),
             (0.02, -0.13, 0.17, 0.10, True, -0.38),
             (0.40, 0.25, 0.55, 0.31), (0.35, 0.20, 0.50, 0.12, False)):
    print(verdict(*case))
print("secondary outcomes (criterion c, hit and false-alarm rates, confidence ratings,"
      " d' after")
print("  4 weeks) are reported with intervals and never decide the verdict")
# D = +0.42 (+0.27 to +0.57): training improves discrimination by at least 0.25
# D = +0.18 (+0.03 to +0.33): training improves discrimination; size not shown to reach 0.25
# D = +0.03 (-0.12 to +0.18): no difference worth acting on
# D = -0.20 (-0.35 to -0.05): training WORSENS discrimination
# D = +0.10 (-0.19 to +0.39): unclear: the interval is too wide to decide
# D = +0.02 (-0.13 to +0.17): no difference worth acting on
#       note: criterion moved -0.38 - more suspicion, not more discernment
# D = +0.40: NOT INTERPRETABLE - 31% excluded (limit 25 %)
# D = +0.35: NOT INTERPRETABLE - manipulation check failed
# secondary outcomes (criterion c, hit and false-alarm rates, confidence ratings, d' after
#   4 weeks) are reported with intervals and never decide the verdict

示例结果是编造的。如果被随机分配者中超过 25% 被排除,或者操纵检验失败(A 组在知识测验上没有高于 B 组),无论主要结局如何,报告都写「不可解释」。只有当差值的置信区间下限不低于 0.25 时,报告才写「训练使辨别力提高了至少最小关注的幅度」。如果 d′d' 没有差别而判断标准明显移动,报告会特别注明:训练让人更多疑,但没有让人更会辨别。

这项试验不能说明什么

第一,实验情境中对精选报道的即时判断,不能说明日常读新闻时会怎样,更不能说明实际决定(如是否购买保健品)会不会改变。第二,24 篇报道只覆盖几类缺陷。第三,阳性结果也不能说明训练的哪个成分起了作用。第四,在线志愿者与一般人群可能不同。第五,4 周后的测试只能部分说明效果能否持续。第六,结果不能用来支持或反对本系列其他书中的任何主张。

伦理与利益冲突

试验风险很低,但仍须经独立伦理委员会批准,参与者签署知情同意,并在第一位参与者入组之前登记方案、测试材料的分类与分析代码 (Nosek et al. 2018);如有可能,以注册报告的形式投稿 (Chambers 2013),使发表与否不取决于结果。试验结束后,向所有参与者说明哪些报道含有缺陷以及缺陷是什么,并向 B 组提供 A 组的训练材料。数据匿名存储。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。本书不推销任何课程、牌卡或服务;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户中招募;书中所有代码与研究方案均公开,供任何人检验。为限制利益的影响:训练材料、测试材料与分析代码在入组前公开;无论结果如何,结果、数据和代码都将公开。

本章小结

四步核查表依次检查一个说法是否事先可证伪、是否经过多重比较与可选停止、样本是否小到效应必然被夸大、是否经过独立重复并披露了利益关系。用于三个虚构的说法时,它能清楚地区分案例报告、保健品广告与预注册试验。用于本系列自身时,它显示本系列的方案只在写法上符合预注册的要求(尚未在登记平台登记),而且没有数据、效应量假设缺乏先验依据、由 AI 起草、作者有商业利益、没有独立重复。预注册试验以 d′d' 为唯一主要结局,每组 176 名可分析、招募 208 名,判定规则写成代码,无论结果如何都发表。

参考文献

Chambers, Christopher D. 2013. “Registered Reports: A New Publishing Initiative at Cortex.” Cortex 49 (3): 609–10. https://doi.org/10.1016/j.cortex.2012.12.016.
Hautus, Michael J. 1995. “Corrections for Extreme Proportions and Their Biasing Effects on Estimated Values of d’.” Behavior Research Methods, Instruments, & Computers 27 (1): 46–51.
Macmillan, Neil A., and C. Douglas Creelman. 2005. Detection Theory: A User’s Guide. 2nd ed. Lawrence Erlbaum.
Nosek, Brian A., Charles R. Ebersole, Alexander C. DeHaven, and David T. Mellor. 2018. “The Preregistration Revolution.” Proceedings of the National Academy of Sciences 115 (11): 2600–2606. https://doi.org/10.1073/pnas.1708274114.
Nsangi, Allen, Daniel Semakula, Andrew D. Oxman, et al. 2017. “Effects of the Informed Health Choices Primary School Intervention on the Ability of Children in Uganda to Assess the Reliability of Claims about Treatment Effects: A Cluster-Randomised Controlled Trial.” The Lancet 390 (10092): 374–88. https://doi.org/10.1016/S0140-6736(17)31226-6.
Sumner, Petroc, Solveiga Vivian-Griffiths, Jacky Boivin, et al. 2014. “The Association Between Exaggeration in Health Related Science News and Academic Press Releases: Retrospective Observational Study.” BMJ 349: g7015. https://doi.org/10.1136/bmj.g7015.

Fan, Y. (2026). Scientific Methodology, Falsifiability and the Mathematical Statistics of the Replication Crisis: From Popper's Demarcation and p-Hacking to Ioannidis's Theorem and Pre-Registration, Read Beside Classical Chinese Evidential Scholarship [科学方法论、可证伪性与可重复性危机的数理统计] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23782104 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).