5D Library › 未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数 · English

第八章 实践与预注册试验

注

本章的核查表是一个思考工具,不是投资、创业或职业建议,也不承诺任何结果。 示例是一个虚构的「青石工作室」,所有渠道、先验、转化率与成本都是编造的,只用来演示计算方法,不来自任何真实的组织或客户。

第一部分 四步搜索与停止核查表

前六章的模型可以整理成四个问题。它们适用于任何「在几个不确定的选项中寻找、并决定何时停止」的情形。

  1. 明确搜索空间与先验。 有哪些候选(渠道、方向、人选、地点)?对每一个,在看到数据之前相信什么?把先验写成「相当于看过多少次试验」,让它的分量一目了然;必要时用第 26 本的方法检查这些主观概率是否校准(第三章)。
  2. 设定停止规则。 探索在什么条件下结束?例如「某个候选是最好的后验概率达到 0.90」或「预算用完」;目标是边学边赚,还是先学后赚(第四、六章)?
  3. 分配探索预算。 用什么规则在候选之间分配试验?是否给每个候选设最低试验次数,以免一两次早期的失败把一个好方向「饿死」(第三、六章)?
  4. 预设止损边界。 选定方向之后,在什么证据下放弃?写下盈亏平衡点、目标值、错误率与试验上限,并确认已经花掉的钱不出现在边界里(第五章)。

推导

把核查表用在虚构的「青石工作室」上:五个渠道 A—E 测试一款新产品,总预算 1,500 次试验。第 1 步:团队给出的先验(贝塔分布)及其 90% 区间(由 20,000 次抽样估计)。第 2—3 步:用汤普森抽样分配试验,每 50 次检查一次各渠道「是最好的」的后验概率,达到 0.90 就选定。第 4 步:对选定的渠道,用盈亏平衡转化率 0.08 对目标转化率 0.12 的序贯概率比检验设定放弃与确认边界(α=0.05\alpha = 0.05,β=0.10\beta = 0.10)。因为是虚构的例子,程序最后列出了团队并不知道的「真实」转化率。

# Four-step checklist on an invented "Qingshi Studio" testing five channels (all numbers
# made up). Step 1 priors; Steps 2-3 Thompson allocation, commit when P(best) >= 0.90;
# Step 4 stop-loss: Wald SPRT, break-even 0.08 against target 0.12.
import math, random

NAMES = ["A", "B", "C", "D", "E"]
PRIOR = [(2, 18), (2, 18), (1, 9), (3, 27), (1, 19)]     # team's stated beliefs
TRUE = [0.09, 0.13, 0.07, 0.11, 0.05]                    # unknown to the team
rng = random.Random(42)

def p_best(s, n, draws=4000):
    wins = [0] * 5
    for _ in range(draws):
        th = [rng.betavariate(a + s[i], b + n[i] - s[i])
              for i, (a, b) in enumerate(PRIOR)]
        wins[max(range(5), key=th.__getitem__)] += 1
    return [w / draws for w in wins]

def quantiles(a, b, m=20000):
    xs = sorted(rng.betavariate(a, b) for _ in range(m))
    return xs[m // 20], xs[19 * m // 20]

if __name__ == "__main__":
    print("Step 1: prior for each channel (mean, 90 % interval, weight in trials)")
    for nm, (a, b) in zip(NAMES, PRIOR):
        lo, hi = quantiles(a, b)
        print(f"   {nm}: mean {a / (a + b):.3f}, {lo:.3f} to {hi:.3f},"
              f" worth {a + b} trials")
    s, n, budget = [0] * 5, [0] * 5, 1500
    print("Steps 2-3: Thompson allocation; commit at P(best) >= 0.90 (checked every 50)")
    for t in range(1, budget + 1):
        th = [rng.betavariate(a + s[i], b + n[i] - s[i])
              for i, (a, b) in enumerate(PRIOR)]
        i = max(range(5), key=th.__getitem__)
        s[i] += rng.random() < TRUE[i]; n[i] += 1
        if t % 50 == 0:
            pb = p_best(s, n)
            if t % 300 == 0 or max(pb) >= 0.90:
                print(f"   after {t:4d}: trials {n}, P(best) "
                      + " ".join(f"{x:.2f}" for x in pb))
            if max(pb) >= 0.90:
                break
    lead = max(range(5), key=pb.__getitem__)
    print(f"   commit to {NAMES[lead]} after {t} of {budget} trials; observed rates "
          + " ".join(f"{s[i] / n[i]:.3f}" for i in range(5)))
    print("   (invented truth: " + " ".join(f"{p:.2f}" for p in TRUE) + ")")
    print("Step 4: SPRT 0.08 vs 0.12, alpha 0.05, beta 0.10; 50/100/200/400 new trials")
    la, lb = math.log(0.9 / 0.05), math.log(0.1 / 0.95)
    up, dn = math.log(0.12 / 0.08), math.log(0.88 / 0.92)
    ms = (50, 100, 200, 400)
    low = [math.floor((lb - m * dn) / (up - dn)) for m in ms]
    print("   abandon if successes <= " + ", ".join("-" if x < 0 else str(x) for x in low)
          + "; confirm if >= " + ", ".join(str(math.ceil((la - m * dn) / (up - dn)))
                                          for m in ms))
# Step 1: prior for each channel (mean, 90 % interval, weight in trials)
#    A: mean 0.100, 0.019 to 0.224, worth 20 trials
#    B: mean 0.100, 0.019 to 0.227, worth 20 trials
#    C: mean 0.100, 0.006 to 0.283, worth 10 trials
#    D: mean 0.100, 0.029 to 0.201, worth 30 trials
#    E: mean 0.050, 0.003 to 0.145, worth 20 trials
# Steps 2-3: Thompson allocation; commit at P(best) >= 0.90 (checked every 50)
#    after  300: trials [31, 47, 70, 137, 15], P(best) 0.06 0.04 0.10 0.72 0.07
#    after  600: trials [37, 53, 111, 376, 23], P(best) 0.09 0.03 0.10 0.74 0.04
#    after  900: trials [63, 57, 144, 600, 36], P(best) 0.04 0.03 0.08 0.84 0.02
#    after 1200: trials [73, 67, 161, 859, 40], P(best) 0.02 0.03 0.03 0.92 0.01
#    commit to D after 1200 of 1500 trials; observed rates 0.041 0.045 0.068 0.116 0.025
#    (invented truth: 0.09 0.13 0.07 0.11 0.05)
# Step 4: SPRT 0.08 vs 0.12, alpha 0.05, beta 0.10; 50/100/200/400 new trials
#    abandon if successes <= -, 4, 14, 34; confirm if >= 12, 17, 27, 46

第 1 步:A、B、C、D 的先验均值都是 0.10,但分量不同:D 相当于看过 30 次试验,90% 区间为 0.029 到 0.201;C 只相当于 10 次,区间宽到 0.006 到 0.283。E 的先验均值为 0.05。(A 与 B 的先验相同,区间略有差别来自抽样误差。)

第 2—3 步:前 300 次试验中,D 得到 137 次,是最好渠道的后验概率为 0.72;到第 1,200 次,D 已得到 859 次,后验概率达到 0.92,团队选定 D,留下 300 次预算。观察到的转化率中 D 最高(0.116),B 只有 0.045。

但在这个虚构的例子里,真实最好的渠道是 B(0.13),不是 D(0.11)。B 在早期运气不好,67 次试验中只有 3 次转化,汤普森抽样随即把试验转给了其他渠道,B 再也没有得到翻身的机会。这不是程序出错:后验概率 0.92 本来就意味着有约 8% 的机会选错,而这次正好落在这 8% 里。它说明了第 2、3 步需要的两个补充:一是给每个候选设一个最低试验次数,或者用第六章的前二汤普森抽样,把一部分试验留给挑战者;二是在选定之前检查一下,被淘汰的候选是不是只因为很少几次早期的失败(第三章的「过早排除」)。

第 4 步:对选定的 D,新开始的 50 次试验内还不能放弃,转化达到 12 次就确认;100 次时不超过 4 次就放弃、达到 17 次确认;200 次时为 14 次与 27 次;400 次时为 34 次与 46 次。边界只取决于盈亏平衡点、目标值与错误率,不取决于此前已经在 D 上花了多少钱。

第二部分 预注册随机对照试验方案

问题

在只给相对名次的序列选择任务(经典秘书问题,每局 40 名虚拟求职者)中,事先学习一条停止阈值规则(「先放过前 15 人,之后选第一个比之前所有人都好的人」),与只学习任务规则的对照说明相比,能否提高选中全体最佳者的比例?

证据

已有的证据。 第二章介绍的研究显示,在只给相对名次的经典任务中,参与者倾向于停得比最优规则早 (Seale and Rapoport 1997);在可以学习分布的重复游戏中,玩家在几局之后就接近最优阈值 (Goldstein et al. 2020);比尔登指出,按实际水平计分时,较早停止反而是最优的 (Bearden 2006)。但作者没有找到在经典任务中随机比较「事先学习阈值规则」与对照说明、以选中最佳者比例为唯一主要结局的预注册试验。

设计

要素 规定
设计 两组平行、个人随机化的在线对照试验,按「是否自报曾学过秘书问题」分层,1:1 分配
参与者 年满 18 岁、能流利阅读任务语言、用电脑作答的成年人,经公开的在线研究参与者平台招募;不从作者的社群、学员或客户(包括作者企业的客户与学员)中招募
排除 曾参加预试验者;两道注意力检查题都答错者(随机化后发生,计入「排除比例」)
任务 20 局经典秘书问题,每局 40 名虚拟求职者,只显示相对名次,不能召回;选中全体最佳者得一份奖金
干预与对照 各约 8 分钟的互动讲解加 3 局练习;内容见下文
主要结局 每名参与者在 20 局中选中全体最佳者的局数比例
次要结局 被迫录用最后一人的比例(「空手」)、平均停止位置、被录用者的平均名次、拟合的个人阈值、前后 10 局的变化
样本量 每组 190 名可分析、招募 224 名,共 448 名
分析 主要结局 ~ 组别 + 分层变量的线性回归,报告均值差 dd(干预减对照)及 95% 置信区间,双侧 α=0.05\alpha = 0.05;敏感性分析为以每局结果为结局、参与者为随机效应的逻辑回归

任务。 每局 40 名虚拟求职者以随机顺序逐一出现,屏幕只显示「此人在已见过的人中排第几」;参与者当场选择「录用」或「放过」,放过的人不能召回,到最后一人仍未录用时自动录用最后一人。每局录用的若是全体最佳者,获得一份奖金,否则没有,两组相同;这一计分方式事先向两组说明,使「只有第一名算成功」成为明确的目标。

干预组的讲解说明阈值规则是什么(40 人时先放过前 15 人)、为什么成功概率约为 37%、为什么这已是最好的结果,随后 3 局练习,每局后显示全体最佳者的位置与规则会怎样做,最后回答 3 道关于规则的选择题(理解检查)。对照组的讲解只介绍界面、规则、计分方式以及「选中最佳者本来就不容易」,不涉及任何策略;同样 3 局练习,每局后只显示全体最佳者的位置,最后回答 3 道关于界面的选择题。参与者不知道研究假设与另一组的内容;随机化与结局记录由程序自动完成;分析人员在分析计划锁定前不知道组别标签的含义。参与者获得固定报酬加按局计算的奖金。

主要结局只设一项。次要结局帮助解释结果,尤其是第二章的假说:如果干预组选中最佳者的比例提高,「空手」的比例是否同时上升?次要结局只报告估计与区间,不参与主要判定。

样本量

推导

# Chapter 8 trial. Part 1: a MODEL (simulated participants, not data). 20 games of the
# secretary problem, n = 40, ranks only; each person skips round(40 x) then takes the
# first relative best; control x ~ N(0.22, 0.10), trained x ~ N(0.33, 0.07), truncated
# to [0.02, 0.90]: assumptions, not estimates. Outcome: share of games best chosen.
# Part 2: sample size for a difference in mean shares, two-sided alpha 0.05.
import math, random
from statistics import NormalDist, mean, stdev

N, GAMES = 40, 20

def p_success(r):                        # skip r - 1 applicants, exact probability
    return 1 / N if r == 1 else (r - 1) / N * sum(1 / (i - 1) for i in range(r, N + 1))

def participant(mu, sd, rng):
    x = min(0.90, max(0.02, rng.gauss(mu, sd)))
    p = p_success(round(N * x) + 1)
    return sum(rng.random() < p for _ in range(GAMES)) / GAMES

def n_per_arm(sd, diff, power=0.90, alpha=0.05):
    z = NormalDist().inv_cdf
    return math.ceil(2 * (z(1 - alpha / 2) + z(power)) ** 2 * sd ** 2 / diff ** 2)

if __name__ == "__main__":
    rng = random.Random(1997)
    ctrl = [participant(0.22, 0.10, rng) for _ in range(20000)]
    trn = [participant(0.33, 0.07, rng) for _ in range(20000)]
    print(f"model: control mean share {mean(ctrl):.3f} (SD {stdev(ctrl):.3f}),"
          f" trained {mean(trn):.3f} (SD {stdev(trn):.3f})")
    print(f"model difference {mean(trn) - mean(ctrl):+.3f};"
          f" ceiling with the optimal cutoff: {p_success(16):.3f}")
    print("analysable participants per arm, power 90 %:")
    print("   SD of share   diff 0.03   diff 0.04   diff 0.05")
    for sd in (0.10, 0.12, 0.14):
        cols = "      ".join(f"{n_per_arm(sd, d):6d}" for d in (0.03, 0.04, 0.05))
        print(f"      {sd:.2f}       {cols}")
    print("pre-registered plan: SD 0.12, smallest effect of interest 0.04, 15 % excluded")
    n = n_per_arm(0.12, 0.04); rec = math.ceil(n / 0.85)
    print(f"   power 90 %: {n} analysable and {rec} recruited per arm, {2 * rec} in all")
# model: control mean share 0.321 (SD 0.120), trained 0.367 (SD 0.107)
# model difference +0.046; ceiling with the optimal cutoff: 0.376
# analysable participants per arm, power 90 %:
#    SD of share   diff 0.03   diff 0.04   diff 0.05
#       0.10          234         132          85
#       0.12          337         190         122
#       0.14          458         258         165
# pre-registered plan: SD 0.12, smallest effect of interest 0.04, 15 % excluded
#    power 90 %: 190 analysable and 224 recruited per arm, 448 in all

程序第一部分不是数据,而是对假说的一个模型:每位参与者使用一个个人的阈值;对照组的阈值比例平均为 0.22(停得早,这是模仿已有研究的方向而设定的假设,不是任何研究的估计值),干预组平均为 0.33。模型中对照组选中最佳者的平均比例为 0.321,干预组为 0.367,差 0.046;即使每个人都严格使用最优阈值,比例也只有 0.376。这说明这项试验能检测的效应有天花板:如果对照组本来就做得不差(例如 0.34),任何训练都不可能把比例提高 4 个百分点。

样本量按以下假设计算:最小关注效应为 4 个百分点(0.04);每名参与者比例的标准差取 0.12(20 局的二项抽样误差约为 0.107,加上个人之间的差异;模型中的标准差为 0.107 到 0.120),双侧 α=0.05\alpha = 0.05,把握度 90%。每组需要 190 名可分析的参与者;考虑约 15% 的人因未完成或注意力检查失败被排除,每组招募 224 名,共 448 名。标准差为 0.10 或 0.14 时,每组分别需要 132 与 258 名;最小关注效应为 0.03 时,标准差 0.12 下需要 337 名。这些参数都是假设值。正式试验之前先做一个小规模预试验,只用来检查任务程序、讲解时长与注意力检查是否正常,不用来改变样本量。

注

「90% 把握度」的含义。 与第 33 本一致:90% 指的是在真实效应恰好等于最小关注效应(d=0.04d = 0.04)时,得出某种「获益」结论的概率;在这种情况下,判定规则得出最强结论「至少提高 4 个百分点」的机会只有约 2.5%。下面的判定程序用模拟验证了这一点。

判定规则

推导

# Decision rule for the Chapter 8 trial, fixed before any data are collected.
# d = mean share of games won (best applicant chosen), trained arm minus control arm,
# with its 95 % CI. Smallest effect of interest (SESOI): 0.04 (4 percentage points).
# Gates: more than 20 % of randomised participants excluded (failed attention checks,
# unfinished), or fewer than 70 % of the trained arm passing the comprehension check
# -> NOT INTERPRETABLE.
import math, random
from statistics import NormalDist
SESOI = 0.04

def verdict(d, lo, hi, excluded=0.10, understood=0.85):
    if excluded > 0.20:
        return (f"d = {d:+.3f}: NOT INTERPRETABLE - {100 * excluded:.0f} % excluded"
                " (limit 20 %)")
    if understood < 0.70:
        return (f"d = {d:+.3f}: NOT INTERPRETABLE - only {100 * understood:.0f} %"
                " understood the rule")
    if lo >= SESOI:      v = "training helps by at least 4 points"
    elif lo > 0:         v = "training helps; 4 points not shown"
    elif hi < 0:         v = "training HARMS"
    elif lo >= -SESOI and hi <= SESOI: v = "no difference worth acting on"
    else:                v = "unclear: the interval is too wide to decide"
    return f"d = {d:+.3f} ({lo:+.3f} to {hi:+.3f}): {v}"

def label(lo, hi):
    return verdict(0, lo, hi).split(": ", 1)[1]

if __name__ == "__main__":
    for case in ((0.071, 0.047, 0.095), (0.046, 0.022, 0.070), (0.004, -0.020, 0.028),
                 (-0.031, -0.055, -0.007), (0.020, -0.012, 0.052),
                 (0.060, 0.036, 0.084, 0.26), (0.050, 0.026, 0.074, 0.08, 0.62)):
        print(verdict(*case))
    # How often does each verdict occur? 190 analysable per arm, SD of the share 0.12,
    # 10,000 simulated trials for each true d.
    rng = random.Random(42); z = NormalDist().inv_cdf(0.975); n, sd = 190, 0.12
    for true in (0.04, 0.06, 0.0):
        tally = {}
        for _ in range(10000):
            a = [rng.gauss(true, sd) for _ in range(n)]
            b = [rng.gauss(0.0, sd) for _ in range(n)]
            ma, mb = sum(a) / n, sum(b) / n
            ss = sum((x - ma) ** 2 for x in a) + sum((x - mb) ** 2 for x in b)
            d, se = ma - mb, math.sqrt(ss / (2 * n - 2) * (2 / n))
            v = label(d - z * se, d + z * se)
            tally[v] = tally.get(v, 0) + 1
        short = {"training helps by at least 4 points": "helps >= 4",
                 "training helps; 4 points not shown": "helps", "training HARMS": "harms",
                 "no difference worth acting on": "no difference",
                 "unclear: the interval is too wide to decide": "unclear"}
        ranked = sorted(tally.items(), key=lambda kv: -kv[1])
        print(f"true d = {true:+.2f}: " + ", ".join(f"{short[k]} {c / 100:.1f} %"
                                                  for k, c in ranked))
# d = +0.071 (+0.047 to +0.095): training helps by at least 4 points
# d = +0.046 (+0.022 to +0.070): training helps; 4 points not shown
# d = +0.004 (-0.020 to +0.028): no difference worth acting on
# d = -0.031 (-0.055 to -0.007): training HARMS
# d = +0.020 (-0.012 to +0.052): unclear: the interval is too wide to decide
# d = +0.060: NOT INTERPRETABLE - 26 % excluded (limit 20 %)
# d = +0.050: NOT INTERPRETABLE - only 62 % understood the rule
# true d = +0.04: helps 86.9 %, unclear 7.9 %, no difference 2.7 %, helps >= 4 2.6 %
# true d = +0.06: helps 63.3 %, helps >= 4 36.5 %, unclear 0.2 %
# true d = +0.00: no difference 80.1 %, unclear 14.5 %, harms 2.9 %, helps 2.4 %

前七行示例结果是编造的。排除的参与者超过随机化人数的 20%,或干预组中通过理解检查的人不到 70% 时,无论结果如何,报告都写「不可解释」。只有当 dd 的 95% 置信区间下限不低于 0.04 时,报告才写「训练至少提高 4 个百分点」。模拟显示,每组 190 人、真实的 dd 恰为 0.04 时,在 10,000 次模拟试验中,86.9% 得出「有提高,但未证明达到 4 个百分点」,2.6% 得出最强结论,二者合计约 90%;真实的 dd 为 0.06 时,36.5% 得出最强结论;真实没有效应时,80.1% 得出「没有值得行动的差别」,2.4% 错误地得出「有提高」,2.9% 得出「训练有害」。各项次要结局只报告估计与区间,不用来推翻主要结论。

这项试验不能说明什么

第一,任务按「只有第一名算成功」计分,是为了检验规则在它本来的目标下是否有效;即使结果为阳性,也不能说明学习 37% 规则对真实的招聘、择偶或投资有帮助。第六章说明,在按实际水平计分或面试有成本时,37% 规则远不是最优的,照搬它可能有害。第二,这是一个抽象的在线任务,奖金很小,求职者是虚拟的;真实决策中的情绪、时间压力与社会因素都不在其中。第三,干预同时包括规则、解释与带反馈的练习,阳性结果不能区分是哪一部分起了作用。第四,结局在讲解后立即测量,不能说明效果能保持多久。第五,可能的效应受到约 0.376 的天花板限制,所以即使训练「有效」,绝对的提高也很小。第六,在线平台的参与者不代表一般人群,也不代表有经验的招聘者。

伦理与利益冲突

这是一项低风险研究:任务是抽象的选择游戏,不涉及健康干预,也不收集健康信息与可识别的个人信息。即便如此,试验仍须经独立伦理委员会审查批准,每位参与者在线签署知情同意,并在第一位参与者入组之前登记方案与分析计划 (Nosek et al. 2018)。任务说明如实告知计分与报酬;不告知研究假设属于信息保留而非欺骗,任务结束后向所有人说明研究目的,并向对照组提供干预组的讲解材料。任何人可随时退出,并获得已完成部分的报酬。数据匿名保存,只用于计算预先规定的指标。无论结果正负,都将发表。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。作者还创办并经营 Asia Influencer X 与 Yafu Global,业务涉及网红与人才的筛选,以及新赛道、新项目的测试,与本书主题有直接的商业利益。本书不推销任何课程、牌卡或服务,不构成投资、创业或职业建议,书中不使用上述企业的客户数据;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户(包括上述企业的客户与学员)中招募;书中所有代码与研究方案均公开,供任何人检验。本书所有模型仅供数理与统计决策论的学术探讨,不推荐任何具体项目、赛道或人选。

参考文献

Bearden, J. Neil. 2006. “A New Secretary Problem with Rank-Based Selection and Cardinal Payoffs.” Journal of Mathematical Psychology 50: 58–59.
Goldstein, Daniel G., R. Preston McAfee, Siddharth Suri, and James R. Wright. 2020. “Learning When to Stop Searching.” Management Science 66 (3): 1375–94. https://doi.org/10.1287/mnsc.2018.3245.
Nosek, Brian A., Charles R. Ebersole, Alexander C. DeHaven, and David T. Mellor. 2018. “The Preregistration Revolution.” Proceedings of the National Academy of Sciences 115 (11): 2600–2606. https://doi.org/10.1073/pnas.1708274114.
Seale, Darryl A., and Amnon Rapoport. 1997. “Sequential Decision Making with Relative Ranks: An Experimental Investigation of the ‘Secretary Problem’.” Organizational Behavior and Human Decision Processes 69 (3): 221–36.

Fan, Y. (2026). Bayesian Search in Unknown Landscapes, Optimal Stopping and Gittins Indices: Exploration–Exploitation Trade-offs and Sunk-Cost Truncation in Statistical Decision Theory [未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23810102 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).