5D Library › 未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数 · English
第六章 应用:赛道测试与人才筛选
注
本章不是创业、投资、职业或人力资源建议。 本章的「赛道」「渠道」「求职者」与数字都是虚构的,只用来说明前几章的模型在应用时需要怎样修正。真实的商业决策与招聘决策涉及许多模型之外的因素,招聘还受劳动法规与反歧视义务约束。
赛道测试:边学边赚,还是先学后赚
一个团队有几个可能的产品方向(下称「赛道」),每个赛道的「转化率」未知,可以用小规模的试验(一次投放、一次销售拜访、一次试用)来测试;总预算有限,最后要选一个赛道投入。这是多臂老虎机,但目标可能有两种:测试期间的转化尽量多(边学边赚),或者测试结束时选对的概率尽量大(先学后赚,统计学上叫「最佳臂识别」)。两个目标要求的分配不同:前者应当很快把试验集中到看起来最好的赛道上,后者需要让排名靠前的几个赛道都得到足够的试验,以便把它们区分开。拉索 2020 年提出的前二汤普森抽样是为后一个目标设计的简单贝叶斯算法:每次先按汤普森抽样找出「领先者」,以一半的概率试领先者,另一半的概率试重新抽样后的「挑战者」(Russo 2020)。
推导
六个虚构的赛道,转化率固定为 0.10、0.12、0.13、0.15、0.16 与 0.20(最后一个最好),预算 1,200 次试验,结束时选一个赛道。比较四种做法:(1)平均分配,每个 200 次,选观察到的转化率最高者;(2)逐轮淘汰:6 个各 80 次,留 3 个各 120 次,留 2 个各 180 次,选最好者;(3)汤普森抽样,选后验均值最高者;(4)前二汤普森抽样。每种做法模拟 400 次。
# Six invented lanes with fixed conversion rates (lane 5 best), 1,200 trials, then one
# lane is chosen. (1) equal split; (2) successive halving 6 x 80 -> 3 x 120 -> 2 x 180;
# (3) Thompson sampling, Beta(1, 1); (4) top-two Thompson sampling (Russo 2020).
import random
P = [0.10, 0.12, 0.13, 0.15, 0.16, 0.20]
K, B = len(P), 1200
def pull(i, s, n, rng):
s[i] += rng.random() < P[i]; n[i] += 1
def choose(s, n):
return max(range(K), key=lambda i: ((1 + s[i]) / (2 + n[i]), i))
def run(policy, rng):
s, n = [0] * K, [0] * K
if policy == "equal split":
for i in range(K):
for _ in range(B // K):
pull(i, s, n, rng)
elif policy == "successive halving":
alive = list(range(K))
for keep, each in ((3, 80), (2, 120), (1, 180)):
for i in alive:
for _ in range(each):
pull(i, s, n, rng)
alive = sorted(alive, key=lambda i: -(1 + s[i]) / (2 + n[i]))[:keep]
else:
for _ in range(B):
th = [rng.betavariate(1 + s[i], 1 + n[i] - s[i]) for i in range(K)]
lead = max(range(K), key=th.__getitem__)
i = lead
if policy == "top-two Thompson" and rng.random() < 0.5:
for _ in range(100):
th = [rng.betavariate(1 + s[j], 1 + n[j] - s[j]) for j in range(K)]
i = max(range(K), key=th.__getitem__)
if i != lead:
break
pull(i, s, n, rng)
return choose(s, n), sum(s), n
if __name__ == "__main__":
rng = random.Random(2020); runs = 400
print(f"{runs} simulated tests per policy; best lane rate 0.20, budget {B} trials")
print(" policy P(best chosen) loss in rate conversions"
" trials on best")
for pol in ("equal split", "successive halving", "Thompson", "top-two Thompson"):
ok = loss = conv = onbest = 0
for _ in range(runs):
c, sc, n = run(pol, rng)
ok += c == K - 1; loss += P[-1] - P[c]; conv += sc; onbest += n[-1]
print(f" {pol:20s} {ok / runs:.3f} {loss / runs:.4f}"
f" {conv / runs:6.1f} {onbest / runs:6.1f}")
print(f" (always the best lane: {B * P[-1]:.0f} conversions expected;"
f" equal split: {B / K * sum(P):.0f})")
print(" (simulation SE of each P(best chosen) is about 0.02)")
# 400 simulated tests per policy; best lane rate 0.20, budget 1200 trials
# policy P(best chosen) loss in rate conversions trials on best
# equal split 0.820 0.0084 171.9 200.0
# successive halving 0.825 0.0076 188.1 343.9
# Thompson 0.855 0.0066 200.8 568.1
# top-two Thompson 0.873 0.0059 194.4 436.6
# (always the best lane: 240 conversions expected; equal split: 172)
# (simulation SE of each P(best chosen) is about 0.02)四种做法选对最好赛道的概率在 0.82 到 0.87 之间,前二汤普森抽样最高(0.873),平均分配最低(0.820);但每个比例的模拟标准误约为 0.02,所以选对概率的差别大多在模拟误差范围之内。测试期间的转化数差别更清楚:平均分配只得到 171.9 次,逐轮淘汰 188.1 次,汤普森抽样 200.8 次,前二汤普森抽样 194.4 次(如果一开始就知道最好的赛道,期望为 240 次)。汤普森抽样把 568 次试验给了最好的赛道,前二汤普森抽样只给了 437 次,因为它有意把试验分给挑战者,用一部分转化换取更准确的排名。逐轮淘汰是一种简单的「提前停止」:每一轮停掉表现差的赛道,不需要任何概率计算,却比平均分配多得到约 16 次转化。
这些结果依赖几个在现实中常常不成立的假设。第一,转化率不随时间变化;真实的市场会变,早期的结果可能不代表后来。第二,结果立刻可见;如果一次试验的结果要几周后才知道,序贯分配的好处会减少。第三,「转化」是正确的指标;短期转化高的赛道,长期价值不一定高。第四,选出来的赛道的观察转化率通常高估了它的真实转化率,因为它被选中部分正是因为运气好,这就是第 33 本讨论过的「赢家的诅咒」。第五,测试预算本身是一种下注,投入多少才不会危及整个团队,是第 19 本《非遍历性财富动力学、凯利准则与波动率税》讨论过的问题,这里只作引述。
单个赛道的「继续还是放弃」,可以用第五章的单臂老虎机与序贯概率比检验处理:开始之前写下盈亏平衡点、目标转化率、错误率与试验上限,把边界打印出来,到了边界就执行。
人才筛选:秘书问题的局限与修正
招聘常被当作秘书问题的典型应用,但第一章列出的条件几乎都不成立。下面看两个最重要的修正。
推导
(a)按实际水平计分:求职者的水平在 0 到 1 之间均匀分布,只看得到相对名次,但报酬是被录用者的实际水平;用阈值 (跳过前 人),之后录用第一个相对最佳者,如果都没有出现就录用最后一个人。期望水平有精确公式 。(b)看得到水平并知道分布,每次面试有成本 :用逆向归纳求出每一步的「保留水平」(达到就录用),与 37% 规则比较净价值(被录用者的水平减去面试成本)与面试人数。数字都是示意的。
# (a) Cardinal payoff (Bearden 2006): quality ~ U(0, 1), relative ranks only, payoff =
# quality hired; cutoff c, last applicant if nobody qualifies; exact formula.
# (b) Quality seen, distribution known, cost k per interview: reservation levels by
# backward induction, against the 1/e rank rule (20,000 simulated runs).
import math, random
def cardinal(n, c):
if c == 1:
return 0.5
return (c - 1) * sum(1 / ((i - 1) * (i + 1)) for i in range(c, n + 1)) \
+ (c - 1) / (2 * (n + 1))
def reservation(n, k):
w = [0.0] # w[j]: value with j interviews left
for j in range(1, n + 1):
prev = w[-1]
emax = (1 + prev ** 2) / 2 if prev > 0 else 0.5
w.append(max(0.0, emax - k))
return w
def sim(n, k, rule, rng, runs=20000):
w, val, cnt = reservation(n, k), 0.0, 0
r = round(n / math.e) + 1
for _ in range(runs):
xs = [rng.random() for _ in range(n)]
if rule == "reservation":
for i, x in enumerate(xs):
if w[n - i] <= 0:
i, x = i - 1, 0.0
break
if x >= w[n - 1 - i]:
break
else:
bar = max(xs[:r - 1])
i = next((j for j in range(r - 1, n) if xs[j] > bar), n - 1); x = xs[i]
val += x - k * (i + 1); cnt += i + 1
return val / runs, cnt / runs
if __name__ == "__main__":
print("(a) cardinal payoff, relative ranks only: expected quality of the hire")
print(" n best c sqrt(n) E at best c 1/e cutoff c E at 1/e cutoff")
for n in (10, 40, 100, 400):
c = max(range(1, n + 1), key=lambda c: cardinal(n, c))
r = round(n / math.e) + 1
print(f" {n:4d} {c:5d} {math.sqrt(n):5.1f} {cardinal(n, c):.4f}"
f" {r:4d} {cardinal(n, r):.4f}")
print("(b) interview cost k, quality seen, n = 40: net value (interviews used)")
print(" k first reservation reservation rule 1/e rank rule")
rng = random.Random(2006)
for k in (0.0, 0.005, 0.02):
w = reservation(40, k)
a = sim(40, k, "reservation", rng); b = sim(40, k, "1/e", rng)
print(f" {k:6.3f} {w[39]:.3f} {a[0]:.3f} ({a[1]:4.1f})"
f" {b[0]:.3f} ({b[1]:4.1f})")
# (a) cardinal payoff, relative ranks only: expected quality of the hire
# n best c sqrt(n) E at best c 1/e cutoff c E at 1/e cutoff
# 10 3 3.2 0.7333 5 0.7000
# 40 6 6.3 0.8542 16 0.7812
# 100 10 10.0 0.9050 38 0.8018
# 400 20 20.0 0.9513 148 0.8129
# (b) interview cost k, quality seen, n = 40: net value (interviews used)
# k first reservation reservation rule 1/e rank rule
# 0.000 0.955 0.955 (15.0) 0.781 (30.0)
# 0.005 0.898 0.898 ( 9.2) 0.628 (30.0)
# 0.020 0.800 0.800 ( 5.0) 0.179 (30.1)(a)的结果与比尔登 2006 年的结论一致:报酬是实际水平时,最好的阈值约为 (Bearden 2006)。40 人时只跳过 5 人,被录用者的期望水平为 0.854;照搬 37% 规则跳过 15 人,期望水平只有 0.781。人数越多差别越大:400 人时,跳过 19 人的期望水平为 0.951,跳过 147 人只有 0.813。原因是 37% 规则有 37% 的机会空手而归(或被迫录用最后一个人),这对「第一名或零」的目标无所谓,对「录用一个尽量好的人」的目标代价很大。
(b)的结果更进一步。如果知道水平的分布(例如过去几轮招聘的分数分布),而且看得到每个人的水平,就不需要「学习阶段」:没有面试成本时,最优规则的期望水平为 0.955,平均面试 15 人;37% 规则只有 0.781,而且要面试约 30 人。每次面试的成本为 0.005 时,最优规则的净价值为 0.898,平均面试 9.2 人,37% 规则降到 0.628;成本为 0.02 时,最优规则平均只面试 5 人,第一位求职者达到 0.800 就录用,37% 规则的净价值只剩 0.179。面试有成本、又知道大致的分布时,「早一点停」往往是对的,这也是第二章提到的实验中「停得太早」可能部分合理的原因之一。
把前两章与本章合起来,可以列出人才筛选中需要的修正:
- 用事先定义的评分代替相对比较。 结构化的评分让每个人的水平「看得到」,而且使决定不依赖于求职者到来的顺序。只按「是否比前面的人好」决定,意味着同样水平的人因为来得早晚不同而得到不同的结果,这在公平上也有问题。
- 用历史数据建立先验。 过去的评分分布相当于完全信息版本中的「已知分布」,可以把成功概率从约 0.37 提高到约 0.58(第二章),或在按实际水平计分时直接给出保留水平。
- 把面试成本与等待成本算进去。 有成本时,最优的保留水平随剩余机会减少而降低,应当更早录用。
- 考虑被拒绝与可以回头。 录用可能被拒绝时要更早出手,可以回头联系时可以多看一些人(第二章)。
- 人数不确定时不要照搬 37%。 人数在一个范围内不确定时,最佳单一阈值只跳过约 13.5%(第二章)。
- 一个职位以外的情形。 同时招多人、团队需要不同技能组合时,问题变成多次停止或组合选择,本书不讨论。
注
数学模型不是招聘程序。 以上讨论只涉及决策的数学结构。真实的招聘需要与职位相关、事先定义并一致执行的评估标准,需要遵守当地关于平等就业与个人信息的法律,也需要考虑求职者的体验。本书的模型不能替代这些要求。
本章小结
赛道测试中,「边学边赚」与「先学后赚」是两个不同的目标:汤普森抽样在测试期间得到最多的转化,前二汤普森抽样把更多试验留给挑战者以提高选对的概率,逐轮淘汰是一种不需要概率计算的提前停止;在示意的参数下,选对概率的差别在模拟误差之内,转化数的差别更清楚。真实应用中需要注意结果延迟、指标选择与赢家的诅咒。人才筛选中,报酬是实际水平时最好的阈值约为 ,40 人时只需跳过 5 人;看得到水平、知道分布并且面试有成本时,最优规则往往在最初几个人中就录用。下一章把这些想法与几段中国古代文献并读。
参考文献
Fan, Y. (2026). Bayesian Search in Unknown Landscapes, Optimal Stopping and Gittins Indices: Exploration–Exploitation Trade-offs and Sunk-Cost Truncation in Statistical Decision Theory [未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23810102 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).