5D Library › 未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数 · English

第六章 应用:赛道测试与人才筛选

注

本章不是创业、投资、职业或人力资源建议。 本章的「赛道」「渠道」「求职者」与数字都是虚构的,只用来说明前几章的模型在应用时需要怎样修正。真实的商业决策与招聘决策涉及许多模型之外的因素,招聘还受劳动法规与反歧视义务约束。

赛道测试:边学边赚,还是先学后赚

一个团队有几个可能的产品方向(下称「赛道」),每个赛道的「转化率」未知,可以用小规模的试验(一次投放、一次销售拜访、一次试用)来测试;总预算有限,最后要选一个赛道投入。这是多臂老虎机,但目标可能有两种:测试期间的转化尽量多(边学边赚),或者测试结束时选对的概率尽量大(先学后赚,统计学上叫「最佳臂识别」)。两个目标要求的分配不同:前者应当很快把试验集中到看起来最好的赛道上,后者需要让排名靠前的几个赛道都得到足够的试验,以便把它们区分开。拉索 2020 年提出的前二汤普森抽样是为后一个目标设计的简单贝叶斯算法:每次先按汤普森抽样找出「领先者」,以一半的概率试领先者,另一半的概率试重新抽样后的「挑战者」(Russo 2020)。

推导

六个虚构的赛道,转化率固定为 0.10、0.12、0.13、0.15、0.16 与 0.20(最后一个最好),预算 1,200 次试验,结束时选一个赛道。比较四种做法:(1)平均分配,每个 200 次,选观察到的转化率最高者;(2)逐轮淘汰:6 个各 80 次,留 3 个各 120 次,留 2 个各 180 次,选最好者;(3)汤普森抽样,选后验均值最高者;(4)前二汤普森抽样。每种做法模拟 400 次。

# Six invented lanes with fixed conversion rates (lane 5 best), 1,200 trials, then one
# lane is chosen. (1) equal split; (2) successive halving 6 x 80 -> 3 x 120 -> 2 x 180;
# (3) Thompson sampling, Beta(1, 1); (4) top-two Thompson sampling (Russo 2020).
import random

P = [0.10, 0.12, 0.13, 0.15, 0.16, 0.20]
K, B = len(P), 1200

def pull(i, s, n, rng):
    s[i] += rng.random() < P[i]; n[i] += 1

def choose(s, n):
    return max(range(K), key=lambda i: ((1 + s[i]) / (2 + n[i]), i))

def run(policy, rng):
    s, n = [0] * K, [0] * K
    if policy == "equal split":
        for i in range(K):
            for _ in range(B // K):
                pull(i, s, n, rng)
    elif policy == "successive halving":
        alive = list(range(K))
        for keep, each in ((3, 80), (2, 120), (1, 180)):
            for i in alive:
                for _ in range(each):
                    pull(i, s, n, rng)
            alive = sorted(alive, key=lambda i: -(1 + s[i]) / (2 + n[i]))[:keep]
    else:
        for _ in range(B):
            th = [rng.betavariate(1 + s[i], 1 + n[i] - s[i]) for i in range(K)]
            lead = max(range(K), key=th.__getitem__)
            i = lead
            if policy == "top-two Thompson" and rng.random() < 0.5:
                for _ in range(100):
                    th = [rng.betavariate(1 + s[j], 1 + n[j] - s[j]) for j in range(K)]
                    i = max(range(K), key=th.__getitem__)
                    if i != lead:
                        break
            pull(i, s, n, rng)
    return choose(s, n), sum(s), n

if __name__ == "__main__":
    rng = random.Random(2020); runs = 400
    print(f"{runs} simulated tests per policy; best lane rate 0.20, budget {B} trials")
    print("   policy                P(best chosen)  loss in rate  conversions"
          "  trials on best")
    for pol in ("equal split", "successive halving", "Thompson", "top-two Thompson"):
        ok = loss = conv = onbest = 0
        for _ in range(runs):
            c, sc, n = run(pol, rng)
            ok += c == K - 1; loss += P[-1] - P[c]; conv += sc; onbest += n[-1]
        print(f"   {pol:20s}      {ok / runs:.3f}         {loss / runs:.4f}"
              f"       {conv / runs:6.1f}       {onbest / runs:6.1f}")
    print(f"   (always the best lane: {B * P[-1]:.0f} conversions expected;"
          f" equal split: {B / K * sum(P):.0f})")
    print("   (simulation SE of each P(best chosen) is about 0.02)")
# 400 simulated tests per policy; best lane rate 0.20, budget 1200 trials
#    policy                P(best chosen)  loss in rate  conversions  trials on best
#    equal split               0.820         0.0084        171.9        200.0
#    successive halving        0.825         0.0076        188.1        343.9
#    Thompson                  0.855         0.0066        200.8        568.1
#    top-two Thompson          0.873         0.0059        194.4        436.6
#    (always the best lane: 240 conversions expected; equal split: 172)
#    (simulation SE of each P(best chosen) is about 0.02)

四种做法选对最好赛道的概率在 0.82 到 0.87 之间,前二汤普森抽样最高(0.873),平均分配最低(0.820);但每个比例的模拟标准误约为 0.02,所以选对概率的差别大多在模拟误差范围之内。测试期间的转化数差别更清楚:平均分配只得到 171.9 次,逐轮淘汰 188.1 次,汤普森抽样 200.8 次,前二汤普森抽样 194.4 次(如果一开始就知道最好的赛道,期望为 240 次)。汤普森抽样把 568 次试验给了最好的赛道,前二汤普森抽样只给了 437 次,因为它有意把试验分给挑战者,用一部分转化换取更准确的排名。逐轮淘汰是一种简单的「提前停止」:每一轮停掉表现差的赛道,不需要任何概率计算,却比平均分配多得到约 16 次转化。

这些结果依赖几个在现实中常常不成立的假设。第一,转化率不随时间变化;真实的市场会变,早期的结果可能不代表后来。第二,结果立刻可见;如果一次试验的结果要几周后才知道,序贯分配的好处会减少。第三,「转化」是正确的指标;短期转化高的赛道,长期价值不一定高。第四,选出来的赛道的观察转化率通常高估了它的真实转化率,因为它被选中部分正是因为运气好,这就是第 33 本讨论过的「赢家的诅咒」。第五,测试预算本身是一种下注,投入多少才不会危及整个团队,是第 19 本《非遍历性财富动力学、凯利准则与波动率税》讨论过的问题,这里只作引述。

单个赛道的「继续还是放弃」,可以用第五章的单臂老虎机与序贯概率比检验处理:开始之前写下盈亏平衡点、目标转化率、错误率与试验上限,把边界打印出来,到了边界就执行。

人才筛选:秘书问题的局限与修正

招聘常被当作秘书问题的典型应用,但第一章列出的条件几乎都不成立。下面看两个最重要的修正。

推导

(a)按实际水平计分:求职者的水平在 0 到 1 之间均匀分布,只看得到相对名次,但报酬是被录用者的实际水平;用阈值 cc(跳过前 c−1c-1 人),之后录用第一个相对最佳者,如果都没有出现就录用最后一个人。期望水平有精确公式 E=(c−1)∑i=cn1(i−1)(i+1)+c−12(n+1)E = (c-1)\sum_{i=c}^{n}\frac{1}{(i-1)(i+1)} + \frac{c-1}{2(n+1)}。(b)看得到水平并知道分布,每次面试有成本 kk:用逆向归纳求出每一步的「保留水平」(达到就录用),与 37% 规则比较净价值(被录用者的水平减去面试成本)与面试人数。数字都是示意的。

# (a) Cardinal payoff (Bearden 2006): quality ~ U(0, 1), relative ranks only, payoff =
#     quality hired; cutoff c, last applicant if nobody qualifies; exact formula.
# (b) Quality seen, distribution known, cost k per interview: reservation levels by
#     backward induction, against the 1/e rank rule (20,000 simulated runs).
import math, random

def cardinal(n, c):
    if c == 1:
        return 0.5
    return (c - 1) * sum(1 / ((i - 1) * (i + 1)) for i in range(c, n + 1)) \
        + (c - 1) / (2 * (n + 1))

def reservation(n, k):
    w = [0.0]                                  # w[j]: value with j interviews left
    for j in range(1, n + 1):
        prev = w[-1]
        emax = (1 + prev ** 2) / 2 if prev > 0 else 0.5
        w.append(max(0.0, emax - k))
    return w

def sim(n, k, rule, rng, runs=20000):
    w, val, cnt = reservation(n, k), 0.0, 0
    r = round(n / math.e) + 1
    for _ in range(runs):
        xs = [rng.random() for _ in range(n)]
        if rule == "reservation":
            for i, x in enumerate(xs):
                if w[n - i] <= 0:
                    i, x = i - 1, 0.0
                    break
                if x >= w[n - 1 - i]:
                    break
        else:
            bar = max(xs[:r - 1])
            i = next((j for j in range(r - 1, n) if xs[j] > bar), n - 1); x = xs[i]
        val += x - k * (i + 1); cnt += i + 1
    return val / runs, cnt / runs

if __name__ == "__main__":
    print("(a) cardinal payoff, relative ranks only: expected quality of the hire")
    print("     n   best c   sqrt(n)   E at best c   1/e cutoff c   E at 1/e cutoff")
    for n in (10, 40, 100, 400):
        c = max(range(1, n + 1), key=lambda c: cardinal(n, c))
        r = round(n / math.e) + 1
        print(f"   {n:4d}   {c:5d}    {math.sqrt(n):5.1f}      {cardinal(n, c):.4f}"
              f"         {r:4d}          {cardinal(n, r):.4f}")
    print("(b) interview cost k, quality seen, n = 40: net value (interviews used)")
    print("       k     first reservation   reservation rule      1/e rank rule")
    rng = random.Random(2006)
    for k in (0.0, 0.005, 0.02):
        w = reservation(40, k)
        a = sim(40, k, "reservation", rng); b = sim(40, k, "1/e", rng)
        print(f"   {k:6.3f}         {w[39]:.3f}          {a[0]:.3f} ({a[1]:4.1f})"
              f"       {b[0]:.3f} ({b[1]:4.1f})")
# (a) cardinal payoff, relative ranks only: expected quality of the hire
#      n   best c   sqrt(n)   E at best c   1/e cutoff c   E at 1/e cutoff
#      10       3      3.2      0.7333            5          0.7000
#      40       6      6.3      0.8542           16          0.7812
#     100      10     10.0      0.9050           38          0.8018
#     400      20     20.0      0.9513          148          0.8129
# (b) interview cost k, quality seen, n = 40: net value (interviews used)
#        k     first reservation   reservation rule      1/e rank rule
#     0.000         0.955          0.955 (15.0)       0.781 (30.0)
#     0.005         0.898          0.898 ( 9.2)       0.628 (30.0)
#     0.020         0.800          0.800 ( 5.0)       0.179 (30.1)

(a)的结果与比尔登 2006 年的结论一致:报酬是实际水平时,最好的阈值约为 n\sqrt{n} (Bearden 2006)。40 人时只跳过 5 人,被录用者的期望水平为 0.854;照搬 37% 规则跳过 15 人,期望水平只有 0.781。人数越多差别越大:400 人时,跳过 19 人的期望水平为 0.951,跳过 147 人只有 0.813。原因是 37% 规则有 37% 的机会空手而归(或被迫录用最后一个人),这对「第一名或零」的目标无所谓,对「录用一个尽量好的人」的目标代价很大。

(b)的结果更进一步。如果知道水平的分布(例如过去几轮招聘的分数分布),而且看得到每个人的水平,就不需要「学习阶段」:没有面试成本时,最优规则的期望水平为 0.955,平均面试 15 人;37% 规则只有 0.781,而且要面试约 30 人。每次面试的成本为 0.005 时,最优规则的净价值为 0.898,平均面试 9.2 人,37% 规则降到 0.628;成本为 0.02 时,最优规则平均只面试 5 人,第一位求职者达到 0.800 就录用,37% 规则的净价值只剩 0.179。面试有成本、又知道大致的分布时,「早一点停」往往是对的,这也是第二章提到的实验中「停得太早」可能部分合理的原因之一。

把前两章与本章合起来,可以列出人才筛选中需要的修正:

  • 用事先定义的评分代替相对比较。 结构化的评分让每个人的水平「看得到」,而且使决定不依赖于求职者到来的顺序。只按「是否比前面的人好」决定,意味着同样水平的人因为来得早晚不同而得到不同的结果,这在公平上也有问题。
  • 用历史数据建立先验。 过去的评分分布相当于完全信息版本中的「已知分布」,可以把成功概率从约 0.37 提高到约 0.58(第二章),或在按实际水平计分时直接给出保留水平。
  • 把面试成本与等待成本算进去。 有成本时,最优的保留水平随剩余机会减少而降低,应当更早录用。
  • 考虑被拒绝与可以回头。 录用可能被拒绝时要更早出手,可以回头联系时可以多看一些人(第二章)。
  • 人数不确定时不要照搬 37%。 人数在一个范围内不确定时,最佳单一阈值只跳过约 13.5%(第二章)。
  • 一个职位以外的情形。 同时招多人、团队需要不同技能组合时,问题变成多次停止或组合选择,本书不讨论。

注

数学模型不是招聘程序。 以上讨论只涉及决策的数学结构。真实的招聘需要与职位相关、事先定义并一致执行的评估标准,需要遵守当地关于平等就业与个人信息的法律,也需要考虑求职者的体验。本书的模型不能替代这些要求。

本章小结

赛道测试中,「边学边赚」与「先学后赚」是两个不同的目标:汤普森抽样在测试期间得到最多的转化,前二汤普森抽样把更多试验留给挑战者以提高选对的概率,逐轮淘汰是一种不需要概率计算的提前停止;在示意的参数下,选对概率的差别在模拟误差之内,转化数的差别更清楚。真实应用中需要注意结果延迟、指标选择与赢家的诅咒。人才筛选中,报酬是实际水平时最好的阈值约为 n\sqrt{n},40 人时只需跳过 5 人;看得到水平、知道分布并且面试有成本时,最优规则往往在最初几个人中就录用。下一章把这些想法与几段中国古代文献并读。

参考文献

Bearden, J. Neil. 2006. “A New Secretary Problem with Rank-Based Selection and Cardinal Payoffs.” Journal of Mathematical Psychology 50: 58–59.
Russo, Daniel. 2020. “Simple Bayesian Algorithms for Best-Arm Identification.” Operations Research 68 (6): 1625–47. https://doi.org/10.1287/opre.2019.1911.

Fan, Y. (2026). Bayesian Search in Unknown Landscapes, Optimal Stopping and Gittins Indices: Exploration–Exploitation Trade-offs and Sunk-Cost Truncation in Statistical Decision Theory [未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23810102 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).