5D Library › 未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数 · English

序:什么时候停下,往哪里找,还要不要继续

注

请先读这一段。 本书是教学与研究用的数学模型与统计决策论读本,不是投资、交易、创业、职业、人力资源、税务或法律建议;书中的模拟与示例结果是在明确假设下算出来的,不代表任何真实项目、市场或个人的未来结果。本书不推荐任何具体的资产、平台、交易所、币种、券商或服务。书中的「求职者」「赛道」「渠道」「项目」「搜索海域」与数据,除注明出处外都是虚构或程序合成的,参数是示意值。

本书多次出现「最优」一词。它只表示:在写明的假设下,某条规则在数学上使某个目标(例如选中最佳者的概率、期望折扣收益)最大;假设一旦不成立,结论可能不再成立。本书不说任何规则「保证」「必胜」或「稳赚」。涉及招聘与人才筛选的内容只讨论决策的数学结构;真实的招聘还受劳动法规、反歧视义务与公平原则约束,需要依当地法律与专业意见执行。

1960 年 2 月,马丁·加德纳在《科学美国人》的「数学游戏」专栏里介绍了一个游戏:有人在许多张纸条上各写一个数,翻过来洗乱;你一张一张地翻,任何时候都可以停下,宣布刚翻开的这张是最大的;猜对就赢,翻过的纸条不能再要回来 (Gardner 1960)。这个游戏后来以「秘书问题」闻名:如果只能看到求职者之间的相对名次,又不能回头,那么先看过约 37% 的人而不录用,之后录用第一个比前面所有人都好的人,选中最佳者的概率约为 37%。

这条「37% 法则」流传很广,常被当作找房子、找对象、招聘的生活建议。但它成立的条件相当苛刻;把条件放宽一点,最优的做法就会大变。同样的问题以不同的面目反复出现:海上搜寻失事的飞机,应该先搜概率最大的地方,还是先搜最容易发现的地方?有几个选择的收益都不确定时,应该把时间花在目前看来最好的那一个上,还是分一些给还不了解的?一个项目已经投入了很多,前景却不明朗,是应该坚持还是放弃?这些问题在统计决策论里有一个共同的结构:停时(什么时候停止观察并行动)与探索—利用权衡(为了获得信息愿意付出多少眼前的代价)。

这本书问四个问题。第一,秘书问题、贝叶斯搜索与多臂老虎机这几个经典模型的结论到底是什么,在什么假设下成立?第二,「沉没成本谬误」有多少实验证据,规范的决策模型又怎样区分「理性的坚持」与「沉没成本谬误」?第三,这些模型用于创业试验与人才筛选时,需要做哪些修正?第四,人们能否通过学习停止规则做出更好的序贯选择,这能否在预注册的随机试验中检验?

本书的内容

第一章用有限 nn 的精确计算推导秘书问题的最优阈值与成功概率,给出 n→∞n \to \infty 的极限 1/e1/e,并介绍弗格森 1989 年对这一问题历史的考证;第二章讨论完全信息、最小化期望名次、录用可能被拒绝、可以回头与人数未知等变体,以及人们在实验中的停止行为;第三章讨论库普曼的搜索论与贝叶斯搜索,用网格上的程序演示后验更新与「后验概率 × 发现概率」的分配规则,讨论「天蝎号」潜艇与法航 447 航班残骸搜寻的经验,并介绍觅食生态学中的查诺夫边际价值定理与列维飞行觅食假说的争议;第四章讨论多臂老虎机:吉廷斯指数的计算与它成立的条件、汤普森抽样、UCB1 以及莱与罗宾斯的后悔下界;第五章讨论沉没成本的实验证据与争议、作为单臂老虎机的「继续还是放弃」问题,以及用沃尔德序贯概率比检验预先设定止损边界;第六章把这些模型用于创业赛道测试与人才筛选,并说明秘书问题在现实中的局限与修正。第七章把这些研究与《孙子兵法》的《作战篇》《九变篇》《军争篇》、《三国志·魏书·郭嘉传》的「兵贵神速」以及《韩非子》的《显学》《二柄》并读,并明确古代经验与现代停时理论的界限。第八章给出一份「四步搜索与停止核查表」,以及一项预注册的在线随机对照试验方案:比较「事先学习停止阈值规则」与「对照说明」对序列选择任务中选中最佳者比例的影响。

本书与 5D Library 的几本书相邻,只作简短回顾、不重复其程序:第 16 本(实物期权,第五章回顾)、第 19 本(凯利准则与破产风险,第六章引述)、第 26 本(概率校准,第三、八章构造先验时引用)、第 27 本(机制设计,与第七章《二柄》一节相邻)、第 32 本(其第五章已比较贪婪、ε\varepsilon-贪婪、UCB1 与汤普森抽样,第四章不重复,只讨论吉廷斯指数与后悔下界)、第 33 本(可选停止,第五章说明它与事先设计的序贯检验的区别)。

核对后修正的说法

作者最初的框架中有几处说法,核对后需要修正、补充或限定。

第一,「37% 法则」。有限 nn 的最优跳过人数由精确公式求出:n=10n = 10 时跳过 3 人、成功概率 0.399,n=100n = 100 时跳过 37 人、0.371;只有 n→∞n \to \infty 时,跳过比例与成功概率才都趋于 1/e≈0.3681/e \approx 0.368。成功概率在最优点附近很平坦(n=100n = 100 时跳过 30% 到 50% 都在 0.349 以上)。这条规则只最大化「选中第一名」的概率,约 63% 的时候失败,n=40n = 40 时有 37.5% 的情形空手而归。

第二,变体。吉尔伯特与莫斯特勒的完全信息版本极限约为 0.5802 (Gilbert and Mosteller 1966),周元燊等人的最小期望名次极限约为 3.8695 (Chow et al. 1964),都核对无误,但前者要求知道分数的分布,后者是 n→∞n \to \infty 的极限(n=100n = 100 时为 3.60)。「带召回的情形」需要说明:可以随时回头时问题是平凡的;有意义的是回头时对方可能已不可用 (Yang 1974),本书用「最后回头一次」的简化模型说明,并补充录用可能被拒绝的情形 (Smith 1975)。

第三,历史。弗格森 1989 年的回答是「没有人」:加德纳原始的古戈尔游戏由另一个人写数,本质上是两人博弈,1960 年代的解法处理的是只看相对名次的版本 (Ferguson 1989);最早的期刊解答是林德利 1961 年 (Lindley 1961)。开普勒的择偶故事违反「不能回头」,凯莱 1875 年的抽奖问题按实际数值计分,都不是秘书问题,「开普勒用了 37% 法则」的说法不准确。

第四,现实条件。秘书问题要求人数已知、随机顺序、只看相对名次、不能回头、录用必被接受、只有第一名算成功,这些在招聘中几乎都不成立。按实际水平计分时最优阈值约为 n\sqrt{n},即跳过约 n−1\sqrt{n} – 1 人 (Bearden 2006),40 人只需跳过 5 人;人数在 1 到 bb 之间均匀分布时,最佳单一阈值只跳过约 13.5%,成功概率约 0.27 (Presman and Sonin 1972)。

第五,贝叶斯搜索。「后验概率 × 发现概率」是决定下一次搜哪里的贪婪规则,在每次搜一格、发现概率固定的离散问题中最优;一般理论来自库普曼 (Koopman 1957; Stone 1975)。法航 447 一例出自斯通等人 2014 年《统计科学》29(1): 69—80,残骸于 2011 年 4 月 3 日、新一阶段搜索约一周后找到 (Stone et al. 2014);关键在于重新检查「信标在工作」的假设,作者自己也说联合建模会更好。「天蝎号」一例出自理查森与斯通 1971 年 (Richardson and Stone 1971)。两个成功案例不能证明方法总能成功。

第六,吉廷斯指数的最优性 (Gittins and Jones 1974; Gittins 1979) 要求各臂独立、未选的臂状态不变、固定折扣、无限期限、每次选一臂、切换无成本;条件不成立时只是近似。本书程序中,折扣 0.9 的两臂问题里贪婪策略只比吉廷斯策略少约 0.3%。

第七,汤普森抽样与后悔下界。阿格拉沃尔与戈亚尔 2012 年首次证明其对数后悔上界,常数并非最优 (Agrawal and Goyal 2012),考夫曼等人同年证明它对伯努利臂渐近达到莱—罗宾斯下界 (Kaufmann et al. 2012)。该下界是 T→∞T \to \infty 的渐近结论 (Lai and Robbins 1985),有限 TT 下后悔可以低于 cln⁡Tc \ln T(本书程序中 21.9 对 48.5)。

第八,沉没成本的证据。阿克斯与布卢默 1985 年的剧院实验只有 54 人可分析,效应只出现在前半季 (Arkes and Blumer 1985)。框架中的「Roth et al. 2015 的综述」是罗特、罗伯特与施特劳斯在《商业研究》上的元分析,合并效应约 0.50,多来自假想情境,但在项目推进类决策中,调查与现场研究的效应反而大于情境实验 (Roth et al. 2015);有真实激励的实验室实验效应小而不稳定 (Friedman et al. 2007);斯利斯曼等人的元分析中沉没成本的平均相关约 0.24、80% 可信区间含零,沉没成本不与「接近完成」同时变化时只有约 0.10 (Sleesman et al. 2012);「多实验室」项目重复出了假想情境下的效应 (Klein et al. 2014)。

第九,「理性决策只看前瞻价值」在规范模型中正确,但「坚持就是谬误」不对:花掉的钱不进入决策,积累的证据与信息价值会进入,早期在盈亏平衡点以下继续可以是理性的;考虑沉没成本有时也有理性理由 (McAfee et al. 2010)。

第十,沃尔德的边界 A≈(1−β)/αA \approx (1-\beta)/\alpha、B≈β/(1−α)B \approx \beta/(1-\alpha) 是近似 (Wald 1945);序贯概率比检验在两个简单假设之间使期望样本量最小 (Wald and Wolfowitz 1948),但真实值落在中间时可能很长,须预设上限。「止损边界」不能保证避免损失。

第十一,原典。「兵贵神速」出自《三国志·魏书·郭嘉传》(卷十四),不出自《孙子兵法》;《作战篇》相近的是「故兵闻拙速,未睹巧之久也」与「故兵贵胜,不贵久」。《九变篇》本书据通行本作「途有所不由」,框架作「涂」,二字古通,已加注。《二柄》今本作「则审合刑名者,言异事也」,一些校本作「言与事也」,已加注。《显学》「试之官职,课其功伐」核对无误。

第十二,「沉没成本及时截断」「最优停止」等说法,书中都写成明确假设下的数学结论;程序给出的数字只是示意参数下的结果。

第十三,觅食理论。查诺夫的边际价值定理 g′(t*)=g(t*)/(τ+t*)g'(t^*) = g(t^*)/(\tau + t^*) 在「所有斑块相同、收获曲线已知、目标是长期平均收获率」时成立,实证多在方向上支持它 (Charnov 1976; Stephens and Krebs 1986)。「列维飞行是最优搜索策略」则需限定:1999 年的 μ=2\mu = 2 结论要求目标稀疏、可重复访问、觅食者无记忆 (Viswanathan et al. 1999),一次性目标时近直线运动更好;二维及更高维中它只在特殊极限下最优,最优指数取决于建模细节 (Levernier et al. 2020)。1996 年信天翁的幂律来自把岛上停留时间算作飞行,2007 年的重新分析没有发现幂律 (Edwards et al. 2007),之后的研究仍有支持与反对两方 (Humphries et al. 2012; Pyke 2015)。

各章如实说明,并汇总在随书的《编辑说明》中。

如何阅读标注框

与 5D Library 的其他书一样,不同类型的陈述分开标注。

证据

证据框报告已发表的研究结果,并注明出处。

推导

推导框给出公式和简短的 Python 程序。每段程序都可以在标准 Python 3 环境中原样运行,只用标准库,程序下方附有实际运行结果。书中的「求职者」「赛道」「渠道」「海域」与数据都是虚构或程序合成的,参数是示意值,不是对任何真实系统的估计。

假说 · 尚未验证

假说框是作者的想法,标明「尚未确立」,并写明什么样的结果能证明它是错的。

原典

原典框引用古代文献,并附作者的白话解释。

注

注框给出提醒并解释取舍。

本版说明

这是 1.0.0 版,第一个完整版:序与八章,中英双语。书中共有 17 段程序、4 张矢量图。本书正文、标注框与代码由 AI 写作工具依据作者提供的书名、框架与要点起草,作者负责审阅、修改并核对出处。欢迎通过 5D Library 网站指正错误、补充作者遗漏的文献。

利益披露

作者以 5D Library 的著作(包括本书)作为其社群课程、升维牌卡(5D Ascension Cards,Dimensional Shift Card Decks)与 Yafu AI 知识库的方法论基础,因此与本书主题有商业利益关系。作者还创办并经营 Asia Influencer X 与 Yafu Global,业务涉及网红与人才的筛选,以及新赛道、新项目的测试,与本书主题有直接的商业利益。本书不推销任何课程、牌卡或服务,不构成投资、创业或职业建议,书中不使用上述企业的客户数据;第八章的试验设计为由独立于作者企业的研究人员实施和分析,不从作者的社群、学员或客户(包括上述企业的客户与学员)中招募;书中所有代码与研究方案均公开,供任何人检验。本书所有模型仅供数理与统计决策论的学术探讨,不推荐任何具体项目、赛道或人选。

参考文献

Agrawal, Shipra, and Navin Goyal. 2012. “Analysis of Thompson Sampling for the Multi-Armed Bandit Problem.” Proceedings of the 25th Annual Conference on Learning Theory, Proceedings of machine learning research, vol. 23: 39.1–26.
Arkes, Hal R., and Catherine Blumer. 1985. “The Psychology of Sunk Cost.” Organizational Behavior and Human Decision Processes 35 (1): 124–40.
Bearden, J. Neil. 2006. “A New Secretary Problem with Rank-Based Selection and Cardinal Payoffs.” Journal of Mathematical Psychology 50: 58–59.
Charnov, Eric L. 1976. “Optimal Foraging, the Marginal Value Theorem.” Theoretical Population Biology 9 (2): 129–36. https://doi.org/10.1016/0040-5809(76)90040-X.
Chow, Y. S., S. Moriguti, H. Robbins, and S. M. Samuels. 1964. “Optimal Selection Based on Relative Rank (the ‘Secretary Problem’).” Israel Journal of Mathematics 2: 81–90. https://doi.org/10.1007/BF02759948.
Edwards, Andrew M., Richard A. Phillips, Nicholas W. Watkins, et al. 2007. “Revisiting Lévy Flight Search Patterns of Wandering Albatrosses, Bumblebees and Deer.” Nature 449 (7165): 1044–48. https://doi.org/10.1038/nature06199.
Ferguson, Thomas S. 1989. “Who Solved the Secretary Problem?” Statistical Science 4 (3): 282–89. https://doi.org/10.1214/ss/1177012493.
Friedman, Daniel, Kai Pommerenke, Rajan Lukose, Garrett Milam, and Bernardo A. Huberman. 2007. “Searching for the Sunk Cost Fallacy.” Experimental Economics 10 (1): 79–104.
Gardner, Martin. 1960. “Mathematical Games.” Scientific American 202 (2).
Gilbert, John P., and Frederick Mosteller. 1966. “Recognizing the Maximum of a Sequence.” Journal of the American Statistical Association 61 (313): 35–73.
Gittins, J. C. 1979. “Bandit Processes and Dynamic Allocation Indices.” Journal of the Royal Statistical Society, Series B (Methodological) 41 (2): 148–77.
Gittins, J. C., and D. M. Jones. 1974. “A Dynamic Allocation Index for the Sequential Design of Experiments.” In Progress in Statistics, edited by J. Gani, K. Sarkadi, and I. Vincze. North-Holland.
Humphries, Nicolas E., Henri Weimerskirch, Nuno Queiroz, Emily J. Southall, and David W. Sims. 2012. “Foraging Success of Biological Lévy Flights Recorded in Situ.” Proceedings of the National Academy of Sciences 109 (19): 7169–74. https://doi.org/10.1073/pnas.1121201109.
Kaufmann, Emilie, Nathaniel Korda, and Rémi Munos. 2012. “Thompson Sampling: An Asymptotically Optimal Finite-Time Analysis.” Algorithmic Learning Theory (ALT 2012), 199–213. https://doi.org/10.1007/978-3-642-34106-9_18.
Klein, Richard A., Kate A. Ratliff, Michelangelo Vianello, et al. 2014. “Investigating Variation in Replicability: A ‘Many Labs’ Replication Project.” Social Psychology 45 (3): 142–52. https://doi.org/10.1027/1864-9335/a000178.
Koopman, Bernard O. 1957. “The Theory of Search. III. The Optimum Distribution of Searching Effort.” Operations Research 5 (5): 613–26. https://doi.org/10.1287/opre.5.5.613.
Lai, Tze Leung, and Herbert Robbins. 1985. “Asymptotically Efficient Adaptive Allocation Rules.” Advances in Applied Mathematics 6 (1): 4–22. https://doi.org/10.1016/0196-8858(85)90002-8.
Levernier, Nicolas, Johannes Textor, Olivier Bénichou, and Raphaël Voituriez. 2020. “Inverse Square Lévy Walks Are Not Optimal Search Strategies for d≥2d \geq 2.” Physical Review Letters 124 (8): 080601. https://doi.org/10.1103/PhysRevLett.124.080601.
Lindley, Dennis V. 1961. “Dynamic Programming and Decision Theory.” Applied Statistics 10 (1): 39–51.
McAfee, R. Preston, Hugo M. Mialon, and Sue H. Mialon. 2010. “Do Sunk Costs Matter?” Economic Inquiry 48 (2): 323–36. https://doi.org/10.1111/j.1465-7295.2008.00184.x.
Presman, E. L., and I. M. Sonin. 1972. “The Best Choice Problem for a Random Number of Objects.” Theory of Probability and Its Applications 17 (4): 657–68. https://doi.org/10.1137/1117078.
Pyke, Graham H. 2015. “Understanding Movements of Organisms: It’s Time to Abandon the Lévy Foraging Hypothesis.” Methods in Ecology and Evolution 6 (1): 1–16. https://doi.org/10.1111/2041-210X.12298.
Richardson, Henry R., and Lawrence D. Stone. 1971. “Operations Analysis During the Underwater Search for Scorpion.” Naval Research Logistics Quarterly 18 (2): 141–57. https://doi.org/10.1002/nav.3800180202.
Roth, Stefan, Thomas Robbert, and Lennart Straus. 2015. “On the Sunk-Cost Effect in Economic Decision-Making: A Meta-Analytic Review.” Business Research 8 (1): 99–138. https://doi.org/10.1007/s40685-014-0014-8.
Sleesman, Dustin J., Donald E. Conlon, Gerry McNamara, and Jonathan E. Miles. 2012. “Cleaning up the Big Muddy: A Meta-Analytic Review of the Determinants of Escalation of Commitment.” Academy of Management Journal 55 (3): 541–62. https://doi.org/10.5465/amj.2010.0696.
Smith, M. H. 1975. “A Secretary Problem with Uncertain Employment.” Journal of Applied Probability 12 (3): 620–24. https://doi.org/10.2307/3212880.
Stephens, David W., and John R. Krebs. 1986. Foraging Theory. Princeton University Press.
Stone, Lawrence D. 1975. Theory of Optimal Search. Academic Press.
Stone, Lawrence D., Colleen M. Keller, Thomas M. Kratzke, and Johan P. Strumpfer. 2014. “Search for the Wreckage of Air France Flight AF 447.” Statistical Science 29 (1): 69–80. https://doi.org/10.1214/13-STS420.
Viswanathan, G. M., Sergey V. Buldyrev, Shlomo Havlin, M. G. E. da Luz, E. P. Raposo, and H. Eugene Stanley. 1999. “Optimizing the Success of Random Searches.” Nature 401 (6756): 911–14. https://doi.org/10.1038/44831.
Wald, Abraham. 1945. “Sequential Tests of Statistical Hypotheses.” The Annals of Mathematical Statistics 16 (2): 117–86. https://doi.org/10.1214/aoms/1177731118.
Wald, A., and J. Wolfowitz. 1948. “Optimum Character of the Sequential Probability Ratio Test.” The Annals of Mathematical Statistics 19 (3): 326–39. https://doi.org/10.1214/aoms/1177730197.
Yang, Mark C. K. 1974. “Recognizing the Maximum of a Random Sequence Based on Relative Rank with Backward Solicitation.” Journal of Applied Probability 11 (3): 504–12. https://doi.org/10.2307/3212694.

Fan, Y. (2026). Bayesian Search in Unknown Landscapes, Optimal Stopping and Gittins Indices: Exploration–Exploitation Trade-offs and Sunk-Cost Truncation in Statistical Decision Theory [未知地形中的贝叶斯搜索、秘书问题与吉廷斯指数] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23810102 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).