5D Library

第五章 结构化沙盘与先验的重塑

5D Library › 沙盘、宿命与主动推理 · English

第五章 结构化沙盘与先验的重塑

为什么讲道理很难改变深层先验

第一章和第二章的模型给出了两个原因。其一，精度很高的先验需要大量相反的证据才能动摇，而一番道理通常只算一条证据，而且往往被赋予很低的精度。其二，按照主动推理，系统消除预测误差未必通过修改信念；当改变处境比改变看法更省力时，它会改变处境。一个人在听道理时点头，回到生活中依然照旧，在这个框架里并不矛盾：信念没有获得足够的新证据，而行为继续生产着符合旧信念的证据。

所以，要改变先验，需要的不是更多的论证，而是新的经验，而且是旧的行为模式本来不会产生的经验。问题在于，在真实生活中，尝试一个新的行为模式代价可能很高：一次失败的求职、一段失败的关系、一次在同事面前的难堪。代价越高，越难去尝试。

低风险的模拟

沙盘在这里指一种规则明确、后果有限的模拟环境：角色扮演、桌面推演、牌卡游戏、模拟谈判。它的作用可以用前几章的语言说清楚。

第一，它降低了探索的代价。在第四章的老虎机里，探索之所以难，是因为每一次拉动较差的机器都要付出真实的损失；如果损失变小，探索就变得便宜。

第二，它降低了模糊性。第二章的模型指出，期望自由能中的模糊性项本身就偏向那些结果更可预测的行动，所以在不确定的环境中，人倾向于选择熟悉的、即使是不好的结果。规则明确的沙盘让新行动的结果变得可预测，从而去掉了一部分偏向旧行动的压力。

第三，它降低了威胁。下面的证据显示，压力和威胁会使人更多地利用、更少地探索。

证据

  • 压力与过度利用。 勒诺等人用一个序列觅食任务（在已知选项与未知替代之间选择）发现，急性压力（以皮质醇变化为指标）和自报的慢性压力都使决策者相对于最优策略更多地停留在当前选项，即过度利用 (Lenow et al. 2017)。
  • 心理安全。 埃德蒙森对一家制造企业 51 个工作团队的研究发现，团队成员相信在团队中冒人际风险是安全的（心理安全），与更多的学习行为（求助、讨论错误、寻求反馈）相关，并通过学习行为与团队绩效相关 (Edmondson 1999)。这是相关研究，不能直接证明因果。
  • 严肃游戏。 沃特斯等人的元分析发现，与常规教学相比，严肃游戏在学习效果和知识保持上有小到中等的优势，但并没有显著地更能激发学习动机 (Wouters et al. 2013)。
  • 迁移的限度。 另一方面，在国际象棋、音乐和工作记忆训练等领域，训练成绩向不相关领域的「远迁移」证据很弱 (Sala and Gobet 2017)。沙盘里学到的东西能否带回生活，是这个方法最薄弱的一环。

温度参数

在强化学习中，「软最大」（softmax）选择规则用一个逆温度 β\beta 控制探索的程度：选项 ii 被选中的概率正比于 exp⁡(βQi)\exp(\beta Q_i)。β\beta 小，选择接近随机，探索多；β\beta 大，几乎总选当前估值最高的选项。下面的程序作一个简化的假定：威胁越大，β\beta 越大。

推导

四个选项。学习者带着悲观的先验出发：熟悉的选项估值 0.5，新选项估值 0.2；实际上选项 3 平均收益 0.8。每个逆温度下运行 500 次，每次 100 轮。

# Threat, inverse temperature and the discovery of a better option (a simplified model).
# Four options. The learner starts with a pessimistic prior: the familiar option is worth 0.5,
# new ones 0.2. In truth option 3 pays 0.8 on average. Choice is softmax with inverse temperature
# beta; the model's assumption is that perceived threat raises beta (more exploitation).
import math, random
TRUE = [0.5, 0.3, 0.4, 0.8]

def run(beta, trials=100, alpha=0.2, seed=0):
    rng = random.Random(seed)
    q = [0.5, 0.2, 0.2, 0.2]
    found = None
    total = 0.0
    for t in range(trials):
        z = [math.exp(beta * v) for v in q]
        u, acc, a = rng.random() * sum(z), 0.0, 0
        for i, zi in enumerate(z):
            acc += zi
            if u <= acc:
                a = i; break
        r = TRUE[a] + rng.gauss(0, 0.2)
        q[a] += alpha * (r - q[a])
        total += TRUE[a]
        if found is None and q[3] > max(q[:3]):
            found = t + 1
    return found, total / trials

print("inverse temperature | discovered within 100 trials | median trials to discovery | mean payoff per trial")
for beta in (2, 5, 10, 20, 40):
    out = [run(beta, seed=s) for s in range(500)]
    res = [o[0] for o in out]
    pay = sum(o[1] for o in out) / len(out)
    hits = sorted(r for r in res if r is not None)
    med = hits[len(hits) // 2] if hits else None
    print(f"{beta:19d} | {len(hits) / len(res):28.0%} | {med if med else '-':>26} | {pay:21.2f}")
# inverse temperature | discovered within 100 trials | median trials to discovery | mean payoff per trial
#                   2 |                         100% |                         13 |                  0.56
#                   5 |                         100% |                         15 |                  0.66
#                  10 |                          98% |                         26 |                  0.68
#                  20 |                          36% |                         56 |                  0.55
#                  40 |                           1% |                         74 |                  0.50

逆温度为 2 到 10 时，几乎每次都能在 100 轮内发现更好的选项；到 20 时只有 36%，到 40 时只有 1%。最后一列提醒另一面：逆温度最低的学习者虽然最快发现好选项，但它探索太多，一直在试明知较差的选项，平均收益反而不如中等逆温度的学习者。在这个模型里，最好的不是无限的探索，而是先在低风险的阶段充分探索，再在有了好的估计之后转向利用。这正是一个好的沙盘可以提供的顺序：在沙盘里「高温」，回到生活中「降温」。

注

「威胁提高逆温度」是本模型的假定，不是已经测量过的定律。勒诺等人的结果与这个假定的方向一致，但他们测量的是觅食任务中的停留决策，而不是软最大参数本身。

牌卡推演

作者在社群课程中使用一种结构化的牌卡推演：参与者抽取描述情境、角色和约束的卡片，按规则推演一个决定的后果，再与小组讨论。作者观察到，不少参与者在推演中比在讲授中更快地说出自己惯常的思维模式，例如「我总是先假设对方会拒绝」。这是作者的观察，不是研究结果：它没有对照组，观察者知道参与者参加了什么活动，而且「说出模式」不等于「改变模式」。

假说 · 尚未验证

尚未确立。 与时间和讲师投入相当的阅读讲授相比，结构化沙盘推演能提高参与者在不确定决策任务中的定向探索，因为它在低风险、规则明确的条件下提供了旧模式本来不会产生的经验。该假说预测：在第八章的随机试验中，沙盘组在视野任务中拟合出的信息奖励参数比讲授组至少高 0.4 个标准差。如果差异的置信区间完全落在 ±0.4\pm 0.4 之内，或者讲授组更高，假说就被推翻。

沙盘也可能强化旧模式

最后需要说明一个风险。游戏和推演并不自动带来探索：参与者可能把沙盘当作「要赢的比赛」，在其中重复最安全的策略；主持者的评价和同伴的目光也可能让沙盘重新变得有威胁。如果沙盘里的失败会带来羞辱，它就失去了低风险的性质。一个好的沙盘需要明确的规则、有限的后果、对失败的接纳，以及把推演中的发现带回现实的具体步骤；这些条件是否满足，比使用什么道具更重要。

参考文献

Edmondson, Amy. 1999. “Psychological Safety and Learning Behavior in Work Teams.” Administrative Science Quarterly 44 (2): 350–83.
Lenow, Jennifer K., Sara M. Constantino, Nathaniel D. Daw, and Elizabeth A. Phelps. 2017. “Chronic and Acute Stress Promote Overexploitation in Serial Decision Making.” Journal of Neuroscience 37 (23): 5681–89.
Sala, Giovanni, and Fernand Gobet. 2017. “Does Far Transfer Exist? Negative Evidence from Chess, Music, and Working Memory Training.” Current Directions in Psychological Science 26 (6): 515–20.
Wouters, Pieter, Christof van Nimwegen, Herre van Oostendorp, and Erik D. van der Spek. 2013. “A Meta-Analysis of the Cognitive and Motivational Effects of Serious Games.” Journal of Educational Psychology 105 (2): 249–65.

Fan, Y. (2026). The Sandbox, Determinism and Active Inference: Markov Blankets, Variational Free-Energy Minimisation, Exploration-Exploitation Trade-offs and East Asian Causality in Computational Neuroscience [沙盘、宿命与主动推理] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23738794 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).