5D Library › 离散周期网络中的双尺度重整化、占位数分布熵与推力波叠加定理 · English
第六章 反例与假相关的清洗:巴纳姆效应、多重检验与数据窥探
前五章建立的是数学:定义、定理与模拟。一旦有人把这些结构与历法标签联系起来,说「冲月的波动更大」「某年的板块轮动更剧烈」,问题就变成了经验问题,而经验问题有它自己的陷阱。这一章讨论三个陷阱:笼统的描述让人觉得「准」(巴纳姆效应);检验的模式太多,总有一些碰巧显著(多重检验);在同一份数据上反复试验,最后报告最好的结果(数据窥探)。5D Library 第 33 本已经系统讨论过可证伪性与 值操纵,这里只讨论与历法标签直接相关的部分。
「说得真准」:巴纳姆效应
证据
福勒 1949 年的课堂演示。 福勒让学生做一份人格测验,随后发给每人一份据称是根据测验结果写成的「个人分析」,请他们按 0 到 5 分评价这份描述与自己的符合程度。实际上,所有人拿到的是同一份由笼统陈述组成的描述,例如「你有很多未被利用的潜力」。学生给出的平均评分约为 4.3 分(5 分为最准;二手文献转述为 4.26 或 4.3)(Forer 1949)。迪克森与凯利 1985 年综述了此后的大量研究,这种「个人确认谬误」——后来通称巴纳姆效应——在不同人群中反复出现,描述越正面、越被说成是「专门为你写的」,人们越容易接受 (Dickson and Kelly 1985)。
巴纳姆效应对本书的意义在于:一个人觉得某种基于历法的描述「很准」,几乎不提供任何关于这种描述是否有效的信息,因为同样笼统的描述对几乎所有人都「准」。要检验一种描述,必须让人在不知道哪份描述属于自己的条件下,从几份描述中挑出自己的那一份,也就是双盲的匹配检验。
占星类预测的双盲检验
证据
卡尔森 1985 年发表于《自然》的检验。 卡尔森与美国的占星组织合作,事先与占星师商定被认为公平的检验方案。28 位占星师参加;对每一名受试者的出生星盘,占星师从三份加州心理调查表(CPI)的结果中挑出属于该受试者的一份,其中一份是真的,另两份随机取自其他受试者。116 份可用的判断中,第一选择正确的比例约为 34%,与随机的三分之一无异,远低于占星师事先预期的至少一半;占星师在自评「有把握」的判断上也没有更准 (Carlson 1985)。研究的另一部分让受试者从三份星盘解读中挑出自己的一份,作者认为这一部分不能下结论,因为受试者连自己的 CPI 结果也认不出来。
证据
争议与其他检验。 埃特尔 2009 年重新分析了卡尔森的数据,认为卡尔森的设计与统计方法有缺陷,换一种分析方法,占星师在三选一匹配中略好于随机,达到边缘显著,在卡尔森的 10 分评分测验中也得到显著的阳性结果;他也说明这不足以证实占星,只是认为卡尔森的否定结论站不住 (Ertel 2009)。迪恩与凯利 2003 年综述了更多的检验:对出生时间相差不到 5 分钟的「时间双胞胎」的大样本研究,没有发现星盘所预测的相似性;对四十多项对照研究的元分析显示,占星师的表现不比随机好,即使在判断外向性这样基本的任务上也是如此 (Dean and Kelly 2003)。
两点需要写明。第一,这些检验针对的都是西方的出生星盘占星,不是干支命理;作者没有找到对干支命理预测的同类双盲检验,所以不能说干支命理「已被双盲检验否定」,只能说同类的占星预测在双盲检验中没有表现出超过随机的能力,干支命理本身尚未经过这样的检验。第二,本书不检验任何命理预测;第八章检验的,是一个关于历法标签与市场月度波动的具体、单一的统计假说,它与命理推断无关。
一百七十六次检验:纯噪声中的「规律」
历法标签特别容易制造假规律,因为一个月份同时带着许多标签:年干、年支、月干、月支、年与月各自在六十甲子中的序号,以及月支与年支之差( 即「冲」)。每一个标签的每一个取值,都可以拿来与其他月份比较。
推导
程序生成 2,000 段「历史」,每段 96 年 × 12 个月 = 1,152 个相互独立的标准正态随机数,其中没有任何历法效应。每段历史对 7 种标签的全部取值(共 176 个「模式」)各做一次检验:该取值的月份与其余月份的均值之差。统计三件事:每段历史平均有多少个模式在未校正的 下「显著」;至少有一个「发现」的历史占多少,分别用未校正、邦费罗尼校正与本杰明尼—霍赫伯格校正;在前 48 年中挑出最显著的模式,它在后 48 年中表现如何。
推导
# Pattern mining on PURE NOISE: 96 x 12 = 1,152 independent N(0, 1) months. Every value
# of seven calendar labels is tested against all other months (normal-approximation
# t test): 176 tests per history.
import math, random
from statistics import NormalDist
YEARS, Y0 = 96, 6 # first year = index 6 in the cycle (Geng-Wu)
PHI = NormalDist().cdf
def labels(T):
y, m = divmod(T, 12)
yk = (y + Y0) % 60; mk = (12 * (y + Y0) + m + 2) % 60
return {"year stem": yk % 10, "year branch": yk % 12, "year cycle no.": yk,
"month stem": mk % 10, "month branch": mk % 12, "month cycle no.": mk,
"offset d": (mk % 12 - yk % 12) % 12}
LAB = [labels(T) for T in range(12 * YEARS)]
def tests(x, idx):
"""Return list of (name, t, p) for every class of every label over months idx."""
out = []
for fam in LAB[0]:
groups = {}
for i in idx:
groups.setdefault(LAB[i][fam], []).append(x[i])
tot, n = sum(x[i] for i in idx), len(idx)
ss = sum(x[i] ** 2 for i in idx)
for c, g in groups.items():
k = len(g); m1 = sum(g) / k; m0 = (tot - sum(g)) / (n - k)
var = (ss - tot * tot / n) / (n - 1)
t = (m1 - m0) / math.sqrt(var * (1 / k + 1 / (n - k)))
out.append((f"{fam} {c}", t, 2 * (1 - PHI(abs(t)))))
return out
def bh(ps, q=0.05):
s = sorted(ps); m = len(ps)
k = max([i + 1 for i, p in enumerate(s) if p <= q * (i + 1) / m], default=0)
return k
def experiment(H=2000, seed=1995):
"""H pure-noise histories: discoveries per history and the best in-sample pattern."""
rng = random.Random(seed); counts, best_in, best_out = [], [], []
fw_bonf = fw_bh = 0
for h in range(H):
x = [rng.gauss(0, 1) for _ in range(12 * YEARS)]
res = tests(x, range(12 * YEARS)); ps = [p for _, _, p in res]; m = len(ps)
counts.append(sum(p < 0.05 for p in ps))
fw_bonf += any(p < 0.05 / m for p in ps); fw_bh += bh(ps) > 0
half = 12 * YEARS // 2
second = {nm: t for nm, t, _ in tests(x, range(half, 12 * YEARS))}
first = [r for r in tests(x, range(half)) if r[0] in second]
name, t1, _ = max(first, key=lambda r: abs(r[1])); t2 = second[name]
best_in.append(abs(t1)); best_out.append(t2 * (1 if t1 > 0 else -1))
return m, counts, fw_bonf, fw_bh, best_in, best_out
if __name__ == "__main__":
H = 2000
m, counts, fw_bonf, fw_bh, best_in, best_out = experiment(H)
raw = sum(counts); fw_raw = sum(c > 0 for c in counts)
print(f"tests per history: {m}; histories: {H}")
print(f"mean 'significant' patterns at p < 0.05, uncorrected: {raw / H:.1f}")
print("share of histories with at least one discovery:")
print(f" uncorrected {fw_raw / H:.0%}, Bonferroni {fw_bonf / H:.1%},"
f" Benjamini-Hochberg {fw_bh / H:.1%}")
print(f"best pattern in the first 48 years: mean |t| = {sum(best_in) / H:.2f}")
print(f"same pattern in the last 48 years: mean t = {sum(best_out) / H:+.2f};"
f" still t > 1.96 in {sum(t > 1.96 for t in best_out) / H:.1%}")
# tests per history: 176; histories: 2000
# mean 'significant' patterns at p < 0.05, uncorrected: 8.8
# share of histories with at least one discovery:
# uncorrected 100%, Bonferroni 3.6%, Benjamini-Hochberg 3.7%
# best pattern in the first 48 years: mean |t| = 2.85
# same pattern in the last 48 years: mean t = +0.00; still t > 1.96 in 2.5%平均每段历史有 8.8 个模式在未校正的检验下「显著」,与 一致;每一段历史都至少有一个这样的「发现」。邦费罗尼校正把每次检验的显著性水平降为 ,使「至少有一个假发现」的概率不超过 5% (Dunn 1961);本杰明尼与霍赫伯格 1995 年提出的方法控制的是「发现之中假发现所占的期望比例」(错误发现率),在许多检验中通常比邦费罗尼更有检验力 (Benjamini and Hochberg 1995)。在纯噪声中,两种校正都把「至少有一个发现」的历史比例压到 5% 以下:邦费罗尼 3.6%,本杰明尼—霍赫伯格 3.7%(每个数字的蒙特卡洛误差约 ±0.4%)。在所有零假设都成立时,两种方法控制的都是这一比例,所以它们在这里相差无几;它们的区别要在确有真实效应时才显现出来。
最能说明问题的是最后两行:在前 48 年中最显著的那个模式,平均 ,看起来很有说服力;同一个模式在后 48 年中的平均 为 0.00,只有 2.5% 仍然显著(),恰好是随机的预期。
数据窥探与回测过拟合
证据
金融数据中的数据窥探。 怀特 2000 年指出,当同一份数据被反复用来挑选模型时,最好的那个模型的表现必须与「在全部被考虑过的模型中挑出最好者」的零分布比较,并提出了相应的「现实检验」方法 (White 2000)。沙利文、蒂默曼与怀特 2001 年把这一方法用于股票收益中的日历效应:他们考虑了一个很大的日历规则空间,发现许多规则单独看都显著,但把整个规则空间的数据窥探考虑在内以后,即使是最好的日历规则也不再显著 (Sullivan et al. 2001)。贝利等人 2014 年用数学说明,只要试验的策略足够多,在纯噪声上也能回测出很高的夏普比率,而这样的策略在样本外的表现会很差 (Bailey et al. 2014)。
所以,「我用历法标签回测了一百年的数据,发现某个规律」这样的陈述,若没有说明一共试过多少种标签、多少种结局、多少个时间窗口,就无法评价。第八章的核查表把这个问题放在第三步。
零分布必须尊重时间结构
置换检验的思路很简单:如果标签与结局无关,那么把标签重新随机分配,得到的统计量与原来的统计量应当「同样可能」;原统计量在置换分布中的位置,就是 值 (Good 2005)。但金融时间序列的波动是成簇出现的:大的变动之后往往跟着大的变动 (Bollerslev 1986)。这时,把月份完全打乱的置换会破坏这种结构,零分布就不对了。
推导
程序用带波动聚集的 GARCH(1,1) 模型生成月度收益(参数为示意值),其中没有历法效应,结局取 。比较两种标签:标签 A 是「冲月」,每年一个月,分散在不同的年份里;标签 B 是「子年的全部月份」,每 12 年连续 12 个月。对每种标签比较三种零分布:完全打乱月份;把标签序列整体循环平移;以及(只对标签 A)在每一年内随机重新指定一个月(分层置换,用年内对比)。各重复 1,000 次,统计在 5% 水平下错误拒绝零假设的比例。
推导
# Which null? GARCH(1,1) returns (alpha 0.10, beta 0.88; illustrative), NO calendar
# effect; outcome log|r|. Label A: opposition month (one per year). Label B: all months of
# Zi years (12 in a row). Nulls: shuffle all months; circular shift of the labels; and
# (A only) redraw the flagged month within each year using within-year contrasts.
import math, random
YEARS, Y0 = 96, 6
L = 12 * YEARS
def flags(kind):
out = []
for T in range(L):
y, m = divmod(T, 12); yb = (y + Y0) % 12; mb = (m + 2) % 12
out.append((mb - yb) % 12 == 6 if kind == "A" else yb == 0)
return out
def garch(rng, a=0.10, b=0.88):
s2, r = 1.0, []
for _ in range(L):
x = math.sqrt(s2) * rng.gauss(0, 1); r.append(x)
s2 = (1 - a - b) + a * x * x + b * s2
return r
def stat(y, idx, tot):
s = sum(y[i] for i in idx); k = len(idx)
return s / k - (tot - s) / (L - k)
def p_value(d0, null):
return (1 + sum(abs(d) >= abs(d0) for d in null)) / (1 + len(null))
if __name__ == "__main__":
rng = random.Random(144); sims = 1000
for kind in ("A", "B"):
f = flags(kind); idx = [i for i in range(L) if f[i]]
rej = {"shuffle": 0, "shift": 0, "within-year": 0}
for _ in range(sims):
y = [math.log(abs(v) + 1e-12) for v in garch(rng)]; tot = sum(y)
d0 = stat(y, idx, tot)
null = [stat(y, rng.sample(range(L), len(idx)), tot) for _ in range(199)]
rej["shuffle"] += p_value(d0, null) <= 0.05
null = [stat(y, [(i + s) % L for i in idx], tot) for s in range(1, 144)]
rej["shift"] += p_value(d0, null) <= 0.05
if kind == "A":
c = [[12 / 11 * (y[12 * j + m] - sum(y[12 * j:12 * j + 12]) / 12)
for m in range(12)] for j in range(YEARS)]
w0 = sum(c[j][i % 12] for j, i in enumerate(idx)) / YEARS
null = [sum(c[j][rng.randrange(12)] for j in range(YEARS)) / YEARS
for _ in range(199)]
rej["within-year"] += p_value(w0, null) <= 0.05
print(f"label {kind}: {len(idx)} flagged months; false-positive rate at 0.05:")
print(" " + " | ".join(f"{k} {v / sims:.1%}" for k, v in rej.items()
if kind == "A" or k != "within-year"))
# label A: 96 flagged months; false-positive rate at 0.05:
# shuffle 4.4% | shift 5.9% | within-year 5.7%
# label B: 96 flagged months; false-positive rate at 0.05:
# shuffle 9.7% | shift 4.9%对标签 A,三种零分布的假阳性率都在 5% 附近(4.4%、5.9%、5.7%,每个数字的蒙特卡洛误差约 ±0.7%),因为冲月分散在各年,波动聚集对它影响不大。对标签 B,完全打乱月份的假阳性率升到 9.7%,几乎是名义水平的两倍:连续的 12 个月共享同一段高波动或低波动时期,打乱以后零分布太窄;循环平移保留了时间结构,假阳性率为 4.9%。第八章的方案因此采用分层置换作为主要检验,并以循环平移作为敏感性分析。
本章小结
巴纳姆效应说明「觉得准」不是证据:福勒的学生给一份人人相同的笼统描述打出约 4.3 分(满分 5 分)。卡尔森 1985 年的双盲检验中,占星师的第一选择命中约 34%,与随机的三分之一无异;埃特尔的重新分析有争议,迪恩与凯利的综述与时间双胞胎研究同样是阴性的;对干支命理,作者没有找到同类检验。在不含任何效应的纯噪声中,176 次检验平均产生 8.8 个「显著」模式,每一段历史都有「发现」;前半段最显著的模式在后半段平均 。数据窥探要用「全部被考虑过的模型」作零分布来校正;零分布还必须尊重时间结构,否则对连续的标签,假阳性率可以翻倍。下一章回到这些规则的文献出处。
参考文献
Fan, Y. (2026). Two-Scale Renormalization, Occupancy Entropy and Thrust-Wave Superposition in Discrete Cyclical Networks: Algebraic Topology and Monte Carlo Verification on a Twelve-Node Ring Lattice [离散周期网络中的双尺度重整化、占位数分布熵与推力波叠加定理] (Version 1.0.0). 5D Library. https://doi.org/10.5281/zenodo.23796761 · Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International (CC BY-NC-ND 4.0).