《多重比较与伪发现率控制、同时检验数十条文案规则的本杰明尼霍赫伯格阶梯母典》各章定量结论
经营者常同时检验几十条文案规则,每条以 p 小于 0.05 判胜负,并相信这样选出的冠军大体可信。本书用精确概率推翻这条常识:四十条全部无效的规则同时检验,平均每周冒出两条假冠军,至少一条的概率为 0.8715;模拟中每周最佳假冠军宣称的相对提升平均为 34.2 %,而真实提升为零。立项蓝图把这一命题挂在本杰明尼与霍赫伯格 1995 年的论文名下;核对之后作蓝图修正:「两条假冠军」是二项分布的算术,那篇论文的贡献是提出伪发现率这一目标并证明阶梯算法在独立检验下控制它;BH 比邦费罗尼宽松,是因为目标较弱,而非同一目标下更聪明;相关检验的边界由本杰明尼与耶库铁利 2001 年的论文给出。书中转化率、访客数与规则条数均为示意参数;全部计算由书中程序生成;本书属于非个人化经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-307 · English version
- 第 1 章 · 四十条无用规则里的两个假冠军
更值得看的是分布的形状。一条假冠军都没有的概率只有 0.1285,换句话说,一百个这样的星期里,大约只有十三个星期的冠军榜是干净的;至少一条的概率是 0.8715。恰好一条与恰好两条的概率分别是 0.2706 与 0.2777,最可能出现的条数就是两条。三条及以上的概率是 0.3233,五条及以上也还有 0.0480,接近二十个星期里有一个。 - 第 2 章 · 四把尺子:邦费罗尼、霍尔姆、BH 阶梯与 BY 修正
看第五、六行就能明白多出来的两条从哪里来。R18 的 p 值是 0.001665,高于邦费罗尼门槛 0.00125,所以邦费罗尼不要它;但它是排第五的规则,BH 给第五级的门槛是 0.00625,它轻松过线。R33 的 p 值是 0.002019,第六级门槛是 0.00750,同样过线。排第七的 R03 是一条真规则,p 值 0.019500,高于第七级门槛 0.00875,四把尺子都没有拒绝它。真规则也会因为当周的随机波动而落在门槛… - 第 3 章 · 伪发现率与家族错误率:两个不同的目标
不校正时,出现假冠军的比例是 0.8722,与精确值 0.8715 相符,平均每周 1.9939 条。邦费罗尼与霍尔姆的比例都是 0.0469,在这种全部无效的情形下两者完全相同,因为霍尔姆的第一级门槛就是邦费罗尼门槛,第一级不过线就全部停止。BH 的比例是 0.0481,平均假发现 0.0529 条,只比邦费罗尼略高一点。BY 只有 0.0115,明显更保守。 - 第 4 章 · 功效:真效应比例、效应大小与规则条数的扫描
邦费罗尼一列几乎不动,始终在 0.298 到 0.309 之间,因为它的门槛只取决于规则条数,与有多少真规则无关。霍尔姆略有上升,从 0.309 升到 0.325:真规则越多,前几级被拒绝后门槛放宽得越多。BH 的功效随真规则比例上升最快:占 0.05 时是 0.347,占 0.20 时是 0.483,占 0.50 时是 0.647,占 0.70 时是 0.706。真规则多,阶梯上过线的位置就靠后,每一级的门槛也就更宽。与此同时,BH… - 第 5 章 · 相关检验:共享对照、正回归相依与 BY 修正
第五章处理共享对照组的正相关、双侧与负相关,并精确构造一个让 BH 的伪发现率达到 0.0750 的反例,说明 BY 因子的必要。 - 第 6 章 · 样本量:每条规则要多少访客,共享对照怎么分流
第六章把校正换算成每组访客数:不校正 10,960 名,邦费罗尼 26,476 名,BH 在真规则占两成时约 18,555 名。 - 第 7 章 · 东西方原典考辨:三人成虎与邦费罗尼的不等式
第七章考辨《战国策》「三人言而成虎」与邦费罗尼 1936 年的不等式:三份独立报告把后验推到 0.4219,同源转述则停在 0.0089。 - 第 8 章 · 实证闭环:周度复盘雷达的多规则校正与证伪方案
第八章给周度复盘雷达加上多规则校正,e-BH 把伪发现率从 0.0896 降到 0.0023,并给出蒸馏小工具「伪发现率阶梯器」与预注册证伪方案。书中以标注框区分已发表的证据、可运行的 Python 计算(23 段程序)、原典与作者的假说。
模型示意算例,非实时报价