《A/B测试偷看早停假阳性膨胀、序贯概率比检验与小流量站点最小样本母典》各章定量结论
店主每天打开后台、看到「显著」就停止测试并全量上线,这个习惯有多大代价?日均两百访客的小站,用 A/B 测试究竟能看见多大的改进?本书把这两个问题写成只依赖 Python 标准库、可以逐字复现的计算,并给出什么样的数据会推翻本书的结论。书中的站点、流量、转化率与提升幅度均为示意参数;全部计算由书中程序生成;本书不是个人化的经营、法律或理财建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-217 · English version
- 第 1 章 · 偷看的价格:每天一看、显著即停的假阳性精确账
第一章用格点递推精确计算:每天看一次、显著即停,两周后的假阳性率是 0.2197,一个月后是 0.2802,并修正了立项时「两到三成」的说法。 - 第 2 章 · 小站的天花板:功效、最小可检测效应与五年半的等待
第二章说明基线 3%、检出 5% 的相对提升每组需要 207,938 个访客,日均 200 访客要 5.7 年,一个月测试的功效只有 0.0609。 - 第 3 章 · 膨胀从哪里来:随机游走、重对数律与被夸大的赢家
第三章用随机游走与重对数律解释膨胀的来源,并算出偷看的小站报告的提升平均是真实值的 18.3 倍。 - 第 4 章 · Wald 的序贯概率比检验:允许每一笔转化都看一眼
第四章推导 Wald 的序贯概率比检验,它在指定效应上平均只需固定样本的 0.64。 - 第 5 章 · 每周看一次:成组序贯设计与 α 消耗函数
第五章给出成组序贯门槛,五次查看时 Pocock 为 2.4133、O'Brien-Fleming 最后一次为 2.0402。 - 第 6 章 · 随时可看的推断、贝叶斯「胜出概率」与事前数据的极限
第六章说明混合序贯检验每天看一年误报率只有 0.0280;默认先验下的贝叶斯「胜出概率」在多数改动无效的世界里只有 0.2158 为真;事前数据要让小站一个月看见 5% 的提升,需要 0.9932 的相关系数。 - 第 7 章 · 东西方原典考辨:墨子的三表与 Fisher 的一杯茶
第七章考辨《墨子·非命上》的立仪与三表,以及 Fisher 的女士品茶(纯猜四杯全对的概率 0.0143);三表写成贝叶斯公式后,偷看的小站上线的改动只有 0.133 是真的。 - 第 8 章 · 实证闭环:三十站停止规则仪表、最小样本计算器与证伪方案
第八章给出三十站停止规则仪表、A/B 停止规则器的用法与预注册证伪方案。书中以标注框区分已发表的证据、可运行的 Python 计算(19 段程序)、原典与作者的假说。
模型示意算例,非实时报价