《最小描述长度原则与规则库奥卡姆剃刀、两部编码判定新规则值不值得入库母典》各章定量结论
规则库的主事者很自然地相信规则越多越周全。本书推翻这个常识:一条新规则只有在它节省的例外编码长度超过它自身的描述长度时,才值得入库。依据是里沙宁 1978 年在《自动学》上提出的最短数据描述原则与格伦瓦尔德 2007 年的专著。核对原文之后,本书做了蓝图修正:里沙宁的论文讨论的是统计模型选择,用于规则库是后人的工作;「节省超过自身」是粗糙两部编码的判据,依赖于编码方案的选择;最小描述长度也不保证预测误差最小。书中的决策记录全部合成、参数均为示意,全部计算由书中程序生成;本书是非个人化的经营分析,不构成经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-311 · English version
- 第 1 章 · 整数也要付费:通用整数码、克拉夫特不等式与例外名单的比特数
程序 p13 把四种写法放在 600 条记录与 6,000 条记录两个规模上比较。在 600 条记录、30 条例外时,逐条打标要 600 个比特,列编号要 309 个,枚举码只要 177.1 个,离香农下限 171.8 只差 5.25 个比特。平均到每一条例外,枚举码花 5.90 个比特,列编号花 10.30 个。到了 6,000 条记录、600 条例外,列编号要 7,819 个比特,枚举码只要 2,827.1 个,下限是 2,814… - 第 2 章 · 两部编码账本:一条规则要修正多少条例外才算挣回自己的篇幅
第二章建立两部编码账本:一条准确率超过八成、却只净修正 7 条例外的窄规则挣不回自己的篇幅;在合成台账上,门槛从提议者的 12 条规则中只放进 3 条,第三条的余量仅 2.9 个比特。 - 第 3 章 · 过拟合曲线:规则数、总描述长度与留出误差的三条线
第三章画出过拟合曲线:训练例外一路下降,留出误差却从 0.1973 回升到 0.2333;二十次重复中,按最短总长度停下的规则库留出误差 0.1916,不设门槛时 0.2223。 - 第 4 章 · 与贝叶斯信息准则对账:参数复杂度、归一化最大似然与规则库上的分歧
在 150 条记录上,贝叶斯信息准则平均收了 9.5 条规则,留出误差是 0.2512;最小描述长度只收了 1.4 条,误差 0.2218;最优是 2.2 条,误差 0.1951。在 600 条记录上,三者分别是 6.9 条、2.6 条与 2.4 条,误差是 0.1929、0.1849 与 0.1830。贝叶斯信息准则在每一个规模上都比最优多收好几条规则,而且误差也都更高。原因正是上面说的:它只为每条规则付了「一个参数」的钱,却没有为… - 第 5 章 · 编码方案敏感度:六种合理的码,六种裁决,余量要留多少比特
第五章做编码方案敏感度:六种合理的码在二十次重复中没有一次选出相同的规则数,余量不足 4 个比特的裁决全部随编码翻转,16 个比特的余量下限使全部入库裁决不再翻转。 - 第 6 章 · 剪枝器的入库门槛:只查重复的门与描述长度的门
第六章把门槛搬到跨卷公理剪枝器上:只查重复的门收进 46 条规则,留出误差 0.4155,描述长度门只收 2 条真规则。 - 第 7 章 · 东西方原典考辨:《庄子·骈拇》的枝指与奥卡姆的「徒然以多为之」
「续凫胫」是把一条短规则换成更长的版本,即把真规则收窄。规则那一半只多了 2.0 个比特,可是被收窄掉的那些记录重新变成了例外,例外那一半多出 45.6 个比特,总长度多出 47.6 个比特,留出误差上升 0.0307。「断鹤胫」是把一条长规则截短,即去掉一个条件,把真规则放宽。规则那一半反而省了 5.3 个比特,可是放宽以后误判了大量本不该动作的记录,例外那一半多出 152.5 个比特,总长度多出 147.2 个比特,留出误差上升… - 第 8 章 · 实证闭环:入库体检、规则入库描述长度裁判与预注册的证伪方案
第八章给出入库体检流程、蒸馏小工具「规则入库描述长度裁判」与预注册证伪方案,检验门槛是否优于不设门槛,每组需 2,733 条留出记录。书中以标注框区分已发表的证据、可运行的 Python 计算(18 段程序)、原典与作者的假说。
模型示意算例,非实时报价