《主动学习与不确定性采样、最少人工标注让客服意图分类器达标母典》各章定量结论
网店店主普遍相信,训练一个客服意图分类器要随机抽几千条历史消息来标注,抽得越多越准。本书检验的反常识命题是:随机抽样要上千条才达到的准确率,让模型挑出自己最拿不准的消息交给人标注,常常只需其中一部分;但这样挑出的样本带有抽样偏差,用它估计意图占比、给模型打分或决定何时停止都会出错。核对原文之后,本书作蓝图修正:刘易斯与盖尔 1994 年的 SIGIR 论文衡量的是稀有新闻类别上的 F1,不确定性采样的 999 条在多数类别上抵得上十万条以上的随机样本,五百倍只是个别类别的最好情形;塞特尔斯 2009 年的报告是综述而非实验;抽样偏差的根本性由达斯古普塔与许 2008 年的论文说明。书中意图先验、词概率与成本均为示意参数;全部计算由书中程序生成;本书属于非个人化经营建议。
DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-312 · English version
- 第 1 章 · 几千条与几百条:不确定性采样的反常识账本
第一章在合成的四意图客服数据上重算:达到目标准确率,随机抽样的中位数是 1,600 条,最小间隔采样是 640 条,后者只用前者的 0.400;全部标注训练的模型准确率为 0.893,这一倍数随目标逼近天花板而变化。 - 第 2 章 · 手写多类逻辑回归:词袋整数特征上的随机梯度下降
一个手写的逻辑回归,加上可以精确算出上限的合成数据,给了我们一个干净的实验台:梯度经过数值检验,训练轨迹可重复,天花板为 0.891,用全部标注的模型已经贴着它。现在可以回到主动学习的核心问题:模型给出的四个概率里,哪一种「拿不准」最值得送去标注?最小置信、最小间隔和熵,挑出来的会是同一批消息吗? - 第 3 章 · 三把尺子量「拿不准」:最小置信、最小间隔与熵
在本书的数据上,第一个隐患不严重:最小间隔一次挑出的 200 条里有 197 条互不相同,整个池子 6,000 条中完全重复的消息有 133 条。但这一批的构成与随机批截然不同:随机批里查物流 127 条、退款 40 条、转人工 10 条;最小间隔批里查物流只有 83 条,退款 69 条,转人工 26 条,消息平均也更短,为 5.17 个词,随机批是 5.85 个。最小间隔把标注员的时间集中在退款与查物流的交界和稀有意图上,这正是它省… - 第 4 章 · 抽样偏差:被挑出来的消息不再代表客流
第四章测量偏差:间隔挑选的已标注集合与客流的总变差距离为 0.208,模型在自己挑出的消息上自评准确率只有 0.463,而真实准确率为 0.876;在一维例子里,不确定性采样即使标到三百条仍有 0.513 的概率困在错误阈值上,随机抽样只有 0.068。 - 第 5 章 · 重要性加权与先验校正:把偏差算回来
第五章以已知入选概率抽样并按霍维茨与汤普森的倒数加权,把一个真实准确率 0.809 的模型的打分从直接平均的 0.657 校正回真值,并说明加权训练与只校正先验在有限样本下可能更差。 - 第 6 章 · 标注预算、停止规则与审计样本量
如果目的是证明「准确率不低于 0.850」,而真实值是 0.880,单侧检验在显著性 0.05、功效 0.80 下需要 824 条。如果用 Wilson 下界的写法:观测到 0.880 时,下界不低于 0.850 需要 550 条,不低于 0.860 需要 1,160 条,不低于 0.870 需要 4,350 条。程序最后一行对应上一节的 S2:400 条审计在观测到 0.880 时下界只有 0.844,低于 0.850,所以规则不触… - 第 7 章 · 东西方原典考辨:《学记》的先易后难与培根的关键实例
程序 p72 让两个候选模型 A 与 B 各用 160 条互不重叠的随机标注训练,然后问:要判定谁更准,需要标多少条?两个模型只在 0.201 的消息上意见不一;在两者意见一致的消息上,无论标注结果如何,都不能区分它们。在恰有一个判对的 0.184 的消息里,A 判对的比例为 0.432。用双侧检验在 0.05 水平、功效 0.80 下判定这个比例不等于一半,需要 417 条有效实例;只标分歧消息,约需 456 条;随机标注则约需 2… - 第 8 章 · 实证闭环:客服意图标注队列与证伪方案
第八章给出客服意图标注队列、蒸馏小工具「标注优先级排序器」与预注册检验方案;分类器只做分派与转人工建议,不对客户自动做出不利决定。书中以标注框区分已发表的证据、可运行的 Python 计算(23 段程序)、原典与作者的假说。
模型示意算例,非实时报价