《主动学习与不确定性采样、最少人工标注让客服意图分类器达标母典》各章定量结论

网店店主普遍相信,训练一个客服意图分类器要随机抽几千条历史消息来标注,抽得越多越准。本书检验的反常识命题是:随机抽样要上千条才达到的准确率,让模型挑出自己最拿不准的消息交给人标注,常常只需其中一部分;但这样挑出的样本带有抽样偏差,用它估计意图占比、给模型打分或决定何时停止都会出错。核对原文之后,本书作蓝图修正:刘易斯与盖尔 1994 年的 SIGIR 论文衡量的是稀有新闻类别上的 F1,不确定性采样的 999 条在多数类别上抵得上十万条以上的随机样本,五百倍只是个别类别的最好情形;塞特尔斯 2009 年的报告是综述而非实验;抽样偏差的根本性由达斯古普塔与许 2008 年的论文说明。书中意图先验、词概率与成本均为示意参数;全部计算由书中程序生成;本书属于非个人化经营建议。

DOI 待发布 · 专著页正式发布后上线(本站暂无专著页) · 5DL-B-312 · English version

模型示意算例,非实时报价