小结
本章首先给出了围绕问题复杂性以及模型复杂性的可视化示例,讨论了这些因素以及数据集大小如何影响给定问题的分类性能。接着讨论了针对不同问题(回归、分类以及多分类)度量预测性能的多个评价指标,这些指标也是函数逼近问题的一部分。介绍了用于在新数据上评估性能的 2 种方法(在测试集上评估以及 n 折交叉验证)、机器学习生成一族参数化模型的框架,以及如何基于测试集的性能来选择实际应用的模型。后续以普通最小二乘法为例,介绍相关的概念框架。
参考文献
David J. Hand and Robert J. Till (2001). A Simple Generalization of the Area Under the ROC Curve for Multiple Class Classification Problems . Machine Learning , 45(2), 171 – 186 .



本书评论