12.0 简介
在机器学习中,我们通过最小化某个损失函数的值来训练算法以学习一个模型的参数。此外,许多学习算法(如支持向量分类器和随机森林)
还有一些超参数,这些超参数必须在学习过程之外定义。例如,随机森林是决策树的集合(因此称其森林);但是,算法不会学习森林中决策树的数量,这个值必须在训练之前设定。这个过程通常被称为超参数调优(hyperparameter tuning)、超参数优化(hyperparameter optimization)或者模型选择(model selection)。除了超参数,你可能也想尝试多种学习算法(例如,尝试支持向量分类器和随机森林,以确定哪一种学习方法效果更好)。
这一领域的术语使用存在很大差异,在本书中,我们将选择最佳学习算法及选择最佳超参数的过程都称为模型选择。原因很简单:假设我们要训练具有10个候选超参数的支持向量分类器和具有10个候选超参数的随机森林分类器,实际上是要从20个候选模型中选出一个最佳模型。本章将介绍如何从候选模型中高效地选出最佳模型。
本章会谈到一些特定的超参数,例如C(正则化强度的倒数)。如果你不知道这些参数的含义,请不要担心,后面的章节会介绍它们。你只需将超参数视为在训练学习算法前必须选择的参数即可。
本书评论