第 4 章 惩罚线性回归模型
正如第 3 章中所看到的，线性回归在实际应用时需要对普通最小二乘法进行一些修改。普通最小二乘法只在训练数据上最小化错误，难以顾及所有数据。第 3 章的例子展示了普通最小二乘法在新数据集上的效果要远远差于在训练集上的效果，以及普通最小二乘法的 2 种扩展方法。这 2 种方法都涉及减少用于训练最小二乘法的数据集规模以及预留一部分样本来对性能进行评估，从而挑选最佳模型。
前面逐步回归基于普通最小二乘法，首先只使用一列属性来构建预测，挑选效果最好的一列。后续继续添加新的属性到现有模型中。
岭回归引入了一种完全不同的限制。岭回归对参数维度进行惩罚从而对解进行限制。
岭回归以及前向逐步回归在样例问题上的效果要明显好于普通最小二乘法。
本章将介绍一族用于克服最小二乘法（OLS）过拟合问题的方法。这些方法称作惩罚线性回归方法。第 3 章介绍的岭回归是惩罚线性回归的一个特例。岭回归通过对回归系数的平方和进行惩罚来避免过拟合。其他惩罚回归算法使用不同形式的惩罚项。
本章将介绍惩罚方法是如何确定解的范围以及解的类型。
本章内容
本书评论