站点图标 多伦多书苑

Python机器学习手册:从数据预处理到深度学习

13.5 使用套索回归减少特征

问题描述

希望通过减少特征的数量来简化线性回归模型。

解决方案

使用套索回归:

讨论

套索回归的惩罚项可以将特征的系数减小为零,从而有效地减少模型中特征的数量。在本解决方案中alpha值被设置为ʘ.5,可以看到许多系数为ʘ,这意味着它们对应的特征并未在模型中使用:

如果将alpha设为一个更大的值,会看到模型不会使用任何特征:

利用这种特性,我们可以在特征矩阵中包含100个特征,然后调整套索回归的超参数,生成比如仅使用10个最重要特征的模型。这样做可以减少模型方差,同时提高模型的可解释性(特征越少就越容易解释)。

Author:

退出移动版