13.5 使用套索回归减少特征
问题描述
希望通过减少特征的数量来简化线性回归模型。
解决方案
使用套索回归:
讨论
套索回归的惩罚项可以将特征的系数减小为零,从而有效地减少模型中特征的数量。在本解决方案中alpha值被设置为ʘ.5,可以看到许多系数为ʘ,这意味着它们对应的特征并未在模型中使用:
如果将alpha设为一个更大的值,会看到模型不会使用任何特征:
利用这种特性,我们可以在特征矩阵中包含100个特征,然后调整套索回归的超参数,生成比如仅使用10个最重要特征的模型。这样做可以减少模型方差,同时提高模型的可解释性(特征越少就越容易解释)。
本书评论