11.8 评估回归模型
问题描述
评估一个回归模型的性能。
解决方案
使用均方误差(Mean Squared Error,MSE):
另一个常用的评估回归模型的指标是决定系数(coefficient of determination,即得分):
讨论
MSE是回归模型最常用的评估指标之一。MSE的计算公式如下:
其中,n是样本的数量,yi是样本i的真实值,ŷiof是模型对yi的预测值,MSE是预测值和真实值距离的平方和。MSE的值越大,总平方误差就越大,模型性能越差。平方误差项在数学上有许多好的特性,比如所有误差值都为正数,但是有一个特性经常被忽略,即在误差的总绝对值相同的情况下,取平方值以后会给值较大的误差项施加更多的惩罚。例如,有两个模型A和B,每个模型都有两个样本:
● 模型A中两个样本的误差分别是0和10,它的MSE为0² +10² =100 。
● 模型B中两个样本的误差分别是5和5,它的MSE为5² +5² =50 。
两个模型的总误差值相等,都是10;然而,MSE会认为模型A(MSE =100)的预测效果比模型B(MSE = 50)的差。在实践中并不能像这样区分模型的好坏(只不过我们在理论上可以这么认为),并且MSE作为评估指标的效果很好。
有一点很重要:默认情况下,对于scikit-learn的scoring参数而言,scoring值较大的模型优于scoring值较小的模型。然而对MSE来说,刚好是相反的,MSE的值较大意味着模型性能较差。因此,在scikit-learn中使用的是neg_mean_squared_error参数,它是MSE的相反数。
另一个常见的评估回归模型的指标是决定系数(R² 得分),它代表目标向量的变化中有多少能通过模型进行解释:
其中,yi是样本i的真实值, 是样本yi的预测值,是i目标向量的平均值。R²得分越接近1,代表模型性能越好。
延伸阅读
● 均方误差(http://bit.ly/2HgALnc)
● 决定系数(http://bit.ly/2HjW7Qn)
本书评论