11.10 创建自定义评估指标
问题描述
使用自定义指标来评估模型。
解决方案
将评估指标实现为一个函数,并使用scikit-learn的make_scorer将其转换为评分函数:
讨论
虽然scikit-learn有许多用于评估模型性能的内置指标,但定义我们自己的指标仍然很有用。 使用scikit-learn的make_scorer函数,我们能很轻松地创建自定义指标函数。首先,定义一个函数,它接受两个参数——真实的目标向量和预测值,并返回一个分数。然后,使用make_scorer创建一个评分器对象,并指定较高的分数代表模型性能较好或者较差(使用greater_is_better参数)。
本例的解决方案中自定义指标custom_metric是一个简单的示例,它只是对内置的指标做了封装,用以计算得分。在实际情况中,可以使用任何自定义指标替换custom_metric函数。不过,将结果与scikit-learn内置的r2_score方法进行比较,我们可以确定这个计算得分的自定义指标能正常工作:
延伸阅读
● scikit-learn文档:make_scorer(http://bit.ly/2FwMm4m)
本书评论