- 在VisualStudio中部署GDAL库的C++版本(包括SQLite、PROJ等依赖)
- Android开机流程介绍
- STM32CubeMX教程31USB_DEVICE-HID外设_模拟键盘或鼠标
- 深入浅出Java多线程(五):线程间通信
分类模型评估中,通过各类损失(loss)函数的分析,可以衡量模型预测结果与真实值之间的差异。 不同的损失函数可用于不同类型的分类问题,以便更好地评估模型的性能.
本篇将介绍分类模型评估中常用的几种损失计算方法.
Hamming loss(汉明损失)是一种衡量分类模型预测错误率的指标。 它直接衡量了模型预测错误的样本比例,因此更直观地反映出模型的预测精度, 而且,它对不平衡数据比较敏感,也适用于多分类的问题,不仅限于二分类问题.
\(L(y, \hat{y}) = \frac{1}{n * m} \sum_{i=0}^{n-1} \sum_{j=0}^{m - 1} 1(\hat{y}_{i,j} \not= y_{i,j})\) 其中,\(n\)是样本数量,\(m\)是标签数量,\(y_{i,j}\)是样本\(i\)的第\(j\)个标签的真实值,\(\hat{y}_{i,j}\)是对应的预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import hamming_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s = hamming_loss(y_true, y_pred)
print("hamming loss:{}".format(s))
# 运行结果
hamming loss:0.8
Hinge loss(铰链损失)常用于“最大间隔”分类,其最著名的应用是作为支持向量机(SVM)的目标函数。 Hinge loss主要用于二分类问题,并且通常与特定的算法(如SVM)结合使用.
\(L(y, w) = \frac{1}{n} \sum_{i=0}^{n-1} \max\left\{1 - w_i y_i, 0\right\}\) 其中,\(n\)是样本数量,\(y_i\)是真实值, \(w_i\)是相应的预测决策(由 decision_function 方法输出).
from sklearn.metrics import hinge_loss
from sklearn.svm import LinearSVC
from sklearn.model_selection import train_test_split
import numpy as np
n = 100
X = np.random.randint(0, 2, size=(n, 1))
y = np.random.randint(0, 2, n)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1)
reg = LinearSVC(dual="auto")
reg.fit(X_train, y_train)
y_pred_decision = reg.decision_function(X_test)
s = hinge_loss(y_test, y_pred_decision)
print("hinge loss:{}".format(s))
# 运行结果
hinge loss:1.0136184446302712
上面的示例中,首先构建一个支持向量机的训练模型和随机的样本数据。 最后在测试集上计算hinge loss.
对数损失(log loss)通过考虑模型预测的概率与实际标签的对数误差来评估模型的性能。 它特别关注模型对于每个样本的预测概率的准确性,对于错误的分类,Log loss会给予较大的惩罚.
对数损失的值越小,表示模型的预测概率越接近实际标签,模型的性能越好.
\(LL = - \frac{1}{N} \sum_{i=0}^{N-1} \sum_{k=0}^{K-1} y_{i,k} \log p_{i,k}\) 其中,\(N\)是样本数量,\(K\)是分类标签的数量, \(y_{i,k}\)是第\(i\)个样本在标签\(k\)上的真实值,\(p_{i,k}\)是对应的概率估计.
from sklearn.metrics import log_loss
import numpy as np
n = 100
k = 10
y_true = np.random.randint(0, k, n)
y_prob = np.random.rand(n, k)
# 这一步转换后,
# y_prob 每一行的和都为1
for i in range(len(y_prob)):
y_prob[i, :] = y_prob[i, :] / np.sum(y_prob[i, :])
s = log_loss(y_true, y_prob)
print("log loss:{}".format(s))
# 运行结果
log loss:2.6982702715125466
上面的示例中,\(n\)是样本数量,\(k\)是标签数量.
零一损失(zero-one loss)非常直观,直接对应着分类判断错误的个数,能很清晰地反映出模型预测错误的比例。 它计算简单,易于理解和实现,对于二分类问题特别直观,但是对于非凸性质不太适用.
\(L(y, \hat{y}) = \frac{1}{n} \sum_{i=0}^{n-1} 1(\hat{y}_i \not= y_i)\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(\hat{y_i}\)是预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import zero_one_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s1 = zero_one_loss(y_true, y_pred)
s2 = zero_one_loss(y_true, y_pred, normalize=False)
print("zero-one loss比率:{}\nzero-one loss数量:{}".format(s1, s2))
# 运行结果
zero-one loss比率:0.89
zero-one loss数量:89
Brier 分数损失(Brier score loss)关注模型预测的概率与实际结果之间的差异。 与只关注预测类别的其他指标不同,它衡量了预测概率的可靠性; 与一些仅适用于二分类问题的评估指标相比,Brier score loss可以应用于多类别分类问题.
它的数值越小,表示模型的概率预测越准确,具有很好的解释性.
\(BS = \frac{1}{n} \sum_{i=0}^{n - 1}(y_i - p_i)^2\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(p_i\)是预测概率估计的均方误差.
from sklearn.metrics import brier_score_loss
import numpy as np
n = 100
y_true = np.random.randint(0, 2, n)
y_prob = np.random.rand(n)
s = brier_score_loss(y_true, y_prob)
print("brier score loss:{}".format(s))
# 运行结果
brier score loss:0.3141953858083935
示例中计算损失用的模拟数据中,y_true表示真实值,y_prob表示预测概率的均方误差.
本篇归纳总结了分类模型中关于损失函数的一些使用方式:
最后此篇关于【scikit-learn基础】--『回归模型评估』之损失分析的文章就讲到这里了,如果你想了解更多关于【scikit-learn基础】--『回归模型评估』之损失分析的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
基本上,我的问题是,由于无监督学习是机器学习的一种,是否需要机器“学习”的某些方面并根据其发现进行改进?例如,如果开发了一种算法来获取未标记的图像并找到它们之间的关联,那么它是否需要根据这些关联来改进
生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲,我无法说服自己“学习概率分布”意味着什么。 最佳答案 这意味着您的模型要么充当训练样本的分布估计器,要么
是否有类似于 的 scikit-learn 方法/类元成本 在 Weka 或其他实用程序中实现的算法以执行常量敏感分析? 最佳答案 不,没有。部分分类器提供 class_weight和 sample_
是否Scikit-learn支持迁移学习?请检查以下代码。 型号 clf由 fit(X,y) 获取 jar 头型号clf2在clf的基础上学习和转移学习 fit(X2,y2) ? >>> from s
我发现使用相同数据的两种交叉验证技术之间的分类性能存在差异。我想知道是否有人可以阐明这一点。 方法一:cross_validation.train_test_split 方法 2:分层折叠。 具有相同
我正在查看 scikit-learn 文档中的这个示例:http://scikit-learn.org/0.18/auto_examples/model_selection/plot_nested_c
我想训练一个具有很多标称属性的数据集。我从一些帖子中注意到,要转换标称属性必须将它们转换为重复的二进制特征。另外据我所知,这样做在概念上会使数据集稀疏。我也知道 scikit-learn 使用稀疏矩阵
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时,我收到此警告: 用户
有几种算法可以构建决策树,例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法? 当我查看一些决策树 python 脚本时,它神奇地生成了带有
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时,我收到此警告: 用户
有几种算法可以构建决策树,例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法? 当我查看一些决策树 python 脚本时,它神奇地生成了带有
有没有办法让 scikit-learn 中的 fit 方法有一个进度条? 是否可以包含自定义的类似 Pyprind 的内容? ? 最佳答案 如果您使用 verbose=1 初始化模型调用前 fit你应
我正在使用基于 rlglue 的 python-rl q 学习框架。 我的理解是,随着情节的发展,算法会收敛到一个最优策略(这是一个映射,说明在什么状态下采取什么行动)。 问题 1:这是否意味着经过若
我正在尝试使用 grisSearchCV 在 scikit-learn 中拟合一些模型,并且我想使用“一个标准错误”规则来选择最佳模型,即从分数在 1 以内的模型子集中选择最简约的模型最好成绩的标准误
我正在尝试离散数据以进行分类。它们的值是字符串,我将它们转换为数字 0,1,2,3。 这就是数据的样子(pandas 数据框)。我已将数据帧拆分为 dataLabel 和 dataFeatures L
每当我开始拥有更多的类(1000 或更多)时,MultinominalNB 就会变得非常慢并且需要 GB 的 RAM。对于所有支持 .partial_fit()(SGDClassifier、Perce
我需要使用感知器算法来研究一些非线性可分数据集的学习率和渐近误差。 为了做到这一点,我需要了解构造函数的一些参数。我花了很多时间在谷歌上搜索它们,但我仍然不太明白它们的作用或如何使用它们。 给我带来更
我知道作为功能 ordinal data could be assigned arbitrary numbers and OneHotEncoding could be done for catego
这是一个示例,其中有逐步的过程使系统学习并对输入数据进行分类。 它对给定的 5 个数据集域进行了正确分类。此外,它还对停用词进行分类。 例如 输入:docs_new = ['上帝就是爱', '什么在哪
我有一个 scikit-learn 模型,它简化了一点,如下所示: clf1 = RandomForestClassifier() clf1.fit(data_training, non_binary
我是一名优秀的程序员,十分优秀!