- 在VisualStudio中部署GDAL库的C++版本(包括SQLite、PROJ等依赖)
- Android开机流程介绍
- STM32CubeMX教程31USB_DEVICE-HID外设_模拟键盘或鼠标
- 深入浅出Java多线程(五):线程间通信
分类模型评估中,通过各类损失(loss)函数的分析,可以衡量模型预测结果与真实值之间的差异。 不同的损失函数可用于不同类型的分类问题,以便更好地评估模型的性能.
本篇将介绍分类模型评估中常用的几种损失计算方法.
Hamming loss(汉明损失)是一种衡量分类模型预测错误率的指标。 它直接衡量了模型预测错误的样本比例,因此更直观地反映出模型的预测精度, 而且,它对不平衡数据比较敏感,也适用于多分类的问题,不仅限于二分类问题.
\(L(y, \hat{y}) = \frac{1}{n * m} \sum_{i=0}^{n-1} \sum_{j=0}^{m - 1} 1(\hat{y}_{i,j} \not= y_{i,j})\) 其中,\(n\)是样本数量,\(m\)是标签数量,\(y_{i,j}\)是样本\(i\)的第\(j\)个标签的真实值,\(\hat{y}_{i,j}\)是对应的预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import hamming_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s = hamming_loss(y_true, y_pred)
print("hamming loss:{}".format(s))
# 运行结果
hamming loss:0.8
Hinge loss(铰链损失)常用于“最大间隔”分类,其最著名的应用是作为支持向量机(SVM)的目标函数。 Hinge loss主要用于二分类问题,并且通常与特定的算法(如SVM)结合使用.
\(L(y, w) = \frac{1}{n} \sum_{i=0}^{n-1} \max\left\{1 - w_i y_i, 0\right\}\) 其中,\(n\)是样本数量,\(y_i\)是真实值, \(w_i\)是相应的预测决策(由 decision_function 方法输出).
from sklearn.metrics import hinge_loss
from sklearn.svm import LinearSVC
from sklearn.model_selection import train_test_split
import numpy as np
n = 100
X = np.random.randint(0, 2, size=(n, 1))
y = np.random.randint(0, 2, n)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1)
reg = LinearSVC(dual="auto")
reg.fit(X_train, y_train)
y_pred_decision = reg.decision_function(X_test)
s = hinge_loss(y_test, y_pred_decision)
print("hinge loss:{}".format(s))
# 运行结果
hinge loss:1.0136184446302712
上面的示例中,首先构建一个支持向量机的训练模型和随机的样本数据。 最后在测试集上计算hinge loss.
对数损失(log loss)通过考虑模型预测的概率与实际标签的对数误差来评估模型的性能。 它特别关注模型对于每个样本的预测概率的准确性,对于错误的分类,Log loss会给予较大的惩罚.
对数损失的值越小,表示模型的预测概率越接近实际标签,模型的性能越好.
\(LL = - \frac{1}{N} \sum_{i=0}^{N-1} \sum_{k=0}^{K-1} y_{i,k} \log p_{i,k}\) 其中,\(N\)是样本数量,\(K\)是分类标签的数量, \(y_{i,k}\)是第\(i\)个样本在标签\(k\)上的真实值,\(p_{i,k}\)是对应的概率估计.
from sklearn.metrics import log_loss
import numpy as np
n = 100
k = 10
y_true = np.random.randint(0, k, n)
y_prob = np.random.rand(n, k)
# 这一步转换后,
# y_prob 每一行的和都为1
for i in range(len(y_prob)):
y_prob[i, :] = y_prob[i, :] / np.sum(y_prob[i, :])
s = log_loss(y_true, y_prob)
print("log loss:{}".format(s))
# 运行结果
log loss:2.6982702715125466
上面的示例中,\(n\)是样本数量,\(k\)是标签数量.
零一损失(zero-one loss)非常直观,直接对应着分类判断错误的个数,能很清晰地反映出模型预测错误的比例。 它计算简单,易于理解和实现,对于二分类问题特别直观,但是对于非凸性质不太适用.
\(L(y, \hat{y}) = \frac{1}{n} \sum_{i=0}^{n-1} 1(\hat{y}_i \not= y_i)\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(\hat{y_i}\)是预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import zero_one_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s1 = zero_one_loss(y_true, y_pred)
s2 = zero_one_loss(y_true, y_pred, normalize=False)
print("zero-one loss比率:{}\nzero-one loss数量:{}".format(s1, s2))
# 运行结果
zero-one loss比率:0.89
zero-one loss数量:89
Brier 分数损失(Brier score loss)关注模型预测的概率与实际结果之间的差异。 与只关注预测类别的其他指标不同,它衡量了预测概率的可靠性; 与一些仅适用于二分类问题的评估指标相比,Brier score loss可以应用于多类别分类问题.
它的数值越小,表示模型的概率预测越准确,具有很好的解释性.
\(BS = \frac{1}{n} \sum_{i=0}^{n - 1}(y_i - p_i)^2\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(p_i\)是预测概率估计的均方误差.
from sklearn.metrics import brier_score_loss
import numpy as np
n = 100
y_true = np.random.randint(0, 2, n)
y_prob = np.random.rand(n)
s = brier_score_loss(y_true, y_prob)
print("brier score loss:{}".format(s))
# 运行结果
brier score loss:0.3141953858083935
示例中计算损失用的模拟数据中,y_true表示真实值,y_prob表示预测概率的均方误差.
本篇归纳总结了分类模型中关于损失函数的一些使用方式:
最后此篇关于【scikit-learn基础】--『回归模型评估』之损失分析的文章就讲到这里了,如果你想了解更多关于【scikit-learn基础】--『回归模型评估』之损失分析的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
vue3 快速入门系列 - 基础 前面我们已经用 vue2 和 react 做过开发了。 从 vue2 升级到 vue3 成本较大,特别是较大的项目。所以许多公司对旧项目继续使用vue2,新项目则
C# 基础 C#项目创建 这里注意win10虚拟机需要更新下补丁,不然直接下载visual studio 2022会显示版本不支持 HelloWorld C#的类文件都是以.cs结尾,入口方法为sta
关于 iPhone 内存管理的非常基本的问题: 假设我有一个 viewController,其中有几个 subview 也由 viewController 控制。当我删除顶部 viewControll
我仍在努力适应指针。不是概念——我理解内存位置、匹配可变长度的指针增量等——这是语法。这是一个我认为是我感到困惑/无法直观把握的原因之一: int a = 42; 在一个int大小的内存空间中分配并放
1. 简介 Kafka(Apache Kafka) 是一种分布式流数据平台,最初由LinkedIn开发,并于后来捐赠给Apache软件基金会,成为了一个Apache顶级项目。它被设计用于处理大规
1.想要在命令提示符下操作mysql服务器,添加系统变量。(计算机-系统属性——环境变量——path) 2.查询数据表中的数据; select selection_lis
MySQL表的增删改查(基础) 1. CRUD 注释:在SQL中可以使用“–空格+描述”来表示注释说明 CRUD 即增加(Create)、查询(Retrieve)、更新(Update)、删除(Dele
我有一个网页,可以在加载时打开显示模式,在这个模式中,我有一个可以打开第二个模式的链接。当第二个模式关闭时(通过单击关闭按钮或单击模式外部),我想重新打开第一个模式。 对于关闭按钮,我可以通过向具有
使用 Core Data Fetched Properties,我如何执行这个简单的请求: 我希望获取的属性 ( myFetchProp ) 存储 StoreA ,它应该这样做: [myFetchPr
关闭。这个问题是opinion-based .它目前不接受答案。 想改进这个问题?更新问题,以便 editing this post 可以用事实和引用来回答它. 8年前关闭。 Improve this
最近,我得到了一个现有的Drupal项目,并被要求改进前端(HTML,JavaScript,CSS)。我在Django,PHP,Ruby等方面具有大量的前端和后端开发经验,但是我没有任何Drupal经
我试图让我的用户通过使用扫描仪类来决定要做什么,但我有一个问题,代码一旦运行就不会激活,并且它不会让我跳过任何行。我的代码如下所示: Scanner input = new Scanner(S
对模糊的标题表示歉意,因为我想不出这个名字是什么。 基本上创建一个计算学生财务付款的小程序。当我运行它时,它计算对象限额没有问题。然而,无论我尝试什么,对象“助学金”似乎除了 0 之外什么也没有提出。
这是我的代码 - main() { double x; double y = pow(((1/3 + sin(x/2))(pow(x, 3) + 3)), 1/3); prin
如果我的术语在这个问题上有误,我们深表歉意。 采取以下功能: i = 1; v = i * 2; for (j = 0; j < 4; j++ ) { console.log(v);
我的应用程序中有不同的类文件。我有 5 个类,其中 2 个是 Activity ,1 个是运行的服务。其他 2 个只是类。这两个类中变量的生命周期是多少。我知道一个 Activity 可以被操作系统杀
例如,一个方法返回一个 List 类型的对象。 public List bojangles () ... 一些代码调用方法FooBar.bojangles.iterator(); 我是 Java 的新
我遇到了一个奇怪的问题,网格的大小不适合我的屏幕。当我使用 12 列大时,它只占据屏幕的 1/3 的中间,请参见图像。我不确定是什么导致了这个问题。我没有任何会导致这种情况发生的奇怪 CSS。我不会在
我尝试使用头文件和源文件,但遇到了问题。因此,我对我正在尝试做的事情做了一个简化版本,我在 CodeBlocks 中遇到了同样的错误(undefined reference to add(double
我正在为我的网格系统使用基础,但这在任何网格系统中都可能是一个问题。我基本上用一个容器包裹了 3 个单元格,但其中一个单元格应该长到页面边框(留在我的 Sampe-Image 中)但这也可能在右侧)。
我是一名优秀的程序员,十分优秀!