- 在VisualStudio中部署GDAL库的C++版本(包括SQLite、PROJ等依赖)
- Android开机流程介绍
- STM32CubeMX教程31USB_DEVICE-HID外设_模拟键盘或鼠标
- 深入浅出Java多线程(五):线程间通信
分类模型评估中,通过各类损失(loss)函数的分析,可以衡量模型预测结果与真实值之间的差异。 不同的损失函数可用于不同类型的分类问题,以便更好地评估模型的性能.
本篇将介绍分类模型评估中常用的几种损失计算方法.
Hamming loss(汉明损失)是一种衡量分类模型预测错误率的指标。 它直接衡量了模型预测错误的样本比例,因此更直观地反映出模型的预测精度, 而且,它对不平衡数据比较敏感,也适用于多分类的问题,不仅限于二分类问题.
\(L(y, \hat{y}) = \frac{1}{n * m} \sum_{i=0}^{n-1} \sum_{j=0}^{m - 1} 1(\hat{y}_{i,j} \not= y_{i,j})\) 其中,\(n\)是样本数量,\(m\)是标签数量,\(y_{i,j}\)是样本\(i\)的第\(j\)个标签的真实值,\(\hat{y}_{i,j}\)是对应的预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import hamming_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s = hamming_loss(y_true, y_pred)
print("hamming loss:{}".format(s))
# 运行结果
hamming loss:0.8
Hinge loss(铰链损失)常用于“最大间隔”分类,其最著名的应用是作为支持向量机(SVM)的目标函数。 Hinge loss主要用于二分类问题,并且通常与特定的算法(如SVM)结合使用.
\(L(y, w) = \frac{1}{n} \sum_{i=0}^{n-1} \max\left\{1 - w_i y_i, 0\right\}\) 其中,\(n\)是样本数量,\(y_i\)是真实值, \(w_i\)是相应的预测决策(由 decision_function 方法输出).
from sklearn.metrics import hinge_loss
from sklearn.svm import LinearSVC
from sklearn.model_selection import train_test_split
import numpy as np
n = 100
X = np.random.randint(0, 2, size=(n, 1))
y = np.random.randint(0, 2, n)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1)
reg = LinearSVC(dual="auto")
reg.fit(X_train, y_train)
y_pred_decision = reg.decision_function(X_test)
s = hinge_loss(y_test, y_pred_decision)
print("hinge loss:{}".format(s))
# 运行结果
hinge loss:1.0136184446302712
上面的示例中,首先构建一个支持向量机的训练模型和随机的样本数据。 最后在测试集上计算hinge loss.
对数损失(log loss)通过考虑模型预测的概率与实际标签的对数误差来评估模型的性能。 它特别关注模型对于每个样本的预测概率的准确性,对于错误的分类,Log loss会给予较大的惩罚.
对数损失的值越小,表示模型的预测概率越接近实际标签,模型的性能越好.
\(LL = - \frac{1}{N} \sum_{i=0}^{N-1} \sum_{k=0}^{K-1} y_{i,k} \log p_{i,k}\) 其中,\(N\)是样本数量,\(K\)是分类标签的数量, \(y_{i,k}\)是第\(i\)个样本在标签\(k\)上的真实值,\(p_{i,k}\)是对应的概率估计.
from sklearn.metrics import log_loss
import numpy as np
n = 100
k = 10
y_true = np.random.randint(0, k, n)
y_prob = np.random.rand(n, k)
# 这一步转换后,
# y_prob 每一行的和都为1
for i in range(len(y_prob)):
y_prob[i, :] = y_prob[i, :] / np.sum(y_prob[i, :])
s = log_loss(y_true, y_prob)
print("log loss:{}".format(s))
# 运行结果
log loss:2.6982702715125466
上面的示例中,\(n\)是样本数量,\(k\)是标签数量.
零一损失(zero-one loss)非常直观,直接对应着分类判断错误的个数,能很清晰地反映出模型预测错误的比例。 它计算简单,易于理解和实现,对于二分类问题特别直观,但是对于非凸性质不太适用.
\(L(y, \hat{y}) = \frac{1}{n} \sum_{i=0}^{n-1} 1(\hat{y}_i \not= y_i)\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(\hat{y_i}\)是预测值, \(1(x)\) 是指示函数.
from sklearn.metrics import zero_one_loss
import numpy as np
n = 100
y_true = np.random.randint(1, 10, n)
y_pred = np.random.randint(1, 10, n)
s1 = zero_one_loss(y_true, y_pred)
s2 = zero_one_loss(y_true, y_pred, normalize=False)
print("zero-one loss比率:{}\nzero-one loss数量:{}".format(s1, s2))
# 运行结果
zero-one loss比率:0.89
zero-one loss数量:89
Brier 分数损失(Brier score loss)关注模型预测的概率与实际结果之间的差异。 与只关注预测类别的其他指标不同,它衡量了预测概率的可靠性; 与一些仅适用于二分类问题的评估指标相比,Brier score loss可以应用于多类别分类问题.
它的数值越小,表示模型的概率预测越准确,具有很好的解释性.
\(BS = \frac{1}{n} \sum_{i=0}^{n - 1}(y_i - p_i)^2\) 其中,\(n\)是样本数量,\(y_i\)是真实值,\(p_i\)是预测概率估计的均方误差.
from sklearn.metrics import brier_score_loss
import numpy as np
n = 100
y_true = np.random.randint(0, 2, n)
y_prob = np.random.rand(n)
s = brier_score_loss(y_true, y_prob)
print("brier score loss:{}".format(s))
# 运行结果
brier score loss:0.3141953858083935
示例中计算损失用的模拟数据中,y_true表示真实值,y_prob表示预测概率的均方误差.
本篇归纳总结了分类模型中关于损失函数的一些使用方式:
最后此篇关于【scikit-learn基础】--『回归模型评估』之损失分析的文章就讲到这里了,如果你想了解更多关于【scikit-learn基础】--『回归模型评估』之损失分析的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我刚刚继承了一个旧的 PostgreSQL 安装,需要进行一些诊断以找出该数据库运行缓慢的原因。在 MS SQL 上,您可以使用 Profiler 等工具来查看正在运行的查询,然后查看它们的执行计划。
将目标从Analytics(分析)导入到AdWords中,然后在Analytics(分析)中更改目标条件时,是否可以通过更改将目标“重新导入”到AdWords,还是可以自动选择? 最佳答案 更改目标值
我正在使用google analytics api来获取数据。我正在获取数据,但我想验证两个参数,它们在特定日期范围内始终为0。我正在获取['ga:transactions']和['ga:goalCo
我使用Google API从Google Analytics(分析)获取数据,但指标与Google Analytics(分析)的网络界面不同。 即:我在2015年3月1日获得数据-它返回综合浏览量79
我在我的Web应用程序中使用sammy.js进行剔除。我正在尝试向其中添加Google Analytics(分析)。我很快找到了following plugin来实现页面跟踪。 我按照步骤操作,页面如
当使用 Xcode 分析 (product>analyze) 时,有没有办法忽略给定文件中的任何错误? 例如编译指示之类的? 我们只想忽略第三方代码的任何警告,这样当我们的代码出现问题时,它对我们
目录 EFK 1. 日志系统 2. 部署ElasticSearch 2.1 创建handless服务 2.2 创建s
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 7年前关闭。 Improve thi
GCC/G++ 是否有可用于输出分析的选项? 能够比较以前的代码与新代码之间的差异(大小、类/结构的大小)将很有用。然后可以将它们与之前的输出进行比较以进行比较,这对于许多目的都是有用的。 如果没有此
我正在浏览 LYAH,并一直在研究处理列表时列表理解与映射/过滤器的使用。我已经分析了以下两个函数,并包含了教授的输出。如果我正确地阅读了教授的内容,我会说 FiltB 的运行速度比 FiltA 慢很
在 MySQL 中可以使用 SET profiling = 1; 设置分析 查询 SHOW PROFILES; 显示每个查询所用的时间。我想知道这个时间是只包括服务器的执行时间还是还包括将结果发送到前
我用 Python 编写了几个用于生成阶乘的模块,我想测试运行时间。我找到了一个分析示例 here我使用该模板来分析我的模块: import profile #fact def main():
前几天读了下mysqld_safe脚本,个人感觉还是收获蛮大的,其中细致的交代了MySQL数据库的启动流程,包括查找MySQL相关目录,解析配置文件以及最后如何调用mysqld程序来启动实例等,有着
1 内网基础 内网/局域网(Local Area Network,LAN),是指在某一区域内有多台计算机互联而成的计算机组,组网范围通常在数千米以内。在局域网中,可以实现文件管理、应用软件共享、打印机
1 内网基础 内网/局域网(Local Area Network,LAN),是指在某一区域内有多台计算机互联而成的计算机组,组网范围通常在数千米以内。在局域网中,可以实现文件管理、应用软件共享、打印机
我有四列形式的数据。前三列代表时间,value1,value 2。第四列是二进制,全为 0 或 1。当第四列中对应的二进制值为0时,有没有办法告诉excel删除时间、值1和值2?我知道这在 C++ 或
我正在运行一个进行长时间计算的 Haskell 程序。经过一些分析和跟踪后,我注意到以下内容: $ /usr/bin/time -v ./hl test.hl 9000045000050000 Com
我有一个缓慢的 asp.net 程序正在运行。我想分析生产服务器以查看发生了什么,但我不想显着降低生产服务器的速度。 一般而言,配置生产盒或仅本地开发盒是标准做法吗?另外,您建议使用哪些程序来实现这一
我目前正在尝试分析 Haskell 服务器。服务器永远运行,所以我只想要一个固定时间的分析报告。我尝试只运行该程序 3 分钟,然后礼貌地要求它终止,但不知何故,haskell 分析器不遵守术语信号,并
是否有工具可以分析 Maven 构建过程本身,以便我可以看到构建花费最多时间的地方? 我们在工作中遇到了关于 Maven 3.0.3 和 3.0b1 的问题。与 3.0.3 (9m00s) 相比,我们
我是一名优秀的程序员,十分优秀!