深度学习中有哪些常用损失函数(优化目标函数)?

对于采样数据!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1A0dnNxelJjZ0NsaEozanFpYXdvZ0VMTUhJaWF4c2NPTXBScG9maWJMSW50V1BGT0FxSmF0YURQWEM2aktYaWFycWFlZy82NDA?x-oss-process=image/format,png),其对数似然函数为:!(https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3N2Zy82dDBWRGU5Ymw1Zjc0WE1HM2VhOGlickR5bWJOUzQyM1BpY1RaVU1mUDI1MWtpYWJtNTcxUHdEaHI0TGNNZWtQMzJ0bXBiNTdIZ2lhS2dWdHNESGljYXBVNTZyUjV2aGlhNEhIaWFqLzY0MA?x-oss-process=image/format,png)可以看到上式和交叉熵函数的形式几乎相同,极大似然估计就是要求这个式子的最大值。

信息量较少的样本对则会被赋予较小的权重。

**CostFunction**代价函数CostFunction通常是针对整个训练集(或者在使用mini-batchgradientdescent时一个mini-batch)的总损失。

损失函数越小,模型的鲁棒性(robustness:抗变换性)越好机器学习中所有算法都需要最大化或者最小化一个函数(目标函数。

,”

torch.nn.MSELoss(reduction=mean)参数:>reduction-三个值,none:不使用约简;mean:返回loss和的平均值;sum:返回loss的和。

logLoss(对数损失函数,LR)2.hingeloss(合页损失函数,SVM)3.exp-loss(指数损失函数,AdaBoost)4.cross-entropyloss(交叉熵损失函数,Softmax)5.quadraticloss(平方误差损失函数,线性回归)6.absolutionloss(绝对值损失函数,)7.0-1loss(0-1损失函数)!(https://img-blog.csdnimg.cn/20190305194607339.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3BlcmZlY3QxdA==,size_16,color_FFFFFF,t_70)logLoss(对数损失函数,也叫binarycrossentropy,二元交叉熵损失,LR)逻辑回归模型中,通过把线性拟合分类边界的结果送入sigmoid函数,从而得到预测为正的概率。

指数损失函数(Adaboost)学过Adaboost算法的人都知道,它是前向分步加法算法的特例,是一个加和模型,损失函数就是指数函数。

这是使用梯度下降等一些优化策略完成的。

在此研究的基础上,他们于2017年提出了A-softmax,在L-softmax的基础上添加了两个限制条件||W||=1和b=0,使得预测仅取决于W和x之间的角度。

编写一个函数,自动决定哪些W是最优的,就需要一个度量任意W的好坏的方法。

同样可以看看它的导数:另外,所以有:所以参数更新公式为:可以看到参数更新公式中没有这一项,权重的更新受影响,受到误差的影响,所以**当误差大的时候,权重更新快;当误差小的时候,权重更新慢**。

wgan有一些问题,wgan-gp改进了wgan连续性限制的条件,后面还有一些研究,大家可以自行跟进,我们后面也会讲述。

反过来说,沿着梯度向量相反的方向,也就是-(∂f/∂x0,∂f/∂y0)T的方向,梯度减少最快,也就是更加容易找到函数的最小值。

默认:mean。

其基本形式如下

*原理推导实际上在一定的假设下,我们可以使用最大化似然得到均方差损失的形式。

由于模型的输入、输出(X,Y)是随机变量,遵循联合分布P(X,Y),所以损失函数的期望值是!(http://latex.codecogs.com/gif.latex?R_%7bexp%7d%28f%29=E_%7bp%7d%5BL%28Y,f%28X%29%29%5D=%5Cint_%7bx*y%7d%5E%7b&space;%7d&space;L%28Y,f%28X%29%29P%28x,y%29dxdy)这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失,称为**风险函数**(riskfunction)或期望损失(expectedloss。

**通常用来作为回归算法的性能指标**。

因此,这些边框信息之间是相互**独立**的。

受限于时间,本文还有其他许多损失函数没有提及,比如应用于Adaboost模型中的指数损失ExponentialLoss,0-1损失函数等。

为您推荐

发表回复

您的电子邮箱地址不会被公开。