深度学习基础与实践 课件 2.3.3常见的损失函数

常见的损失函数01 损失函数总述什么是损失函数？假设你在山顶，需要下山，此时你需要决定走哪个方向？首先需要找到所有可能下山的路径；其次尽量找不往上走的路径，避免消耗体力；最后，走自认为坡度最大的，下山最快的路径。损失函数就是针对自认为坡度最大、下山最快的路径选择是否好坏的重要评判标准。损失函数将映射决策的相关成本：决定走上坡的路径将耗费我们的体力和时间。决定走下坡的路径将使我们受益。因此，下坡的成本是更小的。01 损失函数总述什么是损失函数？在有监督机器学习算法中，我们希望在学习过程中最小化每个训练样本的误差。这是使用梯度下降等一些优化策略完成的，而这个误差的大小通过损失函数来度量。损失函数（Loss

Function）：是定义在单个样本上的函数，是指一个样本的误差的映射。图片来源百度百科：/item/%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0/1783236?fr=aladdin0-1损失函数(zero-one

loss)平方损失函数绝对值损失函数log对数损失函数Hinge

损失函数指数损失函数（

exponentialloss）感知损失函数

(perceptronloss)01 损失函数总述常见的损失函数0-1损失函数（0-1

loss

function）𝐿 y,

𝑓

x1，y

≠

𝑓

x=

0，y=

𝑓(x)其中，y表示真实值，𝑓(x)表示输入数据经过模型得到的预测值。从式子可以发现，当预测错误时，损失函数为1；当预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度，只要错误，就是1。02 常见的损失函数平方损失函数（quadratic

loss

function）𝐿 y|𝑓 x =(y

−

𝑓 x

)2是指预测值与实际值差的平方。绝对值损失函数（absolute

loss

function）该损失函数的意义和上面差别不大，这里是求取绝对值而非平方，差距不会被平方放大。𝐿 y,

𝑓 x =|y

−

𝑓(x)|02 常见的损失函数对数损失函数（logarithmic

loss

function）𝐿 y,

𝑃 y|x

=

−𝑙𝑜𝑔𝑃(y|x)该损失函数常用于极大似然估计的场合。P(y|x)通俗的解释就是：在当前模型的基础上，对于样本x，其预测值为y，也就是预测正确的概率𝑃(𝑌|𝑋)。由于概率之间的同时满足需要使用乘法，为了将其转化为加法，我们将其取对数。由于损失函数，当预测正确的概率越高时，其值应该是越小，因此，需要对对数值乘以-1。02 常见的损失函数指数损失函数（exponential

loss）指数损失函数的标准形式如下：𝐿 𝑌 𝑓 𝑋 =

exp[−𝑦𝑓 𝑥 ]其中𝑦

=

1或𝑦

=

−1

，

𝑓(x)

=

𝑤𝑥

+𝑏，指数函数具有以下特点：离群点、噪声非常敏感。经常用在AdaBoost算法中。02 常见的损失函数Hinge损失函数（Hinge

loss）Hingeloss一般分类算法中的损失函数，尤其是SVM，其定义为：𝐿 Y,

𝑓

𝑥

=

max(0,

1

−𝑦

∗

𝑓

𝑥

)其中

𝑦

=

1或𝑦

=

−1

，

𝑓(𝑥)

=

𝑤𝑥

+𝑏

，即为SVM的线性核。感知损失函数(perceptron

loss)感知损失函数的标准形式如下：𝐿 𝑦,

𝑓 𝑥 =

max(0,

−𝑓 𝑥 )其中𝑓(𝑥)

=

𝑤𝑥

+

𝑏，该函数具有以下特点：是Hinge损失函数的一个变种，Hinge

loss对判定边界附近的点(正确端)惩罚力度很高。而perceptron

loss只要样本的判定类别正确的话，它就满意，不管其判定边界的距离。它比Hinge

loss简单，因为不是max-margin

boundary，所以模型的泛化能力没

hinge

loss强。02 常见的损失函数0-1损失函数(zero-one

loss)平方损失函数绝对值损失函数lo