关于LogSumExp

2020-09-24 127点热度 2人点赞

由来

假设我们有 [公式] 个值的数据集 [公式],我们想要求 [公式] 的值,应该如何计算?

看上去这个问题可能比较奇怪,但是实际上我们在神经网络中经常能碰到这个问题。

在神经网络中,假设我们的最后一层是使用softmax去得到一个概率分布,softmax的形式为: [公式]

这里的 [公式] 是其中的一个值。最终loss函数如果使用cross entropy,那么就涉及到需要对该式求 [公式] ,也就是

[公式]

这里的减号后面的部分,也就是我们上面所要求的 [公式] ,即LogSumExp(之后简称LSE)。

隐藏内容需要支付:¥4

未经允许不得转载!关于LogSumExp

本文地址:https://ai.52learn.online/1652

站长邮箱:ai52learn@foxmail.com