如果有人告诉我们一个相当不可能的事件发生了，我们收到的信息要多于我们被告知某个很可能发⽣的事件发⽣时收到的信息。如果我们知道某件事情⼀定会发⽣，那么我们就不会接收到信息。 也就是说，信息量应该连续依赖于事件发生的概率分布p(x)。
2018-05-09 15:04
这篇小文将告诉你：Softmax是如何把CNN的输出转变成概率，以及交叉熵是如何为优化过程提供度量，为了让读者能够深入理解，我们将会用python一一实现他们。
2018-07-29 11:21
这样就可以计算出某一种可能性的信息量。举一个例子，假设你拿出了你的电脑，按下开关，会有三种可能性，下表列出了每一种可能的概率及其对应的信息量
2018-07-03 11:32
纵轴是"Bits for words", 这也是交叉熵的一个单位。在计算交叉熵时，如果使用以 2 为底的对数，
2023-11-22 16:08
在损失函数上，研究者从自然语言社区汲取灵感，即掩码 token 建模已经「让位给了」序列自回归预测方法。一旦图像、视频、标注图像都可以表示为序列，则训练的模型可以在预测下一个 token 时最小化交叉熵损失。
2023-12-05 15:34
从随机量子电路进行采样是量子计算机的一个很好的校准基准，我们称之为交叉熵基准。一个成功的随机电路量子霸权实验将证明大规模容错量子计算机的基本构建块。此外，量子物理学还没有对如此高度复杂的量子态进行过测试。
2018-05-07 15:18
每个框使用多标签分类来预测边界框可能包含的类。我们不使用softmax，因为我们发现它对于性能没有影响，而是只是使用独立的逻辑分类器。在训练过程中，我们使用二元交叉熵损失来进行类别预测。
2018-03-29 15:04
本项目在之前项目分类模型基础上神经网络应用（一）进一步拓展神经网络应用，相比之前本项目增加了新的知识点，比如正则化，softmax函数和交叉熵损失函数等。
2023-02-24 15:43
将原始句子送入编码器RNN，然后将目标句子送入解码器RNN，同时编码器RNN最终隐层状态会传入解码器RNN的初始隐层状态。在解码器RNN的每一步会产生下一个单词的概率分布，进而通过交叉熵计算损失。将每一步损失加总取平均，就得到了整个句子的损失。
2019-05-08 14:49
光交叉连接设备是用于光纤网络节点的设备，通过对光信号进行交叉连接，能够灵活有效地管理光纤传输网络，是实现可靠的网络保护／恢复以及自动配线和监控的重要手段。
2020-01-21 16:56
