Keras的CategoricalCrossEntropy到底在做什么？

我正在移植一个 keras 模型torch，但我无法'categorical_crossentropy'在 softmax 层之后复制 keras/tensorflow 的确切行为。我对这个问题有一些解决方法，所以我只对了解计算分类交叉熵时 tensorflow究竟计算什么感兴趣。

作为一个玩具问题，我设置了标签和预测向量

>>> import tensorflow as tf
>>> from tensorflow.keras import backend as K
>>> import numpy as np


>>> true = np.array([[0.0, 1.0], [1.0, 0.0]])
>>> pred = np.array([[0.0, 1.0], [0.0, 1.0]])

并计算分类交叉熵：

>>> loss = tf.keras.losses.CategoricalCrossentropy()
>>> print(loss(pred, true).eval(session=K.get_session()))
8.05904769897461

这与分析结果不同

>>> loss_analytical = -1*K.sum(true*K.log(pred))/pred.shape[0]
>>> print(loss_analytical.eval(session=K.get_session()))
nan

我深入研究了 keras/tf 的交叉熵的源代码（参见Tensorflow Github Source Code 中的 Softmax Cross Entropy implementation），并在https://github.com/tensorflow/tensorflow/blob/c903b4607821a03c36c17b0befa25306c6/compilerflow/compiler/找到了 c 函数tf2xla/kernels/softmax_op.cc第 116 行。在该函数中，有一条注释：

// sum(-labels *
// ((logits - max_logits) - log(sum(exp(logits - max_logits)))))
// along classes
// (The subtraction broadcasts along the batch dimension.)

并实现这一点，我试过：

>>> max_logits = K.max(pred, axis=0)
>>> max_logits = max_logits
>>> xent = K.sum(-true * ((pred - max_logits) - K.log(K.sum(K.exp(pred - max_logits)))))/pred.shape[0]

>>> print(xent.eval(session=K.get_session()))
1.3862943611198906

我还尝试打印 的跟踪xent.eval(session=K.get_session())，但跟踪长约 95000 行。所以它引出了一个问题：keras/tf 在计算时到底在做什么'categorical_crossentropy'？它不返回是有道理的，这nan会导致训练问题，但是 8 来自哪里？

回答

pred = np.array([[0.0, 1.0], [0.0, 1.0]])

import tensorflow as tf
from tensorflow.keras import backend as K
import numpy as np

true = np.array([[0.0, 1.0], [1.0, 0.0]])
pred = np.array([[0.01, 0.99], [0.01, 0.99]])

loss = tf.keras.losses.CategoricalCrossentropy()
print(loss(true, pred).numpy())
# 2.307610273361206

print(loss(pred, true).numpy())
# 8.05904769897461

loss1 = -(0.0 * np.log(0.01) + 1.0 * np.log(0.99))
print(loss1) # 0.01005033585350145

loss2 = -(1.0 * np.log(0.01) + 0.0 * np.log(0.99))
print(loss2) # 4.605170185988091

# Total loss is the average of the per-instance losses.
loss = (loss1 + loss2) / 2
print(loss) # 2.307610260920796

回答