Indicators on white 444 vs You Should Know

其中, 是 batch 中的 token 数量, 是专家的数量, 是路由器的 logits。这个损失函数通过惩罚较大的 logits 值来工作,因为这些值在 softmax 函数中会导致较大的梯度。通过这种方式,Router z-loss 有助于减少训练过程中的不稳定性,并可能提高模型的泛化能力。打个小广�

read more