损失概述

损失表

损失函数在微调模型的性能中起着关键作用。遗憾的是，没有“一刀切”的损失函数。理想情况下，此表格应通过将损失函数与您的数据格式匹配来帮助您缩小选择范围。

注意

您通常可以将一种训练数据格式转换为另一种，从而使更多的损失函数适用于您的场景。例如，带有 class 标签的 (sentence_A, sentence_B) 对 可以通过采样具有相同或不同类别的句子来转换为 (anchor, positive, negative) 三元组。

输入	标签	合适的损失函数
`单句`	`类别`	`BatchAllTripletLoss` `BatchHardSoftMarginTripletLoss` `BatchHardTripletLoss` `BatchSemiHardTripletLoss`
`单句`	`无`	`ContrastiveTensionLoss` `DenoisingAutoEncoderLoss`
`(锚点, 锚点) 对`	`无`	`ContrastiveTensionLossInBatchNegatives`
`(损坏句子, 原始句子) 对`	`无`	`DenoisingAutoEncoderLoss`
`(句子A, 句子B) 对`	`类别`	`SoftmaxLoss`
`(锚点, 正例) 对`	`无`	`MultipleNegativesRankingLoss` `CachedMultipleNegativesRankingLoss` `MultipleNegativesSymmetricRankingLoss` `CachedMultipleNegativesSymmetricRankingLoss` `MegaBatchMarginLoss` `GISTEmbedLoss` `CachedGISTEmbedLoss`
`(锚点, 正例/负例) 对`	`正例为 1，负例为 0`	`ContrastiveLoss` `OnlineContrastiveLoss`
`(句子A, 句子B) 对`	`0 到 1 之间的浮点相似度分数`	`CoSENTLoss` `AnglELoss` `CosineSimilarityLoss`
`(锚点, 正例, 负例) 三元组`	`无`	`MultipleNegativesRankingLoss` `CachedMultipleNegativesRankingLoss` `TripletLoss` `CachedGISTEmbedLoss` `GISTEmbedLoss`
`(锚点, 正例, 负例_1, ..., 负例_n)`	`无`	`MultipleNegativesRankingLoss` `CachedMultipleNegativesRankingLoss` `CachedGISTEmbedLoss`

这些损失函数可以看作是损失修饰符：它们在标准损失函数的基础上工作，但以不同的方式应用这些损失函数，试图为训练好的嵌入模型注入有用的特性。

例如，使用 MatryoshkaLoss 训练的模型生成的嵌入可以截断其大小而性能没有显著损失；而使用 AdaptiveLayerLoss 训练的模型在您移除模型层以实现更快推理时仍然表现良好。

文本	标签	合适的损失函数
`任意`	`任意`	`MatryoshkaLoss` `AdaptiveLayerLoss` `Matryoshka2dLoss`

这些损失函数专门设计用于将知识从一个模型蒸馏到另一个模型。例如，当微调一个小型模型使其表现更像一个更大更强的模型时，或者当微调一个模型使其成为多语言模型时。

文本	标签	合适的损失函数
`句子`	`模型句子嵌入`	`MSELoss`
`句子_1, 句子_2, ..., 句子_N`	`模型句子嵌入`	`MSELoss`
`(查询, 段落一, 段落二) 三元组`	`gold_sim(查询, 段落一) - gold_sim(查询, 段落二)`	`MarginMSELoss`
`(查询, 正例, 负例_1, ..., 负例_n)`	`[gold_sim(查询, 正例) - gold_sim(查询, 负例_i) for i in 1..n]`	`MarginMSELoss`
`(查询, 正例, 负例)`	`[gold_sim(查询, 正例), gold_sim(查询, 负例)]`	`DistillKLDivLoss`
`(查询, 正例, 负例_1, ..., 负例_n)`	`[gold_sim(查询, 正例), gold_sim(查询, 负例_i)...]`	`DistillKLDivLoss`

在实践中，并非所有损失函数都同样常用。最常见的场景是：

无标签的 (锚点, 正例) 对：MultipleNegativesRankingLoss（又名 InfoNCE 或批内负例损失）常用于训练表现最佳的嵌入模型。此类数据通常相对容易获取，并且模型通常表现非常好。CachedMultipleNegativesRankingLoss 常用于增加批次大小，从而获得卓越的性能。
带有 浮点相似度分数 的 (句子A, 句子B) 对：CosineSimilarityLoss 传统上使用广泛，但最近 CoSENTLoss 和 AnglELoss 被用作直接替换方案，并具有更优越的性能。

高级用户可以创建并使用自己的损失函数进行训练。自定义损失函数只有几个要求：

它们必须是 torch.nn.Module 的子类。
它们的构造函数中必须将 model 作为第一个参数。
它们必须实现一个 forward 方法，该方法接受 sentence_features 和 labels。前者是分批的标记化列表，每列一个元素。这些标记化的批次可以直接输入到正在训练的 model 中以生成嵌入。后者是可选的标签张量。该方法必须返回一个单一的损失值或一个损失组件字典（组件名称到损失值），这些组件将被求和以产生最终的损失值。当返回字典时，除了总损失外，各个组件将单独记录，以便您监控损失的各个组件。

为了获得对自动模型卡生成的完整支持，您可能还希望实现：

考虑检查现有的损失函数，以了解损失函数通常是如何实现的。