Quora 重复问题

此文件夹包含演示如何训练用于信息检索的 SentenceTransformers 的脚本。作为一个简单示例，我们将使用 Quora 重复问题数据集。它包含超过 500,000 个句子，以及超过 400,000 对关于两个问题是否重复的标注。

在此数据集上训练的模型可用于挖掘重复问题，即给定大量句子（在此示例中为问题），识别所有重复的句子对。由于 CrossEncoder 模型仅适用于文本对，因此最好在使用 SentenceTransformer 模型进行初始过滤后部署它们。有关如何使用句子转换器在数十万个句子中挖掘重复问题/释义的示例，请参见 Sentence Transformer > 用法 > 释义挖掘。

在初始过滤后，可以使用 CrossEncoder 模型将例如前 100 个候选重新排序为例如前 10 个。因为 CrossEncoder 可以对句子对中的句子应用注意力，所以该模型可以给出比 SentenceTransformer 更好的分数。

要在 Quora 重复问题数据集上训练 CrossEncoder，请参见以下示例文件

training_quora_duplicate_questions.py:

此示例使用 BinaryCrossEntropyLoss 训练 CrossEncoder 模型，以便对相同问题给出高分，对不同问题给出低分。

您也可以训练和使用 SentenceTransformer 模型来完成此任务。有关更多详细信息，请参见 Sentence Transformer > 训练示例 > Quora 重复问题。

训练

选择正确的损失函数对于微调有用的模型至关重要。BinaryCrossEntropyLoss 仍然是训练任何只有一个输出类别（即只输出一个分数）的 CrossEncoder 模型的非常可靠的损失函数。

对于每个问题对，我们将问题 A 和问题 B 通过基于 BERT 的模型，然后分类器头部将基于 BERT 的模型的中间表示转换为相似度分数。使用此损失，我们应用 torch.nn.BCEWithLogitsLoss，它接受 logits（也称为输出、原始预测）和黄金相似度分数（如果重复为 1，不重复为 0）来计算表示模型表现好坏的损失。然后最小化此损失以提高模型性能。

推理

您可以像这样使用任何用于重复问题检测的预训练 CrossEncoder 模型进行推理

from sentence_transformers import CrossEncoder

model = CrossEncoder('cross-encoder/quora-distilroberta-base')
scores = model.predict([
    ('What do apples consist of?', 'What are in Apple devices?'),
    ('How do I get good at programming?', 'How to become a good programmer?')
])
print(scores)
# [0.00056, 0.97536]