数据集
注意
sentence_transformers.datasets 类已被弃用，仅为了与已弃用的训练兼容而存在。
现在您可以使用
BatchSamplers.GROUP_BY_LABEL而不是SentenceLabelDataset，以使用GroupByLabelBatchSampler。现在您可以使用
BatchSamplers.NO_DUPLICATES而不是NoDuplicatesDataLoader，以使用NoDuplicatesBatchSampler。
sentence_transformers.datasets 包含用于组织您的训练输入示例的类。
ParallelSentencesDataset
ParallelSentencesDataset 用于多语言训练。有关详细信息，请参阅 多语言训练。
- class sentence_transformers.datasets.ParallelSentencesDataset(student_model: SentenceTransformer, teacher_model: SentenceTransformer, batch_size: int = 8, use_embedding_cache: bool = True)[source]
此数据集读取器可用于读取并行句子，即，它读取一个文件，其中包含制表符分隔的句子，这些句子在不同语言中具有相同的含义。例如，该文件可能如下所示（EN DE ES）：hello world hallo welt hola mundo second sentence zweiter satz segunda oración
第一列中的句子将使用给定的嵌入器映射到句子嵌入。例如，嵌入器是英语的单语句子嵌入方法。其他语言的句子也将映射到此英语句子嵌入。
从数据集获取样本时，我们将获得一个句子以及该句子对应的句子嵌入。
teacher_model 可以是任何实现 encode 函数的类。encode 函数获取句子列表并返回句子嵌入列表
并行句子数据集读取器，用于训练给定教师模型的学生模型
- 参数:
student_model (SentenceTransformer) – 应该训练的学生句子嵌入模型。
teacher_model (SentenceTransformer) – 教师模型，用于为数据集文件中第一列的句子提供句子嵌入。
batch_size (int, 可选) – 训练的批次大小。默认为 8。
use_embedding_cache (bool, 可选) – 是否使用嵌入缓存。默认为 True。
SentenceLabelDataset
如果您有标记的句子并想使用 triplet loss 进行训练，则可以使用 SentenceLabelDataset。
- class sentence_transformers.datasets.SentenceLabelDataset(examples: list[InputExample], samples_per_label: int = 2, with_replacement: bool = False)[source]
此数据集可用于某些特定的 Triplet Losses，例如 BATCH_HARD_TRIPLET_LOSS，它需要一个批次中具有相同标签的多个示例。
它一次从一个标签中抽取 n 个连续、随机且唯一的样本。每个标签重复此操作。
标签少于 n 个唯一样本将被忽略。这也适用于无放回抽样，一旦标签的剩余样本少于 n 个，则会跳过该标签。
此方法不检查标签是否多于批次大小，或者批次大小是否可被每个标签抽取的样本数整除。
为 SentenceLabelDataset 创建 LabelSampler。
- 参数:
examples (List[InputExample]) – InputExamples 的列表。
samples_per_label (int, 可选) – 每个标签抽取的连续、随机且唯一的样本数。批次大小应为 samples_per_label 的倍数。默认为 2。
with_replacement (bool, 可选) – 如果为 True，则每个样本最多抽取一次（取决于每个标签的样本总数）。如果为 False，则一个样本可以在多次抽取中抽取，但不能在同一次抽取中抽取多次。默认为 False。
DenoisingAutoEncoderDataset
DenoisingAutoEncoderDataset 用于使用 TSDAE 方法进行无监督训练。
- class sentence_transformers.datasets.DenoisingAutoEncoderDataset(sentences: list[str], noise_fn=<function DenoisingAutoEncoderDataset.<lambda>>)[source]
DenoisingAutoEncoderDataset 以以下格式返回 InputExamples：texts=[noise_fn(sentence), sentence]。它与 DenoisingAutoEncoderLoss 结合使用：在此，解码器尝试重建没有噪声的句子。
- 参数:
sentences – 句子列表
noise_fn – 噪声函数：给定一个字符串，它返回一个带有噪声的字符串，例如删除的单词
NoDuplicatesDataLoader
NoDuplicatesDataLoader 可以与 MultipleNegativeRankingLoss 一起使用，以确保同一批次内没有重复项。