用法

Sentence Transformer（又称双编码器）模型的特点

  1. 根据文本或图像计算固定大小的向量表示（嵌入）。

  2. 嵌入计算通常高效，嵌入相似度计算非常快速。

  3. 适用于广泛的任务，例如语义文本相似度、语义搜索、聚类、分类、释义挖掘等。

  4. 常作为两步检索过程中的第一步使用，其中 Cross-Encoder（又称重排序器）模型用于对双编码器的 top-k 结果进行重排序。

安装 Sentence Transformers 后，您可以轻松使用 Sentence Transformer 模型

from sentence_transformers import SentenceTransformer

# 1. Load a pretrained Sentence Transformer model
model = SentenceTransformer("all-MiniLM-L6-v2")

# The sentences to encode
sentences = [
    "The weather is lovely today.",
    "It's so sunny outside!",
    "He drove to the stadium.",
]

# 2. Calculate embeddings by calling model.encode()
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# 3. Calculate the embedding similarities
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.6660, 0.1046],
#         [0.6660, 1.0000, 0.1411],
#         [0.1046, 0.1411, 1.0000]])

任务与高级用法