Unterstützte Sprachen

Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch. Benutzer können granite-embedding-107m-multilingual für Sprachen über diese 12 Sprachen hinaus anpassen.

Vorgesehene Verwendung

Das Modell ist darauf ausgelegt, Vektordarstellungen mit fester Länge für einen bestimmten Text zu erstellen, die für Textähnlichkeits-, Abruf- und Suchanwendungen verwendet werden können.

Verwendung mit Satztransformationen

Das Modell ist mit SentenceTransformer kompatibel und sehr benutzerfreundlich:

Installieren Sie zunächst die Bibliothek der Satztransformatoren.

pip install sentence_transformers

Das Modell kann dann verwendet werden, um Textpaare zu kodieren und die Ähnlichkeit zwischen ihren Darstellungen zu ermitteln.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-107m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Verwendung mit Huggingface Transformers

Dies ist ein einfaches Beispiel für die Verwendung granite-embedding-107m-multilingual mit der Transformers-Bibliothek und PyTorch.

Installieren Sie zunächst die erforderlichen Bibliotheken.

pip install transformers torch

Das Modell kann dann zur Verschlüsselung von Textpaaren verwendet werden.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-107m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-107m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

Evaluierung

Die durchschnittliche Leistung granite-embedding-107m-multilingual bei Multilingual Miracl (in 18 Sprachen), Mintaka Retrieval (in 8 Sprachen) und MTEB Retrieval für Englisch (in 15 Aufgaben), Deutsch (über 4 Aufgaben), Spanisch (über 2 Aufgaben), Französisch (über 5 Aufgaben), Japanisch (über 2 Aufgaben), Arabisch (1 Aufgabe), Koreanisch (1 Aufgabe) und Chinesisch (über 8 Aufgaben) wird unten berichtet. Das 107 m lange granite-embedding-107m-multilingual Granit-Modell ist doppelt so schnell wie andere Modelle mit ähnlichen Einbettungsabmessungen.

Modellarchitektur

Das granite-embedding-107m-multilingual Granit-Modell basiert auf einer reinen XLM-RoBERTa Transformatorarchitektur, die intern bei IBM trainiert wurde.

Trainingsdaten

Insgesamt bestehen die Trainingsdaten aus vier Hauptquellen: (1) unüberwachte, aus dem Internet zusammengetragene Titel-Text-Datenpaare, (2) öffentlich verfügbare Datenpaare mit einer freizügigen, unternehmensfreundlichen Lizenz, (3) IBM Datenpaare, die auf bestimmte technische Bereiche abzielen, und (4) IBM synthetische Daten. Die Daten sind unten aufgeführt:

Insbesondere verwenden wir den beliebten MS-MARCO-Abrufdatensatz aufgrund seiner nicht kommerziellen Lizenz nicht in unserem Trainingskorpus, während andere Open-Source-Modelle aufgrund seiner hohen Qualität mit diesem Datensatz trainieren.

Infrastruktur

Wir trainieren Granite Embedding Models mithilfe des Computerclusters Cognitive Compute Cluster von IBM, der mit NVIDIA A100 80gb GPUs ausgestattet ist. Dieser Cluster bietet eine skalierbare und effiziente Infrastruktur für das Training unserer Modelle über mehrere GPUs.

Ethische Überlegungen und Einschränkungen

Die englischen Daten, die zum Trainieren des Basissprachenmodells verwendet wurden, wurden gefiltert, um Texte zu entfernen, die Hass, Beleidigungen und Obszönitäten enthielten.

Ressourcen

• Informieren Sie sich über die neuesten Updates für Granite : IBM Granite -Website
• Erste Schritte mit Tutorials, Best Practices und sofortiger technischer Beratung: IBM Granite -Dokumentation
• Erfahren Sie mehr über die neuesten Lernressourcen Granite : IBM