Scheda modello Granite Embedding 107m multilingue

Lingue supportate

Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese. Gli utenti possono regolare con precisione il modello granite-embedding-107m-multilingual per lingue diverse da queste 12 lingue.

Uso previsto

Il modello è progettato per produrre rappresentazioni vettoriali a lunghezza fissa per un dato testo, che possono essere utilizzate per applicazioni di similarità testuale, recupero e ricerca.

Uso con i trasformatori di frasi

Il modello è compatibile con la libreria SentenceTransformer ed è molto facile da usare:

Per prima cosa, installare la libreria dei trasformatori di frasi.

pip install sentence_transformers

Il modello può quindi essere utilizzato per codificare coppie di testi e trovare la somiglianza tra le loro rappresentazioni.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-107m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Utilizzo con i trasformatori Huggingface

Questo è un semplice esempio di utilizzo del modello granite-embedding-107m-multilingual con la libreria Transformers e PyTorch.

Per prima cosa, installare le librerie necessarie.

pip install transformers torch

Il modello può quindi essere utilizzato per codificare coppie di testi.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-107m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-107m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

Valutazione

Le prestazioni medie del modello granite-embedding-107m-multilingual su Miracl multilingue (in 18 lingue), Mintaka Retrieval (in 8 lingue) e MTEB Retrieval per l'inglese (in 15 compiti), il tedesco (in 4 compiti), lo spagnolo (in 2 compiti), il francese (in 5 compiti), il giapponese (in 2 compiti), l'arabo (1 compito), il coreano (1 compito) e il cinese (in 8 compiti) sono riportate di seguito. Il modello granite-embedding-107m-multilingual è due volte più veloce di altri modelli con dimensioni di incorporazione simili.

Modello di architettura

Il modello granite-embedding-107m-multilingual si basa su un'architettura di trasformatori XLM-RoBERTa di sola codifica, addestrata internamente all' IBM Research.

Dati di formazione

In generale, i dati di addestramento sono costituiti da quattro fonti chiave: (1) dati accoppiati titolo-corpo non supervisionati, raccolti dal web, (2) dati accoppiati disponibili pubblicamente con licenza permissiva e di tipo enterprise, (3) dati accoppiati IBM e relativi a domini tecnici specifici e (4) dati sintetici IBM. I dati sono elencati di seguito:

In particolare, nel nostro corpus di addestramento non utilizziamo il popolare dataset MS-MARCO a causa della sua licenza non commerciale, mentre altri modelli open-source si addestrano su questo dataset a causa della sua alta qualità.

infrastruttura

Addestriamo i modelli di Granite Embedding utilizzando il cluster di calcolo di IBM, Cognitive Compute Cluster, dotato di GPU NVIDIA A100 80gb. Questo cluster fornisce un'infrastruttura scalabile ed efficiente per l'addestramento dei nostri modelli su più GPU.

Considerazioni etiche e limitazioni

I dati in inglese utilizzati per addestrare il modello linguistico di base sono stati filtrati per rimuovere i testi contenenti odio, abusi e bestemmie.

Risorse

• Per conoscere gli ultimi aggiornamenti di Granite : sito web IBM Granite
• Iniziate a lavorare con tutorial, best practice e consigli tecnici immediati: Documentazione IBM Granite
• Scoprite le ultime risorse di apprendimento Granite : Sviluppatore IBM