Langues prises en charge

Anglais, allemand, espagnol, français, japonais, portugais, arabe, tchèque, italien, coréen, néerlandais et chinois. Les utilisateurs peuvent affiner le modèle granite-embedding-107m-multilingual pour les langues au-delà de ces 12 langues.

Utilisation prévue

Le modèle est conçu pour produire des représentations vectorielles de longueur fixe pour un texte donné, qui peuvent être utilisées pour des applications de similarité, d'extraction et de recherche de texte.

Utilisation avec les transformateurs de phrases

Le modèle est compatible avec la bibliothèque SentenceTransformer et est très facile à utiliser :

Tout d'abord, installez la bibliothèque des transformateurs de phrases.

pip install sentence_transformers

Le modèle peut ensuite être utilisé pour coder des paires de textes et trouver la similarité entre leurs représentations.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-107m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Utilisation avec les transformateurs Huggingface

Voici un exemple simple d'utilisation du modèle granite-embedding-107m-multilingual avec la bibliothèque Transformers et PyTorch.

Il faut d'abord installer les bibliothèques nécessaires.

pip install transformers torch

Le modèle peut ensuite être utilisé pour coder des paires de textes.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-107m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-107m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

Évaluation

La performance moyenne du modèle granite-embedding-107m-multilingual sur Miracl multilingue (18 langues), Mintaka Retrieval (8 langues) et MTEB Retrieval pour l'anglais (15 tâches), l'allemand (4 tâches), l'espagnol (2 tâches), le français (5 tâches), le japonais (2 tâches), l'arabe (1 tâche), le coréen (1 tâche) et le chinois (8 tâches) est présentée ci-dessous. Le modèle granite-embedding-107m-multilingual est deux fois plus rapide que les autres modèles ayant des dimensions d'intégration similaires.

Modèle d'architecture

Le modèle granite-embedding-107m-multilingual est basé sur une architecture de transformateur de type XLM-RoBERTa, formé en interne par IBM Research.

Données d'entraînement

Globalement, les données d'entraînement se composent de quatre sources principales : (1) des données appariées titre-corps non supervisées récupérées sur le web, (2) des données appariées accessibles au public avec une licence permissive et adaptée aux entreprises, (3) des données appariées IBM ciblant des domaines techniques spécifiques, et (4) des données synthétiques IBM Les données sont énumérées ci-dessous :

Notamment, nous n'utilisons pas le populaire ensemble de données de recherche MS-MARCO dans notre corpus d'entraînement en raison de sa licence non commerciale, alors que d'autres modèles open-source s'entraînent sur cet ensemble de données en raison de sa haute qualité.

hyper-convergée

Nous formons les modèles d'intégration Granite en utilisant le cluster informatique d' IBM, Cognitive Compute Cluster, qui est équipé de GPU NVIDIA A100 80gb. Ce cluster fournit une infrastructure évolutive et efficace pour l'entraînement de nos modèles sur plusieurs GPU.

Considérations éthiques et limites

Les données anglaises utilisées pour former le modèle linguistique de base ont été filtrées pour supprimer les textes contenant des propos haineux, injurieux et blasphématoires.

Ressources

• Découvrez les dernières mises à jour de Granite : IBM Granite website
• Démarrez avec des tutoriels, les meilleures pratiques et des conseils d'ingénierie rapides : Documentation IBM Granite
• Découvrez les dernières ressources de formation Granite : Développeur IBM