Tarjeta modelo Granite Embedding 107m Multilingüe

Idiomas soportados

Inglés, alemán, español, francés, japonés, portugués, árabe, checo, italiano, coreano, neerlandés y chino. Los usuarios pueden ajustar el modelo granite-embedding-107m-multilingual para idiomas distintos de estos 12.

Uso previsto

El modelo está diseñado para producir representaciones vectoriales de longitud fija para un texto dado, que pueden utilizarse para aplicaciones de similitud, recuperación y búsqueda de textos.

Uso con transformadores de frases

El modelo es compatible con la biblioteca SentenceTransformer y es muy fácil de usar:

En primer lugar, instale la biblioteca de transformadores de sentencias.

pip install sentence_transformers

A continuación, el modelo puede utilizarse para codificar pares de textos y hallar la similitud entre sus representaciones.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-107m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Uso con transformadores Huggingface

Este es un ejemplo sencillo de cómo utilizar el modelo granite-embedding-107m-multilingual con la librería Transformers y PyTorch.

En primer lugar, instale las bibliotecas necesarias.

pip install transformers torch

A continuación, el modelo puede utilizarse para codificar pares de texto.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-107m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-107m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

Evaluación

A continuación se muestra el rendimiento medio del modelo granite-embedding-107m-multilingual en Miracl multilingüe (18 idiomas), Mintaka Retrieval (8 idiomas) y MTEB Retrieval para inglés (15 tareas), alemán (4 tareas), español (2 tareas), francés (5 tareas), japonés (2 tareas), árabe (1 tarea), coreano (1 tarea) y chino (8 tareas). El modelo granite-embedding-107m-multilingual es dos veces más rápido que otros modelos con dimensiones de incrustación similares.

Arquitectura modelo

El modelo granite-embedding-107m-multilingual se basa en una arquitectura de transformadores XLM-RoBERTa similar a la del codificador, entrenada internamente en IBM Research.

Datos de entrenamiento

En general, los datos de formación proceden de cuatro fuentes principales: (1) datos emparejados título-cuerpo no supervisados extraídos de la web, (2) datos emparejados disponibles públicamente con licencia permisiva y de uso empresarial, (3) datos emparejados IBM orientados a dominios técnicos específicos y (4) datos sintéticos IBM. Los datos figuran a continuación:

En particular, no utilizamos el popular conjunto de datos de recuperación MS-MARCO en nuestro corpus de entrenamiento debido a su licencia no comercial, mientras que otros modelos de código abierto se entrenan en este conjunto de datos debido a su alta calidad.

Infraestructura

Entrenamos los modelos Granite Embedding utilizando el cluster de computación de IBM, Cognitive Compute Cluster, que está equipado con GPUs NVIDIA A100 80gb. Este clúster proporciona una infraestructura escalable y eficiente para entrenar nuestros modelos en múltiples GPU.

Consideraciones éticas y limitaciones

Los datos en inglés utilizados para entrenar el modelo lingüístico base se filtraron para eliminar los textos que contenían odio, insultos y blasfemias.

Recursos

• Más información sobre las últimas actualizaciones de Granite : sitio web IBM Granite
• Empiece con tutoriales, prácticas recomendadas y consejos de ingeniería: Documentación de IBM Granite
• Conozca los últimos recursos de aprendizaje Granite : Desarrollador IBM