지원 언어

영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어. 사용자는 이 12개 언어 이외의 언어에 대해 Granite-Embedding-278M-Multilingual 미세 조정할 수 있습니다.

의도된 사용

이 모델은 주어진 텍스트에 대해 고정 길이의 벡터 표현을 생성하도록 설계되어 있으며, 텍스트 유사성, 검색, 검색 응용 프로그램에 사용할 수 있습니다.

문장 변환기를 사용한 사용법

이 모델은 SentenceTransformer 라이브러리와 호환되며 사용이 매우 쉽습니다.

먼저, 문장 변환기 라이브러리를 설치합니다.

pip install sentence_transformers

그런 다음 이 모델을 사용하여 텍스트 쌍을 인코딩하고 표현 간의 유사성을 찾을 수 있습니다.

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-278m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Huggingface Transformers 사용법

이것은 Transformers 라이브러리와 PyTorch 사용하여 granite-embedding-278m-multilingual 사용하는 방법에 대한 간단한 예제입니다.

먼저, 필요한 라이브러리를 설치합니다.

pip install transformers torch

그런 다음 이 모델을 사용하여 텍스트 쌍을 인코딩할 수 있습니다.

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-278m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-278m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

평가

Granite-Embedding-278M-Multilingual 평균 성능(18개 언어에 걸친 Multilingual Miracl, 8개 언어에 걸친 Mintaka Retrieval, 15개 작업에 걸친 영어 MTEB 검색)), 독일어(4개 작업), 스페인어(2개 작업), 프랑스어(5개 작업), 일본어(2개 작업), 아랍어(1개 작업), 한국어(1개 작업), 중국어(8개 작업)가 아래에 보고되어 있습니다.

모델 아키텍처

granite-embedding-278m-multilingual 모델은 IBM 내부적으로 훈련된 인코더 전용 XLM-RoBERTa 와 같은 트랜스포머 아키텍처를 기반으로 합니다.

훈련 데이터

전반적으로, 훈련 데이터는 네 가지 주요 소스로 구성되어 있습니다: (1) 웹에서 수집한 감독되지 않은 제목-본문 쌍 데이터, (2) 공개적으로 이용 가능하고, 기업 친화적인 라이선스를 가진 쌍, (3) 특정 기술 영역을 대상으로 하는 IBM 쌍 데이터, (4) IBM 합성 데이터. 데이터는 아래와 같습니다:

특히, 우리는 상업적 라이선스 때문에 인기 있는 MS-MARCO 검색 데이터 세트를 훈련 코퍼스에 사용하지 않지만, 다른 오픈 소스 모델은 이 데이터 세트의 높은 품질 때문에 이 데이터 세트를 사용하여 훈련합니다.

인프라

우리는 NVIDIA A100 80gb GPU가 장착된 IBM 의 컴퓨팅 클러스터인 Cognitive Compute Cluster를 사용하여 Granite Embedding Models를 훈련합니다. 이 클러스터는 여러 GPU를 통해 모델을 훈련할 수 있는 확장 가능하고 효율적인 인프라를 제공합니다.

윤리적 고려사항과 한계

기본 언어 모델을 훈련하는 데 사용된 영어 데이터는 혐오, 욕설, 욕설이 포함된 텍스트를 제거하기 위해 필터링되었습니다.

자원

• Granite 의 최신 업데이트에 대해 알아보세요: IBM Granite 웹사이트
• 튜토리얼, 모범 사례 및 신속한 엔지니어링 조언을 통해 시작하세요: IBM Granite 문서
• 최신 Granite 학습 자료에 대해 알아보기: IBM