サポートされている言語

英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語。 ユーザーは、これらの12言語以外の言語については、 granite-embedding-107m-multilingualを微調整することができます。

用途

このモデルは、与えられたテキストに対して固定長のベクトル表現を生成するように設計されており、テキストの類似性、検索、検索アプリケーションに使用することができます。

文変換器との併用

このモデルSentenceTransformer ライブラリと互換性があり、非常に使いやすいです

まず、文変換ライブラリをインストールします。

pip install sentence_transformers

このモデルは、テキストのペアをエンコードし、それらの表現間の類似性を求めるために使用できます。

from sentence_transformers import SentenceTransformer, util

model_path = "ibm-granite/granite-embedding-107m-multilingual"
# Load the Sentence Transformer model
model = SentenceTransformer(model_path)

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

input_passages = [
    "Achy Breaky Heart is a country song written by Don Von Tress. Originally titled Don't Tell My Heart and performed by The Marcy Brothers in 1991. ",
    "Definition of summit for English Language Learners. : 1 the highest point of a mountain : the top of a mountain. : 2 the highest level. : 3 a meeting or series of meetings between the leaders of two or more governments."
    ]

# encode queries and passages
query_embeddings = model.encode(input_queries)
passage_embeddings = model.encode(input_passages)

# calculate cosine similarity
print(util.cos_sim(query_embeddings, passage_embeddings))

Huggingface Transformersとの併用

これは、Transformerライブラリと PyTorch を使用した granite-embedding-107m-multilingualの使用方法の簡単な例です。

まず、必要なライブラリをインストールします。

pip install transformers torch

このモデルは、テキストのペアをエンコードするために使用できます。

import torch
from transformers import AutoModel, AutoTokenizer

model_path = "ibm-granite/granite-embedding-107m-multilingual"

# Load the model and tokenizer
model = AutoModel.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
model.eval()

input_queries = [
    ' Who made the song My achy breaky heart? ',
    'summit define'
    ]

# tokenize inputs
tokenized_queries = tokenizer(input_queries, padding=True, truncation=True, return_tensors='pt')

# encode queries
with torch.no_grad():
    # Queries
    model_output = model(**tokenized_queries)
    # Perform pooling. granite-embedding-107m-multilingual uses CLS Pooling
    query_embeddings = model_output[0][:, 0]

# normalize the embeddings
query_embeddings = torch.nn.functional.normalize(query_embeddings, dim=1)

評価

以下に、英語 (15 タスク)、ドイツgranite-embedding-107m-multilingual (4 タスク)、スペイン語 (2 タスク)、フランス語 (5 タスク)、日本語 (2 タスク)、アラビア語 (1 タスク)、韓国語 (1 タスク)、中国語 (8 タスク) に対する Multilingual Miracl (18 言語)、Mintaka 検索 (8 言語)、MTEB 検索における granite-embedding-107m-multilingual モデルの平均パフォーマンスを報告します。 granite-embedding-107m-multilingualモデルは、同様の埋め込み寸法を持つ他のモデルの2倍の速度です。

モデルアーキテクチャ

granite-embedding-107m-multilingualモデルは IBMで内部的にトレーニングされたエンコーダー専用の XLM-RoBERTa のようなトランフォーマーに基づいています。

データの学習

全体として、トレーニングデータは4つの主要なソースで構成されています。（1）ウェブから収集した教師なしのタイトルのペアデータ、（2）企業に配慮した寛容なライセンスで公開されているペアデータ、（3）特定の技術領域を対象とした IBMのペアデータ、（4） IBM合成データ。 データは以下に列挙されています

注目すべきは、その非商用ライセンスのため、私たちはトレーニング用コーパスに人気の高いMS-MARCO検索用データセットを使用していないことです。一方、他のオープンソースモデルは、その質の高さから、このデータセットを使用してトレーニングを行っています。

インフラストラクチャー

私たちは、 NVIDIA A100 80gb GPU を搭載した IBM のコンピューティング クラスターである Cognitive Compute Cluster を使用して Granite Embedding モデルをトレーニングします。 このクラスタは、複数のGPU上でモデルをトレーニングするための拡張性と効率性に優れたインフラを提供します。

倫理的な考慮事項と限界

基本言語モデルのトレーニングに使用された英語のデータは、憎悪、虐待、冒涜的な表現を含むテキストを削除するようフィルタリングされました。

リソース

• Granite の最新のアップデートについて学ぶ: IBM Granite Web サイト
• チュートリアル、ベスト プラクティス、迅速なエンジニアリング アドバイスを活用して始めましょう: IBM Granite ドキュメント
• Graniteの最新の学習リソースについて学ぼう IBM