watsonx.aiでサポートされているエンコーダ基礎モデル
IBM watsonx.aiで展開されているエンコーダのみの基礎モデルを使用して、意味検索、文書比較、再ランク付けのタスクを支援する。
ニーズに最も適したエンコーダ専用基盤モデルを選択することも、2段階の検索・取得ワークフローの一部として両方のタイプを使用することもできます。 You can use the following types of encoder-only foundation models in watsonx.ai:
- 基礎モデルの埋め込み
埋め込みモデルは、テキストのベクトル表現を生成し、それを数学的に比較したい場合に使用する。 埋め込みモデルは、リランカーモデルよりも高速で効率的だが、精度は劣る。
詳細については、モデルの埋め込みを参照してください。
- 再ランカーの基礎モデル
リランカーモデルは、クエリに最も関連する1つまたは2つを見つけるために、小さなパッセージセットの各パッセージのスコアを生成する場合に使用します。 再ランカーモデルは、埋め込みモデルよりも正確だが、効率は劣る。 入力が多ければ多いほど、リランカー・モデルがテキストを処理するのに時間がかかる。
詳しくは、リランカー・モデルを参照。
検索と取得のタスクで2種類のエンコーダ専用基盤モデルを一緒に使用するには、次の操作を行います
- エンベッディングモデルを使用して、多くの結果を返す広範な意味検索を行う。
- リランカーモデルを使用して、ステップ1の上位の結果を1つの回答またはベストアンサーからなる短いリストに絞り込みます。
生成ファウンデーション・モデルについて詳しくは、 サポートされるファウンデーション・モデルを参照してください。 生成モデルとは異なり、カスタム基盤モデルとして埋め込みモデルを追加することはできません。
エンコーダのみの基盤モデルでサポートされるタスク
watsonx.aiのエンコーダのみのモデルは、以下のタスクに使用できます：
- APIからのテキストのベクトル化
- watsonx.aiREST API を使用してテキストをテキスト埋め込みに変換するために使用する埋め込みモデルを指定します。 ベクトル化されたテキストを参照してください。
- APIからのパッセージの再ランク付け
- watsonx.aiREST API を使って、クエリとパッセージを比較し、最も関連性の高い順にパッセージをランク付けするために使用するリランカーモデルを指定します。 文書の再ランク付けを参照してください。
- AutoAIfor RAG
- AutoAIとエンベッディングモデルを使用して、検索を補強した生成ワークフローをプログラムで構築します。 AutoAI SDKによるRAGパターンの自動化 」を参照してください。
- Prompt Labで文書とチャット
- Use embedding models to vectorize documents to use as grounding information that you submit to foundation model from prompts in the Prompt Lab. グラウンディング基盤モデルプロンプトにベクトル化されたドキュメントを追加する を参照してください。
次の表は、IBM watsonx.aiのエンコーダのみの基盤モデルがサポートするタスクの種類を示しています。 チェックマーク（✓）は、列見出しに記載されたタスク基盤モデルサポートされていることを示します。
| モデル | APIからテキストをベクター化する | APIからのパッセージを再ランク付けする | RAGのAutoAI | Prompt Labで文書とチャット |
|---|---|---|---|---|
| all-minilm-l6-v2 | ✓ | ✓ | ||
| all-minilm-l12-v2 | ✓ | ✓ | ||
| ELSER (Elastic Learned SparseEncodeR) | ✓ | |||
| granite-embedding-107m-multilingual | ✓ | ✓ | ||
| granite-embedding-278m-multilingual | ✓ | ✓ | ✓ | |
| ms-marco-minilm-l-12-v2 | ✓ | |||
| multilingual-e5-large | ✓ | ✓ | ✓ | |
| slate-30m-english-rtrvr-v2 | ✓ | ✓ | ||
| slate-30m-english-rtrvr | ✓ | ✓ | ||
| slate-125m-english-rtrvr-v2 | ✓ | ✓ | ✓ | |
| slate-125m-english-rtrvr | ✓ | ✓ | ✓ |
埋め込みモデル
埋め込みモデルは、ドキュメントをベクトル化し、検索や比較タスクに役立つテキスト埋め込みを生成するために使用するモデルです。 テキスト埋め込みは、文章や一節の意味を、ベクトルとして知られる数値の配列にエンコードする。 ベクトル化の詳細については、テキスト埋め込み生成 を参照のこと。
パッセージがベクトルに変換されたら、コサイン類似度などの数学的関数を使用して、独立したベクトル化パッセージの類似度を計算することができます。 ほとんどの埋め込みモデルはバイエンコーダーモデルである。 バイ・エンコーダ・モデルは、可能性のある一致を見逃したくない、多くのパッセージの類似性を効率的にチェックする必要があるなど、高い再現性が不可欠な場合に使用する。
以下の埋め込みモデルは、watsonx.ai:の API から利用できる：
- granite-embedding-107m-multilingual
- granite-embedding-278m-multilingual
- slate-30m-english-rtrvr-v2
- slate-30m-english-rtrvr
- slate-125m-english-rtrvr-v2
- slate-125m-english-rtrvr
- all-minilm-l6-v2
- all-minilm-l12-v2
- multilingual-e5-large
利用可能な埋め込みモデルのリストを取得するには、watsonx.aias a service API のList the available foundation modelsメソッドを使用します。 埋め込みモデルのみを返すには、'filters=function_embedding
curl -X GET \ 'https://{cluster_url}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_embedding'
自然言語処理機能
IBM Slate models also power a set of libraries that you can use for common natural language processing (NLP) tasks, such as classification, entity extraction, sentiment analysis, and more.
SlateモデルのNLP機能の使用方法の詳細については、 Watson NLPライブラリを参照してください。
IBMエンベッディング・モデルの概要
次の表は、API から使用できるIBM埋め込みモデルの一覧です。
| モデル名 | APIモデルID | 価格USD/1,000トークン） | 最大入力トークン数 | ディメンション数 | 詳細情報 |
|---|---|---|---|---|---|
| granite-embedding-107m-multilingual | |
$0.0001 | 512 | 384 | モデル・カード |
| granite-embedding-278m-multilingual | |
$0.0001 | 512 | 768 | モデル・カード |
| slate-125m-english-rtrvr-v2 | |
$0.0001 | 512 | 768 | モデル・カード |
| slate-125m-english-rtrvr | |
$0.0001 | 512 | 768 | モデル・カード |
| slate-30m-english-rtrvr-v2 | |
$0.0001 | 512 | 384 | モデル・カード |
| slate-30m-english-rtrvr | |
$0.0001 | 512 | 384 | モデル・カード |
サードパーティ埋め込みモデルの概要
次の表は、APIから使用できるサードパーティの埋め込みモデルの一覧です。
| モデル名 | APIモデルID | プロバイダー | 価格USD/1,000トークン） | 最大入力トークン数 | ディメンション数 | 詳細情報 |
|---|---|---|---|---|---|---|
| all-minilm-l6-v2 | |
オープン・ソースの自然言語処理 (NLP) およびコンピューター・ビジョン (CV) コミュニティー | $0.0001 | 256 | 384 | - モデルカード |
| all-minilm-l12-v2 | |
オープン・ソースの自然言語処理 (NLP) およびコンピューター・ビジョン (CV) コミュニティー | $0.0001 | 256 | 384 | - モデルカード |
| multilingual-e5-large | |
マイクロソフト | $0.0001 | 512 | 1,024 | - モデルカード -研究論文 |
- 各地域データ・センターで提供されるモデルのリストについては、 基盤モデルの地域的可用性を参照してください。
- モデルの使用量はリソース・ユニット（RU）で測定される。 Each unit is equal to 1,000 トークン from the input that is submitted to the foundation model. 詳しくは、ジェネレーティブAI資産の課金詳細をご覧ください。
再ランカーモデル
リランカー・モデルは、クエリに関連性の高い文章から低い文章の順にランク付けするために使用するクロスエンコーダ・モデルです。 バイエンコーダーモデルとは異なり、クロスエンコーダーモデルはパッセージとクエリーを一緒に処理し、2つの入力の類似度をスコアとして生成する。 モデルは、この類似性比較のステップを、あなたが含める各パッセージに対して繰り返します。 この方法は、採点するパッセージが少なく、最適な答えを見つけたい場合に適している。
watsonx.aiから入手可能なリランカーモデルは、テキスト埋め込みを生成するために使用することはできません。
以下のリランカーモデルはwatsonx.ai:のAPIから利用できる：
利用可能なリランカーモデルのリストを取得するには、watsonx.aias a service API のList the available foundation modelsメソッドを使用する。 利用可能なリランカー・モデルのみを返すには、'filters=function_rerank
curl -X GET \ 'https://{region}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_rerank'
リランカーモデルの概要
次の表は、使用可能な再ランク付けモデルをリストアップしたものです。 watsonx.ai:
| モデル名 | APIモデルID | プロバイダー | 価格USD/1,000トークン） | 最大入力トークン数 | 詳細情報 |
|---|---|---|---|---|---|
| ms-marco-minilm-l-12-v2 | |
マイクロソフト | $0.000005 | 512 | - モデルカード |
- 各地域データ・センターで提供されるモデルのリストについては、 基盤モデルの地域的可用性を参照してください。
- モデルの使用量はリソース・ユニット（RU）で測定される。 Each unit is equal to 1,000 トークン from the input that is submitted to the foundation model. 詳しくは、ジェネレーティブAI資産の課金詳細をご覧ください。
エンコーダのみのモデル詳細
watsonx.ai Pythonライブラリまたは REST API を使用して、サポートされているエンコーダのみの基盤モデルのいずれかに文章または文章を送信できます。
all-minilm-l6-v2
all-minilm-l6-v2 の埋め込みモデルは、オープンソースの自然言語処理（NLP）およびコンピュータビジョン（CV）コミュニティによって構築され、 Hugging Face によって提供されています。 モデルをセンテンスおよび短いパラグラフ・エンコーダーとして使用します。 入力テキストが与えられると、モデルはテキスト中の意味情報をとらえたベクトルを生成する。
all-minilm-l6-v2埋め込みモデルは、'all-minilm-l12-v2埋め込みモデルと似ているが、'all-minilm-l6-v2埋め込みモデルは、'all-minilm-l12-v2埋め込みモデルの12層ではなく、6層である。
使い方 all-minilm-l6-v2埋め込みモデルによって生成された文ベクトルを、情報検索、クラスタリング、文の類似度検出などのタスクに利用する。
API価格ティア：クラスC1。 価格の詳細については表3 を参照してください。
次元数 (Number of dimensions): 384
入力トークンの制限 ：128
サポートされる自然言語: 英語
ファインチューニング情報：この埋め込みモデルは、MicrosoftのMiniLM-L6-H384-uncasedモデルを事前に学習させたもので、10億の文ペアを含むデータセットで微調整されています。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス Apache 2.0 license
詳細情報
all-minilm-l12-v2
all-minilm-l12-v2 の埋め込みモデルは、オープンソースの自然言語処理（NLP）およびコンピュータビジョン（CV）コミュニティによって構築され、 Hugging Face によって提供されています。 モデルをセンテンスおよび短いパラグラフ・エンコーダーとして使用します。 入力テキストが与えられると、テキスト中の意味情報をとらえたベクトルを生成する。
all-minilm-l12-v2埋め込みモデルは、all-minilm-l6-v2埋め込みモデルと似ているが、all-minilm-l12-v2モデルは、all-minilm-l6-v2モデルの6層の代わりに12層の埋め込み層を持つ。
用途：all-minilm-l12-v2 エンベッディングモデルによって生成された文ベクトルを、情報検索、クラスタリング、文の類似性の検出などのタスクに使用する。
API価格ティア：クラスC1。 価格の詳細については表3 を参照してください。
次元数 (Number of dimensions): 384
入力トークンの制限 ：128
サポートされる自然言語: 英語
調整情報: この組み込みモデルは、Microsoft が提供する事前トレーニング済みの MiniLM-L12-H384-uncased モデルの 1 つのバージョンで、10 億センテンスを超えるセンテンスのペアで微調整されています。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス Apache 2.0 license
詳細情報
granite-embedding-107m-multilingual
granite-embedding-107m-multilingualは IBM が提供するGraniteの 1億700万パラメータモデルです。 このモデルは、高品質なテキスト埋め込みを生成するために使用できます。 このモデルは、オープンソースの関連性ペアデータセットと、企業に優しい寛容なライセンス、および IBM が生成・収集したデータセットを組み合わせてトレーニングされています。 英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語の12言語に対応しています。
使用方法 ：クエリー、文章、文書などの入力に対して granite-embedding-107m-multilingualを使用して埋め込みを生成します。 このモデルは、2つの入力テキスト間のコサイン類似度を最大化するように訓練されています。
API価格ティア：クラスC1。 価格の詳細については表2 を参照してください。
次元数 (Number of dimensions): 384
入力トークンの制限: 512
サポートされている自然言語 ：英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語
ファイン・チューニング情報 granite-embedding-107m-multilingual モデルは、 モデルの多言語版であり、 TBのフィルタリングされた データで事前学習された です。 RoBERTa 2.5 CommonCrawl RoBERTa このモデルは、検索ベースのタスク用に多言語のデータセットを混合したものを用いて継続的に訓練された。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス Apache 2.0 license
詳細情報
granite-embedding-278m-multilingual
granite-embedding-278m-multilingualモデルは IBM が提供するGraniteの 2億7800万パラメータモデルです。 このモデルは、高品質なテキスト埋め込みを生成するために使用できます。 このモデルは、オープンソースの関連性ペアデータセットと、企業に優しい寛容なライセンス、および IBM が生成・収集したデータセットを組み合わせてトレーニングされています。 英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語の12言語に対応しています。
使用方法 ：クエリー、文章、文書などの入力に対して granite-embedding-278m-multilingualを使用して埋め込みを生成します。 このモデルは、2つの入力テキスト間のコサイン類似度を最大化するように訓練されています。
API価格ティア：クラスC1。 価格の詳細については表2 を参照してください。
次元数 (Number of dimensions): 768
入力トークンの制限: 512
サポートされている自然言語 ：英語、ドイツ語、スペイン語、フランス語、日本語、ポルトガル語、アラビア語、チェコ語、イタリア語、韓国語、オランダ語、中国語
ファイン・チューニング情報 granite-embedding-107m-multilingual モデルは、 モデルの多言語版であり、 TBのフィルタリングされた データで事前学習された です。 RoBERTa 2.5 CommonCrawl RoBERTa このモデルは、検索ベースのタスク用に多言語のデータセットを混合したものを用いて継続的に訓練された。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス Apache 2.0 license
詳細情報
ms-marco-minilm-l-12-v2
ms-marco-minilm-l-12-v2 のリランカーモデルはMicrosoftによって開発され、 Hugging Face によって提供されています。 このモデルを通路や文書のリランカーとして使用する。 クエリテキストと文書パッセージのセットが与えられると、クエリに最も関連するパッセージから最も関連しないパッセージへのリストをランク付けする。
使い方 ms-marco-minilm-l-12-v2リランカー・モデルは、クエリに対してスコア付けしたい文章が少量で、精度が重要な場合に使用する。 たとえば、パッセージが100個以下で、クエリーテキストとの類似度に基づいてスコアリングしたい場合。
API価格ティア：クラス 11。 価格の詳細については表4 を参照してください。
入力トークンの制限: 512
サポートされる自然言語: 英語
微調整情報：ms-marco-minilm-l-12-v2モデルは、MS Marco Passage Rankingタスクで学習された。 MS MARCO（Microsoft Machine Reading Comprehension）は、機械読解、問題回答、文章ランキングに使用される大規模なデータセットである。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス Apache 2.0 license
詳細情報
multilingual-e5-large
multilingual-e5-large の埋め込みモデルはMicrosoftによって開発され、 Hugging Face によって提供されています。
組み込みモデル・アーキテクチャーには、データを処理するために順次使用される 24 の層があります。
使用法: 英語以外の言語でテキストのテキスト埋め込みを生成するユース・ケースに使用します。 multilingual-e5-largeモデルは、文章や情報の検索、意味類似性、バイトテキスト・マイニング、言い換え検索などのタスクに有用である。
API価格ティア：クラスC1。 価格の詳細については表3 を参照してください。
次元数1,024
入力トークンの制限: 512
サポートされる自然言語: 最大 100 言語。 詳しくは、モデル・カードを参照してください。
ファイン・チューニング情報 multilingual-e5-large モデルは、 モデルの多言語版であり、 TBのフィルタリングされた データで事前学習された です。 RoBERTa 2.5 CommonCrawl RoBERTa このモデルは、多言語のデータセットの混合物を継続的に学習した。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス マイクロソフト・オープンソース行動規範
詳細情報
slate-125m-english-rtrvr
slate-125m-english-rtrvr-v2 および slate-125m-english-rtrvr 基盤モデルは、IBM によって提供されています。 IBM Slate 125m エンベッディング・モデルは、クエリー、パッセージ、ドキュメントなど、さまざまな入力に対してエンベッディングを生成します。
トレーニングの目的は、照会とパッセージの間のコサインの類似性を最大化することです。 このプロセスでは、2 つのセンテンスの埋め込みが行われます。1 つは質問を表し、もう 1 つはパッセージを表します。これにより、コサインの類似性を通じて 2 つのセンテンスを比較することができます。
用途: 2 ～ 3 倍遅いですが、IBM Slate 30m エンベデッド モデルよりわずかにパフォーマンスが良いです。
API価格ティア：クラスC1。 価格の詳細については表2 を参照してください。
次元数 (Number of dimensions): 768
入力トークンの制限: 512
サポートされる自然言語: 英語
微調整情報: このバージョンのモデルは、文の取得ベースのタスクでより良くなるように微調整されました。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス: ご利用条件
詳細情報
slate-30m-english-rtrvr
slate-30m-english-rtrvr-v2 と slate-30m-english-rtrvr の基盤モデルは、slate-125m-english-rtrvr の蒸留バージョンであり、これらはすべて IBM によって提供されています。 IBM Slate 埋め込みモデルは、2 つのテキスト入力間の余弦類似度を最大化するように学習されます。
組み込みモデル・アーキテクチャーには、データを処理するために順次使用される 6 つのレイヤーがあります。
用途: 2 ～ 3 倍速く、IBM Slate 125m エンベデッド モデルよりもパフォーマンス スコアがわずかに低い。
API価格ティア：クラスC1。 価格の詳細については表2 を参照してください。
試してみる: 取得で拡張された生成タスクでのベクトル化テキストの使用
次元数 (Number of dimensions): 384
入力トークンの制限: 512
サポートされる自然言語: 英語
微調整情報: このバージョンのモデルは、文の取得ベースのタスクでより良くなるように微調整されました。
モデル・アーキテクチャー: エンコーダーのみ
ライセンス: ご利用条件
詳細情報
詳細はこちら
- IBM 埋め込みモデルを使用して文章や段落をテキスト埋め込みに変換する方法の詳細については、「テキスト埋め込み生成」 を参照してください。
- ベクトル化されたドキュメントの追加
- APIを利用したパスの再ランキング
親トピック: サポートされる基盤モデル