0 / 0
資料の 英語版 に戻る
watsonx.aiでサポートされているエンコーダ基礎モデル
最終更新: 2024年12月12日
watsonx.aiでサポートされているエンコーダ基礎モデル

IBM watsonx.aiで展開されているエンコーダのみの基礎モデルを使用して、意味検索、文書比較、再ランク付けのタスクを支援する。

エンコーダのみの基盤モデルには、以下のタイプがあります。 お客様のニーズに最も適したエンコーダのみのfoundation modelのタイプを選択することも、2段階の検索ワークフローの一部として両方のタイプを使用することもできます。

基礎モデルの埋め込み

埋め込みモデルは、テキストのベクトル表現を生成し、それを数学的に比較したい場合に使用する。 埋め込みモデルは、リランカーモデルよりも高速で効率的だが、精度は劣る。

詳細については、モデルの埋め込みを参照してください。

再ランカーの基礎モデル

リランカーモデルは、クエリに最も関連する1つまたは2つを見つけるために、小さなパッセージセットの各パッセージのスコアを生成する場合に使用します。 再ランカーモデルは、埋め込みモデルよりも正確だが、効率は劣る。 入力が多ければ多いほど、リランカー・モデルがテキストを処理するのに時間がかかる。

詳しくは、リランカー・モデルを参照。

エンコーダのみの2種類の基礎モデルは、検索タスクに一緒に使うことができる：

  1. エンベッディングモデルを使用して、多くの結果を返す広範な意味検索を行う。
  2. リランカーモデルを使用して、ステップ1の上位の結果を1つの回答またはベストアンサーからなる短いリストに絞り込みます。

生成ファウンデーション・モデルについて詳しくは、 サポートされるファウンデーション・モデルを参照してください。

エンコーダのみの基盤モデルでサポートされるタスク

watsonx.aiのエンコーダのみのモデルは、以下のタスクに使用できます：

テキストのベクトル化
watsonx.aiREST API を使用してテキストをテキスト埋め込みに変換するために使用する埋め込みモデルを指定します。 埋め込みモデルを参照。
再ランクイン
watsonx.aiREST API を使って、クエリとパッセージを比較し、最も関連性の高い順にパッセージをランク付けするために使用するリランカーモデルを指定します。 再ランカーモデルを参照。
Prompt Labで文書とチャット
Prompt Labのプロンプトからfoundation modelモデルに提出する基礎情報として使用する文書をベクトル化するために、埋め込みモデルを使用します。 foundation model プロンプトの根拠となるベクトル化された文書の追加 を参照。
AutoAIfor RAG
AutoAIとエンベッディングモデルを使用して、検索を補強した生成ワークフローをプログラムで構築します。 AutoAI SDKによるRAGパターンの自動化 」を参照してください。

次の表は、IBM watsonx.aiのエンコーダのみの基盤モデルがサポートするタスクの種類を示しています。 チェックマーク(✓)は、カラムヘッダで指定されたタスクがfoundation modelでサポートされていることを示す。

表0. エンコーダのみのfoundation modelタスクのサポート
モデル テキストをベクトル化する 再ランク通過 RAGのAutoAI Prompt Labで文書とチャット
all-minilm-l6-v2 ✓ ✓
all-minilm-l12-v2 ✓
ELSER (Elastic Learned SparseEncodeR) ✓
ms-marco-minilm-l-12-v2 ✓
multilingual-e5-large ✓ ✓
slate-30m-english-rtrvr-v2 ✓
slate-30m-english-rtrvr ✓ ✓
slate-125m-english-rtrvr-v2 ✓
slate-125m-english-rtrvr ✓ ✓ ✓

埋め込みモデル

埋め込みモデルは、ドキュメントをベクトル化し、検索や比較タスクに役立つテキスト埋め込みを生成するために使用するモデルです。 テキスト埋め込みは、文章や一節の意味を、ベクトルとして知られる数値の配列にエンコードする。 ベクトル化の詳細については、テキスト埋め込み生成 を参照のこと。

パッセージがベクトルに変換されたら、コサイン類似度などの数学的関数を使用して、独立したベクトル化パッセージの類似度を計算することができます。 ほとんどの埋め込みモデルはバイエンコーダーモデルである。 バイ・エンコーダ・モデルは、可能性のある一致を見逃したくない、多くのパッセージの類似性を効率的にチェックする必要があるなど、高い再現性が不可欠な場合に使用する。

以下の埋め込みモデルは、watsonx.ai:の API から利用できる：

利用可能な埋め込みモデルのリストを取得するには、watsonx.aias a service API のList the available foundation modelsメソッドを使用します。 埋め込みモデルのみを返すには、'filters=function_embeddingパラメータを指定する。

curl -X GET \
  'https://{cluster_url}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_embedding'

IBMエンベッディング・モデルの概要

次の表は、API から使用できるIBM埋め込みモデルの一覧です。

表 1. IBMが watsonx.aiにモデルを埋め込む
モデル名 API モデル ID 価格USD/1,000トークン） 最大入力トークン数 ディメンション数 詳細情報
slate-125m-english-rtrvr-v2 ibm/slate-125m-english-rtrvr-v2 $0.0001 512 768 モデル・カード
slate-125m-english-rtrvr ibm/slate-125m-english-rtrvr $0.0001 512 768 モデル・カード
slate-30m-english-rtrvr-v2 ibm/slate-30m-english-rtrvr-v2 $0.0001 512 384 モデル・カード
slate-30m-english-rtrvr ibm/slate-30m-english-rtrvr $0.0001 512 384 モデル・カード

サードパーティ埋め込みモデルの概要

次の表は、APIから使用できるサードパーティの埋め込みモデルの一覧です。

表 2. watsonx.aiでサポートされているサードパーティのエンベッディングモデル
モデル名 API モデル ID プロバイダー 価格USD/1,000トークン） 最大入力トークン数 ディメンション数 詳細情報
all-minilm-l6-v2 sentence-transformers/all-minilm-l6-v2 オープン・ソースの自然言語処理 (NLP) およびコンピューター・ビジョン (CV) コミュニティー $0.0001 256 384 - モデルカード
all-minilm-l12-v2 sentence-transformers/all-minilm-l12-v2 オープン・ソースの自然言語処理 (NLP) およびコンピューター・ビジョン (CV) コミュニティー $0.0001 256 384 - モデルカード
multilingual-e5-large intfloat/multilingual-e5-large マイクロソフト $0.0001 512 1,024 - モデルカード
-研究論文

 

再ランカーモデル

リランカー・モデルは、クエリに関連性の高い文章から低い文章の順にランク付けするために使用するクロスエンコーダ・モデルです。 バイエンコーダーモデルとは異なり、クロスエンコーダーモデルはパッセージとクエリーを一緒に処理し、2つの入力の類似度をスコアとして生成する。 モデルは、この類似性比較のステップを、あなたが含める各パッセージに対して繰り返します。 この方法は、採点するパッセージが少なく、最適な答えを見つけたい場合に適している。

watsonx.aiから入手可能なリランカーモデルは、テキスト埋め込みを生成するために使用することはできません。

以下のリランカーモデルはwatsonx.ai:のAPIから利用できる：

利用可能なリランカーモデルのリストを取得するには、watsonx.aias a service API のList the available foundation modelsメソッドを使用する。 利用可能なリランカー・モデルのみを返すには、'filters=function_rerankパラメータを指定する。

curl -X GET \
  'https://{region}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_rerank'

リランカーモデルの概要

次の表は、サポートされているリランカーのモデル一覧です。

表 3. watsonx.aiでサポートされているリランカーモデル
モデル名 API モデル ID プロバイダー 価格USD/1,000トークン） 最大入力トークン数 詳細情報
ms-marco-minilm-l-12-v2 cross-encoder/ms-marco-minilm-l-12-v2 マイクロソフト $0.000005 512 - モデルカード

エンコーダのみのモデル詳細

watsonx.ai Pythonライブラリまたは REST API を使用して、サポートされているエンコーダのみの基盤モデルのいずれかに文章または文章を送信できます。

all-minilm-l6-v2

all-minilm-l6-v2埋め込みモデルは、オープンソースの自然言語処理（NLP）とコンピュータビジョン（CV）のコミュニティによって構築され、Hugging Faceによって提供されている。 モデルをセンテンスおよび短いパラグラフ・エンコーダーとして使用します。 入力テキストが与えられると、モデルはテキスト中の意味情報をとらえたベクトルを生成する。

all-minilm-l6-v2埋め込みモデルは、'all-minilm-l12-v2埋め込みモデルと似ているが、'all-minilm-l6-v2埋め込みモデルは、'all-minilm-l12-v2埋め込みモデルの12層ではなく、6層である。

使い方 all-minilm-l6-v2埋め込みモデルによって生成された文ベクトルを、情報検索、クラスタリング、文の類似度検出などのタスクに利用する。

次元数 (Number of dimensions): 384

入力トークンの制限: 256

サポートされる自然言語: 英語

ファインチューニング情報：この埋め込みモデルは、MicrosoftのMiniLM-L6-H384-uncasedモデルを事前に学習させたもので、10億の文ペアを含むデータセットで微調整されています。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス Apache 2.0 license

詳細はこちら

all-minilm-l12-v2

all-minilm-l12-v2埋め込みモデルは、オープンソースの自然言語処理（NLP）とコンピュータビジョン（CV）のコミュニティによって構築され、Hugging Faceによって提供されている。 モデルをセンテンスおよび短いパラグラフ・エンコーダーとして使用します。 入力テキストが与えられると、テキスト中の意味情報をとらえたベクトルを生成する。

all-minilm-l12-v2埋め込みモデルは、all-minilm-l6-v2埋め込みモデルと似ているが、all-minilm-l12-v2モデルは、all-minilm-l6-v2モデルの6層の代わりに12層の埋め込み層を持つ。

用途：all-minilm-l12-v2 エンベッディングモデルによって生成された文ベクトルを、情報検索、クラスタリング、文の類似性の検出などのタスクに使用する。

API価格ティア：クラスC1。 料金の詳細は表を参照。

次元数 (Number of dimensions): 384

入力トークンの制限: 256

サポートされる自然言語: 英語

調整情報: この組み込みモデルは、Microsoft が提供する事前トレーニング済みの MiniLM-L12-H384-uncased モデルの 1 つのバージョンで、10 億センテンスを超えるセンテンスのペアで微調整されています。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス Apache 2.0 license

詳細はこちら

ms-marco-minilm-l-12-v2

ms-marco-minilm-l-12-v2リランカー・モデルはマイクロソフトによって構築され、Hugging Faceによって提供されている。 このモデルを通路や文書のリランカーとして使用する。 クエリテキストと文書パッセージのセットが与えられると、クエリに最も関連するパッセージから最も関連しないパッセージへのリストをランク付けする。

使い方 ms-marco-minilm-l-12-v2リランカー・モデルは、クエリに対してスコア付けしたい文章が少量で、精度が重要な場合に使用する。 たとえば、パッセージが100個以下で、クエリーテキストとの類似度に基づいてスコアリングしたい場合。

API価格ティア：クラス 11。 料金の詳細は表を参照。

入力トークンの制限: 512

サポートされる自然言語: 英語

微調整情報：ms-marco-minilm-l-12-v2モデルは、MS Marco Passage Rankingタスクで学習された。 MS MARCO（Microsoft Machine Reading Comprehension）は、機械読解、問題回答、文章ランキングに使用される大規模なデータセットである。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス Apache 2.0 license

詳細はこちら

multilingual-e5-large

multilingual-e5-largeエンベッディングモデルは、Microsoftによって構築され、Hugging Faceによって提供されています。

組み込みモデル・アーキテクチャーには、データを処理するために順次使用される 24 の層があります。

使用法: 英語以外の言語でテキストのテキスト埋め込みを生成するユース・ケースに使用します。 multilingual-e5-largeモデルは、文章や情報の検索、意味類似性、バイトテキスト・マイニング、言い換え検索などのタスクに有用である。

API価格ティア：クラスC1。 料金の詳細は表を参照。

寸法数1,024

入力トークンの制限: 512

サポートされる自然言語: 最大 100 言語。 詳しくは、モデル・カードを参照してください。

微調整情報：この埋め込みモデルはXLM-RoBERTaモデルのバージョンであり、2.5TBのフィルタリングされたCommonCrawlデータで事前学習されたRoBERTaの多言語バージョンである。 この埋め込みモデルは、マルチリンガル・データ・セットの混合に基づいて継続的にトレーニングされていました。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス マイクロソフト・オープンソース行動規範

詳細はこちら

slate-125m-english-rtrvr

slate-125m-english-rtrvr-v2 および slate-125m-english-rtrvr 基盤モデルは、IBM によって提供されています。 IBM Slate 125m エンベッディング・モデルは、クエリー、パッセージ、ドキュメントなど、さまざまな入力に対してエンベッディングを生成します。

トレーニングの目的は、照会とパッセージの間のコサインの類似性を最大化することです。 このプロセスでは、2 つのセンテンスの埋め込みが行われます。1 つは質問を表し、もう 1 つはパッセージを表します。これにより、コサインの類似性を通じて 2 つのセンテンスを比較することができます。

用途: 2 ～ 3 倍遅いですが、IBM Slate 30m エンベデッド モデルよりわずかにパフォーマンスが良いです。

API価格ティア：クラスC1。 料金の詳細は表を参照。

次元数 (Number of dimensions): 768

入力トークンの制限: 512

サポートされる自然言語: 英語

微調整情報: このバージョンのモデルは、文の取得ベースのタスクでより良くなるように微調整されました。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス: ご利用条件

詳細はこちら

slate-30m-english-rtrvr

slate-30m-english-rtrvr-v2 と slate-30m-english-rtrvr の基盤モデルは、slate-125m-english-rtrvr の蒸留バージョンであり、これらはすべて IBM によって提供されています。 IBM Slate 埋め込みモデルは、2 つのテキスト入力間の余弦類似度を最大化するように学習されます。

組み込みモデル・アーキテクチャーには、データを処理するために順次使用される 6 つのレイヤーがあります。

用途: 2 ～ 3 倍速く、IBM Slate 125m エンベデッド モデルよりもパフォーマンス スコアがわずかに低い。

API価格ティア：クラスC1。 料金の詳細は表を参照。

試してみる: 取得で拡張された生成タスクでのベクトル化テキストの使用

次元数 (Number of dimensions): 384

入力トークンの制限: 512

サポートされる自然言語: 英語

微調整情報: このバージョンのモデルは、文の取得ベースのタスクでより良くなるように微調整されました。

モデル・アーキテクチャー: エンコーダーのみ

ライセンス: ご利用条件

詳細はこちら

親トピック: サポートされる基盤モデル

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細