モデルのベンチマークスコアを見つける

foundation modelのベンチマークにアクセスするには、以下の手順を実行します：

1. チャットモードの watsonx.ai Prompt Labから、 モデルフィールドをクリックし、 すべての基礎モデルの表示を選択します。

2. モデルベンチマークタブをクリックすると、利用可能なベンチマークが表示されます。

   フィルターアイコン をクリックして、比較ビューに表示するモデルやベンチマークタイプなどの要素を変更します。

   点数は0点から100点まで。 スコアは高い方がいい。

IBM英語理解ベンチマーク

IBM英語理解ベンチマークは、各モデルの一般的なタスクに対する能力を評価するためにIBMリサーチによって行われたテストに基づいてIBMが公表しているベンチマークです。

以下の表は、IBMベンチマークのデータセット、目標、およびメトリクスについて説明したものです。

基礎モデルのためのオープンソース英語理解ベンチマーク

オープンソースの英語理解ベンチマークは、IBMリサーチが、学術機関や業界の研究チームなど、サードパーティによって公開されている英語データセットを主に使用して行ったテストの結果を示しています。

次の表は、英語理解ベンチマークのデータセット、目標、指標について説明したものです。

基礎モデルのためのオープンソース多言語言語理解ベンチマーク

オープンソース多言語言語理解ベンチマークは、学術機関や業界の研究チームなどのサードパーティによって公開された多言語データセットを使用して、 IBM リサーチによって行われたテストの結果を示しています。

以下の表は、多言語ベンチマークのデータセット、目標、メトリクス、ターゲット言語について説明したものである。

ベンチマーク指標を理解する

メトリクスの中には、多肢選択式データセットに対してテストされたモデルの精度スコアなど、自明なものもある。 その他はあまり知られていない。 以下のリストでは、watsonx.ai:でモデルのパフォーマンスを定量化するために使用されるメトリッ クについて説明します：

F1

精度と想起の最適なバランスに達しているかどうかを測定する。 多くの場合、分類タスクのスコア付けに使用され、精度は全体の文のうちいくつが正しい文クラスに分類されたかを測定し、想起は分類されるべき文が分類された頻度を測定する。

正規化割引累積利益（NDCG）

生成されたランキングを、最も関連性の高い項目がランク付けされたリストの最上位にある参照順位と比較するランキング品質指標。

ROUGE-L

生成された要約と参照要約の類似度を測定することで、要約の品質をスコア化するために使用される。 ROUGEとは、Recall-Oriented Understudy for Gisting Evaluationの略。 Lは、最長一致の単語列に基づくスコアリングを意味する。 この指標は、文レベルの語順を反映する配列内の一致を探す。

SacreBLEU

BLEU（Bilingual Evaluation Understudy）は、生成された翻訳を参照翻訳と比較するための指標です。 SacreBLEUは、テストデータセットのサンプルを提供し、トークン化を標準化された方法で管理することで、メトリックを使いやすくしたバージョンである。 翻訳タスクの品質を評価するために使用されることが多いが、要約タスクのスコア付けにも使用できる。

安全

AttaQ500ベンチマークで使用される指標で、攻撃に関連するラベルを考慮するARI（Adjusted Rand Index）指標と、凝集、分離、歪み、尤度などのクラスタベースの特性を評価するシルエットスコアを組み合わせたもの。 詳細については、研究論文「Unveiling safety vulnerabilities of large language models」を参照のこと。

勝率

Arena-Hard-Autoベンチマークで使用される指標で、モデルの応答がアクションの成功につながる会話の割合を示します。 詳細については、研究論文「From crowsourced data to high-quality benchmark」を参照：Arena-HardとBenchbuilderのパイプライン。

詳細情報

• モデルの選択

親トピック: サポートされる基盤モデル