0 / 0
資料の 英語版 に戻る

IBM granite-8b-japanese モデル・カード

最終更新: 2024年11月28日
IBM granite-8b-japanese モデル・カード

モデル・バージョン (1.0.0): リリース 2/29/2024

Granite 800 億日本語 (granite-8b-japanese) モデルは、事前にトレーニングされた Granite Base 80 億日本語モデルから初期化された命令バリアントです。 事前トレーニングでは、英語の 1.0T トークン、日本語の 0.5T トークン、およびコードの 0.1T トークンが使用されました。 このモデルは、日本語テキストを処理するように設計されています。 IBM Generative AI Large Language Foundation Models は、大量のデータを使用してトレーニングされたエンタープライズ・レベルのマルチリンガル・モデルであり、集中的な前処理および注意深い分析の対象となっています。

  • モデルを開発する個人または組織:
    • granite-8b-japanese は、 IBM Research によって開発されました。
  • モデルのリリース日およびバージョン:
    • granite-8b-japanese バージョン 1.0 は 2024 年 2 月 29 日にリリースされました。
  • モデル タイプ:
  • トレーニング・アルゴリズム、パラメーター、公平性制約またはその他の適用されたアプローチ、および特徴量に関する情報:
    • モデルは、 4x Tensor Parallel + 4x Pipeline Parallel + Megatron 分散オプティマイザー Megatron-LM を使用してトレーニングされました。
    • GPU: 448x A100 80GB
    • 相互接続: 1600 ギガビット Infiniband
  • ライセンス:
    • IBM 製品およびオファリングでのみ使用可能です。 ライセンス条項については、 IBM にお問い合わせください。

用途

  • 主な用途は以下のとおりです。
    • granite-8b-japanese は、テキスト生成、要約、質問と回答、分類、および日本語での抽出に使用されます。
  • 主な対象ユーザー:
    • 主なユーザーは、エンタープライズ・レベルの生成 AI モデルを使用してポートフォリオを強化しようとしている IBM Enterprise のお客様です。
  • 範囲外のユース・ケース:
    • granite-8b-japanese は、いかなる種類のコード・ユース・ケースに対しても設計、テスト、またはサポートされていません。

因子

  • 関連する要因: granite-8b-japanese は日本語テキストを処理します。 すべてのデータ・セットは、あらゆるタイプのタグ付け (HTML など) でクレンジングされており、すべてのメディアも同様に削除されています。

メトリックス

granite-8b-japanese、Stability-AI/lm-evaluation-harnessの以下の8つのよく知られたデータセットを使って評価された：

  • JCommonsenseQAは CommonsenseQA（Talmor+, 2019）の日本語版であり、コモンセンス推論能力を必要とする多肢選択問題解答データセットである。 知識ベースConceptNetから抽出されたシードを用いて、クラウドソーシングで構築されている。

  • JNLI は、NLI (Natural Language Inference) データ・セットの日本語版です。 NLI は、前提文が仮説文に対して持つ推論関係を認識するタスクです。 推論関係は、 含意、 矛盾、および 中立です。

  • MARC-ja は、テキスト分類タスクのデータ・セットです。 このデータセットは、多言語Amazonレビューコーパス（MARC）（Keung+, 2020）の日本語部分に基づいている。

  • JSQuADは、読解力のデータセットの一つであるSQuAD（Rajpurkar+, 2016）の日本語版である。 データ・セット内の各インスタンスは、特定のコンテキスト (ウィキペディアの記事) とその回答に関する質問で構成されています。 JSQuAD は、 SQuAD 1.1 に基づいています (回答できない質問はありません)。 我々は20211101時点の日本語版ウィキペディアのダンプを使用した。

  • Japanese Questions on Knowledge of Entity (JAQKET) は、ウィキペディアの記事のタイトルによる、日本語のオープン・ドメインの質問回答データ・セットです。

  • XLSum-jaこれはPaLM2が使用しているROUGE-2てフィルタリングされたXLSumの日本語サブセットである。 これは、 PaLM 2 と同様に、15 グラムのオーバーラップに基づいてフィルタリングされたデータで構成されます。

  • XWinograd- XWinogradはWinograd Schemaの文ペアのセットです。 例：

    • ボブシブエサービスには、以下のようになります。お金をいれかてくるるかかとかと。
    • ボブシブエサービスには、以下のようになります。ボブスはお金をいれんかてくるるかず。

    この場合、最初の文が正しいのは、ボブがボブ自身にどれだけのお金を貸すかをトムに尋ねるのは意味がないからです。 このタスクでは、モデルは、より高い対数尤度を妥当な文に割り当てます。 タスクの定義方法が原因で、常にゼロ・ショットが表示され、プロンプトは表示されません。 XWinograd はマルチリンガル・タスクですが、これは 959 組の日本語サブセットのみを使用します。

  • Multilingual Grade School Mathは、日本語で書かれた250の算数語句の問題集で、問題は正しい整数解を求めるものです。

ゼロ・ショットの結果

タスク バージョン メトリック (Metric) パフォーマンス
jcommonsenseqa-1.1-0.3 1.1 ACC 0.7078
jnli-1.3-0.3 1.3 平衡型アクセス 0.5032
marc_ja-1.1-0.3 1.1 平衡型アクセス 0.6442
jsquad-1.1-0.3 1.1 f1 59.3862
jaqket_v2-0.2-0.3 0.2 f1 60.3066
xlsum_ja-1.0-0.3 1 rouge2 7.2561
xwinograd_ja 1 ACC 0.683
mgsm-1.0-0.3 1 ACC 0.028

N ショットの結果

タスク バージョン メトリック (Metric) パフォーマンス
jcommonsenseqa-1.1-0.3 1.1 ACC 0.807
jnli-1.3-0.3 1.3 平衡型アクセス 0.5935
marc_ja-1.1-0.3 1.1 平衡型アクセス 0.9461
jsquad-1.1-0.3 1.1 f1 80.9671
jaqket_v2-0.2-0.3 0.2 f1 74.9605
xlsum_ja-1.0-0.3 1 rouge2 9.4874
xwinograd_ja 1 ACC 0.683
mgsm-1.0-0.3 1 ACC 0.116

データ、制限、および推奨事項

  • トレーニング用のデータ選択:
    • granite-8b-japanese は、英語の 1.0T トークン、日本語の 0.5T トークン、およびコードの 0.1T トークンを使用して事前トレーニングを受けています。