説明

再学習の目的で望ましくない出力（例えば、不正確、不適切、ユーザーコンテンツ）を使用すると、予期しないモデルの動作が発生する可能性がある。

なぜ不適切な再トレーニングが基礎モデルにとって懸念されるのか？

適切な人間による検証を実施せずに、生成された出力をモデルの再トレーニングに再利用すると、望ましくない出力がモデルのトレーニングデータやチューニングデータに組み込まれる可能性が高まります。 その結果、このモデルはさらに望ましくないアウトプットを生み出すことになる。

例

AI 生成コンテンツを使用したトレーニングによるモデルの省略

ソース記事に記載されているように、英国とカナダの研究者グループは、人間が生成したコンテンツではなく、AI が生成したコンテンツをトレーニングに使用するという問題を調査しました。 このテクノロジーの背後にある大規模な言語モデルは、AI によって生成された他のコンテンツでトレーニングされている可能性があることが判明しました。 生成されたデータがインターネット上に大量に拡散し続けると、"モデル崩壊 "と呼ばれる現象が起こる可能性がある

ソース:

Business Insider、2023 年 8 月

親トピック: AI リスク・アトラス

当社では、多くの基盤モデルのリスクを説明するために、プレス・モデルで扱われている例を提供しています。 報道機関によって扱われるこれらのイベントの多くは、まだ進化しているか解決されており、それらを参照することで、読者が潜在的なリスクを理解し、緩和に向けて取り組むことができるようになります。 これらの例を強調表示するのは、説明のみを目的としています。