説明

再学習の目的で望ましくない出力（不正確、不適切、ユーザーコンテンツなど）を使用すると、予期せぬモデルの動作につながる可能性があります。

なぜ基盤モデルの不適切な再トレーニングが懸念されるのでしょうか？

生成された出力を再訓練用に再利用する際に、適切な人間による審査を実施しないと、望ましくない出力がモデルの訓練データや調整データに組み込まれる可能性が高くなります。 さらに、このモデルは、さらに望ましくない結果を生み出す可能性もあります。

例

AI生成コンテンツを使用したトレーニングによるモデル崩壊

ソース記事で述べられているように、英国とカナダの研究者のグループが、AI生成コンテンツを訓練に使用する代わりに、人間生成コンテンツを使用することの問題を調査した。 彼らは、この技術の背景にある大規模言語モデルは、AIが生成した他のコンテンツで訓練できる可能性があることを発見した。 生成されたデータがインターネット上に大量に広がり続けると、彼らが「モデル崩壊」と名付けた現象を引き起こす可能性がある

ソース:

ビジネス・インサイダー、2023年8月

親トピック： AIリスクアトラス

私たちは、 基盤モデルのリスクを説明するために、報道された事例を提供しています。 報道されたこれらの出来事の多くは、現在も進行中であるか、あるいは解決済みです。それらを参照することで、読者は潜在的なリスクを理解し、その緩和策を講じることができます。 これらの例は、説明を目的としたものであり、強調するものではありません。