資料の 英語版 に戻るAI の説明できない出力リスク
AI の説明できない出力リスク
最終更新: 2024年12月12日
説明
モデル出力の決定に関する説明は、困難、不正確、または入手できない場合があります。
なぜ、説明不可能な出力が基盤モデルにとって懸念事項になるのでしょうか?
ファウンデーション・モデルは、複雑なディープ・ラーニング・アーキテクチャーに基づいており、それらの出力の説明を困難にしています。 トレーニングデータにアクセスできない場合、モデルが提供できる説明の種類が制限される可能性がある。 モデル出力に関する明確な説明がないと、ユーザー、モデル・バリデーター、および監査員がモデルを理解して信頼することは困難です。 説明が間違っていると、過度に信頼される可能性があります。
例
人種予測における説明不可能な正確性
ソース記事によると、患者の医療画像を使用して複数の機械学習モデルを分析する研究者は、画像から高い精度でレースを予測するモデルの能力を確認することができました。 それらは、システムが一貫して正確に推測できるようにするために、正確に何が行われているかということについて、つまずきました。 研究者たちは、病気や物理的構築のような要因でさえ、人種の強い予測要因ではないことを発見しました。言い換えれば、アルゴリズムシステムは、イメージの特定の側面を使用して決定を行っているようには見えないということです。
親トピック: AI リスク・アトラス
当社では、多くの基盤モデルのリスクを説明するために、プレス・モデルで扱われている例を提供しています。 報道機関によって扱われるこれらのイベントの多くは、まだ進化しているか解決されており、それらを参照することで、読者が潜在的なリスクを理解し、緩和に向けて取り組むことができるようになります。 これらの例を強調表示するのは、説明のみを目的としています。