説明
プロンプトインジェクション攻撃は、プロンプトを入力とする生成モデルに、そのプロンプトに含まれる構造、命令、または情報を操作することによって、予期しない出力を生成させる。
なぜプロンプト・インジェクション攻撃はファンデーションモデルにとって懸念材料なのか?
注入攻撃を使用して、モデルの動作を変更し、攻撃者にメリットをもたらすことができます。
AIプロンプトを操作する
ソース記事にあるように、英国のサイバーセキュリティ機関は、システムがセキュリティ設計されていない場合、ハッカーによってチャットボットが操作され、実社会で有害な結果(詐欺やデータ盗難など)を引き起こす可能性があると警告している。 英国のナショナル・サイバー・セキュリティ・センター(NCSC)は、プロンプト・インジェクション攻撃によって個人がプロンプトを操作するサイバーセキュリティ上のリスクが高まっていると述べた。 記事では、ユーザーがBing Chatの最初のプロンプトを見つけるためにプロンプトインジェクションを作成できた例を挙げています。 マイクロソフトのビング・チャットのプロンプト全体(チャットボットがユーザーとどのように対話するかを決定する、オープンAIまたはマイクロソフトによって書かれたステートメントのリストで、ユーザーには隠されている)が、ユーザーがビング・チャットに「以前の指示を無視する」よう要求するプロンプトを入れたことによって明らかになった。
親トピック: AI リスク・アトラス
財団モデルのリスクの多くを説明するために、報道で取り上げられた例を提供する。 報道されたこれらの出来事の多くは、現在も進行中であるか、あるいは解決済みであり、それらを参照することは、読者が潜在的なリスクを理解し、軽減策を講じるのに役立つ。 これらの例を強調するのは説明のためである。