説明

モデルは、他のシステムに危害を加えたり、意図せずに影響を及ぼしたりするコードを生成することがあります。

有害なコード生成がファウンデーション・モデルの問題となるのはなぜですか?

有害なコードを実行すると、IT システムに脆弱性が生じる可能性があります。

例

より安全なコードの生成

論文によると、スタンフォード大学の研究者は、コード生成ツールがコード品質に与える影響を調査し、プログラマーが AI アシスタントを使用するときに最終コードに より多くの バグを組み込む傾向があることを発見しました。 これらのバグにより、コードのセキュリティー上の脆弱性が増大する可能性がありますが、プログラマーはコードのセキュリティーが 向上 していると考えていました。

ソース:

Neil Perry、Megha Srivastava、Deepak Kumar、Dan Boneh。 2023。 ユーザーは AI アシスタントを使用して、より安全でないコードを作成しますか? 「2023 ACM SIGSAC Conference on Computer and Communications Security (CCS ' 23), November 26-30, 2023, Copenhagen, デンマーク, Copenhagen. ACM、New York、NY、USA、15 ページ。

親トピック: AI リスク・アトラス

当社では、多くの基盤モデルのリスクを説明するために、プレス・モデルで扱われている例を提供しています。 報道機関によって扱われるこれらのイベントの多くは、まだ進化しているか解決されており、それらを参照することで、読者が潜在的なリスクを理解し、緩和に向けて取り組むことができるようになります。 これらの例を強調表示するのは、説明のみを目的としています。