Risiko der schädlichen Codegenerierung für KI

Beschreibung

Copy link to section

Modelle können Code generieren, der Schaden anrichtet oder unbeabsichtigt andere Systeme beeinträchtigt.

Warum ist die schädliche Codegenerierung ein Problem für Basismodelle?

Copy link to section

Die Ausführung von schädlichem Code kann zu Sicherheitslücken in IT-Systemen führen.

Beispiel

Generierung weniger sicheren Codes

Laut ihrer Arbeit untersuchten Forscher an der Stanford University die Auswirkungen von Tools zur Codegenerierung auf die Codequalität und stellten fest, dass Programmierer dazu neigen, mehr Fehler in ihren endgültigen Code aufzunehmen, wenn sie KI-Assistenten verwenden. Diese Fehler können die Sicherheitslücken des Codes erhöhen, aber die Programmierer glaubten, dass ihr Code sicherer ist.

Quellen:

Neil Perry, Megha Srivastava, Deepak Kumar und Dan Boneh. In: 2023. Schreiben Benutzer mehr unsicheren Code mit KI-Assistenten?. In: Proceedings of the 2023 ACM SIGSAC Conference on Computer and Communications Security (CCS ' 23), 26. -30. November 2023, Kopenhagen, Dänemark. ACM, New York, NY, USA, 15 Seiten.

Zugehörige Risiken

Copy link to section

• LLM02: Unsichere Handhabung von Ausgaben (OWASP Top 10 für große Sprachmodell-Anwendungen v1.1 )
• Informationssicherheit (NIST AI Risk Management Framework (AI RMF))

Übergeordnetes Thema: AI-Risikoatlas

Wir stellen Beispiele vor, die von der Presse abgedeckt werden, um viele der Risiken der Fundamentmodelle zu erklären. Viele dieser Ereignisse, die von der Presse abgedeckt werden, entwickeln sich entweder noch weiter oder wurden gelöst, und ihre Bezugnahme kann dem Leser helfen, die potenziellen Risiken zu verstehen und auf Minderungen hinzuarbeiten. Die Hervorhebung dieser Beispiele dient nur zur Veranschaulichung.