Risiko der schädlichen Codegenerierung für KI

Beschreibung

Modelle können Code generieren, der Schaden anrichtet oder unbeabsichtigt andere Systeme beeinträchtigt.

Warum ist die schädliche Codegenerierung ein Problem für Basismodelle?

Die Ausführung von schädlichem Code kann zu Sicherheitslücken in IT-Systemen führen.

Beispiel

Generierung weniger sicheren Codes

Laut ihrer Arbeit untersuchten Forscher an der Stanford University die Auswirkungen von Tools zur Codegenerierung auf die Codequalität und stellten fest, dass Programmierer dazu neigen, mehr Fehler in ihren endgültigen Code aufzunehmen, wenn sie KI-Assistenten verwenden. Diese Fehler können die Sicherheitslücken des Codes erhöhen, aber die Programmierer glaubten, dass ihr Code sicherer ist.

Quellen:

Neil Perry, Megha Srivastava, Deepak Kumar und Dan Boneh. In: 2023. Schreiben Benutzer mehr unsicheren Code mit KI-Assistenten?. In: Proceedings of the 2023 ACM SIGSAC Conference on Computer and Communications Security (CCS ' 23), 26. -30. November 2023, Kopenhagen, Dänemark. ACM, New York, NY, USA, 15 Seiten.

Zugehörige Risiken

• LLM02: Unsichere Handhabung von Ausgaben (OWASP Top 10 für große Sprachmodell-Anwendungen v1.1 )
• Informationssicherheit (NIST AI Risk Management Framework (AI RMF))

Übergeordnetes Thema: AI-Risikoatlas

Wir stellen Beispiele vor, die von der Presse abgedeckt werden, um viele der Risiken der Fundamentmodelle zu erklären. Viele dieser Ereignisse, über die in der Presse berichtet wurde, sind entweder noch im Gange oder wurden bereits aufgeklärt, und ein Verweis darauf kann dem Leser helfen, die potenziellen Risiken zu verstehen und auf Abhilfemaßnahmen hinzuarbeiten. Die Hervorhebung dieser Beispiele dient nur zur Veranschaulichung.