0 / 0
Zurück zur englischen Version der Dokumentation
Datenvergiftungsrisiko für KI
Letzte Aktualisierung: 12. Dez. 2024
Datenvergiftungsrisiko für KI
Robustheit Symbol für Robustheitsrisiken.
Risiken im Zusammenhang mit der Eingabe
Trainings-und Optimierungsphase
Zuverlässigkeit
Traditionelles KI-Risiko

Beschreibung

Eine Art von feindlichem Angriff, bei dem ein Angreifer oder böswilliger Insider absichtlich beschädigte, falsche, irreführende oder inkorrekte Proben in die Trainings- oder Feinabstimmungsdatensätze einspeist.

Warum ist Datenvergiftung ein Problem für Basismodelle?

Poisoning-Daten können dazu führen, dass das Modell auf ein zerstörerisches Datenmuster reagiert und die gewünschte Ausgabe des Gegners erzeugt. Es kann zu einem Sicherheitsrisiko führen, bei dem Gegner das Modellverhalten zu ihrem eigenen Vorteil erzwingen können.

Hintergrundbild für Risiken im Zusammenhang mit der Eingabe
Beispiel

Vergiftung von Daten mit geringen Ressourcen

Wie aus dem Artikel hervorgeht, hat eine Gruppe von Forschern herausgefunden, dass jeder mit sehr begrenzten Ressourcen einer kleinen Anzahl von Webseiten, deren Inhalt normalerweise für das KI-Training gesammelt wird (z. B. Wikipedia-Seiten), bösartige Daten hinzufügen kann, die ausreichen, um ein großes Sprachmodell dazu zu bringen, falsche Antworten zu generieren.

Hintergrundbild für Risiken im Zusammenhang mit der Eingabe
Beispiel

Werkzeug zur Bildbearbeitung

Wie in der Quelle zu lesen ist, haben die Forscher ein Tool namens "Nightshade" entwickelt, das Bilder so verändert, dass sie für den Computer sichtbar, für den Menschen aber unsichtbar bleiben. Wenn solche "vergifteten" veränderten Bilder zum Trainieren von KI-Modellen verwendet werden, können die Modelle unvorhersehbare und unbeabsichtigte Ergebnisse liefern. Das Tool wurde als Mechanismus zum Schutz des geistigen Eigentums vor unbefugtem Bild-Scraping entwickelt, aber der Artikel hebt auch hervor, dass Benutzer das Tool missbrauchen und absichtlich "vergiftete" Bilder hochladen könnten.

Übergeordnetes Thema: AI-Risikoatlas

Anhand von Beispielen, über die in der Presse berichtet wurde, erläutern wir viele der Risiken der Stiftungsmodelle. Viele dieser Ereignisse, über die in der Presse berichtet wurde, sind entweder noch im Gange oder wurden bereits aufgeklärt, und ein Verweis darauf kann dem Leser helfen, die potenziellen Risiken zu verstehen und auf Abhilfemaßnahmen hinzuarbeiten. Die Hervorhebung dieser Beispiele dient nur der Veranschaulichung.

Generative KI-Suche und -Antwort
Diese Antworten werden von einem großen Sprachmodell in watsonx.ai basierend auf dem Inhalt der Produktdokumentation generiert. Weitere Informationen