Beschreibung
Eine Art von feindlichem Angriff, bei dem ein Angreifer oder böswilliger Insider absichtlich beschädigte, falsche, irreführende oder inkorrekte Proben in die Trainings- oder Feinabstimmungsdatensätze einspeist.
Warum ist Datenvergiftung ein Problem für Basismodelle?
Poisoning-Daten können dazu führen, dass das Modell auf ein zerstörerisches Datenmuster reagiert und die gewünschte Ausgabe des Gegners erzeugt. Es kann zu einem Sicherheitsrisiko führen, bei dem Gegner das Modellverhalten zu ihrem eigenen Vorteil erzwingen können.
Vergiftung von Daten mit geringen Ressourcen
Wie aus dem Artikel hervorgeht, hat eine Gruppe von Forschern herausgefunden, dass jeder mit sehr begrenzten Ressourcen einer kleinen Anzahl von Webseiten, deren Inhalt normalerweise für das KI-Training gesammelt wird (z. B. Wikipedia-Seiten), bösartige Daten hinzufügen kann, die ausreichen, um ein großes Sprachmodell dazu zu bringen, falsche Antworten zu generieren.
Werkzeug zur Bildbearbeitung
Wie in der Quelle zu lesen ist, haben die Forscher ein Tool namens "Nightshade" entwickelt, das Bilder so verändert, dass sie für den Computer sichtbar, für den Menschen aber unsichtbar bleiben. Wenn solche "vergifteten" veränderten Bilder zum Trainieren von KI-Modellen verwendet werden, können die Modelle unvorhersehbare und unbeabsichtigte Ergebnisse liefern. Das Tool wurde als Mechanismus zum Schutz des geistigen Eigentums vor unbefugtem Bild-Scraping entwickelt, aber der Artikel hebt auch hervor, dass Benutzer das Tool missbrauchen und absichtlich "vergiftete" Bilder hochladen könnten.
Übergeordnetes Thema: AI-Risikoatlas
Anhand von Beispielen, über die in der Presse berichtet wurde, erläutern wir viele der Risiken der Stiftungsmodelle. Viele dieser Ereignisse, über die in der Presse berichtet wurde, sind entweder noch im Gange oder wurden bereits aufgeklärt, und ein Verweis darauf kann dem Leser helfen, die potenziellen Risiken zu verstehen und auf Abhilfemaßnahmen hinzuarbeiten. Die Hervorhebung dieser Beispiele dient nur der Veranschaulichung.