Descrizione
Un tipo di attacco avversario in cui un avversario o un insider malintenzionato inietta intenzionalmente campioni corrotti, falsi, fuorvianti o errati nei dataset di addestramento o di messa a punto.
Perché l'avvelenamento dei dati è una preoccupazione per i modelli di base?
I dati di avvelenamento possono rendere il modello sensibile a un modello di dati dannoso e produrre l'output desiderato dell'avversario. Può creare un rischio di sicurezza in cui gli avversari possono forzare il comportamento del modello a proprio vantaggio.
Avvelenamento dei dati con poche risorse
Come si legge nell'articolo, un gruppo di ricercatori ha scoperto che con risorse molto limitate chiunque può aggiungere dati dannosi a un piccolo numero di pagine web il cui contenuto è solitamente raccolto per l'addestramento dell'intelligenza artificiale (ad esempio, le pagine di Wikipedia), in modo da far sì che un modello linguistico di grandi dimensioni generi risposte errate.
Strumento di modifica delle immagini
Come si legge nella fonte, i ricercatori hanno sviluppato uno strumento chiamato "Nightshade" che modifica le immagini in modo da danneggiare la visione computerizzata, ma rimanendo invisibile agli esseri umani. Quando queste immagini modificate "avvelenate" vengono utilizzate per addestrare i modelli di intelligenza artificiale, questi ultimi possono generare risultati imprevedibili e non voluti. Lo strumento è stato creato come meccanismo per proteggere la proprietà intellettuale dallo scraping non autorizzato di immagini, ma l'articolo sottolinea anche che gli utenti potrebbero abusare dello strumento e caricare intenzionalmente immagini "avvelenate".
Argomento principale: Atlas rischio AI
Facciamo degli esempi che sono stati trattati dalla stampa per aiutare a spiegare molti dei rischi dei modelli di fondazione. Molti di questi eventi trattati dalla stampa sono ancora in evoluzione o sono stati risolti, e fare riferimento ad essi può aiutare il lettore a comprendere i rischi potenziali e a lavorare per mitigarli. L'evidenziazione di questi esempi è solo a scopo illustrativo.