Rischio di attacco di tipo "Prompt Injection" per l'IA
Descrizione
Un attacco di tipo prompt injection costringe un modello generativo che prende in input un prompt a produrre un output inaspettato manipolando la struttura, le istruzioni o le informazioni contenute nel prompt.
Perché l'attacco prompt injection è un problema per i modelli di fondazione?
Gli attacchi di injection possono essere utilizzati per modificare il funzionamento del modello e favorire l'aggressore.
Manipolazione dei prompt dell'intelligenza artificiale
Come si legge nell'articolo, l'agenzia britannica per la sicurezza informatica ha avvertito che i chatbot possono essere manipolati dagli hacker per causare conseguenze dannose nel mondo reale (ad esempio, truffe e furto di dati) se i sistemi non sono progettati in modo sicuro. Il Centro nazionale per la sicurezza informatica (NCSC) del Regno Unito ha dichiarato che vi sono crescenti rischi per la sicurezza informatica legati alla manipolazione dei prompt attraverso attacchi di tipo prompt injection. L'articolo citava un esempio in cui un utente era in grado di creare un'iniezione di prompt per trovare il prompt iniziale di Bing Chat. L'intero prompt di Bing Chat di Microsoft, un elenco di affermazioni scritte da Open AI o da Microsoft che determinano il modo in cui il chatbot interagisce con gli utenti, che è nascosto agli utenti, è stato rivelato dall'utente che ha inserito un prompt che richiedeva a Bing Chat di "ignorare le istruzioni precedenti".
Argomento principale: Atlas rischio AI
Facciamo degli esempi che sono stati trattati dalla stampa per aiutare a spiegare molti dei rischi dei modelli di fondazione. Molti di questi eventi trattati dalla stampa sono ancora in evoluzione o sono stati risolti, e fare riferimento ad essi può aiutare il lettore a comprendere i rischi potenziali e a lavorare per mitigarli. L'evidenziazione di questi esempi è solo a scopo illustrativo.