Descriptif
Un type d'attaque contradictoire où un adversaire ou un initié malveillant injecte intentionnellement des échantillons corrompus, faux, trompeurs ou incorrects dans les ensembles de données d'apprentissage ou de réglage fin.
Pourquoi l'empoisonnement des données est-il une préoccupation pour les modèles de base?
L'empoisonnement des données peut rendre le modèle sensible à un modèle de données malveillant et produire la sortie souhaitée de l'adversaire. Il peut créer un risque de sécurité où les adversaires peuvent forcer le comportement du modèle pour leur propre bénéfice.
Empoisonnement des données par des ressources limitées
Selon l'article source, un groupe de chercheurs a découvert qu'avec des ressources très limitées, n'importe qui peut ajouter des données malveillantes à un petit nombre de pages web dont le contenu est généralement collecté pour l'entraînement à l'IA (par exemple, des pages Wikipédia), suffisamment pour qu'un grand modèle de langage génère des réponses incorrectes.
Outil de modification d'image
Selon l'article source, les chercheurs ont mis au point un outil appelé "Nightshade" qui modifie les images d'une manière qui nuit à la vision par ordinateur mais reste invisible pour les humains. Lorsque de telles images modifiées "empoisonnées" sont utilisées pour former des modèles d'IA, ces derniers peuvent générer des résultats imprévisibles et non souhaités. L'outil a été créé pour protéger la propriété intellectuelle contre le scraping d'images non autorisé, mais l'article souligne également que les utilisateurs peuvent abuser de l'outil et télécharger intentionnellement des images "empoisonnées".
Rubrique parent: Atlas des risques liés à l'IA
Nous fournissons des exemples couverts par la presse pour expliquer de nombreux risques liés aux modèles de fondation. Nombre de ces événements couverts par la presse sont encore en cours ou ont été résolus, et le fait d'y faire référence peut aider le lecteur à comprendre les risques potentiels et à s'efforcer de les atténuer. La mise en évidence de ces exemples n'a qu'un but illustratif.