0 / 0
Retourner à la version anglaise de la documentation
Risque d'empoisonnement des données pour l'IA

Risque d'empoisonnement des données pour l'IA

Robustesse Icône représentant les risques liés à la robustesse.
Risques associés à l'entrée
Phase de formation et d'optimisation
Robustesse
Risque d'IA traditionnel

Descriptif

Un type d'attaque contradictoire où un adversaire ou un initié malveillant injecte intentionnellement des échantillons corrompus, faux, trompeurs ou incorrects dans les ensembles de données d'apprentissage ou de réglage fin.

Pourquoi l'empoisonnement des données est-il une préoccupation pour les modèles de base?

L'empoisonnement des données peut rendre le modèle sensible à un modèle de données malveillant et produire la sortie souhaitée de l'adversaire. Il peut créer un risque de sécurité où les adversaires peuvent forcer le comportement du modèle pour leur propre bénéfice.

Image de fond pour les risques associés à la saisie
Exemple

Empoisonnement des données par des ressources limitées

Selon l'article source, un groupe de chercheurs a découvert qu'avec des ressources très limitées, n'importe qui peut ajouter des données malveillantes à un petit nombre de pages web dont le contenu est généralement collecté pour l'entraînement à l'IA (par exemple, des pages Wikipédia), suffisamment pour qu'un grand modèle de langage génère des réponses incorrectes.

Image de fond pour les risques associés à la saisie
Exemple

Outil de modification d'image

Selon l'article source, les chercheurs ont mis au point un outil appelé "Nightshade" qui modifie les images d'une manière qui nuit à la vision par ordinateur mais reste invisible pour les humains. Lorsque de telles images modifiées "empoisonnées" sont utilisées pour former des modèles d'IA, ces derniers peuvent générer des résultats imprévisibles et non souhaités. L'outil a été créé pour protéger la propriété intellectuelle contre le scraping d'images non autorisé, mais l'article souligne également que les utilisateurs peuvent abuser de l'outil et télécharger intentionnellement des images "empoisonnées".

Rubrique parent: Atlas des risques liés à l'IA

Nous fournissons des exemples couverts par la presse pour expliquer de nombreux risques liés aux modèles de fondation. Nombre de ces événements couverts par la presse sont encore en cours ou ont été résolus, et le fait d'y faire référence peut aider le lecteur à comprendre les risques potentiels et à s'efforcer de les atténuer. La mise en évidence de ces exemples n'a qu'un but illustratif.

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus