Risque de débridage pour l'intelligence artificielle
Descriptif
Une attaque qui tente de percer les glissières de sécurité établies dans le modèle est appelée jailbreak.
Pourquoi le jailbreak est-il une préoccupation pour les modèles de fondation?
Les attaques par jailbreak peuvent être utilisées pour modifier le comportement du modèle et bénéficier à l'agresseur. Si elles ne sont pas correctement contrôlées, les entités commerciales peuvent être confrontées à des amendes, à des atteintes à la réputation et à d'autres conséquences juridiques.
Contournement des glissières de sécurité LLM
Une étude citée par des chercheurs de l'Université Carnegie Mellon, du Center for AI Safety et du Bosch Center for AI, prétend avoir découvert un simple ajout rapide qui a permis aux chercheurs de tromper les modèles pour générer des informations biaisées, fausses et autrement toxiques. Les chercheurs ont montré qu'ils pourraient contourner ces glissières de sécurité de manière plus automatisée. Ces attaques se sont révélées efficaces dans une large gamme de produits open source, notamment ChatGPT, Google Bard, Meta's LLaMA, Anthropic's Claude, etc.
Rubrique parent: Atlas des risques liés à l'IA
Nous fournissons des exemples couverts par la presse pour vous aider à expliquer les risques de nombreux modèles de base. Un grand nombre de ces événements couverts par la presse sont en constante évolution ou ont été résolus, et leur référencement peut aider le lecteur à comprendre les risques potentiels et à s'orienter vers des mesures d'atténuation. La mise en évidence de ces exemples est fournie à des fins d'illustration uniquement.