Descriptif
Une attaque de type "jailbreaking" tente de franchir les garde-fous établis dans le modèle pour effectuer des actions restreintes.
Pourquoi le jailbreak est-il une préoccupation pour les modèles de fondation?
Les attaques par jailbreak peuvent être utilisées pour modifier le comportement du modèle et bénéficier à l'agresseur. Si elles ne sont pas correctement contrôlées, les entités commerciales peuvent être confrontées à des amendes, à des atteintes à la réputation et à d'autres conséquences juridiques.
Contournement des glissières de sécurité LLM
Une étude citée par des chercheurs de l'Université Carnegie Mellon, du Center for AI Safety et du Bosch Center for AI, prétend avoir découvert un simple ajout rapide qui a permis aux chercheurs de tromper les modèles pour générer des informations biaisées, fausses et autrement toxiques. Les chercheurs ont montré qu'ils pourraient contourner ces glissières de sécurité de manière plus automatisée. Ces attaques se sont révélées efficaces dans un large éventail de produits open source, notamment ChatGPT, Google Bard, LLaMA, Claude d'Anthropic, et d'autres encore.
Rubrique parent: Atlas des risques liés à l'IA
Nous fournissons des exemples couverts par la presse pour vous aider à expliquer les risques de nombreux modèles de base. Un grand nombre de ces événements couverts par la presse sont en constante évolution ou ont été résolus, et leur référencement peut aider le lecteur à comprendre les risques potentiels et à s'orienter vers des mesures d'atténuation. La mise en évidence de ces exemples est fournie à des fins d'illustration uniquement.