Chaque foundation model est susceptible de générer des résultats au contenu incorrect, voire nuisible. Comprenez les types de sortie indésirable qui peuvent être générés, les raisons de la sortie indésirable et les étapes que vous pouvez suivre pour réduire le risque de dommages.
Les modèles de base disponibles dans IBM watsonx.ai peuvent générer une sortie qui contient des hallucinations, des informations personnelles, des discours de haine, des abus, des grossièretés et des biais. Les techniques suivantes peuvent aider à réduire le risque, mais ne garantissent pas que les résultats générés seront exempts de contenu indésirable.
Trouvez des techniques qui vous aideront à éviter les types de contenus indésirables suivants dans les résultats du foundation model:
Hallucinations
Lorsqu'un foundation model génère un contenu hors sujet, répétitif ou incorrect ou fabrique des détails, ce comportement est parfois appelé hallucination.
Les hallucinations hors sujet peuvent se produire en raison de la pseudo-aléatoire dans le décodage de la sortie générée. Dans les meilleurs cas, ce caractère aléatoire peut donner lieu à des résultats merveilleusement créatifs. Mais le caractère aléatoire peut également générer une sortie non-sens qui n'est pas utile.
Le modèle peut renvoyer des hallucinations sous la forme de détails fabriqués lorsqu'il est invité à générer du texte, mais il ne reçoit pas suffisamment de texte connexe pour être utilisé. Si vous incluez des détails corrects dans l'invite, par exemple, le modèle est moins susceptible d'halluciner et de créer des détails.
Techniques pour éviter les hallucinations
Pour éviter les hallucinations, testez une ou plusieurs de ces techniques:
Choisissez un modèle avec un pré-entraînement et un réglage précis qui correspond à votre domaine et à la tâche que vous effectuez.
Indiquez le contexte dans votre invite.
Si vous demandez à un foundation model générer un texte sur un sujet qui n'est pas courant dans ses données de préformation et que vous n'ajoutez pas d'informations sur le sujet à l'invite, le modèle est plus susceptible d'avoir des hallucinations.
Spécifiez des valeurs conservatrices pour les paramètres Min tokens et Max tokens et spécifiez une ou plusieurs séquences d'arrêt.
Lorsque vous spécifiez une valeur élevée pour le paramètre Min tokens, vous pouvez forcer le modèle à générer une réponse plus longue que celle que le modèle renvoie naturellement pour une invite. Le modèle est plus susceptible d'halluciner car il ajoute des mots à la sortie pour atteindre la limite requise.
Pour les cas d'utilisation qui ne nécessitent pas beaucoup de créativité dans la sortie générée, utilisez le décodage gourmand. Si vous préférez utiliser le décodage par échantillonnage, veillez à spécifier des valeurs conservatrices pour les paramètres de température, top-p et top-k.
Pour réduire le texte répétitif dans la sortie générée, essayez d'augmenter le paramètre de pénalité de répétition.
Si vous voyez du texte répétitif dans la sortie générée lorsque vous utilisez le décodage gourmand, et si une certaine créativité est acceptable pour votre cas d'utilisation, essayez d'utiliser le décodage d'échantillonnage à la place. Veillez à définir des valeurs modérément basses pour les paramètres de température, top-p et top-k.
Dans votre invite, indiquez au modèle ce qu'il doit faire lorsqu'il n'a pas de réponse sûre ou à forte probabilité.
Par exemple, dans un scénario de réponse à une question, vous pouvez inclure l'instruction suivante:
If the answer is not in the article, say “I don't know”.
Informations personnelles
Le vocabulaire d'un foundation model est formé à partir des mots contenus dans les données de préformation. Si les données de préentraînement incluent des pages Web qui sont extraites d'Internet, le vocabulaire du modèle peut contenir les types d'informations suivants:
- Noms des auteurs d'articles
- Informations de contact sur les sites Web de l'entreprise
- Informations personnelles à partir de questions et de commentaires postés dans des forums de communauté ouverts
Si vous utilisez un foundation model pour générer le texte d'une partie d'un courriel publicitaire, le contenu généré peut inclure les coordonnées d'une autre entreprise !
Si vous demandez à un foundation model rédiger un document avec des citations, le modèle peut inclure des références qui semblent légitimes mais qui ne le sont pas. Il peut même attribuer ces références inventées à des auteurs réels à partir de la zone correcte. Un foundation model est susceptible de générer des citations d'imitation, correctes dans leur forme mais non fondées sur des faits, car les modèles sont capables d'enchaîner des mots (y compris des noms) qui ont une forte probabilité d'apparaître ensemble. Le fait que le modèle donne à la sortie une touche de légitimité, en incluant les noms de personnes réelles en tant qu'auteurs dans les citations, rend cette forme d'hallucination fascinante et crédible. Il rend également cette forme d'hallucination dangereuse. Les gens peuvent avoir des problèmes s'ils croient que les citations sont réelles. Sans parler des dommages qui peuvent venir aux personnes qui sont listées comme auteurs d'œuvres qu'ils n'ont pas écrites.
Techniques d'exclusion des informations personnelles
Pour exclure les informations personnelles, essayez les techniques suivantes:
Dans votre invite, demandez au modèle de s'abstenir de mentionner des noms, des coordonnées ou des informations personnelles.
Par exemple, lorsque vous demandez à un modèle de générer un e-mail de publicité, demandez au modèle d'inclure le nom de votre société et le numéro de téléphone. En outre, demandez au modèle de "ne pas inclure d'autres informations d'entreprise ou personnelles".
A partir de l'API watsonx.ai , vous pouvez activer le filtre PII dans la zone
moderationslorsque vous soumettez une demande d'inférence.Pour plus d'informations, voir la documentation de référence de l'API.
Dans votre application, pipeline ou solution plus large, post-traitez le contenu généré par le foundation model afin de trouver et de supprimer les informations personnelles.
Discours de haine, abus et grossièretés
Comme pour les informations personnelles, lorsque les données de préformation contiennent des termes haineux ou abusifs ou des jurons, un foundation model formé sur ces données contient ces termes problématiques dans son vocabulaire. Si un langage inapproprié fait partie du vocabulaire du modèle, le foundation model peut générer un texte au contenu indésirable.
Lorsque vous utilisez des modèles de base pour générer du contenu pour votre entreprise, vous devez effectuer les opérations suivantes:
- Reconnaissez que ce type de sortie est toujours possible.
- Prenez des mesures pour réduire la probabilité de déclencher le modèle pour produire ce type de sortie nocive.
- Générez des processus de révision et de vérification humaine dans vos solutions.
Techniques pour réduire le risque de discours de haine, d'abus et de blasphème
Pour éviter les discours de haine, les abus et les grossièretés, testez une ou plusieurs de ces techniques:
Dans Prompt Lab, définissez le commutateur AI guardrails sur On. Lorsque cette fonction est activée, toute phrase de l'invite d'entrée ou de la sortie générée qui contient un langage nuisible est remplacée par un message indiquant que du texte potentiellement dangereux a été supprimé.
N'incluez pas de discours de haine, d'abus ou de blasphème dans votre invite pour empêcher le modèle de répondre en nature.
Dans votre invite, demandez au modèle d'utiliser un langage propre.
Par exemple, selon le ton dont vous avez besoin pour la sortie, demandez au modèle d'utiliser le langage "formel", "professionnel", "PG" ou "amical".
A partir de l'API watsonx.ai , vous pouvez activer le filtre HAP dans la zone
moderationslorsque vous soumettez une demande d'inférence.Pour plus d'informations, voir la documentation de référence de l'API.
Dans votre application, votre pipeline ou votre solution plus large, post-traitez le contenu généré par le foundation model afin de supprimer le contenu indésirable.
Réduction du risque de biais dans la sortie du modèle
Lors de la préformation, un foundation model apprend la probabilité statistique que certains mots suivent d'autres mots en fonction de la façon dont ces mots apparaissent dans les données de formation. Tout biais dans les données d'apprentissage est entraîné dans le modèle.
Par exemple, si les données de formation font plus souvent référence aux médecins en tant qu'hommes et aux infirmières en tant que femmes, ce biais sera probablement reflété dans les relations statistiques entre ces mots dans le modèle. Par conséquent, le modèle est susceptible de générer un résultat qui se réfère plus souvent aux médecins en tant qu'hommes et aux infirmières en tant que femmes. Parfois, les gens croient que les algorithmes peuvent être plus justes et plus impartiaux que les humains parce que les algorithmes "utilisent simplement les mathématiques pour décider". Mais le biais dans les données d'apprentissage est reflété dans le contenu généré par les modèles de base qui sont entraînés sur ces données.
Techniques de réduction du biais
Il est difficile de débiaiser les résultats générés par un foundation model qui a été entraîné sur des données biaisées. Toutefois, vous pouvez améliorer les résultats en incluant du contenu dans votre invite pour contrer les biais qui peuvent s'appliquer à votre cas d'utilisation.
Par exemple, au lieu de demander à un modèle de "répertorier les symptômes de crise cardiaque", vous pouvez demander au modèle de "répertorier les symptômes de crise cardiaque", y compris les symptômes qui sont communs aux hommes et les symptômes qui sont communs aux femmes.
Rubrique parent: Conseils d'invite