Examiner et utiliser des exemples de carnets Jupyter qui utilisent la bibliothèque client Python pour les évaluations de modèles afin de démontrer les fonctionnalités et les tâches.
Lorsque vous utilisez un exemple de bloc-notes pour démontrer des fonctionnalités et des tâches avec le clientPython, vous devez être à l'aise avec le codage dans un Jupyter Notebook. Un bloc-notes Jupyter est un environnement basé sur le Web pour un calcul interactif. Vous pouvez exécuter de petits morceaux de code qui traitent vos données, puis afficher immédiatement les résultats de votre calcul. Avec des exemples de Notebooks Jupyter, vous pouvez compléter des tutoriels pour démontrer des tâches telles que la construction, l'entraînement et le déploiement de modèles et la configuration d'évaluations de modèles.
Exemples de blocs-notes
Affichez ou exécutez les blocs-notes Jupyter suivants pour apprendre à effectuer différentes tâches:
| Nom d'échantillon | Tâches démontrées |
|---|---|
| Utilisation de IBM watsonx.governance metrics toolkit pour évaluer la qualité de votre modèle d'invite | Calculer les métriques d'analyse du contenu et de robustesse des questions pour les évaluations des modèles d'invite. |
| Calcul des métriques de recherche et de qualité des réponses en utilisant LLM comme Judge dans IBM watsonx.governance pour la tâche RAG | Calculer les indicateurs de qualité RAG et de réponse afin de générer des réponses pour les tâches RAG. |
| Calcul de la robustesse des adversaires et du risque de fuite rapide à l'aide de IBM watsonx.governance | Calculez la métrique de robustesse adversariale pour mesurer la façon dont votre modèle se défend contre les attaques telles que les injections d'invites, les jailbreaks et les fuites d'invites système. |
| Génération d'emboîtements pour LLMs | Utilisez des fichiers CSV de données notées pour générer des embeddings pour les colonnes d'entrée et de sortie et téléchargez le fichier CSV contenant la sortie du modèle qui contient les embeddings. |
| Génération et persistance d'emboîtements pour les LLMs | Générer des embeddings pour les enregistrements existants dans la table des données utiles, fournir de nouveaux cadres de données notés pour générer et stocker des enregistrements avec des embeddings dans la table des données utiles, ou configurer et évaluer les évaluations de la dérive v2. |
| Carnet de bord pour le support multilingue de l'IA générative Métriques de qualité pour IBM WatsonX.governance | Démontrer les résultats de l'évaluation des modèles d'invite à la qualité de l'IA générative en japonais. |
Etapes suivantes
- Pour en savoir plus sur l'utilisation des éditeurs de bloc-notes, voir Blocs-notes.
- Pour en savoir plus sur l'utilisation de blocs-notes, voir Codage et exécution de blocs-notes.
- Pour en savoir plus sur l'authentification dans un carnet, voir Authentification.