Évaluer les résultats d'une expérience de réglage
La mise au point d'un modèle de base dans watsonx.ai est un processus itératif. Vous effectuez une expérience de réglage et vous évaluez les résultats. Si nécessaire, vous modifiez les variables de l'expérience et relancez l'expérience à plusieurs reprises jusqu'à ce que vous soyez satisfait des résultats du modèle de fondation ajusté.
Vérifiez vos progrès après chaque expérience. Déterminez les limites de votre configuration d'expérience de réglage et corrigez-les avant d'évaluer vos données d'entraînement pour détecter d'éventuels problèmes.
Processus d'amélioration des résultats des expériences de réglage
Il n'existe pas d'ensemble unique de paramètres de réglage ou d'exemples de données de formation à utiliser. Les meilleurs paramètres de réglage et la taille des ensembles de données varient en fonction de vos données, du modèle de base que vous utilisez et du type de tâche que vous souhaitez confier au modèle. Suivez les étapes suivantes pour gagner du temps et rester sur la bonne voie pendant que vous expérimentez.
Vous pouvez utiliser le Tuning Studio pour réaliser ces étapes ou utiliser les carnets d'exemples pour les réaliser de manière programmatique.
Avant de commencer votre expérience, créez ou conservez un sous-ensemble de données d'entraînement d'accord à utiliser comme ensemble de données de test.
Effectuez une expérience de réglage avec les paramètres de réglage par défaut.
Vérifier la fonction de perte pour l'expérience.
Le modèle ajusté est performant lorsque la fonction de perte présente une courbe descendante qui se stabilise près de zéro.
Si nécessaire, ajustez les valeurs des paramètres et relancez l'expérience jusqu'à ce que la fonction de perte se stabilise à un niveau proche de zéro.
Testez la qualité du modèle ajusté en soumettant des invites provenant de l'ensemble de données de test.
Si nécessaire, révisez ou augmentez les données de formation.
Lorsque de nouvelles données sont introduites, il est possible d'optimiser davantage les paramètres de réglage. Recommencez l'expérience, puis répétez les étapes de ce processus à partir de l'étape 3.
Sujet parent : Tuning Studio