Choix d'un modèle de fondation à mettre au point
Trouvez le modèle de fondation adéquat que vous pouvez régler afin de l'adapter à votre tâche.
Modèles de base pour une mise au point rapide
Vous pouvez accorder les modèles suivants à partir du Tuning Studio dans watsonx.ai:
- flan-t5-xl-3b
- granite-13b-instruct-v2
Le tableau suivant présente les modèles de base à expérimenter avant de choisir un modèle de base à mettre au point.
| Modèle pour l'ingénierie d'invite | Modèle pour l'ajustement |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Choix d'un modèle de fondation pour le tuning
Pour vous aider à choisir le modèle de fondation le mieux adapté, suivez les étapes suivantes :
Examinez si des mesures ont été prises pour conserver les données utilisées pour former le modèle de base afin d'améliorer la qualité des résultats du modèle de base.
Passez en revue les autres considérations générales relatives au choix d'un modèle.
Pour plus d'informations, voir Choix d'un modèle de fondation.
Considérez les coûts associés au modèle de base, à la fois au moment de l'inférence et au moment de la mise au point. Un modèle plus petit, tel qu'un modèle de 3 milliards de paramètres, coûte moins cher à ajuster et est un bon point de départ.
L'optimisation implique des coûts de consommation de ressources de calcul qui sont mesurés en heures d'unité de capacité (CUH). Plus le modèle est grand, plus il faut de temps pour l'ajuster. Un modèle de fondation quatre fois plus grand prend quatre fois plus de temps à régler.
Par exemple, sur un ensemble de données de 10 000 exemples et d'une taille de 1.25 Mo, il faut 3 heures et 25 minutes pour régler rapidement le modèle de base flan-t5-xl-3b.
Pour plus d'informations sur les coûts des CUH, voir watsonx.ai Runtime plans and compute usage.
Faites des essais avec les modèles de l' Prompt Lab.
Utilisez la version la plus grande (c'est-à-dire la version avec le plus de paramètres) du modèle dans la même famille de modèles à des fins de test. En effectuant des tests avec un modèle plus grand et plus puissant, vous pouvez établir le meilleur modèle d'invite pour obtenir la sortie souhaitée. Vous pouvez ensuite optimiser une version plus petite du même type de modèle pour économiser des coûts. Une version optimisée en fonction des invites d'un modèle plus petit peut générer des résultats similaires, voire meilleurs, et des coûts d'inférence moindres.
Faites du bricolage et essayez les invites jusqu'à ce que vous trouviez le modèle d'entrée qui génère les meilleurs résultats à partir du modèle de la grande fondation.
Pour plus d'informations, voir Prompt Lab.
Sujet parent : Tuning Studio