Trouvez le foundation model adapté à votre tâche.
Modèles de base pour une mise au point rapide
Vous pouvez accorder les modèles suivants à partir du Tuning Studio dans watsonx.ai:
- flan-t5-xl-3b
- granite-13b-instruct-v2
Le tableau suivant présente les modèles de base à expérimenter avant de choisir un foundation model à mettre au point.
Modèle pour l'ingénierie d'invite | Modèle pour l'ajustement |
---|---|
flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Choix d'un foundation model pour le tuning
Pour vous aider à choisir le foundation model le mieux adapté, suivez les étapes suivantes :
Examinez si des mesures ont été prises pour conserver les données utilisées pour former le foundation model afin d'améliorer la qualité des résultats du foundation model.
Passez en revue les autres considérations générales relatives au choix d'un modèle.
Pour plus d'informations, voir Choix d'un foundation model.
Considérez les coûts associés au foundation model, à la fois au moment de l'inférence et au moment de la mise au point. Un modèle plus petit, tel qu'un modèle de 3 milliards de paramètres, coûte moins cher à ajuster et est un bon point de départ.
L'optimisation implique des coûts de consommation de ressources de calcul qui sont mesurés en heures d'unité de capacité (CUH). Plus le modèle est grand, plus il faut de temps pour l'ajuster. Un foundation model quatre fois plus grand prend quatre fois plus de temps à régler.
Par exemple, sur un ensemble de données de 10 000 exemples et d'une taille de 1.25 Mo, il faut 3 heures et 25 minutes pour optimiser le foundation model.
Pour plus d'informations sur les coûts des CUH, voir watsonx.ai Runtime plans and compute usage.
Testez les modèles dans le laboratoire d'invite.
Utilisez la version la plus grande (c'est-à-dire la version avec le plus de paramètres) du modèle dans la même famille de modèles à des fins de test. En effectuant des tests avec un modèle plus grand et plus puissant, vous pouvez établir le meilleur modèle d'invite pour obtenir la sortie souhaitée. Vous pouvez ensuite optimiser une version plus petite du même type de modèle pour économiser des coûts. Une version optimisée en fonction des invites d'un modèle plus petit peut générer des résultats similaires, voire meilleurs, et des coûts d'inférence moindres.
Faites des essais jusqu'à ce que vous trouviez le modèle d'entrée qui génère les meilleurs résultats à partir du grand " foundation model.
Pour plus d'informations, voir Prompt Lab.
Sujet parent : Tuning Studio