Encuentre el foundation model adecuado para personalizar su tarea.
Modelos de base para una rápida puesta a punto
Puede sintonizar los siguientes modelos desde Tuning Studio en watsonx.ai:
- flan-t5-xl-3b
- granite-13b-instruct-v2
La siguiente tabla muestra los modelos de base con los que experimentar antes de elegir un " foundation model " para afinar.
| Modelo para ingeniería de solicitud | Modelo para el ajuste |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Elegir un foundation model para la puesta a punto
Para ayudarle a elegir el mejor foundation model para afinar, siga estos pasos:
Considere si se tomaron medidas para curar los datos que se utilizaron para entrenar el foundation model con el fin de mejorar la calidad del resultado foundation model.
Revise otras consideraciones generales para elegir un modelo.
Para más información, consulte Elegir un foundation model.
Consideremos los costes asociados al foundation model, tanto en el momento de la inferencia como en el de la sintonización. Un modelo más pequeño, como un modelo de parámetro de 3.000 millones, cuesta menos afinar y es un buen lugar para empezar.
El ajuste incurre en costes de consumo de recursos de cálculo que se miden en horas de unidad de capacidad (CUH). Cuanto más grande sea el modelo, más tiempo se tardará en ajustar el modelo. Un foundation model cuatro veces más grande tarda cuatro veces más en afinarse.
For example, on a data set with 10,000 examples and that is 1.25 MB in size, it takes 3 hours 25 minutes to prompt tune the flan-t5-xl-3b foundation model.
Para obtener más información sobre los costes de CUH, consulte watsonx.ai Planes de tiempo de ejecución y uso de computación.
Experimente con los modelos en Prompt Lab.
Utilice la versión más grande (es decir, la versión con más parámetros) del modelo en la misma familia de modelos para fines de prueba. Al probar con un modelo más grande y potente, puede establecer el mejor patrón de solicitud para obtener la salida que desee. A continuación, puede ajustar una versión más pequeña del mismo tipo de modelo para ahorrar costes. Una versión ajustada con solicitud de un modelo más pequeño puede generar resultados similares, si no mejores, y cuesta menos inferir.
Elabore y pruebe indicaciones hasta que encuentre el patrón de entrada que genere los mejores resultados del foundation model grande.
Para obtener más información, consulte Prompt Lab.
Tema principal: Tuning Studio