Finden Sie das richtige foundation model, um es an Ihre Aufgabe anzupassen.
Gründungsmodelle für die zeitnahe Abstimmung
Sie können die folgenden Modelle über das Tuning Studio in watsonx.ai: prompt tunen
- flan-t5-xl-3b
- granite-13b-instruct-v2
Die folgende Tabelle zeigt die Fundamentmodelle, mit denen Sie experimentieren können, bevor Sie sich für ein foundation model entscheiden, das Sie abstimmen möchten.
| Modell für die Entwicklung von Eingabeaufforderungen | Modell für Optimierung |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Auswahl eines foundation model für das Tuning
Die folgenden Schritte helfen Ihnen bei der Auswahl des besten foundation model für das Tuning:
Überlegen Sie, ob Maßnahmen ergriffen wurden, um die Daten, die zum Trainieren des foundation model verwendet wurden, zu kuratieren, um die Qualität der Ergebnisse des foundation model zu verbessern.
Lesen Sie weitere allgemeine Hinweise zur Auswahl eines Modells.
Weitere Informationen finden Sie unter Auswahl eines foundation model.
Betrachten Sie die Kosten, die mit dem foundation model verbunden sind, sowohl zur Zeit der Inferenz als auch zur Zeit der Abstimmung. Ein kleineres Modell, z. B. ein Modell mit 3 Milliarden Parametern, kostet weniger zu optimieren und ist ein guter Ausgangspunkt.
Die Optimierung führt zu Verbrauchskosten für Rechenressourcen, die in Kapazitätseinheitenstunden (CUH) gemessen werden. Je größer das Modell ist, desto länger dauert die Optimierung des Modells. Bei einem viermal so großen foundation model dauert die Abstimmung viermal so lange.
Bei einem Datensatz mit 10.000 Beispielen und einer Größe von 1.25 MB dauert es beispielsweise 3 Stunden und 25 Minuten, um das foundation model flan-t5-xl-3b abzustimmen.
Weitere Informationen zu den CUH-Kosten finden Sie unter watsonx.ai Laufzeitpläne und Rechnernutzung.
Experimentieren Sie mit den Modellen im Prompt Lab.
Verwenden Sie die größte Version (d. h. die Version mit den meisten Parametern) des Modells in derselben Modellfamilie zu Testzwecken. Durch Tests mit einem größeren, leistungsfähigeren Modell können Sie das beste Eingabeaufforderungsmuster zum Abrufen der gewünschten Ausgabe erstellen. Anschließend können Sie eine kleinere Version desselben Modelltyps optimieren, um Kosten zu sparen. Eine durch Eingabeaufforderung optimierte Version eines kleineren Modells kann ähnliche, wenn nicht bessere Ergebnisse generieren und weniger Kosten für die Inferenz verursachen.
Basteln und probieren Sie die Aufforderungen aus, bis Sie das Eingabemuster gefunden haben, das die besten Ergebnisse des großen foundation model liefert.
Weitere Informationen finden Sie unter Prompt Lab.
Übergeordnetes Thema: Tuning Studio