Auswahl eines zu optimierenden Stiftungsmodells
Finden Sie das richtige Stiftungsmodell, das Sie anpassen können, um das Modell für Ihre Aufgabe zu optimieren.
Gründungsmodelle für die zeitnahe Abstimmung
Sie können die folgenden Modelle über das Tuning Studio in watsonx.ai: prompt tunen
- flan-t5-xl-3b
- granite-13b-instruct-v2
Die folgende Tabelle zeigt die Fundamentmodelle, mit denen Sie experimentieren können, bevor Sie sich für ein Fundamentmodell entscheiden, das Sie abstimmen möchten.
| Modell für die Entwicklung von Eingabeaufforderungen | Modell für Optimierung |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Auswahl eines Fundamentmodells für das Tuning
Die folgenden Schritte helfen Ihnen bei der Auswahl des besten Stiftungsmodells für das Tuning:
Überlegen Sie, ob Maßnahmen ergriffen wurden, um die Daten, die zum Trainieren des Gründungsmodells verwendet wurden, zu kuratieren, um die Qualität der Ergebnisse des Gründungsmodells zu verbessern.
Lesen Sie weitere allgemeine Hinweise zur Auswahl eines Modells.
Weitere Informationen finden Sie unter Auswahl eines Stiftungsmodells.
Betrachten Sie die Kosten, die mit dem Basismodell verbunden sind, sowohl zur Zeit der Inferenz als auch zur Zeit der Abstimmung. Ein kleineres Modell, z. B. ein Modell mit 3 Milliarden Parametern, kostet weniger zu optimieren und ist ein guter Ausgangspunkt.
Die Optimierung führt zu Verbrauchskosten für Rechenressourcen, die in Kapazitätseinheitenstunden (CUH) gemessen werden. Je größer das Modell ist, desto länger dauert die Optimierung des Modells. Bei einem viermal so großen Stiftungsmodell dauert die Abstimmung viermal so lange.
Bei einem Datensatz mit 10.000 Beispielen, der 1.25 MB groß ist, dauert es beispielsweise 3 Stunden und 25 Minuten, um das Modell von flan-t5-xl-3b abzustimmen.
Weitere Informationen zu den CUH-Kosten finden Sie unter watsonx.ai Laufzeitpläne und Rechnernutzung.
Experimentieren Sie mit den Modellen in der Prompt Lab.
Verwenden Sie die größte Version (d. h. die Version mit den meisten Parametern) des Modells in derselben Modellfamilie zu Testzwecken. Durch Tests mit einem größeren, leistungsfähigeren Modell können Sie das beste Eingabeaufforderungsmuster zum Abrufen der gewünschten Ausgabe erstellen. Anschließend können Sie eine kleinere Version desselben Modelltyps optimieren, um Kosten zu sparen. Eine durch Eingabeaufforderung optimierte Version eines kleineren Modells kann ähnliche, wenn nicht bessere Ergebnisse generieren und weniger Kosten für die Inferenz verursachen.
Basteln und probieren Sie die Aufforderungen aus, bis Sie das Eingabemuster gefunden haben, das die besten Ergebnisse des großen Fundamentmodells liefert.
Weitere Informationen finden Sie unter Prompt Lab.
Übergeordnetes Thema: Tuning Studio