Auswahl eines zu optimierenden Stiftungsmodells
Finden Sie das richtige Stiftungsmodell, das Sie anpassen können, um das Modell für Ihre Aufgabe zu optimieren.
Gründungsmodelle für die zeitnahe Abstimmung
Prompt-Tuning ist veraltet und wird in Zukunft entfernt werden.
Sie können die folgenden Modelle über das Tuning Studio in watsonx.ai: prompt tunen
- flan-t5-xl-3b
- granite-13b-instruct-v2
Die folgende Tabelle zeigt die Fundamentmodelle, mit denen Sie experimentieren können, bevor Sie sich für ein Fundamentmodell entscheiden, das Sie abstimmen möchten.
| Modell für die Entwicklung von Eingabeaufforderungen | Modell für Optimierung |
|---|---|
| flan-t5-xxl-11b flan-ul2-20b |
flan-t5-xl-3b |
| granite-13b-instruct-v2 | granite-13b-instruct-v2 |
Gründungsmodelle für LoRA Feinabstimmung
Eine Reihe von IBM -bereitgestellten Grundmodellen stehen Ihnen zur Verfügung, um sie programmatisch in watsonx.ai zu optimieren. Die verfügbaren Modelle unterscheiden sich durch die Tuning-Methode.
Die mitgelieferten Basisfundamentmodelle sind nicht für die Inferenz von watsonx.ai verfügbar. Die folgenden Tabellen zeigen die Modelle, die Sie ableiten können, um eine Vorstellung von den Fähigkeiten eines Modells zu bekommen, bevor Sie die Basisversion des Modells abstimmen.
- Niederrangige Anpassung ( LoRA )
Die folgenden Stiftungsmodelle werden unterstützt:
- granite-3-1-8b-base
- llama-3-1-8b
Basisfundamentmodelle für LoRA Modell für die experimentelle Schlussfolgerung Modell zum Abstimmen granite-3-8b-instruct granite-3-1-8b-base llama-3-1-8b-instruct llama-3-1-8b
Unterstützte Modellarchitekturen für die Feinabstimmung von Modellen
Die Feinabstimmung zur Anpassung eines Basismodells an eine Aufgabe erfordert Versuch und Irrtum. Befolgen Sie diese Richtlinien, wenn Sie ein Gründungsmodell für die Feinabstimmung auswählen:
Das Modell wurde nicht umfassend feinabgestimmt; Basismodelle lassen sich leichter durch Feinabstimmung anpassen.
Sie können parametereffiziente Trainingsfeinabstimmung (PEFT) wie Low-Rank-Adaption ( LoRA ) auf Basismodelle mit den folgenden Architekturen anwenden:
- GraniteForCausalLM
- GraniteMoeForCausalLM
- LlamawithCausalLM
- GPTBigCodeForCausalLM
- LLaMA 3.1
- LLaMA 3
- Mixtral
Auswahl eines Fundamentmodells für das Tuning
Die folgenden Schritte helfen Ihnen bei der Auswahl des besten Stiftungsmodells für das Tuning:
Überlegen Sie, ob Maßnahmen ergriffen wurden, um die Daten, die zum Trainieren des Gründungsmodells verwendet wurden, zu kuratieren, um die Qualität der Ergebnisse des Gründungsmodells zu verbessern.
Lesen Sie weitere allgemeine Hinweise zur Auswahl eines Modells.
Weitere Informationen finden Sie unter Auswahl eines Stiftungsmodells.
Betrachten Sie die Kosten, die mit dem Basismodell verbunden sind, sowohl zur Zeit der Inferenz als auch zur Zeit der Abstimmung. Ein kleineres Modell, z. B. ein Modell mit 3 Milliarden Parametern, kostet weniger zu optimieren und ist ein guter Ausgangspunkt.
Die Optimierung führt zu Verbrauchskosten für Rechenressourcen, die in Kapazitätseinheitenstunden (CUH) gemessen werden. Je größer das Modell ist, desto länger dauert die Optimierung des Modells. Bei einem viermal so großen Stiftungsmodell dauert die Abstimmung viermal so lange.
Bei einem Datensatz mit 10.000 Beispielen, der 1.25 MB groß ist, dauert es beispielsweise 3 Stunden und 25 Minuten, um das Modell von flan-t5-xl-3b abzustimmen.
Weitere Informationen zu den CUH-Kosten finden Sie unter watsonx.ai Laufzeitpläne und Rechnernutzung.
Experimentieren Sie mit den Modellen in der Prompt Lab.
Verwenden Sie die größte Version (d. h. die Version mit den meisten Parametern) des Modells in derselben Modellfamilie zu Testzwecken. Durch Tests mit einem größeren, leistungsfähigeren Modell können Sie das beste Eingabeaufforderungsmuster zum Abrufen der gewünschten Ausgabe erstellen. Anschließend können Sie eine kleinere Version desselben Modelltyps optimieren, um Kosten zu sparen. Eine durch Eingabeaufforderung optimierte Version eines kleineren Modells kann ähnliche, wenn nicht bessere Ergebnisse generieren und weniger Kosten für die Inferenz verursachen.
Basteln und probieren Sie die Aufforderungen aus, bis Sie das Eingabemuster gefunden haben, das die besten Ergebnisse des großen Fundamentmodells liefert.
Weitere Informationen finden Sie unter Prompt Lab.
Übergeordnetes Thema: Abstimmung von Gründungsmodellen