Tuning Studio

Vorbereitende Schritte

Copy link to section

In der Regel ist die Tuning Studio für ein Projekt verfügbar, das automatisch für Sie erstellt wird, wenn Sie sich für watsonx.ai anmelden. Das Projekt heißt "Sandbox" und kann verwendet werden, um mit dem Testen und Anpassen von Foundation-Modellen zu beginnen.

Wenn Sie kein Projekt haben, erstellen Sie eines. Erweitern Sie im Hauptmenü den Eintrag "Projekte " und klicken Sie dann auf "Alle Projekte ".

1. Klicken Sie auf Neues Projekt.

2. Geben Sie dem Projekt einen Namen und fügen Sie optional eine Beschreibung hinzu.

   Weitere Informationen zu Projektoptionen, wie z. B. Berichterstellung oder Protokollierung, finden Sie unter "Ein Projekt erstellen ".

3. Klicken Sie auf Erstellen.

Treffen Sie Entscheidungen über die folgenden Tuning-Optionen:

• Finden Sie das Fundamentmodell, das am besten zu Ihrem Anwendungsfall passt. Siehe "Auswahl eines Fundamentmodells zum Abstimmen ".
• Erstellen Sie eine Reihe von Beispielaufforderungen, die dem Muster folgen, das basierend auf Ihrer Arbeit an der Entwicklung von Aufforderungen die besten Ergebnisse erzielt. Siehe Datenformate.

Ein Fundamentmodell abstimmen

Copy link to section

Wählen Sie auf der Startseite von watsonx.ai Ihr Projekt aus und klicken Sie dann auf "Neues Asset" > "Ein Fundamentmodell mit beschrifteten Daten abstimmen ".

1. Nennen Sie das Tuning-Experiment.

2. Optional : Fügen Sie eine Beschreibung und Tags hinzu. Fügen Sie eine Beschreibung hinzu, um sich selbst daran zu erinnern und um Mitarbeitern zu helfen, das Ziel des abgestimmten Modells zu verstehen. Durch das Zuweisen eines Tags können Sie Ihre Tuning-Assets später filtern, um nur die mit einem Tag verknüpften Assets anzuzeigen.

3. Klicken Sie auf Erstellen.

4. Klicken Sie auf "Stiftungsmodell auswählen ", um das Stiftungsmodell auszuwählen, das Sie abstimmen möchten.

   Klicken Sie auf eine Kachel, um eine Modellkarte mit Details zum Modell der Stiftung anzuzeigen. Wenn Sie das Fundamentmodell gefunden haben, das Sie verwenden möchten, klicken Sie auf "Auswählen ".

   Weitere Informationen finden Sie unter "Auswahl eines zu optimierenden Stiftungsmodells ".

5. Wählen Sie aus den folgenden Optionen aus, wie die Eingabeaufforderung initialisiert werden soll:

   Text

   Verwendet den von Ihnen angegebenen Text.

   Beliebig

   Verwendet Werte, die im Rahmen des Tuning-Experiments für Sie generiert wurden.

   Diese Optionen stehen im Zusammenhang mit der Methode der schnellen Abstimmung für Abstimmungsmodelle. Weitere Informationen darüber, wie sich die einzelnen Optionen auf das Tuning-Experiment auswirken, finden Sie unter "So funktioniert das Prompt-Tuning ".

6. Nur für die Initialisierungsmethode "Text" erforderlich : Fügen Sie den Initialisierungstext hinzu, den Sie in die Eingabeaufforderung einfügen möchten.

   • Bei einer Klassifizierungsaufgabe geben Sie eine Anweisung, die beschreibt, was Sie klassifizieren möchten, und die zu verwendenden Klassenbezeichnungen auflistet. Zum Beispiel: Ordnen Sie die Stimmung jedes Kommentars als positiv oder negativ ein.
   • Beschreiben Sie für eine generative Aufgabe, was das Modell als Ausgabe bereitstellen soll. Zum Beispiel: Argumentieren Sie dafür, dass Mitarbeiter an einigen Tagen in der Woche von zu Hause aus arbeiten dürfen.
   • Für eine Zusammenfassungsaufgabe geben Sie eine Anweisung wie z. B. "Fassen Sie die Hauptpunkte aus einem Sitzungsprotokoll zusammen ".

7. Wählen Sie eine Aufgabenart aus.

   Wählen Sie die Aufgabe aus, die am ehesten dem entspricht, was das Modell tun soll:

   Klassifizierung

   Prognostiziert kategorische Labels anhand von Merkmalen. Angenommen, Sie haben eine Reihe von Kundenkommentaren, dann können Sie jede Aussage als Frage oder Problem kennzeichnen. Durch die Trennung von Kundenproblemen können Sie diese schneller finden und beheben. Dieser Aufgabentyp behandelt die Klassifizierung einzelner Etiketten.

   Generierung

   Erzeugt Text. Zum Beispiel, schreibt eine Werbe-E-Mail.

   Zusammenfassung

   Erzeugt Text, der die Hauptideen beschreibt, die in einem Textkörper ausgedrückt werden. Zum Beispiel fasst eine Forschungsarbeit zusammen.

   Unabhängig davon, für welche Aufgabe Sie sich entscheiden, wird der Input während des Experiments als generativer Anfragetyp an das zugrunde liegende Fundamentmodell übermittelt. Bei Klassifizierungsaufgaben werden Klassennamen in den Eingabeaufforderungen berücksichtigt, die zur Abstimmung des Modells verwendet werden. Da sich Modelle und Tuning-Methoden weiterentwickeln, werden wahrscheinlich aufgabenspezifische Verbesserungen hinzugefügt, die Sie nutzen können, wenn Aufgaben genau dargestellt werden.

8. Nur für Klassifizierungsaufgaben erforderlich : Fügen Sie im Feld "Klassifizierungsausgabe" die Klassenbezeichnungen hinzu, die das Modell nacheinander verwenden soll.

   Wichtig : Geben Sie die gleichen Bezeichnungen an, die in Ihren Trainingsdaten verwendet werden.

   Während des Tuning-Experiments werden zusammen mit den Eingabebeispielen aus den Trainingsdaten Informationen zur Klassenbezeichnung übermittelt.

9. Fügen Sie die Trainingsdaten hinzu, die zur Abstimmung des Modells verwendet werden. Sie können eine Datei hochladen oder ein Element aus Ihrem Projekt verwenden.

   Um Beispiele für die Formatierung Ihrer Datei zu sehen, erweitern Sie "Wie sollten Ihre Daten aussehen?" und dann auf "Vorschau der Vorlage " klicken. Sie können eine der Datenvorlagen kopieren oder herunterladen, um sie mit Ihren eigenen Daten zu füllen.

   Weitere Informationen finden Sie unter "Datenformate ".

10. Optional : Wenn Sie die Größe der Eingabe- oder Ausgabebeispiele, die während des Trainings verwendet werden, begrenzen möchten, passen Sie die maximale Anzahl der zulässigen Token an.

    Erweitern Wie sollten Ihre Daten aussehen? und scrollen Sie dann, um die Felder "Maximale Eingabe-Token" und "Maximale Ausgabe-Token" zu sehen. Ziehen Sie die Schieberegler, um die Werte zu ändern. Durch die Begrenzung der Größe kann die Zeit für die Durchführung des Abstimmungsexperiments verkürzt werden. Weitere Informationen finden Sie unter "Anzahl der verwendeten Token steuern ".

11. Optional : Klicken Sie auf "Parameter konfigurieren ", um die Parameter zu bearbeiten, die für das Tuning-Experiment verwendet werden.

    Der Abstimmungslauf wird mit Parameterwerten konfiguriert, die einen guten Ausgangspunkt für die Abstimmung eines Modells darstellen. Sie können sie anpassen, wenn Sie möchten.

    Weitere Informationen zu den verfügbaren Parametern und ihrer Funktion finden Sie unter "Tuning-Parameter ".

    Nachdem Sie die Parameterwerte geändert haben, klicken Sie auf "Speichern ".

12. Klicken Sie auf "Start tuning ".

Das Tuning-Experiment beginnt. Je nach Umfang Ihrer Trainingsdaten und der Verfügbarkeit von Rechenressourcen kann dies einige Minuten bis zu einigen Stunden dauern. Wenn das Experiment abgeschlossen ist, wird der Status als "abgeschlossen" angezeigt.

Ein abgestimmtes Modell-Asset wird erst erstellt, nachdem Sie eine Bereitstellung aus einem abgeschlossenen Abstimmungsversuch erstellt haben. Weitere Informationen finden Sie unter "Bereitstellen eines optimierten Modells ".

Kontrolle der Anzahl der verwendeten Token

Copy link to section

Bei Modellen für natürliche Sprache werden Wörter in Token umgewandelt. 256 Token entsprechen etwa 130–170 Wörtern. 128 Zeichen entsprechen etwa 65–85 Wörtern. Die Anzahl der Token ist jedoch schwer abzuschätzen und kann je nach Modell variieren. Weitere Informationen finden Sie unter "Tokens und Tokenisierung ".

Sie können die Anzahl der Token ändern, die während eines Experiments zur Abstimmung von Eingabeaufforderungen im Modell zulässig sind.

Je größer die Anzahl der zulässigen Eingabe- und Ausgabemarker ist, desto länger dauert die Abstimmung des Modells. Verwenden Sie in Ihren Beispielen die kleinstmögliche Anzahl an Token, die Ihren Anwendungsfall noch korrekt darstellen.

Sie haben bereits eine gewisse Kontrolle über die Eingabegröße. Der Eingabetext, der während eines Tuning-Experiments verwendet wird, stammt aus Ihren Trainingsdaten. Sie können also die Eingabegröße verwalten, indem Sie Ihre Beispieleingaben auf eine bestimmte Länge beschränken. Es kann jedoch vorkommen, dass Sie unkuratierte Trainingsdaten von einem anderen Team oder aus einem anderen Prozess erhalten. In diesem Fall können Sie den Schie beregler "Maximale Eingabetoken" verwenden, um die Eingabegröße zu verwalten. Wenn Sie den Parameter auf 200 setzen und die Trainingsdaten beispielsweise eine Beispieleingabe mit 1.000 Token enthalten, wird das Beispiel abgeschnitten. Nur die ersten 200 Token der Beispiel-Eingabe werden verwendet.

Der Wert der Max-Ausgabe-Token ist wichtig, da er die Anzahl der Token steuert, die das Modell während des Trainings als Ausgabe generieren darf. Sie können den Schieberegler verwenden, um die Ausgabegröße zu begrenzen, was dem Modell hilft, eine prägnante Ausgabe zu generieren.

Auswertung des Tuning-Experiments

Copy link to section

Nach Abschluss des Experiments wird ein Verlustfunktionsdiagramm angezeigt, das die Verbesserung der Modellausgabe im Laufe der Zeit veranschaulicht. Die Epochen werden auf der x-Achse und ein Maß für die Differenz zwischen vorhergesagten und tatsächlichen Ergebnissen pro Epoche auf der y-Achse dargestellt. Der pro Epoche angezeigte Wert wird aus dem durchschnittlichen Gradientenwert aller Akkumulationsschritte in der Epoche berechnet.

Weitere Informationen zur Auswertung der Ergebnisse finden Sie unter "Auswertung der Ergebnisse eines Tuning-Experiments ".

Wenn Sie mit den Ergebnissen des Abstimmungsexperiments zufrieden sind, setzen Sie das abgestimmte Fundamentmodell ein. Weitere Informationen finden Sie unter "Bereitstellen eines optimierten Modells ".

Wieder ein Tuning-Experiment durchführen

Copy link to section

Um ein Tuning-Experiment erneut durchzuführen, führen Sie die folgenden Schritte aus:

1. Filtern Sie auf der Seite "Assets" des Projekts Ihre Assets nach dem Asset-Typ "Tuning-Experimente ".
2. Suchen und öffnen Sie Ihr Tuning-Experiment-Asset und klicken Sie dann auf "Neues getuntes Modell ".

Die Verlustfunktion für das Tuning-Experiment wird im selben Diagramm mit den Verlustfunktionen aus vorherigen Durchläufen angezeigt, damit Sie sie vergleichen können.

Zusätzlich zum getunten Modell des Fundamentobjekts wird das Tuning-Experiment selbst als Objekt gespeichert. Wenn die Ergebnisse eines früheren Durchlaufs des Experiments besser sind als die eines späteren Durchlaufs, können Sie zum früheren Experimentdurchlauf zurückkehren und das resultierende Modell-Asset verwenden, um eine neue abgestimmte Modellbereitstellung zu erstellen.

Weitere Informationen

Copy link to section

• Projekt erstellen
• Einsatz eines abgestimmten Modells
• Schnellstart: Ein Grundmodell abstimmen
• Beispiel-Notebook: Optimieren Sie ein Modell zur Klassifizierung von CFPB-Dokumenten in watsonx
• Beispiel-Notebook: Prompte Abstimmung für Mehrklassenklassifizierung mit watsonx

Übergeordnetes Thema: Tuning-Modelle der Stiftung