Sie können Prompt-Vorlagen in Projekten mit watsonx.governance auswerten, um die Leistung von Aufgaben foundation model zu messen und zu verstehen, wie Ihr Modell Antworten erzeugt.
Mit watsonx.governancekönnen Sie Eingabeaufforderungsvorlagen in Projekten auswerten, um zu messen, wie effektiv Ihre Basismodelle Antworten für die folgenden Tasktypen generieren:
- Klassifikation
- Zusammenfassung
- Generierung
- Beantwortung von Fragen
- Extrahieren von Entitäten
- Abruf-Erweiterte Generierung
Vorbereitende Schritte
Sie müssen Zugriff auf ein Projekt haben, um Eingabeaufforderungsvorlagen auszuwerten. Weitere Informationen finden Sie unter watsonx.governance.
Zum Ausführen von Auswertungen müssen Sie sich anmelden und wechseln zu einem watsonx -Konto, auf dem watsonx.governance -und watsonx.ai -Instanzen installiert sind. Öffnen Sie anschließend ein Projekt. Ihnen muss die Rolle Administrator oder Bearbeiter für das Konto zugewiesen sein, um Projekte zu öffnen.
In Ihrem Projekt müssen Sie das Prompt Lab watsonx.ai verwenden, um eine Prompt-Vorlage zu erstellen und zu speichern. Sie müssen Variablen angeben, wenn Sie Eingabeaufforderungsvorlagen erstellen, um Auswertungen zu aktivieren. Der Abschnitt Try im Prompt Lab muss mindestens eine Variable enthalten.
Sehen Sie sich dieses Video an, um zu sehen, wie eine Eingabeaufforderungsvorlage in einem Projekt ausgewertet wird.
Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation.
In den folgenden Abschnitten wird beschrieben, wie Sie Eingabeaufforderungsvorlagen in Projekten auswerten und Ihre Bewertungsergebnisse überprüfen können.
Auswertungen ausführen
Zum Ausführen von Auswertungen von Eingabeaufforderungsvorlagen können Sie auf Auswerten klicken, wenn eine gespeicherte Eingabeaufforderungsvorlage auf der Registerkarte Assets in watsonx.governance geöffnet wird, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen. Sie können Bewertungen nur ausführen, wenn Ihnen die Rolle Administrator oder Editor für Ihr Projekt zugewiesen ist.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können die Dimensionen erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Um Auswertungen mit verschiedenen Einstellungen zu konfigurieren, können Sie Erweiterte Einstellungen wählen, um Stichprobengrößen festzulegen und die Metriken auszuwählen, die Sie zur Auswertung Ihrer Prompt-Vorlage verwenden möchten:
Sie können auch Schwellenwerte für jede Metrik festlegen, die Sie für Ihre Auswertungen auswählen:
Testdaten auswählen
Um Testdaten auszuwählen, können Sie eine CSV-Datei hochladen oder ein Asset aus Ihrem Projekt auswählen. Die von Ihnen ausgewählten Testdaten müssen Referenzspalten und Spalten für jede Prompt-Variable enthalten.
Variablen zuordnen
Sie müssen Prompt-Variablen den zugehörigen Spalten aus Ihren Testdaten zuordnen.
Prüfen und bewerten
Bevor Sie die Auswertung Ihrer Eingabeaufforderungsvorlage ausführen, können Sie die Auswahl für den Tasktyp der Eingabeaufforderung, die hochgeladenen Testdaten und den Typ der ausgeführten Auswertung überprüfen.
Bewertungsergebnisse prüfen
Nach Abschluss der Bewertung können Sie auf der Registerkarte Bewerten in watsonx.governance eine Zusammenfassung Ihrer Bewertungsergebnisse anzeigen, um Einblicke in die Leistung Ihres Modells zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Wenn Ihnen die Rolle Anzeigeberechtigter für Ihr Projekt zugewiesen wurde, können Sie Auswerten in der Assetliste auf der Registerkarte Assets auswählen, um die Auswertungsergebnisse anzuzeigen.
Um die Ergebnisse zu analysieren, können Sie auf den Pfeil 
neben der Auswertung Ihrer Eingabeaufforderung klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsbewertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus.
- Alle Bewertungen: Zeigen Sie ein Protokoll Ihrer Bewertungen an, um zu verstehen, wie sich Ihre Ergebnisse im Laufe der Zeit ändern.
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen:Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Wenn Sie Eingabeaufforderungsvorlagen verfolgen, können Sie die Bewertungsergebnisse überprüfen, um Einblicke in Ihre Modellleistung während des gesamten KI-Lebenszyklus zu gewinnen.
Übergeordnetes Thema: Bewertung von KI-Modellen.