Sie können Prompt-Templates in Deployment Spaces mit dem watsonx.governance auswerten, um die Leistung von foundation model zu messen und zu verstehen, wie Ihr Modell Antworten erzeugt.
Mit watsonx.governancekönnen Sie Eingabeaufforderungsvorlagen in Bereitstellungsbereichen auswerten, um zu messen, wie effektiv Ihre Basismodelle Antworten für die folgenden Tasktypen generieren:
- Klassifikation
- Zusammenfassung
- Generierung
- Beantwortung von Fragen
- Extrahieren von Entitäten
- Abruf-Erweiterte Generierung
Eingabeaufforderungsvorlagen sind gespeicherte Eingabeaufforderungseingaben für Basismodelle. Sie können Bereitstellungen von Eingabeaufforderungsvorlagen in Vorproduktions-und Produktionsbereichen auswerten.
Sie können Prompt-Vorlagen auswerten, um die Leistung von benutzerdefiniertenBringYourOwnModel) oder abgestimmten Basismodellen zu messen.
Vorbereitende Schritte
Erforderliche Berechtigungen
Sie müssen über die folgenden Rollen verfügen, um Eingabeaufforderungsvorlagen auszuwerten: Rolle
Admin oder Editor in einem Bereitstellungsbereich
In Ihrem Projekt müssen Sie auch eine Prompt-Vorlage erstellen und speichern und eine Prompt-Vorlage in einen Bereitstellungsbereich verschieben. Sie müssen mindestens eine Variable angeben, wenn Sie Eingabeaufforderungsvorlagen erstellen, um Auswertungen zu aktivieren.
Bereitstellen von Prompt-Vorlagen für benutzerdefinierte oder abgestimmte Modelle
Sie können Prompt-Vorlagen auswerten, um die Leistung zu messen, wenn Sie benutzerdefinierte oder angepasste Basismodelle einsetzen. Wenn Sie diese Modelle einsetzen, können Sie die Eingabeaufforderungsvorlagen an andere Stellen verschieben. Weitere Informationen finden Sie unter Programmgesteuertes Bereitstellen einer Prompt-Vorlage.
In den folgenden Abschnitten wird beschrieben, wie Sie Eingabeaufforderungsvorlagen in Bereitstellungsbereichen auswerten und Ihre Auswertungsergebnisse überprüfen können.
Eingabeaufforderungsvorlagen in Vorproduktionsbereichen auswerten
Evaluierung ausführen
Um Auswertungen von Eingabeaufforderungsvorlagen auszuführen, können Sie auf der Registerkarte Auswertungen auf Auswerten klicken, wenn Sie eine Bereitstellung öffnen, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen. Sie können Bewertungen nur ausführen, wenn Ihnen die Rolle Administrator oder Editor für Ihren Bereitstellungsbereich zugewiesen ist.
Wenn Sie über keine Datenbank verfügen, die Ihrer watsonx.governance -Instanz zugeordnet ist, müssen Sie auch eine Datenbank zuordnen, bevor Sie Auswertungen ausführen können. Um eine Datenbank zuzuordnen, müssen Sie auch im Dialogfenster Datenbank erforderlich auf Datenbank zuordnen klicken, um eine Verbindung zu einer Datenbank herzustellen. Sie müssen über die Rolle Administrator für Ihren Bereitstellungsbereich und die watsonx.governance -Instanz verfügen, um Datenbanken zuordnen zu können.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können die Dimensionen erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Um Auswertungen mit verschiedenen Einstellungen zu konfigurieren, können Sie Erweiterte Einstellungen wählen, um Stichprobengrößen festzulegen und die Metriken auszuwählen, die Sie zur Auswertung Ihrer Prompt-Vorlage verwenden möchten:
Sie können auch Schwellenwerte für jede Metrik festlegen, die Sie für Ihre Auswertungen auswählen:
Testdaten auswählen
Um Testdaten auszuwählen, können Sie eine CSV-Datei hochladen oder ein Asset aus Ihrem Bereitstellungsbereich auswählen. Die von Ihnen ausgewählten Testdaten müssen Referenzspalten und Spalten für jede Prompt-Variable enthalten.
Variablen zuordnen
Sie müssen Prompt-Variablen den zugehörigen Spalten aus Ihren Testdaten zuordnen.
Prüfen und bewerten
Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung, die hochgeladenen Testdaten und den Typ der ausgeführten Auswertung überprüfen. Sie müssen Auswerten auswählen, um die Auswertung auszuführen.
Bewertungsergebnisse prüfen
Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Um die Ergebnisse zu analysieren, können Sie auf den Pfeil 
neben der Auswertung Ihrer Eingabeaufforderung klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsbewertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus.
- Alle Bewertungen: Zeigen Sie ein Protokoll Ihrer Bewertungen an, um zu verstehen, wie sich Ihre Ergebnisse im Laufe der Zeit ändern.
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen:Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Wenn Sie Ihre Eingabeaufforderungsvorlagen verfolgen, können Sie die Auswertungsergebnisse überprüfen, um Einblicke in Ihre Modellleistung während des gesamten KI-Lebenszyklus zu gewinnen.
Eingabeaufforderungsvorlagen in Produktionsbereichen auswerten
Auswertung aktivieren
Zum Ausführen von Auswertungen von Eingabeaufforderungsvorlagen können Sie auf der Registerkarte Bewertungen auf Aktivieren klicken, wenn Sie eine Implementierung öffnen, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen.
Wenn Sie keine watsonx.governance -Instanz haben, die Ihrem Bereitstellungsbereich zugeordnet ist, müssen Sie Serviceinstanz zuordnen im Dialogfenster Serviceinstanz zuordnen auswählen, damit Sie Auswertungen ausführen können. Im Fenster Instanz für Auswertung zuordnen müssen Sie die Instanz watsonx.governance auswählen, die Sie verwenden möchten, und Serviceinstanz zuordnen auswählen, um Ihrem Bereitstellungsbereich eine Instanz zuzuordnen. Sie müssen über die Rolle Administrator für Ihren Bereitstellungsbereich verfügen, um Instanzen zuzuordnen.
Wenn Sie über keine Datenbank verfügen, die Ihrer watsonx.governance -Instanz zugeordnet ist, müssen Sie auch eine Datenbank zuordnen, bevor Sie Auswertungen ausführen können. Um eine Datenbank zuzuordnen, müssen Sie auch im Dialogfenster Datenbank erforderlich auf Datenbank zuordnen klicken, um eine Verbindung zu einer Datenbank herzustellen. Sie müssen über die Rolle Administrator für Ihren Bereitstellungsbereich und die watsonx.governance -Instanz verfügen, um Datenbanken zuordnen zu können.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können einen Beschriftungsspaltennamen für die Referenzausgabe angeben, die Sie in Ihren Rückmeldedaten angeben. Sie können die Dimensionen auch erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Um Auswertungen mit verschiedenen Einstellungen zu konfigurieren, können Sie Erweiterte Einstellungen wählen, um Stichprobengrößen festzulegen und die Metriken auszuwählen, die Sie zur Auswertung Ihrer Prompt-Vorlage verwenden möchten:
Sie können auch Schwellenwerte für jede Metrik festlegen, die Sie für Ihre Auswertungen auswählen:
Prüfen und bewerten
Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung und den Typ der ausgeführten Auswertung überprüfen. Sie können auch Nutzdatenschema anzeigen oder Feedbackschema anzeigen auswählen, um zu überprüfen, ob Ihre Spaltennamen mit den Namen der Eingabeaufforderungsvariablen in der Eingabeaufforderungsvorlage übereinstimmen. Sie müssen Aktivieren auswählen, um die Auswertung auszuführen.
Zum Generieren von Auswertungsergebnissen wählen Sie Jetzt auswerten im Menü Aktionen aus, um das Fenster Testdaten importieren zu öffnen, wenn die Übersichtsseite der Auswertung angezeigt wird.
Testdaten importieren
Im Fenster Testdaten importieren können Sie Nutzdaten hochladen oder Feedbackdaten hochladen auswählen, um eine CSV-Datei hochzuladen, die beschriftete Spalten enthält, die den Spalten in Ihren Nutzdaten-und Feedbackschemas entsprechen.
Wenn Ihr Upload erfolgreich abgeschlossen wurde, können Sie Jetzt auswerten auswählen, um Ihre Auswertung auszuführen.
Bewertungsergebnisse prüfen
Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Um die Ergebnisse zu analysieren, können Sie auf den Pfeil neben der Auswertung Ihrer Eingabeaufforderung klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsbewertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus.
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen:Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Wenn Sie Ihre Prompt-Vorlagen nachverfolgen, können Sie die Bewertungsergebnisse überprüfen, um Einblicke in die Leistung Ihres Modells während des gesamten KI-Lebenszyklus zu erhalten.