Sie können freigegebene Eingabeaufforderungsvorlagen in Projekten auswerten, um die Leistung von Basismodellen zu messen, die nicht von IBMerstellt oder gehostet werden.
Wenn Sie freigegebene Eingabeaufforderungsvorlagen in Projekten auswerten, können Sie bewerten, wie effektiv Ihr externes Modell Antworten für die folgenden Tasktypen generiert:
- Textausfassung
- Textklassifizierung
- Beantwortung von Fragen
- Extrahieren von Entitäten
- Inhaltsgenerierung
- Retrieval Augmented Generation
Vorbereitende Schritte
Erforderliche Berechtigungen
Sie müssen über die folgenden Rollen verfügen, um Eingabeaufforderungsvorlagen auszuwerten: Rolle
Admin oder Rolle Editor in einem Projekt
Bevor Sie freigegebene Eingabeaufforderungsvorlagen in Ihrem Projekt auswerten, müssen Sie eine freigegebene Eingabeaufforderungsvorlage erstellen, die Ihr externes Modell mit watsonx.governanceverbindet. Sie müssen Variablen angeben und Verbindungsdetails wie den Namen Ihres externen Modells und die zugehörige URL angeben, wenn Sie die Vorlage für freigegebene Eingabeaufforderungen erstellen. Das folgende Beispiel zeigt, wie eine freigegebene Eingabeaufforderungsvorlage mit der API erstellt wird:
{
"name": "prompt name",
"description": "prompt description",
"model_version": {
"number": "2.0.0-rc.7",
"tag": "my prompt tag",
"description": "my description"
},
"prompt_variables": {
"var1": {},
"var2": {}
},
"task_ids": [
"retrieval_augmented_generation"
],
"input_mode": "detached",
"prompt": {
"model_id": "",
"input": [
[
"Some input",
""
]
],
"data": {},
"external_information": {
"external_prompt_id": "external prompt",
"external_model_id": "external model",
"external_model_provider": "external provider",
"external_prompt": {
"url": "https://asdfasdf.com?asd=a&32=1",
"additional_information": [
{
"additional_key": "additional settings"
}
]
},
"external_model": {
"name": "An external model",
"url": "https://asdfasdf.com?asd=a&32=1"
}
}
}
}
Auswertungen ausführen
Um freigegebene Eingabeaufforderungsvorlagenauswertungen in Ihrem Projekt auszuführen, können Sie eine gespeicherte freigegebene Eingabeaufforderungsvorlage auf der Registerkarte Assets öffnen und Auswerten auf der Registerkarte Auswertungen in watsonx.governance auswählen, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen. Sie können Bewertungen nur ausführen, wenn Ihnen die Rolle Administrator oder Editor für Ihr Projekt zugewiesen ist.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können die Dimensionen erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Zum Konfigurieren von Bewertungen mit unterschiedlichen Einstellungen können Sie Erweiterte Einstellungen auswählen, um Mindeststichprobengrößen und -schwellenwerte für jede Metrik festzulegen, wie im folgenden Beispiel gezeigt:
Testdaten auswählen
Sie müssen eine CSV-Datei hochladen, die Testdaten mit Referenzspalten enthält, die die Eingabe und die erwartete Modellausgabe enthalten. Die Testdaten, die Sie hochladen, müssen die Modellausgabe enthalten, um freigegebene Bereitstellungsbewertungen zu ermöglichen. Wenn der Upload abgeschlossen ist, müssen Sie auch Prompt-Variablen den zugehörigen Spalten aus Ihren Testdaten zuordnen. 
Prüfen und bewerten
Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung, die hochgeladenen Testdaten und den Typ der ausgeführten Auswertung überprüfen. Sie müssen Auswerten auswählen, um die Auswertung auszuführen.
Bewertungsergebnisse prüfen
Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Wenn Ihnen die Rolle Anzeigeberechtigter für Ihr Projekt zugewiesen wurde, können Sie Auswerten in der Assetliste auf der Registerkarte Assets auswählen, um die Auswertungsergebnisse anzuzeigen.
Zur Analyse der Ergebnisse können Sie auf den Pfeil 
neben der Auswertung Ihrer Eingabeaufforderungsvorlage klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsauswertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus
- Alle Bewertungen: Zeigen Sie einen Verlauf Ihrer Bewertungen an, um zu verstehen, wie sich Ihre Ergebnisse im Laufe der Zeit ändern.
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen: Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Nächste Schritte
Sie können Ihre Eingabeaufforderungsvorlagen in Bereitstellungsbereiche hochstufen, um freigegebene Eingabeaufforderungsvorlagen in Bereichen auszuwerten , um Einblicke in die Modellleistung während des gesamten KI-Lebenszyklus zu gewinnen.
Weitere Informationen
Wenn Sie den losgelösten Einsatz in einem KI-Anwendungsfall verfolgen, werden Details über das Modell und die Bewertungsergebnisse in einem Factsheet festgehalten.