Sie können eine freigegebene Implementierung erstellen, um Eingabeaufforderungsvorlagen für Basismodelle auszuwerten, die nicht von IBMerstellt oder gehostet werden.
Um externe Basismodelle in watsonx.governanceauszuwerten, können Sie eine freigegebene Bereitstellung in einem Bereitstellungsbereich erstellen, um eine Verbindung zu Ihrer externen Eingabeaufforderungsvorlage herzustellen. Wenn Sie eine Bereitstellung mit aufgehobener Zuordnung auswerten, können Sie messen, wie effektiv Ihr externes Modell Antworten für die folgenden Tasktypen generiert:
- Textausfassung
- Textklassifizierung
- Beantwortung von Fragen
- Extrahieren von Entitäten
- Inhaltsgenerierung
- Retrieval augmented generation (RAG)
Vorbereitende Schritte
Erforderliche Berechtigungen
Sie müssen über die Rolle Administrator oder Editor verfügen, um freigegebene Bereitstellungen in einem Bereitstellungsbereich auszuwerten.
In Ihrem Projekt können Sie eine freigegebene Eingabeaufforderungsvorlage erstellen und auswerten und eine freigegebene Eingabeaufforderungsvorlage in einen Bereitstellungsbereich hochstufen.
Wenn Sie eine freigegebene Eingabeaufforderungsschablone nicht in einen Bereitstellungsbereich hochstufen, müssen Sie eine freigegebene Eingabeaufforderungsschablone erstellen, die Ihr externes Modell mit watsonx.governance verbindet, bevor Sie freigegebene Eingabeaufforderungsschablonen in Bereichen auswerten. Sie müssen Verbindungsdetails wie den Namen Ihres externen Modells und dessen URL angeben, wenn Sie die freigegebene Eingabeaufforderungsvorlage erstellen. Das folgende Beispiel zeigt, wie eine freigegebene Eingabeaufforderungsvorlage mit der API erstellt wird:
{
"name": "prompt name",
"description": "prompt description",
"model_version": {
"number": "2.0.0-rc.7",
"tag": "my prompt tag",
"description": "my description"
},
"prompt_variables": {
"var1": {},
"var2": {}
},
"task_ids": [
"retrieval_augmented_generation"
],
"input_mode": "detached",
"prompt": {
"model_id": "",
"input": [
[
"Some input",
""
]
],
"data": {},
"external_information": {
"external_prompt_id": "external prompt",
"external_model_id": "external model",
"external_model_provider": "external provider",
"external_prompt": {
"url": "https://asdfasdf.com?asd=a&32=1",
"additional_information": [
{
"additional_key": "additional settings"
}
]
},
"external_model": {
"name": "An external model",
"url": "https://asdfasdf.com?asd=a&32=1"
}
}
}
}
Bereitstellung mit aufgehobener Zuordnung aus einem Bereich erstellen
Wenn Sie eine freigegebene Eingabeaufforderungsvorlage nicht aus Ihrem Projekt in den Bereitstellungsbereich hochstufen, müssen Sie eine freigegebene Bereitstellung aus einem Bereich erstellen. Sie können die folgenden Schritte ausführen, um eine freigegebene Bereitstellung aus einem Bereitstellungsbereich zu erstellen:
Nachdem Sie die Eingabeaufforderungsvorlage erstellt haben, speichern Sie sie unter Angabe der Bereichs-ID in einem Bereitstellungsbereich.
{ "prompt_template": { "id": "<PT ID>" }, "detached": {}, "base_model_id": "abcabc", "description": "Prompt template deployment description", "name": "Prompt template deployment name", "space_id": "<Space ID>" }Klicken Sie auf der Registerkarte Assets des Bereitstellungsbereichs für die freigegebene Eingabeaufforderungsvorlage auf Neue Bereitstellung .
Wählen Sie Abgehängt als Implementierungstyp aus.
Geben Sie einen Namen und eine optionale Beschreibung für die Implementierung an.
Wenn Sie die freigegebene Eingabeaufforderungsvorlage in einem KI-Anwendungsfall verfolgen, wird die freigegebene Bereitstellung zum Anwendungsfall hinzugefügt.
Bereitstellung mit aufgehobener Zuordnung in einem Bereich auswerten
In den folgenden Abschnitten wird beschrieben, wie Sie freigegebene Bereitstellungen in Bereichen bewerten und Ihre Bewertungsergebnisse überprüfen können.
Freigegebene Bereitstellungen in Vorproduktionsbereichen auswerten
Evaluierung ausführen
Um Auswertungen von Eingabeaufforderungsvorlagen auszuführen, können Sie auf der Registerkarte Auswertungen auf Auswerten klicken, wenn Sie eine Bereitstellung öffnen, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen. Sie können Bewertungen nur ausführen, wenn Ihnen die Rolle Administrator oder Bearbeiter für Ihren Bereitstellungsbereich zugewiesen ist.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können die Dimensionen erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Zum Konfigurieren von Bewertungen mit unterschiedlichen Einstellungen können Sie Erweiterte Einstellungen auswählen, um Mindeststichprobengrößen und -schwellenwerte für jede Metrik festzulegen, wie im folgenden Beispiel gezeigt:
Testdaten auswählen
Sie müssen eine CSV-Datei hochladen, die Testdaten mit Referenzspalten enthält, die die Eingabe und die erwartete Modellausgabe enthalten. Die Testdaten, die Sie hochladen, müssen die Modellausgabe enthalten, um freigegebene Bereitstellungsbewertungen zu ermöglichen. Wenn der Upload abgeschlossen ist, müssen Sie auch Prompt-Variablen den zugehörigen Spalten aus Ihren Testdaten zuordnen. 
Prüfen und bewerten
Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung, die hochgeladenen Testdaten und den Typ der ausgeführten Auswertung überprüfen. Sie müssen Auswerten auswählen, um die Auswertung auszuführen.
Bewertungsergebnisse prüfen
Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Zur Analyse der Ergebnisse können Sie auf den Pfeil 
neben der Auswertung Ihrer Eingabeaufforderungsvorlage klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsauswertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus
- Alle Bewertungen: Zeigen Sie einen Verlauf Ihrer Bewertungen an, um zu verstehen, wie sich Ihre Ergebnisse im Laufe der Zeit ändern.
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen: Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Freigegebene Bereitstellungen in Produktionsbereichen auswerten
Auswertung aktivieren
Zum Ausführen von Auswertungen von Eingabeaufforderungsvorlagen können Sie auf der Registerkarte Bewertungen auf Aktivieren klicken, wenn Sie eine Bereitstellung öffnen, um den Assistenten Eingabeaufforderungsvorlage auswerten zu öffnen. Sie können Bewertungen nur ausführen, wenn Ihnen die Rolle Administrator oder Bearbeiter für Ihren Bereitstellungsbereich zugewiesen ist.
Wenn Sie keine watsonx.governance -Instanz haben, die Ihrem Bereitstellungsbereich zugeordnet ist, müssen Sie Serviceinstanz zuordnen im Dialogfenster Serviceinstanz zuordnen auswählen, damit Sie Auswertungen ausführen können. Im Fenster Instanz für Auswertung zuordnen müssen Sie die Instanz watsonx.governance auswählen, die Sie verwenden möchten, und Serviceinstanz zuordnen auswählen, um Ihrem Bereitstellungsbereich eine Instanz zuzuordnen. Sie müssen über die Rolle Administrator für Ihren Bereitstellungsbereich verfügen, um Instanzen zuzuordnen.
Wenn Sie über keine Datenbank verfügen, die Ihrer watsonx.governance -Instanz zugeordnet ist, müssen Sie auch eine Datenbank zuordnen, bevor Sie Auswertungen ausführen können. Um eine Datenbank zuzuordnen, müssen Sie auch im Dialogfenster Datenbank erforderlich auf Datenbank zuordnen klicken, um eine Verbindung zu einer Datenbank herzustellen. Sie müssen über die Rolle Administrator für Ihren Bereitstellungsbereich und die watsonx.governance -Instanz verfügen, um Datenbanken zuordnen zu können.
Dimensionen auswählen
Der Assistent Eingabeaufforderungsvorlage auswerten zeigt die Dimensionen an, die für die Auswertung des Tasktyps verfügbar sind, der Ihrer Eingabeaufforderung zugeordnet ist. Sie können einen Beschriftungsspaltennamen für die Referenzausgabe angeben, die Sie in Ihren Feedbackdaten angeben. Sie können die Dimensionen auch erweitern, um die Liste der Metriken anzuzeigen, die zum Auswerten der ausgewählten Dimensionen verwendet werden.
Watsonx.governance konfiguriert automatisch Auswertungen für jede Dimension mit Standardeinstellungen. Zum Konfigurieren von Bewertungen mit unterschiedlichen Einstellungen können Sie Erweiterte Einstellungen auswählen, um Mindeststichprobengrößen und -schwellenwerte für jede Metrik festzulegen, wie im folgenden Beispiel gezeigt:
Prüfen und bewerten
Sie können die Auswahl für den Aufgabentyp der Eingabeaufforderung und den Typ der ausgeführten Auswertung überprüfen. Sie können auch Nutzdatenschema anzeigen oder Feedbackschema anzeigen auswählen, um zu überprüfen, ob Ihre Spaltennamen mit den Namen der Eingabeaufforderungsvariablen in der Eingabeaufforderungsvorlage übereinstimmen. Sie müssen Aktivieren auswählen, um die Auswertung auszuführen.
Zum Generieren von Auswertungsergebnissen wählen Sie Jetzt auswerten im Menü Aktionen aus, um das Fenster Testdaten importieren zu öffnen, wenn die Übersichtsseite für die Auswertung angezeigt wird.
Testdaten importieren
Im Fenster Testdaten importieren können Sie Nutzdaten hochladen oder Feedbackdaten hochladen auswählen, um eine CSV-Datei hochzuladen, die beschriftete Spalten enthält, die den Spalten in Ihren Nutzdaten-und Feedbackschemas entsprechen.
Bewertungsergebnisse prüfen
Wenn Ihre Bewertung abgeschlossen ist, können Sie auf der Registerkarte Bewertungen in watsonx.governance eine Zusammenfassung Ihrer Auswertungsergebnisse prüfen, um Einblicke in Ihre Modellleistung zu erhalten. Die Zusammenfassung bietet einen Überblick über Metrikbewertungen und Verstöße gegen Standardbewertungsschwellenwerte für Ihre Eingabeaufforderungsvorlagenauswertungen.
Zur Analyse der Ergebnisse können Sie auf den Pfeil neben der Auswertung Ihrer Eingabeaufforderungsvorlage klicken, um Datenvisualisierungen Ihrer Ergebnisse im Zeitverlauf anzuzeigen. Sie können auch Ergebnisse der Modellzustandsauswertung analysieren, die standardmäßig während der Auswertungen von Eingabeaufforderungsvorlagen ausgeführt wird, um zu verstehen, wie effizient Ihr Modell Ihre Daten verarbeitet.
Das Menü Aktionen enthält außerdem die folgenden Optionen, die Sie bei der Ergebnisanalyse unterstützen:
- Jetzt auswerten: Führen Sie die Auswertung mit einem anderen Testdataset aus
- Überwachungen konfigurieren: Konfigurieren Sie Bewertungsschwellenwerte und Stichprobenumfänge.
- Modellinformationen anzeigen: Zeigen Sie Details zu Ihrem Modell an, um zu verstehen, wie Ihre Implementierungsumgebung eingerichtet ist.
Wenn Sie den losgelösten Einsatz in einem KI-Anwendungsfall verfolgen, werden Details über das Modell und die Bewertungsergebnisse in einem Factsheet festgehalten, das Sie einsehen können.