Feedbackdaten verwalten
Sie müssen in watsonx.governance Rückmeldedaten bereitstellen, damit Sie Qualitätsauswertungen konfigurieren und etwaige Änderungen an Ihren Modellvorhersagen feststellen können.
Wenn Sie Feedbackdaten bereitstellen, können Sie regelmäßig die Genauigkeit Ihrer Modellvorhersagen bewerten.
Feedbackprotokollierung
Die von Ihnen bereitgestellten Feedback-Daten werden als Datensätze in einer Feedback-Protokolltabelle gespeichert.
Die von Ihnen bereitgestellten Feedback-Daten müssen dieselbe Struktur von Merkmals- und Vorhersagespalten wie Ihre Trainingsdaten enthalten. Die Daten müssen auch das bekannte Modellergebnis enthalten. Alle Spalten in den von Ihnen bereitgestellten Feedbackdaten, die nicht in den Trainingsdaten enthalten sind, werden nicht verarbeitet.
Sie müssen Ihre Feedback-Daten in der Feedback-Protokollierungstabelle protokollieren, um Qualitäts- und generative KI-Qualitätsbewertungen zu konfigurieren. Die Feedbackprotokollierungstabelle enthält die folgenden Spalten, wenn Sie Eingabeaufforderungsvorlagen auswerten:
- Erforderliche Spalten:
- Eingabeaufforderungsvariable (n): Enthält die Werte für die Variablen, die für Eingabeaufforderungsschablonen erstellt werden.
reference_output: Enthält den Ground Truth-Wert
- Optionale Spalten:
_original_prediction: Enthält die Ausgabe, die vom foundation model erzeugt wird
Abgeleitete KI-Qualitätsbewertungen verwenden Feedbackdaten, um Ergebnisse für die folgenden Tasktypen zu generieren, wenn Sie Eingabeaufforderungsvorlagen auswerten:
- Textausfassung
- Inhaltsgenerierung
- Beantwortung von Fragen
- Extrahieren von Entitäten
Qualitätsbewertungen verwenden Feedbackdaten zum Generieren von Ergebnissen für Textklassifizierungsaufgaben.
Rückmeldedaten hochladen
Sie können einen Endpunkt für die Feedbackprotokollierung verwenden, um Daten für Qualitätsbewertungen hochzuladen. Sie können Feedbackdaten auch mit einer CSV-Datei hochladen. Weitere Informationen finden Sie unter Modelltransaktionen senden.
Für Vorproduktionsmodelle können Sie eine Verbindung zu einer CSV-Datei mit Feedbackdaten herstellen, die in Cloud Object Storage oder Db2 gespeichert sind. Weitere Informationen finden Sie unter Auswertungsergebnisse überprüfen.
Übergeordnetes Thema: Daten für Modellevaluierungen in Watson OpenScale