Sie können Modelltransaktionen analysieren, um zu verstehen, wie Ihr Modell Ergebnisse vorhersagt. Sie können beispielsweise die vorhergesagten verzerrten Ergebnisse in Nutzdatentransaktionen überprüfen oder einen Rückgang der Genauigkeit analysieren, um ein besseres Verständnis der Leistung Ihrer Implementierung zu erhalten.
Die folgenden verschiedenen Methoden sollen Sie bei der Analyse Ihrer Modelltransaktionen unterstützen:
Nutzlasttransaktionen prüfen
Wenn Sie die Ergebnisse von Fairness-Bewertungen überprüfen, können Sie die Option Nutzlasttransaktionen anzeigen auswählen, um eine Liste aller Modelltransaktionen anzuzeigen, die zur Vorhersage aller verzerrten Ergebnisse für jedes überwachte Attribut verarbeitet werden.
Drifttransaktionen überprüfen
Wenn Sie Ergebnisse von Driftauswertungen prüfen, können Sie auf den Link Anzahl der Transaktionen in der Kachel 'Transaktionszusammenfassung' klicken, um die Transaktionen anzuzeigen, die für die Drift verantwortlich sind. Auf der Seite Transaktionen werden Gründe für den Rückgang der Genauigkeit oder Datenkonsistenz angegeben und eine Empfehlung zur Korrektur der Drift Ihres Modells bereitgestellt.
Überprüfung von generativen AI-Qualitätstransaktionen
Wenn Sie die Ergebnisse generativer KI-Qualitätsauswertungen überprüfen, können Sie in den Datenvisualisierungen für die Metrikbewertungen ein Ereignis auswählen, um eine Tabelle der Transaktionen anzuzeigen. Sie können einen Balken im Diagramm der Punkteverteilung auswählen, um den Bereich der in der Tabelle angezeigten Transaktionen zu filtern.
Um die Ergebnisse für RAG-Aufgaben zu überprüfen, können Sie Ereignisse in den Datenvisualisierungen für Antwort- und Abrufqualitätsmetriken auswählen, um ein Venn-Diagramm anzuzeigen, das Sie bei der Analyse von Transaktionen auf Schwellenwertverletzungen unterstützt. Sie können Bereiche im Venn-Diagramm auswählen, um eine Tabelle mit den Transaktionen anzuzeigen, die den Ergebnissen der Metrik entsprechen, die Sie auf Schwellenwertverletzungen überprüfen möchten. Sie können die Aktion Analysieren in der Transaktionstabelle auswählen, um die Quellenzuordnung für jede Transaktion anzuzeigen. Um Einblicke in die Ursachen von Schwellenwertüberschreitungen in Ihren Bewertungsergebnissen zu erhalten, können Sie auch die Option Ursachenanalyse anzeigen und die Option Empfohlene Maßnahmen anzeigen wählen, um zu verstehen, wie Sie die Leistung Ihres Modells verbessern können.
Leistung prüfen
Wenn Sie Bewertungsergebnisse prüfen, können Sie die Leistung überprüfen, um zu verstehen, wie Ihr Modell Scoring-Anforderungen verarbeitet. Leistungsbewertungen werden standardmäßig aktiviert, wenn Sie Implementierungen hinzufügen. Um die Leistung zu bewerten, wird die Gesamtzahl der Transaktionsdatensätze und die durchschnittliche Anzahl der Transaktionsdatensätze pro Minute, die Ihr Modell verarbeitet, berechnet.
Analyse überprüfen
Wenn Sie Auswertungsergebnisse überprüfen, können Sie das Diagramm Vorhersagen nach Konfidenz verwenden, um die Transaktionen zu analysieren, die an Ihre Bereitstellung in dem von Ihnen ausgewählten Datumsbereich gesendet werden, indem Sie Vorhersageklassen und Konfidenzverteilung in jeder Klasse überprüfen. Sie können auch die Diagrammerstellung verwenden, um benutzerdefinierte Visualisierungen zu erstellen, damit Sie Modellvorhersagen und -eingaben zur Laufzeit besser verstehen können.
Die Diagrammerstellung zeigt die Ausgabe der Modellvorhersage für die von Ihnen angegebenen Merkmale oder Datenbereiche an. Sie können die Diagrammerstellung beispielsweise verwenden, um die Aufteilung in vorhergesagte Klassen oder Konfidenzscores für verschiedene Bereiche eines Attributs anzuzeigen. Sie können auch die Transaktionen analysieren, die während eines Datenbereichs an Ihre Bereitstellung gesendet werden, indem Sie ein benutzerdefiniertes Diagramm erstellen und zwischen Funktionen, Vorhersageklassen und Konfidenz wählen.
Wenn Sie eine Transaktion auf der Seite Transaktionen überprüfen, können Sie sich Erklärungen anzeigen lassen, in denen erläutert wird, wie die Prognosen für jede Transaktion ermittelt wurden. Weitere Informationen finden Sie unter Modelltransaktionen erklären.
Wenn Ihre Daten einen Komponentennamen mit einem Punkt (.) enthalten, schlägt die Wiedergabe eines Diagramms mit dem folgenden Fehler fehl: Failed to get data
Weitere Informationen
Übergeordnetes Thema: Überprüfung von Modelleinsichten