Modellrisikomanagement
Es wird eine Modellrisikomanagementlösung mit Modellevaluierung angeboten, die die Ergebnisse von KI-Modellen über ihren gesamten Lebenszyklus hinweg misst und Modellvalidierungen durchführt, um Ihr Unternehmen bei der Einhaltung von Standards und Vorschriften zu unterstützen.
Analyse mit Watson OpenScale durchführen
Nach dem Einrichten und Aktivieren der Funktionen für Modellrisikomanagement können Sie die Beispielauswertungen anzeigen und vergleichen. Sie können den zusammenfassenden Modellbericht herunterladen, der alle Qualitätskennzahlen, Fairnesskennzahlen und das Ausmaß der Abweichung enthält.
Klicken Sie im Dashboard 'Erkenntnisse' auf die Kachel für Modellbereitstellung.
Klicken Sie im Menü Aktionen auf eine der folgenden Analyseoptionen:
- Alle Bewertungen: Auflistung aller laufenden und abgeschlossenen Bewertungen
- Vergleichen: Vergleichen Sie alle Modelle, insbesondere aber die Versionen desselben Modells, um die beste Leistung zu erzielen
- Bericht als PDF herunterladen: Erzeugt den Modellzusammenfassungsbericht, der alle Messwerte und die Erklärung für die jeweilige Bewertung enthält
Neues Modell in Watson OpenScale als Produktionsmodell bereitstellen
Stufen Sie das beste Modell zum Produktionsmodell hoch. Erstellen Sie einen Produktionsdatensatz durch Importieren aus einem Vorproduktionsmodell.
- Überprüfen Sie den Status der Modellbereitstellung.
- Kehren Sie zum Beispielnotebook zurück und führen Sie die Zellen aus, um das Modell in die Produktionsumgebung zu übernehmen.
- Sie können jetzt die Kachel für die Bereitstellung des Produktionsmodells anzeigen. In einer normalen Produktionsumgebung ist sie zunächst leer, bis genügend Daten erfasst wurden und die Vorlaufzeit zum Auslösen der Metrikberechnung abgelaufen ist. Das Notebook fügt Daten hinzu und führt die Überwachungen aus, damit Sie die Ergebnisse sofort sehen können.
Modelle vergleichen
Wenn Sie sich die Details einer Modellbewertung ansehen, können Sie die Modelle mit einem Matrixdiagramm vergleichen, das die wichtigsten Kennzahlen hervorhebt. Mithilfe dieser Funktion können Sie ermitteln, ob eine Modellversion bereits als Produktionsmodell geeignet ist oder noch bearbeitet werden muss.
Wählen Sie im Menü Aktionen die Option Vergleichen aus, um ein Diagramm zu generieren, das die Scores für die Metriken vergleicht, die Sie zum Überwachen Ihrer Modelle verwenden.
Jetzt auswerten
Wählen Sie im Menü Aktionen die Option Jetzt auswerten, um die Testdaten auszuwerten. In der Vorproduktionsumgebung können Sie Testdaten mit einer der folgenden Methoden importieren:
- CSV-Datei hochladen, die gekennzeichnete Testdaten enthält
- Verbindung zu einer CSV-Datei herstellen, die gekennzeichnete Testdaten in Cloud Object Storage oder Db2 enthält
Wenn Sie eine dieser Importmethoden verwenden, können Sie steuern, ob Watson OpenScale die Testdaten bewertet.
Wenn Sie Ihre Daten bewerten möchten, importieren Sie die beschrifteten Testdaten mit Merkmals- und Beschriftungsspalten. Die Testdaten werden ausgewertet, und die Vorhersage- und Wahrscheinlichkeitswerte werden in der Feedback-Tabelle in den Spalten _original_prediction und _original_probability gespeichert.
Wenn Sie Testdaten importieren möchten, für die bereits Scores vorliegen, wählen Sie das Kontrollkästchen Test data includes model output in der Anzeige Testdaten importieren aus. Sie müssen die Testdaten mit Funktions- und Bezeichnungsspalten sowie mit der Scoring-Ausgabe importieren. Die Testdaten werden nicht neu ausgewertet. Die Vorhersage- und Wahrscheinlichkeitswerte werden in den Spalten _original_prediction und _original_probability der Feedbacktabelle gespeichert.
Hinweise:
Die von Ihnen hochgeladenen Testdaten können auch die Spalten record_id/transaction_id und record_timestamp enthalten, die in den Tabellen für Nutzdatenprotokollierung und Feedback hinzugefügt werden, wenn die Option Test data includes model output ausgewählt ist.
Stellen Sie sicher, dass die Subskription vollständig aktiviert ist, indem Sie die richtigen Schemas festlegen, bevor Sie Bewertungen durchführen.
Wenn Sie Auswertungen durchführen, können Sie den Fortschritt anhand einer Statusanzeige verfolgen, die anzeigt, ob die Auswertungen erfolgreich abgeschlossen wurden.
Konfiguration aus einer Vorproduktionssubskription in eine Produktionssubskription kopieren
Um Zeit zu sparen, können Sie Metadaten für Konfiguration und Modell aus einer Subskription der Vorproduktion kopieren und zu einer Produktionssubskription hinzufügen. Das betreffende Modell muss mit dem Quellenmodell identisch sein und in der Produktionsumgebung bereitgestellt werden.
Übergeordneter Abschnitt: Modellrisikomanagement und Modellgovernance