IBM bietet mit IBM Watson OpenScale eine Lösung für das Modellrisikomanagement an. IBM Watson OpenScale ermöglicht das Überwachen und Messen der von KI-Modellen gelieferten Ergebnisse während des gesamten Lebenszyklus und führt Modellprüfungen durch.

Analyse in Watson OpenScale durchführen

Nachdem Sie die Funktionen für das Modellrisikomanagement (MRM) eingerichtet haben, können Sie die Beispielauswertungen in Watson OpenScale anzeigen und vergleichen. Sie können einen zusammenfassenden Bericht für das Modell herunterladen, der alle Qualitäts- und Fairnessmesswerte sowie die Magnitude der Abweichungen enthält.

1. Klicken Sie im Dashboard 'Erkenntnisse' auf die Kachel für Modellbereitstellung.

2. Klicken Sie in der Dropdown-Liste 'Aktionen' auf eine der folgenden Analyseoptionen:

   1. Bisherige Evaluierungen: Listet alle vorherigen Versionen der Evaluierung auf.
   2. Vergleichen: Vergleicht die Leistungswerte beliebiger Modelle (insbesondere Versionen des gleichen Modells).
   3. PDF-Bericht herunterladen: Generiert den zusammenfassenden Modellbericht mit allen zugehörigen Metriken und einer Erläuterung der Scoring-Kriterien.

Neues Modell in Watson OpenScale als Produktionsmodell bereitstellen

Stufen Sie das beste Modell zum Produktionsmodell hoch. Erstellen Sie einen Produktionsdatensatz durch Importieren aus einem Vorproduktionsmodell. Nachdem das Modell für die Bereitstellung in IBM OpenPages genehmigt wurde, können Sie das Modell in die Watson OpenScale-Produktionsumgebung übernehmen.

1. Überprüfen Sie den Status der Modellbereitstellung:
2. Kehren Sie zum Beispielnotebook zurück und führen Sie die Zellen aus, um das Modell in die Produktionsumgebung zu übernehmen.
3. Sie können jetzt die Kachel für die Bereitstellung des Produktionsmodells anzeigen. In einer normalen Produktionsumgebung ist diese Kachel zunächst leer, bis genügend Daten erfasst wurden und die Wartezeit bis zum Auslösen der Metrikberechnung abgelaufen ist. Im Lernprogramm fügt das Notebook Daten hinzu und führt die Überwachungen aus, sodass Sie die Ergebnisse sofort sehen können.

Modelle vergleichen

Watson OpenScale ermöglicht das Vergleichen von Modellen anhand der Schlüsselmetriken in Form einer Gegenüberstellung. Mithilfe dieser Funktion können Sie ermitteln, ob eine Modellversion bereits als Produktionsmodell geeignet ist oder noch bearbeitet werden muss.

Wählen Sie im Menü Aktionen ein Modell aus, das mit dem momentan im Dashboard für MRM-Zusammenfassung angezeigten Modell verglichen werden soll.

Jetzt auswerten

In der Vorproduktionsumgebung können Sie die Testdaten als CSV-Datei, Datenbanktabelle oder Cloudobjektspeicherdatei hochladen. Zum Verwenden der CSV-Option ziehen Sie die CSV-Datei zum entsprechenden Feld und legen sie dort ab. Zum Verwenden der Db2- oder Cloudspeicheroptionen müssen Sie Berechtigungsnachweise angeben. Nach dem Hochladen der Daten können sofort Ergebnisse aufgerufen werden, indem die neuen Daten anhand des Modells ausgewertet werden.

Stellen Sie sicher, dass das Abonnement vollständig aktiviert ist, indem Sie die richtigen Schemas einstellen, bevor Sie Bewertungen ausführen.

Verbindungen zu den Datenbankoptionen sind transient. Wenn Sie die Bewertung an einem späteren Zeitpunkt durchführen wollen, müssen Sie die Verbindungsinformationen erneut eingeben.

Konfiguration aus einer Vorproduktionssubskription in eine Produktionssubskription kopieren

Um Zeit zu sparen, können Sie die Konfiguration und die Metadaten des Modells aus einer Vorproduktionssubskription in eine Produktionssubskription kopieren. Dazu muss ein genau mit dem Quellenmodell übereinstimmendes Modell im Produktionsbereich bereitgestellt werden.

Nächste Schritte

Verwenden Sie die Fairnessanalyse, um das Modell neu zu definieren (gegebenenfalls mit einem anderen Algorithmus).