Die automatische Setup-Option für die Evaluierung von Modellen für maschinelles Lernen richtet eine Umgebung für maschinelles Lernen, eine Datenbank und ein Beispielmodell für Sie ein. Folgen Sie den Schritten in der geführten Tour, um zu erfahren, wie Sie das Beispielmodell bewerten können. Nach Abschluss der Konfiguration können Sie Ihr eigenes Modell zum Dashboard hinzufügen.
Beispielmodell
Der automatische Aufbau verwendet den Beispieldatensatz German Credit Risk, um die wichtigsten Merkmale von Modellevaluierungen zu demonstrieren.
Übersicht über die Beispieldaten
Die Beispieldaten für das deutsche Kreditrisiko enthalten eine Sammlung von Datensätzen für Bankkunden, die zum Trainieren des Beispielmodells verwendet wurden. Sie enthält 20 Attribute für jeden Darlehensantragsteller. Die im Rahmen der automatischen Einrichtung bereitgestellten Beispielmodelle werden trainiert, um das Kreditrisiko für neue Kunden vorherzusagen. Zwei der für die Vorhersage berücksichtigten Attribute-Geschlecht und Alter-können auf Verzerrungen getestet werden, um sicherzustellen, dass die Ergebnisse hinsichtlich Geschlecht oder Alter der Kunden konsistent sind.
Zur Auswertung der Ergebnisse werden die Ergebnisse in Gruppen unterteilt. Die Referenzgruppen sind die Gruppen, die am wahrscheinlichsten positive Ergebnisse haben. In diesem Fall sind die Referenzgruppen männliche Kunden und Kunden über 25 Jahre. Die überwachten Gruppen sind die Gruppen, die Sie überprüfen möchten, um sicherzustellen, dass sich die Ergebnisse nicht stark von den Ergebnissen für die überwachten Gruppen unterscheiden. In diesem Fall sind die überwachten Gruppen Frauen und Kunden im Alter von 19-25 Jahren.
Automatische Konfiguration ausführen
Führen Sie die folgenden Schritte aus, um die automatische Konfiguration auszuführen:
- Starten Sie Watson OpenScale.
- Wählen Sie die Option Automatische Einrichtung aus.
Der Prozess dauert ungefähr 10 Minuten. Während der Konfiguration werden drei Implementierungen konfiguriert:
| Modell | Bindung | Beschreibung |
|---|---|---|
| GermanCreditRiskModelPreProd | Vorproduktion, genehmigt | Diese Bereitstellung stellt das aktuell genehmigte Modell dar, das in der internen Umgebung ausgewertet wird. |
| GermanCreditRiskModelChallenger | Produktionsvorbereitung | Das Challenger-Modell wird bereitgestellt, um die Leistung und andere Attribute mit der genehmigten Bereitstellung des Vorproduktionsmodells zu vergleichen. |
| GermanCreditRiskModel | Produktion | Zwischen dem genehmigten Vorproduktionsmodell und dem Challenger-Modell wird das Modell, das günstigere Ergebnisse liefert, für die Produktion ausgewählt und aus dem Produktionsbereich bereitgestellt. |
Nachdem die Einrichtung abgeschlossen ist, folgen Sie der geführten Tour, um die Funktionen der Modellauswertungen kennenzulernen.
Highlights der geführten Tour
Die geführte Tour veranschaulicht die folgenden Funktionen:
- Einführung in die Benutzerschnittstelle: Zu den vier Hauptbereichen der Benutzerschnittstelle gehören Insights, Erläuterungen, Konfiguration und Unterstützung.
- Ergebnisse für das deutsche Kreditrisikomodell überwachen und anzeigen: Verwenden Sie vordefinierte Überwachungen, um Ihr Modell auf Fairness, Qualität und Abweichung zu bewerten. Sie können auch angepasste Monitore für die Modellevaluierung verwenden.
- Untersuchen der Fairnessüberwachung: Mit der Fairnessüberwachung können Sie nach verzerrten Ergebnissen aus Ihrem Modell suchen. Wenn ein Fairnessproblem gefunden wird, wird ein Alert basierend auf konfigurierbaren Schwellenwerten ausgelöst.
- Durchsuchen von Datasets: Wechseln Sie zwischen ausgewogenen, Nutzdaten-, Trainings- und verzerrungsbereinigten Datasets, um zu sehen, wie sich diese auf den Fairnessscore Ihres Modells auswirken.
- Einführung in Transaktionen: Transaktionen aus dem Nutzdatendataset auf Gruppenverzerrung und individuelle Verzerrung überprüfen.
- Modellergebnisse erklären: Verstehen Sie die Merkmale, die zur Modellvorhersage geführt haben, um Vertrauen in das Modell aufzubauen. Darüber hinaus erfahren Sie, wie Sie Merkmalwerte ändern können, um günstigere Modellergebnisse zu erzielen.
- Driftüberwachung erkunden: Verwenden Sie die Driftüberwachung, um festzustellen, ob die Verarbeitung von Daten im Modell einen Rückgang der Genauigkeit verursacht.
- Transaktionen prüfen: Überprüfen Sie die Transaktionsliste, um den Rückgang der Genauigkeit zu untersuchen.
Bestimmte Seite erkunden
Führen Sie die folgenden Schritte aus, um die geführte Tour zur automatischen Konfiguration für eine bestimmte Seite zu verwenden:
- Öffnen Sie die Seite, für die Sie der geführten Tour folgen möchten.
- Öffnen Sie die Registerkarte Unterstützung und wählen Sie Tour durch diese Seite aus.
Tour zurücksetzen
Um die Tour zur automatischen Konfiguration zurückzusetzen, öffnen Sie die Registerkarte Support und wählen Sie Automatische Konfiguration zurücksetzenaus.
Weitere Informationen
Konfigurieren von Modellauswertungen mit manueller Einrichtung
Konfigurieren von Modellauswertungen mit erweiterten Einstellungen
Übergeordnetes Thema: Einrichtungsoptionen für Modellauswertungen