Um die Einrichtung und Konfiguration der erforderlichen Services zu automatisieren und eine Evaluierungsanwendung mit Beispieldaten zu sehen, können Sie ein Python-Modul installieren.
Informationen zu diesem Modul
- Das Modul bietet eine alternative Möglichkeit für technische Benutzer, eine Instanz von Watson OpenScale anzuzeigen, ohne die Services selbst bereitstellen und konfigurieren zu müssen, wie im Lernprogramm Erste Schritte beschrieben.
- Das Python-Modul führt den Prozess aus, in dem es die vorhandenen Services überprüft und die notwendigen erstellt. Nachdem das Modul erfolgreich ausgeführt wurde, können Sie über das IBM Cloud-Dashboard Watson OpenScale starten, um zu sehen, wie ein Modell evaluiert wird.
Watson OpenScale-Python-Client
Der Python-Client ist eine Bibliothek, die direkt mit dem Service für die Modellevaluierung arbeitet. Zu Entwicklungs- und Automationszwecken können Sie den Python-Client verwenden, um die Datamartdatenbank direkt zu konfigurieren, auf Ihr Machine Learning-System zuzugreifen und Bereitstellungen auszuwählen und zu evaluieren. Die Watson OpenScale-Beispielnotebooks enthalten Beispiele, in denen der Python-Client auf diese Weise verwendet wird.
Vorbereitende Schritte
Erstellen Sie einen IBM Cloud-API-Schlüssel und laden Sie ihn herunter.. Diesen API-Schlüssel müssen Sie in einem späteren Schritt eingeben.
Installieren Sie ein Release von Python 3.
Python 3 enthält das Paketmanagementsystem pip.
Installieren Sie das Paket
ibm-watson-openscale-cli, indem Sie den folgenden Befehl ausführen:pip install -U ibm-watson-openscale-cliWenn mehr als eine Version von pip auf Ihrem System installiert ist, müssen Sie möglicherweise
pip3anstelle vonpipausführen (siehepip3 install -U ibm-watson-openscale-cli).Wenn Sie eine bestehende watsonx.ai Runtime Service-Instanz haben, überprüfen Sie das IBM Cloud Dashboard, um sicherzustellen, dass der Service von Cloud Identity and Access Management (IAM) und nicht von Cloud Foundry verwaltet wird.
Wichtig:Das Modul sucht nach einer Instanz von watsonx.ai Runtime. Wenn Sie über eine solche Instanz verfügen, verwendet das Modul sie. Wenn Ihre Instanz jedoch über Cloud Foundry verwaltet wird, müssen Sie sie vor der Ausführung des Moduls in eine IAM-Ressourcengruppe migrieren.
Modul ausführen
Führen Sie den folgenden Befehl aus:
ibm-watson-openscale-cli -a <Your API key>
Ergebnisse anzeigen
Um Einblicke in die Fairness und Genauigkeit des Modells, die Details der evaluierten Daten und die Erklärbarkeit für eine einzelne Transaktion anzuzeigen, öffnen Sie das Insights-Dashboard.
- Informationen zum Verständnis des Szenarios für die Beispieldaten finden Sie in Erste Schritte.
Einblicke anzeigen
Klicken Sie im Insights-Dashboardauf die Registerkarte Insights , auf der eine Übersicht der Metriken für bereitgestellte Modelle angezeigt wird: 
Auf der Seite 'Insights' werden auf einen Blick alle eventuellen Probleme im Zusammenhang mit Fairness und Genauigkeit angezeigt, wie sie anhand der konfigurierten Schwellenwerte festgestellt wurden.
Jede Bereitstellung wird als Kachel dargestellt. Wenn Sie eines der Lernprogramme ausführen, wird in Ihrem Dashboard eine Implementierung mit dem Namen
GermanCreditRiskModelangezeigt. Das folgende Beispiel zeigt ein Dashboard mit vielen bereitgestellten und evaluierten Modellen:
Auswertungsdaten anzeigen
Klicken Sie auf der Seite "Insights" auf die Kachel
GermanCreditRiskModel, um Details zu den ausgewerteten Daten anzuzeigen.Verschieben Sie die Markierung auf dem Diagramm, um einen Tag und einen Zeitraum anzuzeigen, für den Daten vorhanden sind, und klicken Sie dann auf den Link Details anzeigen.
In der folgenden Anzeige beispielsweise sehen Sie Daten für ein bestimmtes Datum und eine bestimmte Zeit. Die Datums- und Zeitangaben variieren in Abhängigkeit vom Zeitpunkt der Modulausführung.
Informationen zur Interpretation des Zeitreihendiagramms erhalten Sie im Abschnitt Insights abrufen.
Stellen Sie sicher, dass
AGEim Menü ausgewählt ist, um Details zurAGE-Datenauswertung anzuzeigen.Beachten Sie, dass im folgenden Screenshot keine Verzerrung vorliegt.
Informationen zum Interpretieren des Diagramms der Datenpunkte zu einer bestimmten Stunde finden Sie unter Visualisierung von Daten für eine bestimmte Uhrzeit anzeigen.
Erklärbarkeit anzeigen
Um die Faktoren zu verstehen, die beitragen, wenn die Verzerrung für einen bestimmten Zeitraum vorhanden ist, klicken Sie in der Visualisierungsanzeige im vorherigen Abschnitt auf Transaktionen anzeigen.
Für die Transaktionen, die Verzerrungen aufweisen, werden die Transaktions-IDs für die letzte Stunde aufgelistet. Für das in diesem Modul verwendete Modell besteht keine Verzerrung für Anforderungen, die verfügbar sind. Daher werden im folgenden Screenshot für den Zeitraum keine Transaktionen angezeigt.
Weitere Informationen finden Sie unter Transaktionen erklären.
Zugehörige Informationen
- Wenn Sie mehr über Verzerrungen erfahren möchten, können Sie in Fairness nachlesen.
- Informationen dazu, wie gut Ihr Modell Ergebnisse vorhersagt, finden Sie in Genauigkeit.
- Informationen zur Interpretation von Diagrammen und Daten enthält Insights abrufen.
- Um zu erfahren, wie zugrunde liegende Faktoren die Ergebnisse beeinflussen, lesen Sie Erklärbarkeit überwachen.
Übergeordnetes Thema: Watson OpenScale