Wie viel Verarbeitungskapazität ist erforderlich, wenn ich Watson OpenScale auf meinen eigenen Servern ausführen möchte?

Es gibt spezielle Richtlinien für die Hardwarekonfiguration für Konfigurationen mit drei Knoten und sechs Knoten. Das IBM Technical Sales-Team kann Ihnen auch bei der Dimensionierung Ihrer spezifischen Konfiguration behilflich sein. Da Watson OpenScale als Add-on zu IBM Cloud Pak for Data läuft, müssen Sie die Anforderungen für beide Softwareprodukte berücksichtigen.

Warum benötigt Watson OpenScale Zugriff auf meine Trainingsdaten?

Sie müssen Watson OpenScale entweder Zugriff auf die in Db2 oder IBM Cloud Object Storage gespeicherten Trainingsdaten ermöglichen oder ein Notebook ausführen, das auf die Trainingsdaten zugreifen kann.

Watson OpenScale benötigt aus den folgenden Gründen Zugriff auf Ihre Trainingsdaten:

• So generieren Sie LIME (Local Interpretable Model-Agnostic Erklärungen) und kontrastierende Erklärungen: Zum Erstellen von Erklärungen ist der Zugriff auf Statistiken wie Medianwert, Standardabweichung und eindeutige Werte aus den Trainingsdaten erforderlich.
• Zum Anzeigen von Statistikdaten für Trainingsdaten: Zum Ausfüllen der Seite mit den Verzerrungsdetails benötigt Watson OpenScale Trainingsdaten, auf deren Basis Statistikdaten erstellt werden.
• Zum Erstellen eines Abweichungserkennungsmodells: Die Abweichungsüberwachung erstellt und kalibriert die Abweichungserkennung anhand von Trainingsdaten.

Wenn ein Notebook verwendet wird, wird erwartet, dass Sie bei der Konfiguration einer Bereitstellung in Watson OpenScale die Statistikdaten und weitere Informationen hochladen. Dies bedeutet, dass Watson OpenScale nicht mehr auf die Trainingsdaten außerhalb des Notebooks zugreifen kann, das in Ihrer Umgebung ausgeführt wird. Der Service verfügt nur über Zugriff auf die bei der Konfiguration hochgeladenen Informationen.

Gibt es ein Befehlszeilentool, das verwendet werden kann?

Ja! Es gibt ein ModelOps-CLI-Tool, das Watson OpenScale CLI Model Operations Tool. Verwenden Sie dieses Tool, um Tasks im Zusammenhang mit dem Lebenszyklusmanagement von Machine Learning-Modellen auszuführen.

Welche Version von Python kann ich mit Watson OpenScale verwenden?

Da Watson OpenScale für Unabhängigkeit vom Modellerstellungsprozess konzipiert ist, wird jede Python-Version unterstützt, die Ihr Anbieter für maschinelles Lernen unterstützt. Der Python-Client für Watson OpenScale stellt eine Python-Bibliothek dar, die direkt mit dem Watson OpenScale-Service unter IBM Cloud arbeitet. Aktuelle Versionsinformationen finden Sie im Abschnitt zu den Voraussetzungen. Verwenden Sie den Python-Client anstelle der Watson OpenScale-Clientbenutzerschnittstelle, um sofort eine Protokollierungsdatenbank zu konfigurieren, Ihre Engine für maschinelles Lernen zu binden und Überwachungsbereitstellungen auszuwählen. Beispiele, in denen der Python-Client auf diese Weise verwendet wird, finden Sie in den Watson OpenScale-Beispielnotebooks.

Welche Browser kann ich verwenden, um Watson OpenScaleauszuführen?

Für die Servicetools in Watson OpenScale-Service ist dieselbe Version der Browsersoftware erforderlich wie für IBM Cloud. Weitere Informationen finden Sie im Abschnitt IBM Cloud Voraussetzungen .

Für die Konfiguration eines Modells sind Informationen zur Position der Trainingsdaten erforderlich und die Optionen hierfür sind Cloud Object Storage und Db2. Wenn die Daten in Netezza sind, kann Watson OpenScale Netezza verwenden?

Verwenden Sie dieses Watson OpenScale-Notebook, um die Daten aus Netezza zu lesen und die Trainingsstatistiken sowie das Drifterkennungsmodell zu generieren.

Warum werden Watson OpenScale die Aktualisierungen, die am Modell vorgenommen wurden, nicht angezeigt?

Watson OpenScale verwendet eine Bereitstellung eines Modells, nicht das Modell selbst. Sie müssen eine neue Bereitstellung erstellen und diese neue Bereitstellung in Watson OpenScale als neue Subskription konfigurieren. Mit dieser Zusammenstellung können Sie die beiden Versionen des Modells vergleichen.

Wie wird die Modellverzerrung durch die Verwendung von Watson OpenScale gemindert?

Die Verzerrungsbereinigung in Watson OpenScale ist für Unternehmen konzipiert. Sie ist robust, skalierbar und kann mit einer Vielzahl von Modellen verwendet werden. Die Verzerrungsbereinigung in Watson OpenScale besteht aus einem zweistufigen Prozess.

1. Lernphase: Lernen Sie das Verhalten des Kundenmodells kennen, um zu verstehen, wann es voreingenommen wirkt.
2. Anwendungsphase: Ermitteln, ob das Kundenmodell sich für einen bestimmten Datenendpunkt nicht erwartungsgetreu verhält und bei Bedarf diese Verzerrung beheben. Weitere Informationen finden Sie unter Verzerrungsbereinigte Transaktionen überprüfen.

Ist es möglich, für sensible Attribute, wie Rasse und Geschlecht, nach einer Modellverzerrung zu suchen, selbst dann, wenn diese nicht für das Modell trainiert wurden?

Ja. Vor kurzem hat Watson OpenScale eine bahnbrechende Funktion zur indirekten Verzerrungserkennung bereitgestellt. Verwenden Sie diese Funktion, um zu ermitteln, ob das Modell indirekt eine Verzerrung für sensible Attribute aufweist, obwohl diese Attribute nicht für das Modell trainiert wurden. Weitere Informationen finden Sie unter Verzerrungsbereinigte Transaktionen überprüfen.

Kann ich Modellfairness über eine API konfigurieren?

Ja, dies ist mit dem Watson OpenScale-SDK möglich. Weitere Informationen finden Sie in der Dokumentation zuIBM Watson OpenScale Python SDK.

Was sind die verschiedenen Arten von Risiken im Zusammenhang mit der Verwendung eines Modells für maschinelles Lernen?

Mehrere Arten von Risiken, die mit Modellen für maschinelles Lernen verbunden sind, wie z. B. Änderungen an Eingabedaten (auch als Drift bezeichnet), können dazu führen, dass das Modell ungenaue Entscheidungen trifft, die sich auf Geschäftsprognosen auswirken. Trainingsdaten können bereinigt werden, um frei von Verzerrungen zu sein, aber Laufzeitdaten können ein verzerrtes Verhalten des Modells verursachen.

Herkömmliche statistische Modelle sind einfacher zu interpretieren und zu erklären. Da sie aber nicht in der Lage sind, das Ergebnis des Machine Learning-Modells zu erklären, kann dies eine ernsthafte Bedrohung für die Verwendung des Modells darstellen.

Weitere Informationen finden Sie unter Modellrisiko verwalten.

Erkennt Watson OpenScale Abweichungen bei der Genauigkeit und Abweichungen bei Daten?

Watson OpenScale kann sowohl Abweichungen bei der Genauigkeit als auch bei Daten erkennen:

• Bei einer Abweichung bei der Genauigkeit wird der Rückgang der Genauigkeit des Modells zur Laufzeit geschätzt. Die Modellgenauigkeit nimmt ab, wenn die Anzahl der Transaktionen zunimmt, die Ähnlichkeit mit Transaktionen aufweisen, die vom Modell in den Trainingsdaten nicht korrekt ausgewertet werden konnten. Dieser Abweichungstyp wird nur für strukturierte Binär- und Mehrklassenklassifikationsmodelle berechnet.
• Die Abweichung bei den Daten schätzt den Rückgang der Konsistenz der Daten zur Laufzeit im Vergleich zu den Merkmalen der Daten zur Trainingszeit.

Welche Typen von Erklärungen werden in Watson OpenScale angezeigt?

Watson OpenScale stellt lokale Erklärungen basierend auf LIME, kontrastierenden Erklärungen und SHAP-Erklärungen bereit. Weitere Informationen finden Sie unter Erklärbarkeit anzeigen.

Was ist eine Was-wäre-wenn-Analyse in Watson OpenScale?

Die Benutzerschnittstelle für Erläuterungen bietet auch die Möglichkeit, Was-wäre-wenn-Szenarien zu testen. Der Benutzer kann beispielsweise die Merkmalwerte des Eingabedatenpunkts ändern und seine Auswirkung auf die Modellvorhersage und -wahrscheinlichkeit prüfen.

Welche Modelle unterstützen LIME-Erklärungen?

Die folgenden Modelltypen unterstützen LIME-Erläuterungen in Watson OpenScale:

• Strukturierte Regression und Klassifikationsmodelle
• Unstrukturierte Text-und Bildklassifikationsmodelle

Welche Modelle unterstützen kontrastierende Erklärungen und Was-wäre-wenn-Analysen?

Kontrastierende Erklärungen und Was-wäre-wenn-Analysen werden nur für Modelle unterstützt, die strukturierte Daten und Klassifikationsprobleme verwenden.

Was sind steuerbare Merkmale bei der Konfiguration der Watson OpenScale-Erklärbarkeit?

Durch die Verwendung steuerbarer Merkmale können einige Merkmale des Eingabedatenpunkts gesperrt werden, damit sie bei der Generierung der kontrastierenden Erklärung und auch in Was-wäre-wenn-Analysen nicht geändert werden. Die Features, die nicht geändert werden sollten, sollten in der Erklärbarkeitskonfiguration als nicht steuerbar oder als NO festgelegt werden.

Was ist bei der Konfiguration der Anbieter für maschinelles Lernen in Watson OpenScale der Unterschied zwischen Subskriptionen für die Vorproduktion und die Produktion?

Bevor ein Modell in den Produktionsmodus versetzt wird, kann ein Modellvalidator das Modell konfigurieren und validieren und dafür den Service-Provider für den Vorproduktionsmodus verwenden. Watson OpenScale kann einen Anbieter für maschinelles Lernen als Teil der Vorproduktionsverarbeitung festlegen, bei der Sie Risikobewertungen durchführen. Wenn das Modell die Qualitätsstandards erfüllt, können Sie das Modell in die Produktionsumgebung übernehmen. Sie können für die Vorproduktion und die Produktion unterschiedliche Anbieter für maschinelles Lernen verwenden oder Sie können verschiedene Instanzen desselben Anbieters für maschinelles Lernen verwenden, um die Vorproduktion und die Produktion voneinander getrennt zu halten.

Muss ich das Watson OpenScale-Dashboard fortlaufend überwachen, um sicherzustellen, dass meine Modelle sich wie erwartet verhalten?

Nein, Sie können E-Mail-Benachrichtigungen für Ihre Produktionsmodellbereitstellungen in Watson OpenScalekonfigurieren. E-Mail-Alerts werden gesendet, wenn ein Risikobewertungstest fehlschlägt. Anschließend können Sie die Probleme überprüfen und beheben.

Muss ich in einer Vorproduktionsumgebung, in der Watson OpenScale verwendet wird, nachdem das Modell für Risiken bewertet und für die Nutzung genehmigt wurde, alle Überwachungen in der Produktionsumgebung erneut konfigurieren?

Nein, Watson OpenScale bietet eine Möglichkeit, die Konfiguration der Vorproduktionssubskription für die Produktionssubskription zu kopieren. Weitere Informationen finden Sie unter Modellrisiko verwalten.

Kann ich in Watson OpenScale meine Modellbereitstellungen in der Vorproduktion mit einem Benchmarkmodell vergleichen, um zu sehen, wie gut oder schlecht es ist?

Ja, Watson OpenScale bietet Ihnen die Option, zwei Modellbereitstellungen oder -abonnements zu vergleichen. Sie können einen Parallelvergleich des Verhaltens der beiden Modelle auf jedem konfigurierten Monitor anzeigen. Wechseln Sie zum Vergleich zur Modellzusammenfassungsseite im Watson OpenScale-Dashboard und wählen Sie Actions -> Compare aus. Weitere Informationen finden Sie unter Auswertungsergebnisse überprüfen.

Welche Daten werden in Watson OpenScale für die Berechnung der Qualitätsmetriken verwendet?

Es werden Qualitätsmetriken berechnet, die manuell beschriftete Rückmeldedaten und Antworten zu überwachten Bereitstellungen für diese Daten verwenden.

Warum sind in Watson OpenScale einige der Konfigurationsregisterkarten inaktiviert?

Einige Bedingungen aktivieren bestimmte Registerkarten. Wenn Sie den Mauszeiger über das Kreissymbol auf einer Registerkarte bewegen, wird der Grund angezeigt, aus dem diese Registerkarte inaktiviert ist.

Warum sollte man eine Abweichung bei der Modellgenauigkeit oder bei den Daten ernst nehmen?

Wenn die Modellgenauigkeit oder die Datenkonsistenz abnimmt, kann dies negative Auswirkungen auf die durch das Modell erzielten Geschäftsergebnisse haben. Dieses Problem muss durch erneutes Trainieren des Modells behoben werden.

Welches sind die Arten von Abweichungen, die IBM Watson OpenScale erkennt?

Watson OpenScale kann sowohl Abweichungen bei der Modellgenauigkeit als auch bei Daten erkennen.

Wie wird ein Abnahme bei der Genauigkeit, d. h. eine Abweichung der Modellgenauigkeit, in IBM Watson OpenScale berechnet?

Watson OpenScale lernt das Verhalten des Modells durch die Erstellung eines Proxymodells, das auch als Abweichungserkennungsmodell bezeichnet wird. Dabei werden die Trainingsdaten und die Vorgehensweise des Modells beim Erstellen von Vorhersagen anhand der Trainingsdaten untersucht.

Weitere Informationen finden Sie im Abschnitt Drifterkennung.

Wie wird die Abnahme der Datenkonsistenz in IBM Watson OpenScale berechnet?

IBM Watson OpenScale lernt bei der Konfiguration in einzelne und zwei Spalten aufgegliederte Einschränkungen oder Begrenzungen für die Trainingsdaten. Anschließend analysiert die Plattform alle Nutzdatentransaktionen, um zu ermitteln, welche Transaktionen zu einer Abnahme der Datenkonsistenz führen. Weitere Informationen finden Sie unter Abweichungsmetriken.

Kann Watson OpenScale eine Abweichung in meinem Modell erkennen, das für einen Textkorpus trainiert wurde?

Watson OpenScale kann derzeit keine Abweichung in textbasierten Modellen erkennen.

Kann Watson OpenScale eine Abweichung in meinem Modell erkennen, das für Imagedaten trainiert wurde?

Watson OpenScale kann derzeit keine Abweichung in imagebasierten Modellen erkennen.

Kann Watson OpenScale einen Drift in meiner Python erkennen, die auf IBM watsonx.ai Runtime eingesetzt wird?

Watson OpenScale kann Abweichungen für Python -Funktionen erkennen, die mit strukturierten Datasets trainiert wurden. Die Python-Funktionen, die mit Text-oder Imagedatasets trainiert wurden, werden nicht unterstützt. Die Scoring-Ausgabe für die Python-Funktionen muss Vorhersagespalten und Wahrscheinlichkeitsspalten enthalten, die alle Klassenwahrscheinlichkeiten für Klassifikationsprobleme enthalten.

Übergeordnetes Thema: KI-Modelle mit Watson OpenScale