Wie viel Verarbeitungskapazität ist erforderlich, wenn ich Watson OpenScale auf meinen eigenen Servern ausführen möchte?

Es gibt spezielle Richtlinien für die Hardwarekonfiguration für Konfigurationen mit drei Knoten und sechs Knoten. Das IBM Technical Sales-Team kann Ihnen auch bei der Dimensionierung Ihrer spezifischen Konfiguration behilflich sein. Da Watson OpenScale als Add-on zu IBM Cloud Pak for Data läuft, müssen Sie die Anforderungen für beide Softwareprodukte berücksichtigen.

Warum benötigt Watson OpenScale Zugriff auf Trainingsdaten?

Sie müssen Watson OpenScale entweder Zugriff auf die in Db2 oder IBM Cloud Object Storage gespeicherten Trainingsdaten ermöglichen oder Sie müssen ein Notebook ausführen, dass auf die Trainingsdaten zugreifen kann.

Watson OpenScale benötigt aus den folgenden Gründen Zugriff auf Ihre Trainingsdaten:

• So generieren Sie LIME (Local Interpretable Model-Agnostic Erklärungen) und kontrastierende Erklärungen: Zum Erstellen von Erklärungen ist der Zugriff auf Statistiken wie Medianwert, Standardabweichung und eindeutige Werte aus den Trainingsdaten erforderlich.
• Zum Anzeigen von Statistikdaten für Trainingsdaten: Zum Ausfüllen der Seite mit Verzerrungsdetails benötigt Watson OpenScale Trainingsdaten, auf deren Basis Statistikdaten erstellt werden.
• Zum Erstellen eines Drifterkennungsmodell: Die Driftüberwachung erstellt und kalibriert die Drifterkennung anhand von Trainingsdaten.

Wenn ein Notebook verwendet wird, wird erwartet, dass Sie bei der Konfiguration einer Bereitstellung in Watson OpenScale die Statistikdaten und weitere Informationen hochladen. Watson OpenScale kann nicht mehr auf die Trainingsdaten außerhalb des Notebooks zugreifen, das in Ihrer Umgebung ausgeführt wird. Der Service verfügt nur über Zugriff auf die bei der Konfiguration hochgeladenen Informationen.

Gibt es ein Befehlszeilentool, das verwendet werden kann?

Ja! Es gibt ein ModelOps-CLI-Tool, das Watson OpenScale CLI Model Operations Tool. Verwenden Sie dieses Tool, um Tasks im Zusammenhang mit dem Lebenszyklusmanagement von Machine Learning-Modellen auszuführen.

Welche Version von Python kann ich mit Watson OpenScale verwenden?

Da Watson OpenScale unabhängig von Ihrem Modellerstellungsprozess ist, wird jede Python-Version unterstützt, die Ihr Machine Learning-Provider unterstützt. Der Python-Client für Watson OpenScale stellt eine Python-Bibliothek dar, die direkt mit dem Watson OpenScale-Service unter IBM Cloud arbeitet. Aktuelle Versionsinformationen finden Sie im Abschnitt zu den Voraussetzungen. Anstelle der Benutzerschnittstelle des Watson OpenScale-Clients können Sie den Python-Client verwenden, um eine Datenbank für die Protokollierung direkt zu konfigurieren, Ihre Machine Learning-Engine zu binden und Bereitstellungen auszuwählen und zu überwachen. Beispiele, in denen der Python-Client auf diese Weise verwendet wird, finden Sie in den Watson OpenScale-Beispielnotebooks.

Welche Browser kann ich verwenden, um Watson OpenScaleauszuführen?

Für die Tools des Watson OpenScale-Service ist dieselbe Version von Browser-Software wie für IBM Cloud erforderlich. Weitere Informationen finden Sie im Abschnitt IBM Cloud Voraussetzungen .

Für eine Modellkonfiguration sind Informationen zur Position der Trainingsdaten erforderlich. Es gibt die Optionen Cloud Object Storage und Db2. Kann Watson OpenScale bei Netezza-Daten Netezza verwenden?

Verwenden Sie dieses Watson OpenScale-Notebook, um die Daten aus Netezza zu lesen und die Trainingsstatistiken sowie das Drifterkennungsmodell zu generieren.

Warum werden Watson OpenScale die Aktualisierungen, die am Modell vorgenommen wurden, nicht angezeigt?

Watson OpenScale ist für die Bereitstellung eines Modells zuständig. Es arbeitet nicht am Modell selbst. Sie müssen eine neue Bereitstellung erstellen und diese dann als neues Abonnement in Watson OpenScale konfigurieren. So können Sie die beiden Versionen des Modells miteinander vergleichen.

Wie wird die Modellverzerrung durch Verwendung von Watson OpenScale gemindert?

Die Funktionalität zur Verzerrungsbereinigung in Watson OpenScale ist auf Unternehmen zugeschnitten. Sie ist robust und skalierbar und kann eine Vielzahl von Modellen handhaben. Die Verzerrungsbereinigung in Watson OpenScale besteht aus einem zweistufigen Prozess.

1. Lernphase: Lernen Sie das Verhalten des Kundenmodells kennen, um zu verstehen, wann es voreingenommen wirkt.
2. Dann wird in der Anwendungsphase erkannt, ob das Kundenmodell an einem bestimmten Datenpunkt verzerrt arbeitet, und die Verzerrung wird ggf. beseitigt. Weitere Informationen finden Sie unter Verzerrungsbereinigte Transaktionen überprüfen.

Ist es möglich auf Modellverzerrung bei sensiblen Attributen wie Rasse oder Geschlecht zu prüfen, selbst wenn das Modell damit nicht trainiert wurde?

Ja. Vor kurzem führte Watson OpenScale eine bahnbrechende Funktion namens 'Erkennung indirekter Verzerrung' ein. Damit können Sie erkennen, ob das Modell eine indirekte Verzerrung bei sensiblen Attributen aufweist, selbst wenn das Modell nicht mit diesen Attributen trainiert wurde. Weitere Informationen finden Sie unter Verzerrungsbereinigte Transaktionen überprüfen.

Kann ich Modellfairness über eine API konfigurieren?

Ja, dies ist mit dem Watson OpenScale-SDK möglich. Weitere Informationen finden Sie in der Dokumentation zuIBM Watson OpenScale Python SDK.

Welche unterschiedlichen Arten von Risiken sind mit der Verwendung eines Machine Learning-Modells verbunden?

Mehrere Arten von Risiken, die mit Modellen für maschinelles Lernen verbunden sind, wie z. B. Änderungen an Eingabedaten (auch als Drift bezeichnet), können dazu führen, dass das Modell ungenaue Entscheidungen trifft, die sich auf Geschäftsprognosen auswirken. Trainingsdaten können bereinigt werden, um frei von Verzerrungen zu sein, aber Laufzeitdaten können ein verzerrtes Verhalten des Modells verursachen.

Traditionelle, statistische Modelle sind einfacher zu interpretieren und zu erklären. Sie können jedoch nicht das Ergebnis des Machine Learning-Modells erklären, was ein ernstes Sicherheitsrisiko bei der Nutzung des Modells darstellt.

Erkennt Watson OpenScale Drift bei der Genauigkeit und Drift bei den Daten?

Watson OpenScale erkennt sowohl die Drift bei der Genauigkeit als auch die Drift bei den Daten:

• Die Drift bei der Genauigkeit schätzt den Rückgang der Genauigkeit des Modells zur Laufzeit. Die Modellgenauigkeit geht zurück, wenn die Anzahl der Transaktionen steigt, die den in den Trainingsdaten nicht ordnungsgemäß ausgewerteten Transaktionen ähnlich sind. Dieser Typ der Drift wird nur für strukturierte binäre Klassifizierungsmodelle und Klassifizierungsmodelle mit mehreren Klassen berechnet.
• Die Abweichung bei den Daten schätzt den Rückgang der Konsistenz der Daten zur Laufzeit im Vergleich zu den Merkmalen der Daten zur Trainingszeit.

Welche Arten von Erklärungen werden in Watson OpenScale angezeigt?

Watson OpenScale stellt lokale Erklärungen basierend auf LIME, kontrastierenden Erklärungen und SHAP-Erklärungen bereit. Weitere Informationen finden Sie unter Erklärbarkeit anzeigen.

Was ist die Was-wäre-wenn-Analyse in Watson OpenScale?

Die Benutzerschnittstelle für Erläuterungen bietet auch die Möglichkeit, Was-wäre-wenn-Szenarien zu testen. Der Benutzer kann beispielsweise die Merkmalwerte des Eingabedatenpunkts ändern und seine Auswirkung auf die Modellvorhersage und -wahrscheinlichkeit prüfen.

Welche Modelle unterstützen LIME-Erklärungen?

Die folgenden Modelltypen unterstützen LIME-Erläuterungen in Watson OpenScale:

• Strukturierte Regression und Klassifikationsmodelle
• Unstrukturierte Text-und Bildklassifikationsmodelle

Welche Modelle unterstützen kontrastierende Erklärungen und Was-wäre-wenn-Analysen?

Kontrastierende Erklärungen und Was-wäre-wenn-Analysen werden nur für Modelle unterstützt, die strukturierte Daten und Klassifikationsprobleme verwenden.

Was sind steuerbare Merkmale in der Erklärbarkeitskonfiguration von Watson OpenScale?

Mithilfe von steuerbaren Merkmalen können einige Merkmale des Eingabedatenpunkt gesperrt werden, sodass sie sich beim Generieren der kontrastiven Erklärung nicht ändern und auch in einer Was-wäre-wenn-Analyse nicht geändert werden können. Die Features, die nicht geändert werden sollten, sollten in der Erklärbarkeitskonfiguration als nicht steuerbar oder als NO festgelegt werden.

Muss ich das Watson OpenScale-Dashboard dauerhaft überwachen, um sicherzustellen, dass meine Modelle sich erwartungsgemäß verhalten?

Nein, Sie können E-Mail-Benachrichtigungen für Ihre Produktionsmodellbereitstellungen in Watson OpenScalekonfigurieren. E-Mail-Alerts werden gesendet, wenn ein Risikobewertungstest fehlschlägt. Anschließend können Sie die Probleme überprüfen und beheben.

Muss ich in einer Vorproduktionsumgebung, in der Watson OpenScale verwendet wird, nachdem das Modell für Risiken bewertet und für die Nutzung genehmigt wurde, alle Überwachungen in der Produktionsumgebung erneut konfigurieren?

Nein. Watson OpenScale bietet die Möglichkeit, um die Konfiguration des Vorproduktionsabonnements in das Produktionsabonnement zu kopieren. Weitere Informationen finden Sie unter Modellrisiko verwalten.

Kann ich in Watson OpenScale meine Modellbereitstellungen in der Vorproduktion mit einem Benchmark-Modell vergleichen, um seine Qualität zu erkennen?

Ja, Watson OpenScale bietet Ihnen die Option, zwei Modellbereitstellungen oder -abonnements zu vergleichen. Sie können einen Parallelvergleich des Verhaltens der beiden Modelle auf jedem konfigurierten Monitor anzeigen. Wechseln Sie zum Vergleich zur Modellzusammenfassungsseite im Watson OpenScale-Dashboard und wählen Sie Actions -> Compare aus. Weitere Informationen finden Sie unter Auswertungsergebnisse überprüfen.

Welche Daten werden in Watson OpenScale für die Qualitätsmetrikberechnung verwendet?

Es werden Qualitätsmetriken berechnet, die manuell gekennzeichnete Rückmeldedaten und überwachte Bereitstellungsantworten für diese Daten verwenden.

Warum sind in Watson OpenScale einige der Konfigurationsregisterkarten inaktiviert?

Einige Bedingungen aktivieren bestimmte Registerkarten. Wenn Sie den Mauszeiger über das Kreissymbol auf einer Registerkarte bewegen, wird der Grund angezeigt, aus dem diese Registerkarte inaktiviert ist.

Warum sind die Modellgenauigkeitsdrift oder die Modellgenauigkeit überhaupt von Interesse?

Ein Rückgang der Modellgenauigkeit oder Datenkonsistenz wirkt sich negativ auf die dem Modell zugeordneten Geschäftsergebnisse aus und muss durch Retraining des Modells behoben werden.

Welche unterschiedlichen Arten von Drift erkennt IBM Watson OpenScale?

Watson OpenScale erkennt sowohl die Drift bei der Modellgenauigkeit als auch die Drift bei den Daten.

Wie wird ein Rückgang der Genauigkeit (Modellgenauigkeitsdrift) in IBM Watson OpenScale berechnet?

Watson OpenScale erlernt das Verhalten des Modells, indem es ein Proxy-Modell, das so genannte Drifterkennungsmodell, erstellt. Es untersucht die Trainingsdaten und ermittelt, wie das Modell seine Vorhersagen zu den Trainingsdaten macht.

Weitere Informationen finden Sie im Abschnitt Drifterkennung.

Wie wird der Rückgang bei der Datenkonsistenz in IBM Watson OpenScale berechnet?

IBM Watson OpenScale erlernt ein- oder zweispaltige Einschränkungen oder Begrenzungen an den Trainingsdaten zum Zeitpunkt der Konfiguration. Dann analysiert es alle Nutzdatentransaktionen, um zu ermitteln, welche Transaktionen den Rückgang bei der Datenkonsistenz verursachen. Weitere Informationen finden Sie unter Abweichungsmetriken.

Kann Watson OpenScale Drift in meinem für einen Textkorpus trainierten Modell erkennen?

Watson OpenScale kann derzeit keine Drift bei textbasierten Modellen erkennen.

Kann Watson OpenScale Drift in meinem für Bilddaten trainierten Modell erkennen?

Watson OpenScale kann derzeit keine Drift bei bildbasierten Modellen erkennen.

Kann Watson OpenScale einen Drift in meiner Python erkennen, die auf IBM watsonx.ai Runtime eingesetzt wird?

Watson OpenScale kann Abweichungen für Python -Funktionen erkennen, die mit strukturierten Datasets trainiert wurden. Die Python-Funktionen, die mit Text-oder Imagedatasets trainiert wurden, werden nicht unterstützt. Die Scoring-Ausgabe für die Python-Funktionen muss Vorhersagespalten und Wahrscheinlichkeitsspalten enthalten, die alle Klassenwahrscheinlichkeiten für Klassifikationsprobleme enthalten.

Übergeordnetes Thema: KI-Modelle mit Watson OpenScale