Sie können IBM watsonx.ai Runtime verwenden, um Payload-Protokollierung und Feedback-Protokollierung durchzuführen und um die Leistungsgenauigkeit, Laufzeit-Bias-Erkennung, Drift-Erkennung, Erklärbarkeit und Auto-Debias-Funktion zu messen, wenn Sie Machine-Learning-Modelle evaluieren.
Die folgenden IBM watsonx.ai Runtime Frameworks werden für die Auswertung von Machine Learning Modellen unterstützt:
Tabelle 1. Details der Frameworkunterstützung
| Framework | Problemtyp | Datentyp |
|---|---|---|
| AutoAI1 | Klassifizierung (binär und mit mehreren Klassen) | Strukturiert (Daten, Text) |
| AutoAI | Regression | Strukturiert oder unstrukturiert2 (nur Text) |
| Apache Spark MLlib | Klassifikation | Strukturiert oder unstrukturiert2 (nur Text) |
| Apache Spark MLLib | Regression | Strukturiert oder unstrukturiert2 (nur Text) |
| Keras mit TensorFlow3&4 | Klassifikation | Unstrukturiert2 (Bild, Text) |
| Keras mit TensorFlow3&4 | Regression | Unstrukturiert2 (Bild, Text) |
| Python-Funktion | Klassifikation | Strukturiert (Daten, Text) |
| Python-Funktion | Regression | Strukturiert (Daten, Text) |
| scikit-lernen5 | Klassifikation | Strukturiert (Daten, Text) |
| scikit-learn | Regression | Strukturiert (Daten, Text) |
| XGBoost6 | Klassifikation | Strukturiert (Daten, Text) |
| XGBoost | Regression | Strukturiert (Daten, Text) |
1Weitere Informationen zu AutoAI finden Sie im Abschnitt zu den Bereitstellungsdetails für AutoAI. Bei Modellen, bei denen sich die Trainingsdaten in Cloud Object Storage befinden, werden boolesche Fairnessattribute nicht unterstützt. Wenn die Trainingsdaten jedoch in Db2 vorliegen, unterstützen die Modellevaluierungen Fairness-Attribute, die boolesch sind. Wenn die Modellvorhersage ein binärer Datentyp ist, werden bei Verwendung der AutoAI keine Modellbewertungen unterstützt. Sie müssen derartige Modelle so ändern, dass es sich beim Datentyp der zugehörigen Vorhersagen um einen Zeichenfolgedatentyp oder einen ganzzahligen Datentyp handelt.
2Fairness- und Driftmetriken werden für unstrukturierte Datentypen (Bild oder Text) nicht unterstützt.
3Die Unterstützung für Keras beinhaltet keine Unterstützung für Fairness.
4Erklärbarkeit wird unterstützt, wenn Ihr Modell bzw. Framework Vorhersagewahrscheinlichkeiten ausgibt.
5Zum Generieren des Drifterkennungsmodells müssen Sie scikit-learn Version 1.3.2 in Notebooks verwenden.
6Für XGBoost-Modelle mit binären und mehreren Klassen müssen Sie das Modell aktualisieren, um die Vorhersagewahrscheinlichkeit in Form von numerischen Werten für binäre Modelle und eine Liste mit Wahrscheinlichkeiten pro Klasse für Mehrklassenmodelle zurückzugeben. Die Unterstützung des XGBoost-Frameworks weist bei Klassifizierungsproblemen die folgenden Einschränkungen auf: Für die binäre Klassifizierung wird die logistische Regressionsfunktion " binary:logistic mit einer Ausgabe als Wahrscheinlichkeit von " True für die Modellbewertung unterstützt. Bei der Mehrklassenklassifizierung wird die Funktion " multi:softprob, deren Ergebnis die vorhergesagte Wahrscheinlichkeit der Zugehörigkeit jedes Datenpunkts zu jeder Klasse enthält, für die Modellbewertung unterstützt.
AutoAI-Modelle und Trainingsdaten
AutoAI bereitet automatisch Daten vor, wendet Algorithmen oder Schätzer an und erstellt Modellpipelines, die am besten für Ihre Daten und Ihren Anwendungsfall geeignet sind. Der Zugang zu den Trainingsdaten ist erforderlich, um das Modell für Auswertungen zu analysieren.
Da der Speicherort der Trainingsdaten bei einer AutoAI nicht wie bei einem normalen Modell erkannt werden kann, müssen Sie die erforderlichen Angaben explizit machen, um auf den Speicherort der Trainingsdaten zuzugreifen:
- Für den Online-Pfad für die manuelle Konfiguration der Überwachung müssen Sie die Details zu der Datenbank angeben, über die auf Trainingsdaten zugegriffen werden kann.
- Für den angepassten Notebookpfad für das Hochladen der Trainingsdatenverteilung können Sie die JSON-Datei verwenden, die durch Ausführen des Notebooks erstellt wird.
Weitere Informationen finden Sie im Abschnitt Modelldetails angeben.
Festlegen einer IBM watsonx.ai Runtime Service-Instanz
Ihr erster Schritt bei der Konfiguration von Modellevaluierungen ist die Angabe einer IBM watsonx.ai Runtime-Instanz. Ihre watsonx.ai Runtime-Instanz ist der Ort, an dem Sie Ihre KI-Modelle und -Einsätze speichern.
Voraussetzungen
Sie sollten eine IBM watsonx.ai Runtime-Instanz im selben Konto oder Cluster bereitgestellt haben, in dem auch die Service-Instanz für Modellevaluierungen vorhanden ist. Wenn Sie eine IBM watsonx.ai Runtime-Instanz in einem anderen Konto oder Cluster bereitgestellt haben, können Sie diese Instanz nicht mit automatischer Nutzdatenprotokollierung für Modellevaluierungen konfigurieren.
Verbinden Sie Ihre watsonx.ai Runtime Service-Instanz
Sie können eine Verbindung zu KI-Modellen und -Einsätzen in einer IBM watsonx.ai Runtime-Instanz für Modellevaluierungen herstellen. Um Ihren Dienst zu verbinden, gehen Sie auf die Registerkarte " 
, fügen Sie einen Anbieter für maschinelles Lernen hinzu und klicken Sie auf das Symbol " 
bearbeiten. Neben einem Namen und einer Beschreibung sowie der Angabe, ob es sich um eine Vorproduktionsumgebung oder eine Produktionsumgebung handelt, müssen Sie die folgenden speziellen Informationen für diesen Serviceinstanztyp angeben:
- Wenn Sie eine Instanz von IBM watsonx.ai Runtime haben, wird die Instanz zusammen mit den Konfigurationsinformationen erkannt.
Übergeordnetes Thema: Unterstützte Engines, Frameworks und Modelle für maschinelles Lernen