Mit Hilfe von Drift-Evaluierungen lassen sich nachlassende Genauigkeit und Datenkonsistenz in einem Modell feststellen. Die Modellgenauigkeit sinkt, wenn es eine Zunahme von Transaktionen gibt, die denen ähneln, die das Modell in den Trainingsdaten nicht ordnungsgemäß ausgewertet hat.
Beispiele für die Driftauswertung
Bei der Konfiguration der Drift in müssen Sie die tolerierbare Genauigkeitsdrift angeben. Die Drift wird als Rückgang der Genauigkeit im Vergleich zur Modellgenauigkeit zum Zeitpunkt des Trainings gemessen. Beispiel: Wenn die Modellgenauigkeit zum Zeitpunkt des Trainings 90% betrug und zur Laufzeit die geschätzte Genauigkeit des Modells 80% beträgt, wird angenommen, dass das Modell um 10% driftet ist. Je nach Anwendungsfall sind Modelleigner bereit, unterschiedliche Driftmengen zu tolerieren. Sie können die Größe der Genauigkeitsdrift für jede Modellbewertung angeben. Wenn die Drift für ein Modell unter den angegebenen Schwellenwert fällt, wird ein Alert generiert.
Wenn Ihre Daten nicht größer als 500 MB sind, können Sie Ihr Modell online trainieren. Andernfalls müssen Sie zum Trainieren Ihres Modells ein Notebook verwenden.
Vorbereitende Schritte
Sie müssen die Abweichungserkennung konfigurieren, damit das Modell analysiert werden kann. Sie können Ihr Modell für Abweichungserkennung online mithilfe der Benutzerschnittstelle trainieren, oder indem Sie Code in einem Notebook ausführen. Die Driftkonfiguration wird ausschließlich für strukturierte Daten unterstützt. Die Klassifikationsmodelle unterstützen sowohl Daten-als auch Genauigkeitsdrift, Regressionsmodelle unterstützen nur Datendrift.
Für die Konfiguration des Driftmonitors gelten die folgenden Voraussetzungen:
- Der Machine Learning Provider muss watsonx.ai Runtime sein
- Die Größe der Trainingsdaten muss kleiner als 500MB sein
- Die Trainingsdaten müssen in IBM Cloud Object StorageDb2 gehostet werden.
Gehen Sie wie folgt vor, um die Trainingsdaten hochzuladen und die Modelldetails für die Drifterkennung festzulegen:
- Klicken Sie auf Trainingsdaten hochladen und laden Sie eine Datei mit den beschrifteten Daten hoch.
Weitere Informationen finden Sie unter Modelldetails bereitstellen.
Während dieses Prozesses wird Ihr Modell analysiert und es werden Empfehlungen auf der Grundlage des logischsten Ergebnisses ausgesprochen. Damit die Abweichungserkennung ordnungsgemäß funktioniert, muss der Datentyp Ihrer Vorhersagespalte in den Trainingsdaten mit dem Datentyp der gleichen Spalte in den Nutzdaten übereinstimmen. Ordnen Sie den Vorhersage- und Kennzeichnungsspalten den übereinstimmenden Typ 'Zeichenfolge' oder 'Numerisch' zu. Um Datentypen zu bestätigen, klicken Sie auf Modelldetails > Modellausgabedetails > Bearbeiten. Mit dieser Auswahl wird sichergestellt, dass Sie bei den folgenden Konfigurationsschritten über die richtigen Informationen verfügen. Wenn Datentypen geändert werden müssen, stellen Sie die Auswertung erneut bereit, damit die Änderungen wirksam werden.
Auf den aufeinanderfolgenden Seiten der Registerkarte Drift müssen Sie die folgenden Informationen angeben:
Alertschwellenwert
Nur für Klassifizierungsmodelle erforderlich: Der Grad der Veränderung der Modellgenauigkeit wird mit der Genauigkeit zum Zeitpunkt des Trainings verglichen. Der Alertschwellenwert muss mindestens 5 % betragen und gibt den Grad der Toleranz für die Änderung im Lauf der Zeit an.
Stichprobenumfang
Durch das Festlegen eines Mindeststichprobenumfangs wird die Driftmessung verhindert, bis eine Mindestanzahl Datensätze im Auswertungsdataset verfügbar ist. Durch diese Einstellung wird sichergestellt, dass die Ergebnisse nicht durch einen zu kleinen Stichprobenumfang verfälscht werden. Bei jeder Durchführung der Driftprüfung wird jeweils der Mindeststichprobenumfang verwendet, um die Anzahl der Datensätze zu bestimmen, für die die Berechnung ausgeführt wird.
Schritte zum Konfigurieren der Abweichungsauswertung
Wenn Sie IBM watsonx.ai Runtime verwenden, können Sie die Drifterkennung konfigurieren.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Abweichung im Feld Abweichungsmodell auf das Symbol Bearbeiten 
.
Wählen Sie eine Schulungsoption und folgen Sie den Aufforderungen zur Eingabe der erforderlichen Informationen. Wenn Sie fertig sind, wird eine Zusammenfassung Ihrer Angaben zur Prüfung angezeigt. Falls Sie Änderungen vornehmen möchten, klicken Sie für den betreffenden Abschnitt auf das Symbol Bearbeiten. Andernfalls speichern Sie Ihre Arbeit.
Schritte zur Konfiguration der Drift ohne Retraining
Rekonfigurieren Sie die Driftauswertung ohne erneutes Training des Driftmodells, um Parameter ohne weitere Verarbeitung zu aktualisieren. Sie aktualisieren die Mindeststichprobengröße und den Schwellenwert, um mehr Daten zu dem aktuell trainierten Modell zu generieren, ohne dass weitere Verarbeitungskosten anfallen. Dies ist eine Möglichkeit, um eine intensive CPU-Nutzung zu vermeiden, wenn die zugrunde liegenden Daten stabil sind und Sie das Ausmaß der Drift bei unterschiedlichen Schwellenwerten anzeigen möchten.
Hinweis: Ihr Driftmodell erfordert nur dann ein erneutes Training, wenn sich Trainingsdaten oder Schemas ändern.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Abweichung im Feld Abweichungsschwellenwert oder im Feld Stichprobenumfang auf Bearbeiten . Aktualisieren Sie die aktuelle Einstellung und speichern Sie sie.
Schritte zur Konfiguration der Drift mithilfe eines Notebooks
Unter den folgenden Umständen verwenden Sie ein Notebook, um die Drift zu konfigurieren:
- Sie möchten die Trainingsdaten nicht weitergeben, um Driftauswertungen zu konfigurieren
- Sie haben keine Möglichkeit, die Trainingsdaten auf Db2 oder IBM Cloud Object Storage freizugeben, die einzigen beiden Speicherorte für Trainingsdaten, die für Drift-Evaluierungen unterstützt werden.
Diese Option ist nützlich, wenn die Trainingsdaten nicht in Db2 oder IBM Cloud Object Storage gespeichert sind. Wenn Sie ein Notebook verwenden, müssen Sie die Trainingsdaten mit einem Lesezugriff in einen Datenrahmen laden. Das spezialisierte Notebook, das Sie herunterladen können, erstellt dann eine spezialisierte Ausgabe, die Sie hochladen können, um Driftauswertungen zu konfigurieren.
Zum Generieren des Drifterkennungsmodells können Sie die Zelle ausführen, die das ibm-wos-utils>=5.0.1.0 -Paket und die Lernversion 1.3.2für das SCI-Kit installiert. Scikit-learn Version 1.3.2 ist zum Erstellen des Modells erforderlich.
Erstellen Sie ein Notizbuch, um das Drifterkennungsmodell mit Hilfe des Beispiel-Notizbuchs zu erstellen. Das Drifterkennungsmodell wird für Sie in eine .tar.gz-Datei konvertiert.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Drift im Feld Driftmodell auf Bearbeiten . Verwenden Sie die Option In Data Science-Notebook trainieren. Sie können das komprimierte Drifterkennungsmodell in den Ablegebereich ziehen.
Folgen Sie den Eingabeaufforderungen und geben Sie die erforderlichen Informationen ein. Wenn Sie fertig sind, wird eine Zusammenfassung Ihrer Angaben zur Prüfung angezeigt. Wenn Sie Änderungen vornehmen möchten, klicken Sie für diesen Abschnitt auf Bearbeiten . Andernfalls speichern Sie Ihre Arbeit.
Weitere Informationen
Übergeordnetes Thema: Modellevaluierungen konfigurieren