Konfiguration von Driftbewertungen
Mit Hilfe von Drift-Evaluierungen lassen sich nachlassende Genauigkeit und Datenkonsistenz in einem Modell feststellen. Die Modellgenauigkeit sinkt, wenn es eine Zunahme von Transaktionen gibt, die denen ähneln, die das Modell in den Trainingsdaten nicht ordnungsgemäß ausgewertet hat.
Beispiele für die Driftauswertung
Bei der Konfiguration der Drift in müssen Sie die tolerierbare Genauigkeitsdrift angeben. Die Drift wird als Rückgang der Genauigkeit im Vergleich zur Modellgenauigkeit zum Zeitpunkt des Trainings gemessen. Beispiel: Wenn die Modellgenauigkeit zum Zeitpunkt des Trainings 90% betrug und zur Laufzeit die geschätzte Genauigkeit des Modells 80% beträgt, wird angenommen, dass das Modell um 10% driftet ist. Je nach Anwendungsfall sind Modelleigner bereit, unterschiedliche Driftmengen zu tolerieren. Sie können die Größe der Genauigkeitsdrift für jede Modellbewertung angeben. Wenn die Drift für ein Modell unter den angegebenen Schwellenwert fällt, wird ein Alert generiert.
Wenn Ihre Daten nicht größer als 500 MB sind, können Sie Ihr Modell online trainieren. Andernfalls muss ein Notebook verwendet werden, um das Modell zu trainieren.
Vorbereitende Schritte
Sie müssen die Abweichungserkennung konfigurieren, damit das Modell analysiert werden kann. Sie können Ihr Modell für Abweichungserkennung online mithilfe der Benutzerschnittstelle trainieren, oder indem Sie Code in einem Notebook ausführen. Die Driftkonfiguration wird ausschließlich für strukturierte Daten unterstützt. Die Klassifikationsmodelle unterstützen sowohl Daten-als auch Genauigkeitsdrift, Regressionsmodelle unterstützen nur Datendrift.
Für die Konfiguration des Driftmonitors gelten die folgenden Voraussetzungen:
- Der Machine Learning Provider muss watsonx.ai Runtime sein
- Die Größe der Trainingsdaten muss kleiner als 500MB sein
- Die Trainingsdaten müssen in IBM Cloud Object StorageDb2 gehostet werden.
Gehen Sie wie folgt vor, um die Trainingsdaten hochzuladen und die Modelldetails für die Drifterkennung festzulegen:
- Klicken Sie auf Trainingsdaten hochladen und laden Sie eine Datei mit den beschrifteten Daten hoch.
Weitere Informationen finden Sie unter Modelldetails bereitstellen.
Während dieses Prozesses wird Ihr Modell analysiert und es werden Empfehlungen auf der Grundlage des logischsten Ergebnisses ausgesprochen. Damit die Abweichungserkennung ordnungsgemäß funktioniert, muss der Datentyp Ihrer Vorhersagespalte in den Trainingsdaten mit dem Datentyp der gleichen Spalte in den Nutzdaten übereinstimmen. Ordnen Sie den Vorhersage- und Kennzeichnungsspalten die gleichen Datentypen (Zeichenfolgetyp oder numerischer Typ) zu. Um Datentypen zu bestätigen, klicken Sie auf Modelldetails > Modellausgabedetails > Bearbeiten. Durch diese Auswahlen wird sichergestellt, dass korrekte Daten für die nachfolgenden Konfigurationsschritte vorliegen. Wenn Datentypen geändert werden müssen, stellen Sie die Auswertung erneut bereit, damit die Änderungen wirksam werden.
Auf den nachfolgenden Seiten der Registerkarte Abweichung müssen Sie die folgenden Informationen angeben:
Alertschwellenwert
Nur für Klassifizierungsmodelle erforderlich: Der Grad der Veränderung der Modellgenauigkeit wird mit der Genauigkeit zum Zeitpunkt des Trainings verglichen. Der Alertschwellenwert (Mindestwert 5 %) gibt den Grad der Toleranz für Änderungen im Zeitverlauf an.
Stichprobenumfang
Durch das Festlegen einer Mindeststichprobengröße wird sichergestellt, dass die Abweichung erst gemessen wird, wenn im Auswertungsdataset eine bestimmte Mindestanzahl von Datensätzen verfügbar ist. Durch diese Einstellung wird gewährleistet, dass die Ergebnisse nicht durch eine zu geringe Stichprobengröße beeinträchtigt werden. Bei jeder Ausführung der Abweichungsüberwachung wird anhand der Mindeststichprobengröße festgelegt, wie viele Datensätze in die Berechnung einbezogen werden.
Schritte zum Konfigurieren der Abweichungsauswertung
Wenn Sie IBM watsonx.ai Runtime verwenden, können Sie die Drifterkennung konfigurieren.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Abweichung im Feld Abweichungsmodell auf das Symbol Bearbeiten 
.
Wählen Sie eine Schulungsoption und folgen Sie den Aufforderungen zur Eingabe der erforderlichen Informationen. Nachdem Sie die erforderlichen Informationen angegeben haben, wird eine Zusammenfassung Ihrer Auswahlen zur Überprüfung angezeigt. Falls Sie Änderungen vornehmen möchten, klicken Sie für den betreffenden Abschnitt auf das Symbol Bearbeiten. Andernfalls speichern Sie Ihre Arbeit.
Schritte zum Konfigurieren der Abweichung ohne erneutes Training
Rekonfigurieren Sie die Driftauswertung ohne erneutes Training des Driftmodells, um Parameter ohne weitere Verarbeitung zu aktualisieren. Dabei können die Mindeststichprobengröße und der Schwellenwert angepasst werden, um mehr Daten für das momentan trainierte Modell zu erzeugen, ohne dass zusätzliche Verarbeitungskosten anfallen. Mit dieser Methode können Sie die intensive CPU-Nutzung vermeiden, wenn die zugrunde liegenden Daten stabil sind und das Ausmaß der Abweichung für verschiedene Schwellenwerte angezeigt werden soll.
Hinweis: Ihr Driftmodell erfordert nur dann ein erneutes Training, wenn sich Trainingsdaten oder Schemas ändern.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Abweichung im Feld Abweichungsschwellenwert oder im Feld Stichprobenumfang auf Bearbeiten . Ändern Sie die aktuellen Einstellungen und speichern Sie die Änderungen.
Schritte zum Konfigurieren der Abweichung mithilfe eines Notebooks
Verwenden Sie ein Notebook zum Konfigurieren der Abweichung, wenn die folgenden Bedingungen vorliegen:
- Sie möchten die Trainingsdaten nicht weitergeben, um Driftauswertungen zu konfigurieren
- Sie haben keine Möglichkeit, die Trainingsdaten auf Db2 oder IBM Cloud Object Storage freizugeben, die einzigen beiden Speicherorte für Trainingsdaten, die für Drift-Evaluierungen unterstützt werden.
Diese Option ist hilfreich, wenn die Trainingsdaten nicht in Db2 oder IBM Cloud Object Storage gespeichert sind. In diesem Fall müssen die Trainingsdaten mithilfe eines Notebooks in einen Datenrahmen eingelesen werden. Das spezialisierte Notebook, das Sie herunterladen können, erstellt dann eine spezialisierte Ausgabe, die Sie hochladen können, um Driftauswertungen zu konfigurieren.
Zum Generieren des Drifterkennungsmodells können Sie die Zelle ausführen, die das ibm-wos-utils>=5.0.1.0
Erstellen Sie ein Notizbuch, um das Drifterkennungsmodell mit Hilfe des Beispiel-Notizbuchs zu erstellen. Das Modell für Abweichungserkennung wird automatisch in eine .tar.gz-Datei konvertiert.
Um den Konfigurationsprozess zu starten, klicken Sie auf der Registerkarte Drift im Feld Driftmodell auf Bearbeiten . Verwenden Sie die Option In einem Data-Science-Notebook trainieren. Sie können das komprimierte Modell für Abweichungserkennung in den Ablegebereich ziehen.
Folgen Sie den Bedienerführung zum Eingeben der erforderlichen Informationen. Nachdem Sie die erforderlichen Informationen angegeben haben, wird eine Zusammenfassung Ihrer Auswahlen zur Überprüfung angezeigt. Wenn Sie Änderungen vornehmen möchten, klicken Sie für diesen Abschnitt auf Bearbeiten . Andernfalls speichern Sie Ihre Arbeit.
Übergeordnetes Thema: KI-Modelle evaluieren