Driftauswertungen v2 konfigurieren
Sie können Drift v2 -Auswertungen konfigurieren, um Änderungen in Ihren Daten im Laufe der Zeit zu messen, um konsistente Ergebnisse für Ihr Modell sicherzustellen. Verwenden Sie Drift v2 -Bewertungen, um Änderungen in Ihrer Modellausgabe, die Genauigkeit Ihrer Vorhersagen und die Verteilung Ihrer Eingabedaten zu ermitteln.
In den folgenden Abschnitten wird beschrieben, wie Drift v2 -Bewertungen konfiguriert werden:
Driftauswertungen v2 konfigurieren
Wenn Sie bei der Vorbereitung von Modellevaluierungen Nutzlastdaten protokollieren, können Sie Drift v2 so konfigurieren, dass Sie nachvollziehen können, wie sich Änderungen an Ihren Daten auf die Modellergebnisse auswirken.
Driftarchiv berechnen
Sie müssen die Methode wählen, die zur Analyse Ihrer Trainingsdaten verwendet wird, um die Datenverteilungen Ihrer Modellmerkmale zu bestimmen. Wenn Sie Trainingsdaten anschließen und die Größe Ihrer Daten weniger als 500 MB beträgt, können Sie sich für die Berechnung des Drift v2 entscheiden.
Wenn Sie Ihre Trainingsdaten nicht anschließen oder wenn die Datengröße mehr als 500 MB beträgt, müssen Sie das drift v2 in einem Notebook berechnen lassen. Sie müssen das drift v2 auch in Notebooks berechnen, wenn Sie Bild- oder Textmodelle auswerten wollen.
Sie können die Größe Ihrer Trainingsdaten begrenzen, indem Sie maximale Stichprobengrößen für die Menge der Trainingsdaten festlegen, die für die Bewertung und die Berechnung des drift v2 verwendet werden. Bei non-watsonx.ai ist die Berechnung des drift v2 mit Kosten für die Bewertung der Trainingsdaten anhand des Bewertungsendpunkts Ihres Modells verbunden.
Abweichungsschwellenwerte festlegen
Sie müssen für jede Metrik Schwellenwerte festlegen, um Probleme mit Ihren Bewertungsergebnissen zu erkennen. Die von Ihnen festgelegten Werte erstellen Alerts im Insights-Dashboard , die angezeigt werden, wenn Metrikbewertungen gegen Ihre Schwellenwerte verstoßen. Sie müssen Werte zwischen 0 und 1 festlegen. Die Metrikscores müssen niedriger als die Schwellenwerte sein, um Verstöße zu verhindern.
Wichtige Features auswählen
Nur bei Tabellenmodellen wird die Merkmalsbedeutung berechnet, um die Auswirkungen der Merkmalsdrift auf Ihr Modell zu bestimmen. Zur Berechnung der Merkmalsbedeutung können Sie die wichtigen und wichtigsten Merkmale aus Ihrem Modell auswählen, die den größten Einfluss auf die Modellergebnisse haben.
Wenn Sie SHAP-Erklärungen konfigurieren, werden die wichtigen Merkmale automatisch durch die Verwendung globaler Erklärungen erkannt.
Sie können auch eine Liste wichtiger Features hochladen, indem Sie eine JSON-Datei hochladen. Es werden Beispiel-Snippets bereitgestellt, die Sie zum Hochladen einer JSON-Datei verwenden können. Weitere Informationen finden Sie unter Ausschnitte für Featurebedeutung.
Stichprobegröße festlegen
Es werden Stichprobengrößen bereitgestellt, um die Anzahl der Transaktionen zu verarbeiten, die während der Auswertungen ausgewertet werden. Sie müssen einen Mindeststichprobenumfang festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die Sie auswerten möchten. Sie können auch einen maximalen Stichprobenumfang festlegen, um die maximale Anzahl von Transaktionen anzugeben, die Sie auswerten möchten.
Übergeordnetes Thema: Evaluierung von KI-Modellen