Konfigurieren Sie watsonx.governance -Bewertungen in Ihren Bereitstellungsbereichen, um Einblicke in Ihre Modellleistung zu erhalten. Wenn Sie Bewertungen konfigurieren, können Sie Auswertungsergebnisse analysieren und Transaktionsdatensätze direkt in Ihren Bereichen modellieren.

watsonx.governance bewertet Ihre Modellbereitstellungen, um Sie bei der Leistungsmessung und beim Verständnis Ihrer Modellvorhersagen zu unterstützen. Wenn Sie Modellevaluierungen konfigurieren, generiert watsonx.governance Metriken für jede Bewertung, die verschiedene Einblicke bieten, die Sie überprüfen können. watsonx.governance protokolliert auch die Transaktionen, die bei Auswertungen verarbeitet werden, damit Sie verstehen, wie Ihre Modellvorhersagen bestimmt werden. Weitere Informationen finden Sie unter Evaluating AI models with Watson OpenScale.

Wenn Sie eine Instanz von watsonx.governance bereitgestellt haben, können Sie nahtlos eine Onlinebereitstellung erstellen und anschließend die Bereitstellungsergebnisse auf Fairness, Qualität, Drift und Erklärbarkeit überwachen.

Ein typisches Szenario folgt dieser Reihenfolge:

1. Erstellen Sie einen Bereitstellungsbereich und ordnen Sie dem Bereich eine watsonx.governance -Instanz zu, um alle Überwachungsfunktionen zu aktivieren. Je nach Ihren Anforderungen können Sie den Typ des Speicherplatzes auswählen, z. B. Produktion oder Vorproduktion.
2. Stufen Sie ein trainiertes Modell für maschinelles Lernen und Eingabedaten (Nutzdaten) in den Bereitstellungsbereich hoch und erstellen Sie eine Onlinebereitstellung für das Modell.
3. Geben Sie auf der Registerkarte 'Bereitstellungstest' die Eingabedaten an und rufen Sie Vorhersagen zurück.
4. Konfigurieren Sie auf der Registerkarte "Bewertungen" die Bewertung, um Ihre Implementierung auf Qualität, Fairness und Erklärbarkeit zu überwachen. Geben Sie alle erforderlichen Modelldetails an, damit Watson OpenScale eine Verbindung zu dem Modell, den Trainings-und Nutzdaten sowie zu einem Repository zum Speichern der Auswertungsergebnisse herstellen kann.
5. Konfigurieren Sie eine Fairnessüberwachung, um sicherzustellen, dass Ihr Modell unverzerrte Ergebnisse erzeugt. Wählen Sie Felder aus, um die Fairness zu überwachen, und legen Sie anschließend Schwellenwerte fest, um Vorhersagen für eine überwachte Gruppe im Vergleich zu einer Referenzgruppe zu messen. Sie können Ihr Modell beispielsweise auswerten, um sicherzustellen, dass es unverzerrte Vorhersagen basierend auf dem Geschlecht bereitstellt.
6. Konfigurieren Sie eine Qualitätsüberwachung, um die Modellleistung auf der Basis der Anzahl der korrekten Ergebnisse zu ermitteln, die vom Modell auf der Basis beschrifteter Testdaten, die als Feedbackdaten bezeichnet werden, erzeugt werden. Legen Sie Qualitätsschwellenwerte fest, um zu verfolgen, wann ein Metrikwert außerhalb eines akzeptablen Bereichs liegt.
7. Konfigurieren Sie eine Überwachung auf Abweichungen, um sicherzustellen, dass Ihre Bereitstellungen aktuell und konsistent sind. Verwenden Sie die Merkmalbedeutung, um die Auswirkung der Merkmaldrift auf Ihr Modell zu bestimmen. Beispielsweise kann eine geringe Drift in einem wichtigen Feature größere Auswirkungen auf Ihr Modell haben als eine mäßige Drift in einem weniger wichtigen Feature.
8. Sie können Ihre Bereitstellungsergebnisse auf Erklärbarkeit hin überwachen, um die Faktoren zu verstehen, die das Modell zur Bestimmung einer Vorhersage geführt haben. Wählen Sie die Erläuterungsmethode aus, die Ihren Anforderungen am besten entspricht. Sie können beispielsweise die SHAP-Methode (Shapley Additive EXplanations) für gründliche Erklärungen oder die LIME-Methode (Local Interpretable Model-Agnostic Erklärungen) für schnellere Erklärungen auswählen.
9. Schließlich können Sie Ihre Modellauswertungen überprüfen, um Bereiche zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden. Testen Sie Szenarien, um festzustellen, ob sich ändernde Eingaben die Modellleistung verbessern können.

In den folgenden Abschnitten wird beschrieben, wie Sie watsonx.governance -Auswertungen konfigurieren und Modellerkenntnisse in Ihren Bereitstellungsbereichen überprüfen: