Integration von watsonx.governance as a Service auf AWS mit Amazon SageMaker

Zurück zur englischen Version der Dokumentation

Letzte Aktualisierung: 23. Sept. 2024

Integration von watsonx.governance as a Service auf AWS mit Amazon SageMaker

Sie können watsonx.governance as a Service in AWS mit Amazon SageMaker integrieren, um die Governance-, Risiko-und Compliance-Funktionen von watsonx.governance für Ihre Amazon SageMaker -Modelle bereitzustellen.

Vorbereitende Schritte

Sie benötigen die folgenden Services:

Eine Instanz von watsonx.governance
Eine Instanz von Amazon SageMaker

Konfigurieren Sie die folgenden Services in AWS:

CloudTrail: Amazonas SageMaker Veranstaltungen werden veröffentlicht an CloudTrail.
Einfacher Warteschlangenservice (SQS): Mit diesem Dienst können Sie eine Warteschlange für Ihre Amazon SageMaker -Modelle einrichten. Weitere Informationen finden Sie unter Amazon SQS einrichten .
EventBridge: Verwenden Sie diesen Dienst, um Regeln zu definieren, die Amazon extrahieren SageMaker Die Modellkarte wechselt zu einer FIFO-Warteschlange des Simple Queue Service (SQS).

Stellen Sie sicher, dass die Services CloudTrail und EventBridge aktiv sind.

Richten Sie in AWSeinen Langzeitzugriffsschlüssel für die Integration mit watsonx.governanceein. Ihre Berechtigungsnachweise müssen über den folgenden Zugriff verfügen:

Programmgesteuerter Zugriff auf Simple Queue Service (SQS)
Programmgesteuerter Zugriff auf die Amazon SageMaker -APIs
Berechtigungen zum Aktualisieren von Modellkarten in Amazon SageMaker

Weitere Informationen finden Sie unter AWS -Sicherheitsberechtigungsnachweise.

Stellen Sie in der Governance-Konsole sicher, dass Ihr Benutzerkonto über das Recht All/SOX/Administration/SageMaker Anwendungsberechtigung.

AWS -Services für die Integration einrichten

Führen Sie die folgenden Schritte aus:

Konfigurieren Sie eine SQS-Warteschlange für Ihre Amazon SageMaker -Modelle.
Richten Sie eine Amazon-Regel des Typs EventBridge ein und fügen Sie Ihre SQS-Warteschlange als Ziel für die Regel hinzu.

Einrichten einer SQS-Warteschlange

Die Integration verwendet eine SQS-Warteschlange, um Benachrichtigungen über Änderungen an Modellkarten zu empfangen.

Gehen Sie wie folgt vor, um eine SQS-Warteschlange einzurichten:

Wählen Sie in der AWS -Konsole den einfachen Warteschlangenservice aus.
Klicken Sie auf Warteschlange erstellen.
Geben Sie einen Namen für die Warteschlange und dann die folgenden Informationen ein:
- Typ: FIFO
- Zeitlimit für Sichtbarkeit: 30 Sekunden
- Aufbewahrungszeitraum für Nachrichten:4 Tage
- Maximale Nachrichtengröße: 256 KB
- Zustellungsverzögerung:0
- Wartezeit für Empfangsnachrichten: 0
Aktivieren Sie unter FIFO-Warteschlangeneinstellungendie folgenden Optionen:
- Inhaltsbasierte Deduplizierung
- FIFO-Warteschlange mit hohem Durchsatz

Die SQS-Warteschlange ist definiert. Richten Sie als Nächstes eine Regel EventBridge ein.

EventBridge -Regel einrichten

Führen Sie die folgenden Schritte aus, um eine EventBridge -Regel einzurichten und Ihre SQS-Warteschlange als Ziel hinzuzufügen:

Wählen Sie in der AWS -Konsole den Amazon-Service EventBridge aus.
Klicken Sie auf Regel erstellen.
Geben Sie einen Namen für die Regel ein und klicken dann auf Weiter.
Klicken Sie für die Ereignisquelle auf Andere.

Klicken Sie für die Erstellungsmethode auf Angepasstes Muster (JSON-Editor)und geben Sie dann die folgende JSON für das Ereignismuster ein:

{
   "detail": {
      "eventName": ["CreateModelCard", "UpdateModelCard", "DeleteModelCard"],
      "eventSource": ["sagemaker.amazonaws.com"]
  },
   "detail-type": ["AWS API Call via CloudTrail"],
   "source": ["aws.sagemaker"]
}

Klicken Sie auf Weiter.
Legen Sie als Ziel die erstellte SQS-Warteschlange fest.
Klicken Sie auf den verbleibenden Seiten auf Weiter und anschließend auf Regel erstellen.

Sie haben nun eine Regel EventBridge mit Ihrer SQS-Warteschlange als Ziel der Regel.

Übergeordnete Geschäftsentität einrichten

Entscheiden Sie, welche Geschäftsentität Sie als übergeordnete Geschäftsentität für Ihre Amazon SageMaker -Modelle verwenden möchten. Standardmäßig lautet die übergeordnete Geschäftsentität für Amazon SageMaker -Modelle Library/MRG.

Wenn eine andere Geschäftsentität verwendet wird, erstellen Sie sie, bevor Sie die Integration mit Amazon SageMakerkonfigurieren. Klicken Sie zum Anzeigen einer Liste mit Geschäftsentitäten auf Ausgangsmenü > Organisation > Geschäftsentitäten. Zum Erstellen einer Geschäftsentität müssen Sie über Administratorberechtigungen verfügen.

Wenn Sie beispielsweise Ihre Amazon SageMaker Modelle unter Bibliothek/MRG/SageMaker, gehen Sie zu Bibliothek/MRG Unternehmenseinheit, klicken Sie auf Neue Geschäftseinheit. Geben Sie im Feld Name SageMakerein und wählen Sie im Feld Typ die Option Bibliothekaus. Füllen Sie die erforderlichen Felder aus und speichern Sie anschließend.

Integration konfigurieren

Um die Integration zu konfigurieren, benötigen Sie die folgenden Informationen:

Ihre AWS Konto-ID.
Die Zugangsschlüssel-ID und die geheime ID, die Sie für die Integration eingerichtet haben.
Die Amazon SQS-Service-URL, die Sie für die Integration eingerichtet haben.

Erforderliche Berechtigung: Sie benötigen die All/SOX/Administration/SageMaker Anwendungsberechtigung in der Governance-Konsole.

Führen Sie die folgenden Schritte aus, um die Integration zu konfigurieren:

Melden Sie sich als Administrator bei der Governance-Konsole an.
Klicken Sie auf > Integrationen > Amazon SageMaker.
Führen Sie unter Allgemeine Konfigurationdie folgenden Schritte aus:
1. Wählen Sie die übergeordnete Geschäftsentität für Ihre SageMaker -Modelle aus. Normalerweise werden Modelle unter der Entität Library/MRG gespeichert.
2. Wählen Sie einen Standardbenutzer aus. Modelle, denen kein Eigentümer zugewiesen ist oder die einen Eigentümer haben, der in der Governance-Konsole nicht vorhanden ist, werden diesem Standardbenutzer zugewiesen.
Geben Sie in AWS Anmeldedaten für das Konto Ihre AWS Kontodaten und Ihre Region ein.

Verwenden Sie für die Region us-east-1.
Geben Sie unter SQS-URL für Modellkartedie URL der SQS-Warteschlange ein, die Sie konfiguriert haben.
Klicken Sie auf Verbindung testenund anschließend auf Speichern.
Klicken Sie auf die Umschaltfläche, um die Integration zu aktivieren. Der automatische Synchronisationsprozess wird gestartet. Wenn Sie Modelle in Amazon erstellen SageMaker, Die Informationen werden mit der Governance-Konsole synchronisiert. Um den Fortschritt anzuzeigen, klicken Sie auf Andere > Hintergrundprozesse.

Tipp: Wenn Sie vorhandene Modelle in Amazon haben SageMaker, klicken Vorhandene Modellinformationen synchronisieren. Die Tabelle SageMaker -Synchronisationen zeigt den Fortschritt der manuellen Synchronisation.

Ihr Amazon SageMaker Modelle sind jetzt in der Governance-Konsole verfügbar.

Der typische Workflow für neue Anwendungsfälle lautet wie folgt:

Ein Geschäftsbenutzer erstellt einen Anwendungsfall und führt die Risikobewertung und Anwendbarkeitsbewertung durch.
Der Modellentwickler wird benachrichtigt, dass der Anwendungsfall für die Entwicklung bereit ist.
Der Modellentwickler erstellt eine Modellkarte in Amazon SageMaker.
Die Modellkarteninformationen werden von Amazon synchronisiert SageMaker zur Governance-Konsole.
Der Geschäftsbenutzer verknüpft das Modell mit dem Anwendungsfall.

Datensynchronisation

Der Synchronisationsprozess ist für folgende Aktionen empfangsbereit:

UpdateModelCard: Eine Modellkarte wird in Amazon SageMakerbearbeitet oder aktualisiert.
DeleteModelCard: Eine Modellkarte wird in Amazon SageMakergelöscht.
CreateModelCard: Eine Modellkarte wird in Amazon SageMakererstellt.

Möglicherweise werden die Änderungen in der Governance-Konsole nicht sofort angezeigt.

Der Synchronisationsprozess wird einmal pro Minute ausgeführt.
Der Synchronisationsprozess wird angehalten, wenn der Systemverwaltungsmodus aktiviert ist. Die Synchronisation wird fortgesetzt, wenn der Systemverwaltungsmodus inaktiviert ist.
Der Synchronisationsprozess wird angehalten, wenn eine manuelle Synchronisation ausgeführt wird. Die Synchronisation wird fortgesetzt, wenn der manuelle Prozess abgeschlossen ist.

Von der Governance-Konsole mit Amazon synchronisierte Informationen SageMaker

Die folgende Tabelle zeigt die Felder, die von der Governance-Konsole mit Amazon synchronisiert werden. SageMaker.

Wenn Sie beispielsweise den Modellbesitzer für ein Modellobjekt in der Governance-Konsole aktualisieren, wird das Feld „Modellbesitzer“ auf der Modellkarte in Amazon SageMaker ist aktualisiert.

Tabelle 2. Felder, die von der Governance-Konsole mit Amazon synchronisiert werden SageMaker
Governance-Konsole	SageMaker , Feld
MRG-Modell: Modelleigner:	Modelleigner (`model_owner`)
MRG-Modell: Status *	Status der Modellkarte (`model_approval_status`)
MRG-AIFacts-ModelUseCase:Purpose	Zweck des Modells (`purpose_of_model`)
MRG-AIFacts-ModelUseCase:Risk Ebene	Risikobewertung (`risk_rating`)
(Anwendungsfall) Systemfelder: Beschreibung	Geschäftsproblem > Beschreibung (`business_problem`)
MRG-ModelUseCase:Owner	Geschäftlicher Stakeholder (`business_stakeholders`)

*Nur für die erste Synchronisierung wird MRG-Model:Status von Amazon synchronisiert. SageMaker zur Governance-Konsole. Bei nachfolgenden Synchronisierungen wird der Status von der Governance-Konsole mit Amazon synchronisiert. SageMaker.

Von Amazon synchronisierte Informationen SageMaker zur Governance-Konsole

Die folgende Tabelle zeigt die Felder, die von Amazon synchronisiert werden SageMaker zur Governance-Konsole.

Wenn Sie beispielsweise das Feld „Modellersteller“ auf einer Modellkarte in Amazon aktualisieren SageMaker, Das Feld „Modellentwickler“ im Modellobjekt wird in der Governance-Konsole aktualisiert.

Tabelle 3. Von Amazon synchronisierte Felder SageMaker zur Governance-Konsole
SageMaker	Governance-Konsole
Modellersteller	MRG-Model:Modellentwickler: Wenn der Benutzer in der Governance-Konsole nicht vorhanden ist, wird als Modellentwickler der Standardbenutzer festgelegt, den Sie bei der Konfiguration der Integration angegeben haben.
Algorithmustyp	MRG-AIFacts-Modell: Algorithmus
model_id	MRG-AIFacts-Modell: ID des externen Assets
Modellartefakt	MRG-AIFacts-Model: External Asset URL -- Externe Assets werden nur synchronisiert, wenn der Ordnername des Assets `ModelArtifacts`enthält.
Modellname	MRG-AIFacts-Modell: Name des externen Modells
Modellversion	MRG-Modell: Modellversion
Trainingsmetriken (training_metrics und user_provided_training_metrics)	Metrik, Metrikwert
Hyperparameter (hyper_parameters und user_provided_hyper_parameters)	MRG-AIFacts-Modell: Hyperparameter (flacht von einem Array zu einer Zeichenfolge)

Schulungsmetriken und vom Benutzer bereitgestellte Schulungsmetriken

Trainingsmetriken und vom Benutzer bereitgestellte Trainingsmetriken werden in der Governance-Konsole Metrik- und Metrikwertobjekten zugeordnet.

Metrik- und Metrikwertobjekte werden in der Governance-Konsole erstellt, sofern sie nicht vorhanden sind. Metrikobjekte werden als untergeordnete Elemente des Modellobjekts erstellt. Metric Value-Objekte werden als untergeordnete Elemente des Metric-Objekts erstellt.

Für Trainingsmetriken und vom Benutzer bereitgestellte Trainingsmetriken werden die folgenden Felder in der Governance-Konsole mit den Informationen von Amazon aktualisiert. SageMaker:

Metric.Description: Der Name der Metrik in Amazon SageMaker
Metric.Title: Der Name der Metrik.
Metric.Status: Für vorhandene Metriken auf 'Aktiv' setzen. Wird für Metriken, die in Amazon SageMakergelöscht werden, auf "Inaktiv" gesetzt
Metrik Value.Description: Der Name der Metrik.
Metrik Value.MRG-MetricVal Wert: Der Wert der Metrik.
Metrik Value.MRG-Metric-Shared:Collection Status: Auf "Collected" festlegen.

Bidirektionale Synchronisation

Die Modellkartenbeschreibung (model_description ) Feld in Amazon SageMaker und das Feld Beschreibung des Modellobjekts (Model.System Fields:Description ) in der Governance-Konsole werden in beide Richtungen synchronisiert.

Übergeordnetes Thema: Watsonx.governance als Dienst auf AWS