Mit AI Factsheets können Sie einen Modellanwendungsfall für ein Modell, das Sie außerhalb von Watson Studio trainiert haben, zum Modellbestand hinzufügen, sodass Sie die Lebenszyklusdetails für das Modell verfolgen können.
Verwenden Sie die von AI Factsheets bereitgestellte Governance-Unterstützung, um das Lebenszyklusmanagement externer Modelle auf folgende Weise zu steuern:
- Fügen Sie Bereitstellungen zu den vorhandenen externen Modellen hinzu.
- Verschieben Sie das Modell aus der Umgebung in eine andere Umgebung in der Lebenszyklusüberwachungsansicht des Modellanwendungsfalls.
- Verschieben Sie die Bereitstellung mithilfe der Python -Client-API und der REST-API von einer Umgebung in eine andere.
- Geben Sie zusätzliche Modellmetadaten und Trainingsdateninformationen an, wenn ein externes Modell im Katalog über die Python -API und die REST-API gespeichert wird.
Überwachung externer Modelle vorbereiten
Externe Modelle können jeden Typ haben, der für die Bewertung durch den Watson OpenScale -Service unterstützt wird. Weitere Information finden Sie im Abschnitt Unterstützte Engines für maschinelles Lernen, Frameworks und Modelle. Darüber hinaus werden in Notebooks entwickelte Modelle als externe Modelle betrachtet, sodass Sie mithilfe von AI Factsheets Modelle steuern können, die Sie auf anderen Plattformen als Cloud Pak for Dataentwickeln, bereitstellen und überwachen.
Diese Punkte geben einen Überblick über den Prozess zum Beibehalten von Fakten für ein externes Modell.
- Ein Benutzer mit Administratorzugriff auf die IBM Knowledge Catalog müssen Sie zunächst ein Platform assets catalog zum Registrieren externer Modelle. Aktivieren Sie anschließend die Nachverfolgung für externe Modelle im Modellinventar.
- Der Administrator für den Plattformzugriffskatalog kann Benutzern die Eignerberechtigung für externe Modellassets erteilen, die über Watson OpenScalehinzugefügt wurden.
- Sie können die API in einem Modellnotizbuch verwenden, um ein externes Modellasset in einem Katalog zu speichern.
- Ordnen Sie das externe Modellasset einem Modellanwendungsfall im Modellbestand zu, um die Fakten beizubehalten. Neben Modellmetadaten beschreiben die neuen Felder
External model identifierundExternal deployment identifier, wie die Modelle und Bereitstellungen in externen Systemen identifiziert werden, z. B. AWS oder Azure. - Sie können Implementierungen von Modellen anderer Anbieter in OpenScale auswerten, um ein externes Modellasset zu definieren. Der Zielkatalog wird gemäß den folgenden Regeln eingerichtet:
- Das externe Modell wird im Platform assets catalog erstellt, wenn das entsprechende Entwicklungszeitmodell bereits im Platform assets catalog vorhanden ist oder wenn in keinem Katalog ein Entwicklungszeitmodell erstellt wurde.
- Wenn das entsprechende Entwicklungszeitmodell in einem Katalog (mit Ausnahme des Platform assets catalog) mit dem Python -Client erstellt wird, wird das Modell in diesem Katalog erstellt.
Ausführliche Informationen finden Sie in folgenden Artikeln:
Externes Modellasset einem Modellanwendungsfall zuordnen
Bei der automatischen Überwachung externer Modelle werden alle externen Modelle, die in Watson OpenScale ausgewertet werden, dem Katalog hinzugefügt, in dem sich das Entwicklungszeitmodell befindet. Nachdem sich das Modell im Katalog befindet, kann es im Modellbestand registriert werden. Sie können ein externes Modellasset einem Modellanwendungsfall in einem Modellbestand wie folgt zuordnen:
- Verwenden Sie die API, um das externe Modellasset programmgesteuert aus einem Notebook in einem Katalog zu speichern. Das externe Modellasset kann dann einem Modellanwendungsfall zugeordnet werden.
- Ordnen Sie das externe Modell, das mit der Watson OpenScale -Auswertung erstellt wurde, einem Modellanwendungsfall zu.
Externes Modellasset mit der API erstellen
- Erstellen Sie ein Modell in einem Notebook.
- Speichern Sie das Modell. Sie können beispielsweise in einem S3-Bucket speichern.
- Verwenden Sie die API, um ein externes Modellasset (eine Darstellung des externen Modells) in einem Katalog zu erstellen. Weitere Informationen zu API-Befehlen, die mit dem Modellbestand interagieren, finden Sie in der Dokumentation zu IBM_AIG_FACTS_CLIENT.
Externes Modellasset im Modellbestand registrieren
- Öffnen Sie die Registerkarte Assets in dem Katalog, in dem Sie das Modell verfolgen wollen.
- Wählen Sie das externe Modellasset aus, das Sie verfolgen möchten.
- Kehren Sie zur Registerkarte Assets im Katalog zurück und klicken Sie auf Dieses Modell verfolgen.
- Wählen Sie einen vorhandenen Modellanwendungsfall aus oder erstellen Sie einen neuen.
- Vervollständigen Sie den Anwendungsfall mit den Modellanwendungsfalldetails und speichern Sie die Details im Bestand.
Externes Modell über Watson OpenScale registrieren
Wenn Sie ein externes Modell in Watson OpenScalevalidieren, können Sie ein externes Modell einem Anwendungsfall zuordnen, um die Lebenszyklusfakten zu verfolgen.
- Fügen Sie ein externes Modell zum OpenScale -Dashboard hinzu.
- Wenn Sie bereits einen Modellanwendungsfall mit der API definiert haben, erkennt das System die Anwendungsfallzuordnung.
- Wenn Sie eine Implementierung erstellen und überwachen, werden die Fakten beim zugehörigen Anwendungsfall registriert. Diese Fakten werden in der Validierungs-oder Betriebsphase angezeigt, je nachdem, wie Sie den Machine Learning-Provider für das Modell klassifiziert haben.
Modellanwendungsfall füllen
Wenn Fakten für ein externes Modellasset gespeichert werden, werden sie wie folgt der Säule zugeordnet, die ihre Phase im Lebenszyklus darstellt:
- Wenn das externe Modellasset aus einem Notebook ohne Bereitstellung erstellt wird, wird es in der Entwicklungssäule angezeigt.
- Wenn das externe Modellasset aus einem Notebook mit Bereitstellung erstellt wird, wird es in der Testsäule angezeigt.
- Wenn die Bereitstellung des externen Modells in OpenScale ausgewertet wird, wird sie in der Validierungs- oder Betriebsphase angezeigt, je nachdem, wie Sie den Machine Learning-Provider für das Modell klassifiziert haben.
Beispiel: Verfolgung eines Amazon SageMaker-Modells
Dieses Beispielmodell, das in Amazon SageMaker, erstellt wurde, ist für die Verfolgung registriert und durchläuft die Phasen Testen, Validieren und Betreiben.
Fakten für ein externes Modell anzeigen
Die Anzeige von Fakten für ein externes Modell unterscheidet sich geringfügig von der Anzeige von Fakten für ein Watson Machine Learning-Modell. Folgende Regeln gelten:
- Klicken Sie auf die Registerkarte Assets des Katalogs mit den Assets des externen Modells, um Fakten anzuzeigen.
- Im Gegensatz zu Watson Machine Learning -Modellanwendungsfällen, die unterschiedliche Faktenblätter für Modelle und Bereitstellungen haben, kombinieren Faktenblätter für externe Modelle Informationen für das Modell und Bereitstellungen auf derselben Seite.
- In einem Katalog können mehrere Assets mit demselben Namen erstellt werden. Zur Unterscheidung werden die Tags Entwicklung, Vorproduktion und Produktion automatisch zugeordnet, um ihren Status wiederzugeben.
Weitere Informationen
Übergeordnetes Thema: Bestand von Modellassets verwalten.