Docs
...
Managing a deployment for a custom foundation model

Verwalten einer Bereitstellung für ein benutzerdefiniertes foundation model

Letzte Aktualisierung: 28. Nov. 2024
Verwalten einer Bereitstellung für ein benutzerdefiniertes foundation model

Nachdem Sie ein benutzerdefiniertes foundation model bereitgestellt haben, können Sie die Bereitstellung verwalten und aktualisieren.

Sie können ein bereitgestelltes foundation model über die Benutzeroberfläche eines Bereitstellungsbereichs oder programmgesteuert verwalten und aktualisieren.

Verwaltung von benutzerdefinierten foundation model aus dem Bereitstellungsbereich

Sie können auf Ihr benutzerdefiniertes Modell in Ihrem Bereitstellungsbereich zugreifen, es aktualisieren, skalieren, löschen und seine Leistung überwachen.

Zugriff auf Einsatzdetails aus dem Einsatzraum

Gehen Sie folgendermaßen vor, um die Einsatzdetails zu überprüfen oder zu aktualisieren:

  1. Klicken Sie auf der Registerkarte Einsätze in Ihrem Einsatzbereich auf einen Einsatznamen.
  2. Klicken Sie auf die Registerkarte Bereitstellungsdetails, um auf Informationen zuzugreifen, die sich auf Ihre benutzerdefinierte foundation model beziehen.
Hinweis: Wenn Ihre Organisation einen der Anwendungsfälle zum Verfolgen und Verwalten von Assets verwendet, werden die Bereitstellungsinformationen für ein verfolgtes Asset in einem Factsheet im zugehörigen Anwendungsfall aufgezeichnet.

Aktualisieren von Einsatzdetails aus dem Einsatzraum

Sie können die Details für Ihre benutzerdefinierte foundation model aktualisieren, z. B. Name, Serving-Name, Beschreibung und Hardware-Spezifikationen. Weitere Informationen finden Sie unter Aktualisierung einer Bereitstellung.

Skalierung einer Bereitstellung in einem Bereitstellungsraum

Sie können Ihre Bereitstellung skalieren, indem Sie die Anzahl der Kopien, die für Ihre Bereitstellung erstellt werden, erhöhen. Weitere Informationen finden Sie unter Skalierung einer Bereitstellung.

Bereitstellung aus einem Bereitstellungsbereich löschen

Sie können Ihre benutzerdefinierte foundation model löschen, wenn Sie sie nicht mehr benötigen, um Ressourcen freizugeben. Weitere Informationen finden Sie unter Löschen einer Bereitstellung.

Hinweis:

In Arbeitsabläufen, in denen Ihr benutzerdefiniertes foundation model regelmäßig verwendet wird, sollten Sie in Erwägung ziehen, Ihrem Modell jedes Mal denselben Serving-Namen zuzuweisen, wenn Sie es einsetzen. Auf diese Weise können Sie nach dem Löschen und erneuten Bereitstellen des Modells weiterhin denselben Endpunkt in Ihrem Code verwenden.

Überwachung der Bereitstellungsleistung aus einem Bereitstellungsraum

Sie können die Bereitstellung Ihres benutzerdefinierten foundation model bewerten, um die Leistung zu messen und die Modellvorhersagen zu verstehen, indem Sie eine watsonx.governance bereitstellen und Monitore für Fairness, Qualität, Drift und Erklärbarkeit konfigurieren. Weitere Informationen finden Sie unter Auswertung von Einsätzen in Räumen mit watsonx.governance.

Programmatische Verwaltung einer benutzerdefinierten foundation model

Voraussetzungen

Sie können programmgesteuert auf Ihr benutzerdefiniertes Modell zugreifen, es aktualisieren, skalieren, löschen und seine Leistung überwachen.

Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.

Programmgesteuertes Aktualisieren einer Bereitstellung

Um eine Bereitstellung programmatisch zu aktualisieren oder zu löschen, rufen Sie zunächst die Liste der bereitgestellten Modelle auf, um die richtigen Metadaten für die Bereitstellung zu finden.

Abrufen der Liste der eingesetzten Modelle

Abrufen der Liste der Einsätze für die angegebene Projekt-ID. Um nach allen Bereitstellungen zu filtern, die auf benutzerdefinierte Foundation-Modelle verweisen, verwenden Sie den Abfrageparameter type=custom_foundation_model. Sehen Sie sich diesen Beispielcode an:

curl -X GET "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29&project_id=<your project ID>&type=custom_foundation_model" \
-H "Authorization: Bearer $TOKEN"

Felder, die Sie in einem bereitgestellten Modell aktualisieren können:

  • name
  • description
  • tags
  • serving_name
  • asset
  • hardware_spec
  • software_spec
  • /online/parameters
  • /online/parameters/serving_name
  • /online/parameters/foundation_model

Beispiel:

curl -X PATCH "https://<your cloud hostname>//ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<updated deployment name>"
}]'

Programmgesteuertes Löschen Ihrer Bereitstellung

Wenn Sie die Bereitstellung Ihres benutzerdefinierten foundation model löschen möchten, verwenden Sie diesen Code:

curl -vk -X DELETE "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" -H "Authorization: Bearer $TOKEN"

Überwachung der Bereitstellungsleistung aus einem Bereitstellungsraum

Sie können die Bereitstellung Ihres benutzerdefinierten foundation model bewerten, um die Leistung zu messen und die Modellvorhersagen zu verstehen, indem Sie eine watsonx.governance bereitstellen und Monitore für Fairness, Qualität, Drift und Erklärbarkeit konfigurieren. Weitere Informationen finden Sie unter Auswertung von Einsätzen in Räumen mit watsonx.governance.

Programmatische Skalierung Ihrer Bereitstellung

Siehe Programmatische Skalierung einer Bereitstellung.

Nächste Schritte

Erfahren Sie, wie Sie ein benutzerdefiniertes foundation model auffordern

Übergeordnetes Thema: Einsatz von benutzerdefinierten Foundation-Modellen