Erstellen einer Bereitstellung für ein benutzerdefiniertes foundation model

Erstellen eines Einsatzes über die Benutzeroberfläche watsonx.ai

Copy link to section

Gehen Sie folgendermaßen vor, um eine Bereitstellung für ein benutzerdefiniertes foundation model zu erstellen:

1. Gehen Sie in Ihrem Bereitstellungsbereich oder in Ihrem Projekt auf die Registerkarte Assets.

2. Suchen Sie Ihr Modell in der Asset-Liste, klicken Sie auf das Menüsymbol " und wählen Sie Verteilen.

3. Geben Sie einen Namen für Ihre Bereitstellung ein und geben Sie optional einen Serving-Namen, eine Beschreibung und Tags ein.

   Hinweis:

   • Verwenden Sie das Feld Verteilungsname, um anstelle der Verteilungs-ID einen Namen für Ihre Verteilung anzugeben.
   • Der Serving-Name muss innerhalb des Namensraumes eindeutig sein.
   • Der Name des Dienstes darf nur diese Zeichen enthalten:a-z,0-9,_] und darf maximal 36 Zeichen lang sein.
   • In Arbeitsabläufen, in denen Ihr benutzerdefiniertes foundation model regelmäßig verwendet wird, sollten Sie in Erwägung ziehen, Ihrem Modell jedes Mal denselben Serving-Namen zuzuweisen, wenn Sie es einsetzen. Auf diese Weise können Sie nach dem Löschen und erneuten Bereitstellen des Modells weiterhin denselben Endpunkt in Ihrem Code verwenden.

4. Wählen Sie eine Konfiguration und eine Software-Spezifikation für Ihr Modell.

5. Optional: Wenn Sie einige der Parameter des Basismodells überschreiben möchten, klicken Sie auf Modellbereitstellungsparameter und geben Sie dann neue Parameterwerte ein:

   • Datentyp: Wählen Sie float16 oder bfloat16, um den Datentyp für Ihr Modell anzugeben.
   • Max. Losgröße: Geben Sie die maximale Losgröße für Ihr Modell ein.
   • Max gleichzeitige Anfragen: Geben Sie die maximale Anzahl der gleichzeitigen Anfragen an Ihr Modell ein, die gestellt werden können.
   • Max neue Token: Geben Sie die maximale Anzahl von Token an, die für Ihr Modell für eine Inferenzanfrage erstellt werden können.
   • Max Sequenzlänge: Geben Sie die maximale Sequenzlänge für Ihr Modell ein.

6. Klicken Sie auf Erstellen.

Programmgesteuertes Erstellen einer Bereitstellung

Copy link to section

Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.

So stellen Sie ein benutzerdefiniertes foundation model programmgesteuert bereit:

1. Initiieren Sie die Modellbereitstellung. In diesem Code finden Sie ein Beispiel für einen Einsatz im Weltraum:

   curl -X POST "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29" \
   -H "Authorization: Bearer $TOKEN" \
   -H "content-type: application/json" \
   --data '{
     "asset":{
       "id":<your custom foundation model asset id>
     },
     "online":{
       "parameters":{
         "serving_name":"test_custom_fm",
         "foundation_model": {
             "max_sequence_length": 4096
         }
       }
     },
     "hardware_request": {
       "size": "<configuration size>",
       "num_nodes": 1
     },
     "description": "Testing deployment using custom foundation model",
     "name":"custom_fm_deployment",
     "space_id":<your space id>
   }'
   Copy to clipboardIn die Zwischenablage kopiertShow more

   Der Parameter size kann gpu_xs, gpu_s, gpu_m oder gpu_l sein.
   Für Projektumsetzungen verwenden Sie statt space_id die Adresse project_id.

   Die Einsatz-ID wird in der API-Antwort im Feld metadata.id zurückgegeben.

2. Verwenden Sie die Einsatz-ID, um den Einsatzstatus abzufragen. In diesem Code finden Sie ein Beispiel dafür, wie Sie den Status eines Modells abfragen können, das für ein Projekt bereitgestellt wird.

   curl -X GET "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
   -H "Authorization: Bearer $TOKEN"
   Copy to clipboardIn die Zwischenablage kopiert

   Das deployed_asset_type wird als custom_foundation_model zurückgegeben. Warten Sie, bis der Status von initializing auf ready wechselt.

Nächste Schritte

Copy link to section

Aufforderung zu einem benutzerdefinierten foundation model

Übergeordnetes Thema: Einsatz von benutzerdefinierten Foundation-Modellen