Planung der Bereitstellung eines benutzerdefinierten foundation model

Zurück zur englischen Version der Dokumentation

Letzte Aktualisierung: 21. Nov. 2024

Planung der Bereitstellung eines benutzerdefinierten foundation model

Überprüfen Sie die Überlegungen und Anforderungen für den Einsatz eines benutzerdefinierten foundation model für Inferencing mit watsonx.ai.

Bei der Vorbereitung der Bereitstellung eines benutzerdefinierten foundation model sollten Sie diese Planungsüberlegungen berücksichtigen:

Lesen Sie die Anforderungen und Verwendungshinweise für benutzerdefinierte Gründungsmodelle
Überprüfen Sie die Unterstützte Architekturen für benutzerdefinierte Gründungsmodelle, um sicherzustellen, dass Ihr Modell kompatibel ist.
Sammeln Sie die Details, die als Voraussetzung für die Bereitstellung eines benutzerdefinierten foundation model erforderlich sind.
Wählen Sie eine Hardwarespezifikation für Ihr individuelles foundation model.
Überprüfen Sie die Einsatzbeschränkungen
Aktivieren Sie Task-Anmeldeinformationen, um benutzerdefinierte Foundation-Modelle bereitstellen zu können.

Anforderungen und Nutzungshinweise für benutzerdefinierte Gründungsmodelle

Einsetzbare benutzerdefinierte Modelle müssen diese Anforderungen erfüllen:

Das Hochladen und Verwenden Ihres eigenen benutzerdefinierten Modells ist nur im Standard-Tarif für watsonx.ai verfügbar.
Das Modell muss mit dem Text Generation Inference (TGI)-Standard kompatibel sein und mit einem unterstützten Modellarchitektur-Typ erstellt werden.
Die Dateiliste für das Modell muss eine config.json-Datei enthalten.
Das Modell muss in einem safetensors-Format mit der unterstützten Transformatorenbibliothek vorliegen und eine tokenizer.json-Datei enthalten.
Wichtig:
- Sie müssen sicherstellen, dass Ihr benutzerdefiniertes foundation model mit der unterstützten " transformers -Bibliothek gespeichert wird. Wenn die Datei model.safetensors für Ihr benutzerdefiniertes foundation model ein nicht unterstütztes Datenformat im Metadaten-Header verwendet, kann Ihr Einsatz fehlschlagen. Weitere Informationen finden Sie unter Fehlerbehebung bei watsonx.ai Runtime.
- Stellen Sie sicher, dass das Projekt oder der Bereich, in dem Sie Ihr benutzerdefiniertes foundation model bereitstellen möchten, über eine zugehörige watsonx.ai Runtime-Instanz verfügt. Öffnen Sie die Registerkarte Verwalten in Ihrem Projekt oder Raum, um dies zu überprüfen.

Unterstützte Modellarchitekturen

In der folgenden Tabelle sind die Modellarchitekturen aufgeführt, die Sie als benutzerdefinierte Modelle für das Inferencing mit watsonx.ai einsetzen können. Die Modellarchitekturen sind zusammen mit Informationen über die unterstützten Quantisierungsmethoden, parallelen Tensoren, Konfigurationsgrößen und Softwarespezifikationen aufgeführt.

Hinweis:

Two software specifications are available for your deployments: watsonx-cfm-caikit-1.0, watsonx-cfm-caikit-1.1. The watsonx-cfm-caikit-1.1 specification is better in terms of performance, but it's not available with every model architecture.

Unterstützte Modellarchitekturen, Quantisierungsmethoden, parallele Tensoren, Einsatzkonfigurationsgrößen und Softwarespezifikationen
Typ der Modellarchitektur	Quantisierungsverfahren	Parallele TensorenmultiGpu)	Bereitstellungskonfigurationen	Softwarespezifikationen
`bloom`	Nicht zutreffend	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`codegen`	Nicht zutreffend	Nein	Klein	`watsonx-cfm-caikit-1.0`
`falcon`	Nicht zutreffend	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`gpt_bigcode`	`gptq`	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`gpt-neox`	Nicht zutreffend	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`gptj`	Nicht zutreffend	Nein	Klein	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`llama`	`gptq`	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`mixtral`	`gptq`	Nein	Klein	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`mistral`	Nicht zutreffend	Nein	Klein	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`mt5`	Nicht zutreffend	Nein	Klein	`watsonx-cfm-caikit-1.0`
`mpt`	Nicht zutreffend	Nein	Klein	`watsonx-cfm-caikit-1.0`, `watsonx-cfm-caikit-1.1`
`t5`	Nicht zutreffend	Ja	Klein, Mittel, Groß	`watsonx-cfm-caikit-1.0`

Wichtig:

IBM unterstützt keine Bereitstellungsfehler, die durch die Bereitstellung von Basismodellen mit nicht unterstützten Architekturen verursacht werden.
Der Einsatz von llama 3.1-Modellen kann fehlschlagen. Um dieses Problem zu beheben, lesen Sie die Schritte, die unter Fehlerbehebung aufgeführt sind.
Es ist nicht möglich, codegen, mt5 und t5 Typmodelle mit der watsonx-cfm-caikit-1.1 Softwarespezifikation einzusetzen.
Wenn Ihr Modell keine parallelen Tensoren unterstützt, können Sie nur die Konfiguration Small verwenden. Wenn Ihr Modell mit mehr Parametern trainiert wurde, als die Small-Konfiguration unterstützt, schlägt es fehl. Dies bedeutet, dass Sie einige Ihrer benutzerdefinierten Modelle nicht bereitstellen können. Weitere Informationen zu Einschränkungen finden Sie unter Ressourcen-Nutzungsrichtlinien.

Sammeln der erforderlichen Details für ein benutzerdefiniertes foundation model

Prüfen Sie, ob die Datei " config.json im Inhaltsordner des foundation model vorhanden ist. Der Bereitstellungsdienst prüft, ob die Datei " config.json im Inhaltsordner foundation model vorhanden ist, nachdem sie in den Cloud-Speicher hochgeladen wurde.
Öffnen Sie die Datei " config.json, um sicherzustellen, dass das foundation model eine unterstützte Architektur verwendet.
Zeigen Sie die Liste der Dateien für das foundation model an, um zu prüfen, ob die Datei " tokenizer.json vorhanden ist und ob der Modellinhalt im Format " .safetensors vorliegt.

Wichtig:
Sie müssen sicherstellen, dass Ihr benutzerdefiniertes foundation model mit der unterstützten " transformers -Bibliothek gespeichert wird. Wenn die Datei model.safetensors für Ihr benutzerdefiniertes foundation model ein nicht unterstütztes Datenformat im Metadaten-Header verwendet, kann Ihr Einsatz fehlschlagen. Weitere Informationen finden Sie unter Fehlerbehebung bei watsonx.ai Runtime.

Siehe ein Beispiel:

Für das Modell falcon-40b, das auf Hugging Face gespeichert ist, klicken Sie auf Dateien und Versionen, um die Dateistruktur anzuzeigen und nach " config.json zu suchen:

Suche nach der Datei config.json innerhalb eines foundation model, das auf Hugging Face gehostet wird

Das Beispielmodell verwendet eine Version der unterstützten falcon Architektur.

Prüfung auf eine unterstützte Architektur für ein foundation model

Dieses Beispielmodell enthält die Datei tokenizer.json und hat das Format .safetensors:

Liste der Dateien in einem foundation model

Wenn das Modell diese Anforderungen nicht erfüllt, können Sie kein Modell-Asset erstellen und Ihr Modell nicht einsetzen.

Leitlinien für die Ressourcennutzung

Zur Unterstützung Ihres benutzerdefinierten foundation model stehen drei Konfigurationen zur Verfügung: Small, ' Medium und ' Large. Um die für Ihr individuelles foundation model am besten geeignete Konfiguration zu ermitteln, beachten Sie die folgenden Richtlinien:

Weisen Sie die Small-Konfiguration einem beliebigen Double-Byte-Präzisionsmodell unter 26B-Parametern zu, vorbehaltlich der Prüfung und Validierung.
Weisen Sie die Konfiguration Medium einem beliebigen Doppelbyte-Präzisionsmodell zwischen den Parametern 27B und 53B zu, vorbehaltlich der Prüfung und Validierung.
Weisen Sie die Konfiguration Large einem beliebigen Doppelbyte-Präzisionsmodell zwischen den Parametern 54B und 106B zu, vorbehaltlich der Prüfung und Validierung.

Tipp:

Wenn die gewählte Konfiguration während der Test- und Validierungsphase versagt, sollten Sie die nächsthöhere verfügbare Konfiguration in Erwägung ziehen. Versuchen Sie zum Beispiel die Konfiguration Medium, wenn die Konfiguration Small fehlschlägt. Derzeit ist die Konfiguration Large die höchste verfügbare Konfiguration.

Hardware-Konfigurationen und Beispielmodelle
Konfiguration	Beispiele für geeignete Modelle
Klein	`llama-3-8b` `llama-2-13b` `starcoder-15.5b` `mt0-xxl-13b` `jais-13b` `gpt-neox-20b` `flan-t5-xxl-11b` `flan-ul2-20b` `allam-1-13b`
Mittel	`codellama-34b`
Groß	`llama-3-70b` `llama-2-70b`

Beschränkungen und Einschränkungen für benutzerdefinierte Gründungsmodelle

Beachten Sie diese Einschränkungen bei der Bereitstellung und Verwendung benutzerdefinierter Foundation-Modelle mit watsonx.ai.

Einschränkungen bei der Bereitstellung von benutzerdefinierten Foundation-Modellen

Aufgrund der hohen Nachfrage nach benutzerdefinierten foundation model und der begrenzten Ressourcen, die dafür zur Verfügung stehen, ist der Einsatz von watsonx.ai auf vier kleine Modelle, zwei mittlere Modelle oder ein großes Modell pro IBM Cloud begrenzt. Wenn Sie versuchen, ein benutzerdefiniertes foundation model zu importieren, das diese Grenzen überschreitet, werden Sie benachrichtigt und gebeten, Ihr Feedback in einer Umfrage abzugeben. Dies hilft uns, Ihre Bedürfnisse zu verstehen und zukünftige Kapazitätserweiterungen zu planen.

Wichtig: Alle beantragten Erhöhungen des Limits sind nicht garantiert und hängen von der verfügbaren Kapazität ab.

Einschränkungen für die Verwendung von benutzerdefinierten foundation model Deployments

Beachten Sie die folgenden Einschränkungen für die Verwendung benutzerdefinierter Foundation-Modelle, nachdem sie mit watsonx.ai:

Sie können ein benutzerdefiniertes foundation model nicht anpassen.
Sie können watsonx.governance nicht verwenden, um eine Prompt-Vorlage für ein benutzerdefiniertes foundation model auszuwerten oder zu verfolgen.
Sie können ein benutzerdefiniertes foundation model abfragen, aber keine Abfragevorlage für ein benutzerdefiniertes Modell speichern.

Helfen Sie uns, diese Erfahrung zu verbessern

Wenn Sie Ihr Feedback jetzt abgeben möchten, klicken Sie auf diesen Link. Ihr Feedback hilft uns bei der Planung zukünftiger Kapazitätserweiterungen und bei der Verbesserung der gesamten Bereitstellung des benutzerdefinierten foundation model. Vielen Dank für Ihre Mitarbeit!

Nächste Schritte

Herunterladen eines benutzerdefinierten foundation model und Einrichten der Speicherung

Übergeordnetes Thema: Bereitstellen eines benutzerdefinierten foundation model