Nachdem Sie Ihr benutzerdefiniertes foundation model in den Cloud-Objektspeicher hochgeladen haben, erstellen Sie eine Verbindung zum Modell und ein entsprechendes Modell-Asset. Verwenden Sie die Verbindung, um ein Modell-Asset in einem Projekt oder Raum zu erstellen.
Um ein Modell-Asset zu erstellen, fügen Sie eine Verbindung zum Modell hinzu und erstellen dann ein Modell-Asset. Wenn Sie Ihr benutzerdefiniertes foundation model zunächst in einem Projekt testen möchten (z. B. durch Auswertung in einem Jupyter-Notebook), fügen Sie Ihr benutzerdefiniertes foundation model zu einem Projekt hinzu und verschieben es dann in einen Bereich.
Nachdem Sie das Modell-Asset hinzugefügt haben, können Sie es bereitstellen und Prompt Lab verwenden, um es zu inferenzieren.
- Wenn Sie Ihr Modell in einen entfernten Cloud-Speicher hochladen, müssen Sie eine Verbindung herstellen, die auf Ihren persönlichen Anmeldedaten basiert. Bei der Fernspeicherung in der Cloud sind nur Verbindungen mit persönlichen Anmeldeinformationen zulässig. Infolgedessen erhalten andere Nutzer desselben Bereitstellungsraums keinen Zugriff auf den Modellinhalt, dürfen aber Rückschlüsse auf die Modellbereitstellungen ziehen. Stellen Sie die Verbindung mit Hilfe Ihres Zugangsschlüssels und Ihres geheimen Zugangsschlüssels her. Wie Sie persönliche Zugangsdaten für Ihr Konto aktivieren können, erfahren Sie unter Kontoeinstellungen.
Vorbereitende Schritte
Sie müssen Aufgabenanmeldeinformationen aktivieren, um ein benutzerdefiniertes foundation model bereitstellen zu können. Weitere Informationen finden Sie unter Zugangsdaten für Aufgaben hinzufügen.
Hinzufügen einer Verbindung zu Ihrem Modell
Sie können eine Verbindung zu Ihrem Modell entweder von einem Bereitstellungsraum oder von einem Projekt aus hinzufügen. Um eine Verbindung programmatisch hinzuzufügen, siehe Erstellen einer Verbindung mit Hilfe des Python-Clients oder Erstellen einer Verbindung mit Hilfe der API.
Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.
Hinzufügen einer Verbindung zum Modell aus Ihrem Bereitstellungsraum
So fügen Sie dem Modell eine Verbindung aus Ihrem Bereitstellungsbereich hinzu:
- Gehen Sie zur Registerkarte Vermögen und klicken Sie auf Vermögen importieren.
- Wählen Sie Datenbestände und befolgen Sie dann die auf dem Bildschirm angezeigten Schritte.
Wählen Sie für Zertifikate Access key and Secret access key
. Wenn Sie eine andere Option wählen, wird die Bereitstellung nicht funktionieren.
Hinzufügen einer Verbindung zum Modell aus Ihrem Projekt
So fügen Sie eine Verbindung zu dem Modell aus Ihrem Projekt hinzu:
- Gehen Sie auf die Registerkarte Assets und klicken Sie auf Neues Asset.
- Wählen Sie Verbinden Sie mit einer Datenquelle und folgen Sie dann den Schritten, die auf dem Bildschirm angezeigt werden.
Wählen Sie für Zertifikate Access key and Secret access key
. Wenn Sie eine andere Option wählen, wird die Bereitstellung nicht funktionieren.
Ausführliche Informationen über die Erstellung bestimmter Arten von Verbindungen finden Sie unter Verbindungen.
Erstellen eines Modell-Assets
So erstellen Sie ein benutzerdefiniertes foundation model:
Gehen Sie in Ihrem Bereitstellungsbereich oder Ihrem Projekt zu Assets und klicken Sie dann auf Importieren von Assets.
Wählen Sie Benutzerdefiniertes foundation model.
Wählen Sie die Verbindung zu dem Cloud-Speicher, in dem sich das Modell befindet.
Wählen Sie den Ordner, der Ihr Modell enthält.
Geben Sie die erforderlichen Informationen ein. Wenn Sie keine Angaben zu den Modellparametern machen, werden Standardwerte verwendet.
Klicken Sie auf Importieren.
Informationen über die verfügbaren Modellparameter finden Sie unter Globale Parameter für benutzerdefinierte Gründungsmodelle.
Programmgesteuertes Erstellen eines benutzerdefinierten foundation model
Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.
Informationen über die verfügbaren Modellparameter finden Sie unter Globale Parameter für benutzerdefinierte Gründungsmodelle. Wenn Sie keine Angaben zu den Modellparametern machen, werden Standardwerte verwendet.
Siehe Beispielcode für das Hinzufügen eines Modell-Assets zu einem Bereitstellungsbereich:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"space_id": "<your space ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Siehe Beispielcode für das Hinzufügen eines Modell-Assets zu einem Projekt:
curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"type": "custom_foundation_model_1.0",
"framework": "custom_foundation_model",
"version": "1.0",
"name": "<asset name>",
"software_spec": {
"name": "<name of software specification>"
},
"project_id": "<your project ID>",
"foundation_model": {
"model_id": "<model ID>",
"parameters": [
{
"name": "dtype",
"default": "float16",
"type": "string",
"display_name": "Data Type",
"options": ["float16","bfloat16"]
},
{
"name": "max_batch_size",
"default": 256,
"type": "number",
"display_name": "Max Batch Size"
}],
"model_location": {
"type": "connection_asset",
"connection": {
"id": "<your connection ID>"
},
"location": {
"bucket": "<bucket where the model is located>",
"file_path": "<subpath to model files, if required>"
}
}
}
}'
Globale Parameter für benutzerdefinierte Gründungsmodelle
Sie können globale Parameter verwenden, um Ihre benutzerdefinierten Fundamentmodelle einzusetzen. Stellen Sie den Wert Ihres Basismodellparameters innerhalb des in der folgenden Tabelle angegebenen Bereichs ein. Wenn Sie dies nicht tun, kann Ihre Bereitstellung fehlschlagen und die Inferenz ist nicht möglich.
Parameter | Typ | Spannweite der Werte | Standardwert | Beschreibung |
---|---|---|---|---|
dtype |
Zeichenfolge | float16 , bfloat16 |
float16 |
Verwenden Sie diesen Parameter, um den Datentyp für Ihr Modell anzugeben. |
max_batch_size |
Zahl | max_batch_size >= 1 |
256 | Verwenden Sie diesen Parameter, um die maximale Losgröße für Ihr Modell festzulegen. |
max_concurrent_requests |
Zahl | max_concurrent_requests >= 1 und max_concurrent_requests >= max_batch_size |
1024 Zeichen. | Verwenden Sie diesen Parameter, um die maximale Anzahl der gleichzeitigen Anfragen an Ihr Modell anzugeben. Dieser Parameter ist für Einsätze, die die watsonx-cfm-caikit-1.1 Software-Spezifikation verwenden, nicht verfügbar. |
max_new_tokens |
Zahl | max_new_tokens >= 20 |
2047 | Verwenden Sie diesen Parameter, um die maximale Anzahl von Token anzugeben, die Ihr Modell für eine Inferenzanforderung erzeugt. |
max_sequence_length |
Zahl | max_sequence_length >= 20 und max_sequence_length > max_new_tokens |
2.048 | Verwenden Sie diesen Parameter, um die maximale Sequenzlänge für Ihr Modell anzugeben. |
Nächste Schritte
Bereitstellen eines benutzerdefinierten foundation model
Übergeordnetes Thema: Bereitstellen eines benutzerdefinierten foundation model