Docs
...
Creating a model asset

Erstellen eines Modell-Assets

Letzte Aktualisierung: 21. Nov. 2024
Erstellen eines Modell-Assets

Nachdem Sie Ihr benutzerdefiniertes foundation model in den Cloud-Objektspeicher hochgeladen haben, erstellen Sie eine Verbindung zum Modell und ein entsprechendes Modell-Asset. Verwenden Sie die Verbindung, um ein Modell-Asset in einem Projekt oder Raum zu erstellen.

Um ein Modell-Asset zu erstellen, fügen Sie eine Verbindung zum Modell hinzu und erstellen dann ein Modell-Asset. Wenn Sie Ihr benutzerdefiniertes foundation model zunächst in einem Projekt testen möchten (z. B. durch Auswertung in einem Jupyter-Notebook), fügen Sie Ihr benutzerdefiniertes foundation model zu einem Projekt hinzu und verschieben es dann in einen Bereich.

Nachdem Sie das Modell-Asset hinzugefügt haben, können Sie es bereitstellen und Prompt Lab verwenden, um es zu inferenzieren.

Wichtig:
  • Wenn Sie Ihr Modell in einen entfernten Cloud-Speicher hochladen, müssen Sie eine Verbindung herstellen, die auf Ihren persönlichen Anmeldedaten basiert. Bei der Fernspeicherung in der Cloud sind nur Verbindungen mit persönlichen Anmeldeinformationen zulässig. Infolgedessen erhalten andere Nutzer desselben Bereitstellungsraums keinen Zugriff auf den Modellinhalt, dürfen aber Rückschlüsse auf die Modellbereitstellungen ziehen. Stellen Sie die Verbindung mit Hilfe Ihres Zugangsschlüssels und Ihres geheimen Zugangsschlüssels her. Wie Sie persönliche Zugangsdaten für Ihr Konto aktivieren können, erfahren Sie unter Kontoeinstellungen.

Vorbereitende Schritte

Sie müssen Aufgabenanmeldeinformationen aktivieren, um ein benutzerdefiniertes foundation model bereitstellen zu können. Weitere Informationen finden Sie unter Zugangsdaten für Aufgaben hinzufügen.

Hinzufügen einer Verbindung zu Ihrem Modell

Sie können eine Verbindung zu Ihrem Modell entweder von einem Bereitstellungsraum oder von einem Projekt aus hinzufügen. Um eine Verbindung programmatisch hinzuzufügen, siehe Erstellen einer Verbindung mit Hilfe des Python-Clients oder Erstellen einer Verbindung mit Hilfe der API.

Hinweis:

Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.

Hinzufügen einer Verbindung zum Modell aus Ihrem Bereitstellungsraum

So fügen Sie dem Modell eine Verbindung aus Ihrem Bereitstellungsbereich hinzu:

  1. Gehen Sie zur Registerkarte Vermögen und klicken Sie auf Vermögen importieren.
  2. Wählen Sie Datenbestände und befolgen Sie dann die auf dem Bildschirm angezeigten Schritte.
Wichtig:

Wählen Sie für Zertifikate Access key and Secret access key. Wenn Sie eine andere Option wählen, wird die Bereitstellung nicht funktionieren.

Hinzufügen einer Verbindung zum Modell aus Ihrem Projekt

So fügen Sie eine Verbindung zu dem Modell aus Ihrem Projekt hinzu:

  1. Gehen Sie auf die Registerkarte Assets und klicken Sie auf Neues Asset.
  2. Wählen Sie Verbinden Sie mit einer Datenquelle und folgen Sie dann den Schritten, die auf dem Bildschirm angezeigt werden.
Wichtig:

Wählen Sie für Zertifikate Access key and Secret access key. Wenn Sie eine andere Option wählen, wird die Bereitstellung nicht funktionieren.

Ausführliche Informationen über die Erstellung bestimmter Arten von Verbindungen finden Sie unter Verbindungen.

Erstellen eines Modell-Assets

So erstellen Sie ein benutzerdefiniertes foundation model:

  1. Gehen Sie in Ihrem Bereitstellungsbereich oder Ihrem Projekt zu Assets und klicken Sie dann auf Importieren von Assets.

  2. Wählen Sie Benutzerdefiniertes foundation model.

  3. Wählen Sie die Verbindung zu dem Cloud-Speicher, in dem sich das Modell befindet.

  4. Wählen Sie den Ordner, der Ihr Modell enthält.

    Importieren eines benutzerdefinierten foundation model

  5. Geben Sie die erforderlichen Informationen ein. Wenn Sie keine Angaben zu den Modellparametern machen, werden Standardwerte verwendet.

    Einstellung der Parameter für ein benutzerdefiniertes foundation model

  6. Klicken Sie auf Importieren.

Informationen über die verfügbaren Modellparameter finden Sie unter Globale Parameter für benutzerdefinierte Gründungsmodelle.

Programmgesteuertes Erstellen eines benutzerdefinierten foundation model

Hinweis:

Um die watsonx.ai API zu verwenden, benötigen Sie ein Inhaber-Token. Weitere Informationen finden Sie unter Berechtigungsnachweise für den programmatischen Zugang.

Informationen über die verfügbaren Modellparameter finden Sie unter Globale Parameter für benutzerdefinierte Gründungsmodelle. Wenn Sie keine Angaben zu den Modellparametern machen, werden Standardwerte verwendet.

Siehe Beispielcode für das Hinzufügen eines Modell-Assets zu einem Bereitstellungsbereich:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "space_id": "<your space ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

Siehe Beispielcode für das Hinzufügen eines Modell-Assets zu einem Projekt:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "project_id": "<your project ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

Globale Parameter für benutzerdefinierte Gründungsmodelle

Sie können globale Parameter verwenden, um Ihre benutzerdefinierten Fundamentmodelle einzusetzen. Stellen Sie den Wert Ihres Basismodellparameters innerhalb des in der folgenden Tabelle angegebenen Bereichs ein. Wenn Sie dies nicht tun, kann Ihre Bereitstellung fehlschlagen und die Inferenz ist nicht möglich.

Globale Parameter für benutzerdefinierte Gründungsmodelle
Parameter Typ Spannweite der Werte Standardwert Beschreibung
dtype Zeichenfolge float16, bfloat16 float16 Verwenden Sie diesen Parameter, um den Datentyp für Ihr Modell anzugeben.
max_batch_size Zahl max_batch_size >= 1 256 Verwenden Sie diesen Parameter, um die maximale Losgröße für Ihr Modell festzulegen.
max_concurrent_requests Zahl max_concurrent_requests >= 1 und max_concurrent_requests >= max_batch_size 1024 Zeichen. Verwenden Sie diesen Parameter, um die maximale Anzahl der gleichzeitigen Anfragen an Ihr Modell anzugeben. Dieser Parameter ist für Einsätze, die die watsonx-cfm-caikit-1.1 Software-Spezifikation verwenden, nicht verfügbar.
max_new_tokens Zahl max_new_tokens >= 20 2047 Verwenden Sie diesen Parameter, um die maximale Anzahl von Token anzugeben, die Ihr Modell für eine Inferenzanforderung erzeugt.
max_sequence_length Zahl max_sequence_length >= 20 und max_sequence_length > max_new_tokens 2.048 Verwenden Sie diesen Parameter, um die maximale Sequenzlänge für Ihr Modell anzugeben.

Nächste Schritte

Bereitstellen eines benutzerdefinierten foundation model

Übergeordnetes Thema: Bereitstellen eines benutzerdefinierten foundation model