Stellen Sie ein foundation model bei Bedarf in nur wenigen Schritten auf dedizierter Hardware bereit. IBM watsonx.ai bietet eine kuratierte Reihe beliebter Basismodelle, die Sie bei Bedarf in einem dedizierten Bereitstellungsbereich für die ausschließliche Nutzung durch Benutzer mit Zugang zu diesem Bereich bereitstellen können. Der schnellste Weg zur Bereitstellung eines foundation model nach Bedarf ist die Auswahl und Bereitstellung eines Modells aus dem Resource Hub.
Vorbereitende Schritte
- Sie müssen die Anmeldeinformationen für Ihre Aufgabe einrichten oder aktivieren, um Foundation-Modelle auf Abruf bereitzustellen. Weitere Informationen finden Sie unter Verwalten von Berechtigungsnachweisen für Aufgaben.
- Überprüfen Sie die unterstützten Architekturen für foundation model, die Bereitstellungsarten und andere Überlegungen für die Bereitstellung eines foundation model auf Abruf. Weitere Informationen finden Sie unter Bereitstellen von Foundation-Modellen auf Abruf.
Sehen Sie sich dieses Video an, um zu erfahren, wie Sie ein foundation model auf Abruf bereitstellen können.
Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Aufgaben in dieser Dokumentation.
Einsatz eines foundation model
Führen Sie die folgenden Schritte aus, um ein foundation model bei Bedarf über die Ressourcendrehscheibe bereitzustellen:
Öffnen Sie die Ressourcendrehscheibe über das Navigationsmenü "
.Tipp:Wählen Sie den Ordner Deploy-on-demand, um eine Liste der Modelle anzuzeigen, die Sie bei Bedarf einsetzen können.
Suchen Sie im Abschnitt Stundenweise Bezahlung das Modell, das Sie auf Abruf bereitstellen möchten.
Klicken Sie auf der Seite mit den Modelldetails auf Verteilen.
Klicken Sie auf der Kachel für foundation model auf Bereitstellen und wählen Sie dann den Bereitstellungsbereich, in dem das foundation model bereitgestellt werden soll.
Wichtig:Sie können nur eine Instanz eines foundation model bei Bedarf in einem Bereitstellungsbereich bereitstellen. Wenn das ausgewählte Modell bereits eingesetzt ist, steht dem Benutzer der Link zum bestehenden Einsatz im Abschnitt Details zur Verfügung. Weitere Informationen finden Sie unter Fehlerbehebung bei watsonx.ai Runtime.
Klicken Sie auf Erstellen.
Nachdem das Modell bereitgestellt wurde, können Sie das foundation model über das Prompt Lab oder die watsonx.ai API abfragen.
Bereitstellung testen
Führen Sie die folgenden Schritte aus, um ein foundation model zu testen, das auf Abruf bereitgestellt wird:
Öffnen Sie in Ihrem Bereitstellungsbereich die Registerkarte " Bereitstellungen" und klicken Sie auf den Namen der Bereitstellung.
Klicken Sie auf die Registerkarte Test, um einen Aufforderungstext einzugeben und eine Antwort von dem bereitgestellten Asset zu erhalten.
Geben Sie die Testdaten in einem der folgenden Formate ein, je nachdem, welche Art von Asset Sie eingesetzt haben:
a. Text: Geben Sie Texteingabedaten ein, um einen Textblock als Ausgabe zu erzeugen.
b. Strom: Geben Sie Texteingabedaten ein, um einen Textstrom als Ausgabe zu erzeugen.
c. JSON: Geben Sie JSON-Eingabedaten ein, um eine Ausgabe im JSON-Format zu erzeugen.
Klicken Sie auf Generieren, um Ergebnisse zu erhalten, die auf Ihrer Eingabeaufforderung basieren.
Verwaltung des Einsatzes
Greifen Sie auf Ihr foundation model zu, aktualisieren, skalieren oder löschen Sie es, das bei Bedarf über den Resource Hub bereitgestellt wird.
Zugriff auf das eingesetzte Modell
Sie können über den Link zur Bereitstellung auf das foundation model zugreifen, das bei Bedarf über die Ressourcendrehscheibe bereitgestellt wird.
Führen Sie die folgenden Schritte aus, um über die Ressourcendrehscheibe auf den Bereitstellungslink zuzugreifen:
Gehen Sie über das Navigationsmenü zur Ressourcendrehscheibe.
Wählen Sie aus dem Foundation-Modellkatalog in der Ressourcendrehscheibe das Modell aus, das Sie bereitgestellt haben.
Klicken Sie im Abschnitt Details auf der Seite mit den Modelldetails auf den Link Einsatz.
Alternativ können Sie auch auf der Seite mit den Bereitstellungsdetails auf die Details zu Ihrem On-Demand bereitgestellten foundation model zugreifen, z. B. auf die Bereitstellungs-ID, die Softwarespezifikation, das zugehörige Asset und mehr.
Aktualisierung der Bereitstellung
Aktualisieren Sie die erforderlichen Details für Ihr foundation model, das bei Bedarf bereitgestellt wird, wie Name, Beschreibung, Tags und mehr. Weitere Informationen finden Sie unter Aktualisieren einer Bereitstellung.
Skalierung des Einsatzes
Sie können nur eine Instanz eines foundation model auf Abruf in einem Bereitstellungsbereich bereitstellen. Um eine erhöhte Nachfrage zu bewältigen, können Sie die Bereitstellung skalieren, indem Sie zusätzliche Kopien erstellen. Weitere Informationen finden Sie unter Skalierung einer Bereitstellung.
Bereitstellung löschen
Wenn Ihre Arbeit mit dem auf Abruf bereitgestellten foundation model abgeschlossen ist, löschen Sie die Bereitstellung, um die Abrechnungsgebühren zu beenden. Weitere Informationen finden Sie unter Löschen einer Bereitstellung.
Weitere Informationen
- Unterstützte Stiftungsmodelle
- Prompt Lab
- Bereitstellung von Foundation-Modellen bei Bedarf über die REST-API
- Stündliche Abrechnungssätze für Bereitstellungsmodelle auf Anfrage
Übergeordnetes Thema: Bereitstellung von Foundation-Modellen auf Abruf