Text generieren
Verwenden Sie programmatisch Fundamentmodelle in IBM watsonx.ai für Textgenerierungsaufgaben.
Entwicklungsmöglichkeiten
Mit diesen Programmiermethoden können Sie auf Fundamentmodelle schließen:
Alternativ können Sie grafische Tools aus der Benutzeroberfläche von watsonx.ai verwenden, um auf Fundamentmodelle zu schließen. Siehe Prompt Lab.
Inferenztypen
Sie können ein Stiftungsmodell mit einer der folgenden Textgenerierungsmethoden auffordern:
- Text inferieren: Wartet darauf, die vom Basismodell erzeugte Ausgabe auf einmal zurückzugeben.
- Ableitung des Text-Ereignisstroms: Gibt die Ausgabe zurück, wie sie vom Basismodell erzeugt wird. Diese Methode ist nützlich in Konversationsanwendungsfällen, in denen ein Chatbot oder ein virtueller Assistent einem Benutzer auf flüssige Weise antworten soll, die eine echte Konversation nachahmt.
Verwenden Sie für Chat-Anwendungsfälle die Chat-API. Siehe Hinzufügen einer generativen Chat-Funktion zu Ihren Anwendungen mit der Chat-API.
Node.js
- Textgenerierung
Siehe hierzu die folgenden Ressourcen:
- Textgenerierungsstrom
Siehe folgende Ressource:
Python bibliothek
Siehe die Klasse "Model Inference " der Bibliothek " watsonx.ai Python ".
In den folgenden Themen wird beschrieben, wie Sie die verfügbaren Beispielnotizbücher verwenden können:
REST-API
Die Methode, die Sie zum Ableiten eines Basismodells verwenden, hängt davon ab, ob das Basismodell mit watsonx.ai bereitgestellt wird oder mit einer Bereitstellung verbunden ist.
Um ein Basismodell abzuleiten, das von IBM in watsonx.ai eingesetzt wird, verwenden Sie die Methode der Texterstellung.
curl -X POST \ -H 'Authorization: Bearer {token}' \ -H 'Content-Type: application/json' \ -H 'Accept: application/json' \ --data-raw '{ "input": "Tell me about interest rates", "parameters": { "max_new_tokens": 200 }, "model_id": "ibm/granite-3-8b-instruct", "project_id": "{project_id}" }' \ "https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"Um ein abgestimmtes Foundation-Modell, ein benutzerdefiniertes Foundation-Modell oder ein Deployment-on-Demand-Foundation-Modell zu inferenzieren, verwenden Sie die Methode Deployments>Infer text.
Die E-Mail-Adresse
{model_id}ist bei dieser Art von Anfrage nicht erforderlich, da nur ein Modell von der Bereitstellung unterstützt wird.
Anwendung von KI-Leitplanken bei der Schlussfolgerung
Wenn Sie ein Fundamentmodell über die API abfragen, können Sie das Feld moderations verwenden, um AI-Leitplanken auf die Ein- und Ausgabe des Fundamentmodells anzuwenden. Weitere Informationen finden Sie unter "Entfernen schädlicher Sprache aus der Modell-Eingabe und -Ausgabe ".
Inferenz mit einer Vorlage für Eingabeaufforderungen
Sie können ein Basismodell mit Eingabetext ableiten, der einem Muster folgt, das durch eine Eingabeaufforderungsvorlage definiert ist.
Weitere Informationen finden Sie unter "Erstellen einer Eingabeaufforderungsvorlage ".
Um Text aus einer Vorlage zu extrahieren, der als Eingabe für die Methode zur Texterstellung verwendet werden soll, gehen Sie wie folgt vor:
Verwenden Sie die Methode "Asset-Typen suchen " der Watson -Daten-API, um die ID der Eingabeaufforderungsvorlage zu erhalten.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wx_prompt/search?version=2024-07-29&project_id={project_id}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ACCESS_TOKEN' \ --data '{ "query": "asset.name:{template_name}" }'Die ID der Vorlage für die Eingabeaufforderung ist
metadata.asset_id.Verwenden Sie die Methode "Eingabezeichenfolge für eine bestimmte Eingabeaufforderung abrufen ", um den Text der Eingabeaufforderungsvorlage zu erhalten.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/wx/v1/prompts/{prompt-template-id}/input?version=2024-07-29&project_id={project_id}' ...Weitere Informationen finden Sie unter "Erhalten der Inferenz-Eingabezeichenfolge für eine bestimmte Eingabeaufforderung "
Sie können den extrahierten Prompt-Text als Eingabe für die Methode "Text generieren" verwenden.
Übergeordnetes Thema: Erzeugen von Text mit Code