Generar texto
Utilizar modelos de base en IBM watsonx.ai mediante programación para tareas de generación de texto.
Formas de desarrollarse
Puede inferir modelos de base utilizando estos métodos de programación:
Alternativamente, puede utilizar herramientas gráficas de la interfaz de usuario de watsonx.ai para inferir modelos de base. Ver Prompt Lab.
Tipos de inferencia
Puede solicitar un mensaje de confirmación de entrega ( foundation model ) utilizando uno de los siguientes métodos de generación de texto:
- Texto implícito: Espera para devolver la salida que genera el foundation model todo a la vez.
- Inferir flujo de eventos de texto: Devuelve la salida tal como la genera el foundation model. Este método es útil en casos de uso conversacional, en los que se desea que un chatbot o asistente virtual responda a un usuario de una manera fluida que imite una conversación real.
Para casos de uso de chat, utilice la API de chat. Consulte Añadir la función de chat generativo a sus aplicaciones con la API de chat.
Node.js
- Generación de texto
Consulte los recursos siguientes:
- Flujo de generación de texto
Consulte el siguiente recurso:
Python biblioteca
Véase la clase Model Inference de la biblioteca watsonx.ai Python.
Los siguientes temas describen cómo utilizar los cuadernos de muestra disponibles:
API REST
El método que se utiliza para inferir un e-mail de confirmación de compra ( foundation model ) varía en función de si el e-mail de confirmación de compra ( foundation model ) se proporciona con un pedido ( watsonx.ai ) o está asociado a una implementación.
Para inferir un e foundation model a que se despliega por IBM en watsonx.ai, utilice el método de generación de texto.
curl -X POST \ -H 'Authorization: Bearer {token}' \ -H 'Content-Type: application/json' \ -H 'Accept: application/json' \ --data-raw '{ "input": "Tell me about interest rates", "parameters": { "max_new_tokens": 200 }, "model_id": "ibm/granite-3-8b-instruct", "project_id": "{project_id}" }' \ "https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"Para inferir un foundation model sintonizado, un foundation model personalizado o un foundation model desplegado bajo demanda, utilice el método de texto Deployments>Infer.
No se requiere el
{model_id}con este tipo de solicitud porque solo un modelo es compatible con la implementación.
Aplicación de barreras de seguridad de IA al inferir
Cuando solicite un foundation model mediante el API, puede utilizar el campo moderations para aplicar barreras de seguridad de IA a la entrada y salida de foundation model. Para más información, consulte Eliminación de lenguaje ofensivo de la entrada y salida de modelos.
Inferencia con una plantilla de indicaciones
Puede inferir un patrón de entrada de texto ( foundation model ) con texto de entrada que sigue un patrón definido por una plantilla de aviso.
Para obtener más información, consulte Crear una plantilla de aviso.
Para extraer texto de plantilla de aviso para utilizarlo como entrada en el método de generación de texto, siga estos pasos:
Utilice el método Buscar tipos de activos de la API de datos de Watson para obtener el ID de plantilla de aviso.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wx_prompt/search?version=2024-07-29&project_id={project_id}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ACCESS_TOKEN' \ --data '{ "query": "asset.name:{template_name}" }'El ID de plantilla de solicitud se especifica como
metadata.asset_id.Utilice el método Get the inference input string for a given prompt para obtener el texto de la plantilla de la solicitud.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/wx/v1/prompts/{prompt-template-id}/input?version=2024-07-29&project_id={project_id}' ...Para obtener más información, consulte Obtener la cadena de entrada de inferencia para un mensaje determinado
Puede enviar el texto de aviso extraído como entrada al método Generar texto.
Tema principal: Codificación de soluciones de IA generativa