Ajuste de solicitud

Cómo funciona la sintonización rápida

Los modelos de base son sensibles a la información que les das. Su aportación, o la forma en que le da instrucciones al modelo, puede introducir un contexto que el modelo utilizará para adaptar el resultado generado. A menudo funciona bien buscar el mensaje adecuado. Sin embargo, puede llevar mucho tiempo, ser propenso a errores y su eficacia puede verse limitada por la longitud de la ventana de contexto que permite el modelo subyacente.

Prompt tuning a model in the Tuning Studio. Aplica el aprendizaje automático a la tarea de la ingeniería de comandos. En lugar de añadir palabras a la entrada en sí, el ajuste de palabras clave es un método para encontrar una secuencia de valores que, cuando se añaden como prefijo al texto de entrada, mejoran la capacidad del modelo para generar el resultado deseado. Esta secuencia de valores se denomina vector de entrada.

Normalmente, el modelo vectoriza las palabras del mensaje. La vectorización es el proceso de convertir texto en símbolos y, a continuación, en números definidos por el tokenizador del modelo para identificar los símbolos. Por último, los identificadores de los tokens se codifican, lo que significa que se convierten en una representación vectorial, que es el formato de entrada que espera la capa de incrustación del modelo. La modificación de la solicitud omite el proceso de vectorización de texto del modelo y, en su lugar, crea directamente un vector de solicitud. Este vector de entrada variable se concatena al texto de entrada vectorizado y ambos se pasan como una sola entrada a la capa de incrustación del modelo. Los valores de este vector de entrada elaborado afectan a los pesos de incrustación de palabras que establece el modelo e influyen en las palabras que el modelo elige añadir al resultado.

Para encontrar los mejores valores para el vector de pronta, se ejecuta un experimento de ajuste. Usted demuestra el tipo de salida que desea para una entrada correspondiente proporcionando al modelo pares de ejemplos de entrada y salida en datos de entrenamiento. Con cada ejecución de entrenamiento del experimento, el resultado generado se compara con el resultado de los datos de entrenamiento. Basándose en lo que aprende de las diferencias entre ambos, el experimento ajusta los valores en el vector de entrada. Después de muchas ejecuciones a través de los datos de entrenamiento, el modelo encuentra el vector de pronóstico que funciona mejor.

Puede optar por iniciar el proceso de entrenamiento proporcionando texto vectorizado por el experimento. O puede dejar que el experimento utilice valores aleatorios en el vector de entrada. En cualquier caso, a menos que los valores iniciales sean exactamente correctos, se modificarán repetidamente como parte del proceso de formación. Proporcionar su propio texto de inicialización puede ayudar a que el experimento alcance un buen resultado más rápidamente.

El resultado del experimento es una versión ajustada del modelo subyacente. Usted envía información al modelo afinado para la inferencia y el modelo genera resultados que siguen el patrón afinado.

Para obtener más información sobre el proceso de ajuste de mensajes que se utiliza en Tuning Studio, consulte Flujo de trabajo de ajuste de mensajes.

Flujo de trabajo de ajuste de avisos

Durante el experimento, el modelo de ajuste ajusta repetidamente la estructura del mensaje para que sus predicciones puedan mejorar con el tiempo.

El siguiente diagrama ilustra los pasos que se dan durante la ejecución de un experimento de ajuste rápido.

Las partes del flujo del experimento que puede configurar están resaltadas con un icono de usuario . Estos puntos de decisión se corresponden con los parámetros de ajuste del experimento que usted controla. Consulte Parámetros para ajustar los modelos de base.

El diagrama muestra los siguientes pasos del experimento:

1. Comienza desde el método de inicialización que elija utilizar para inicializar el aviso.

   Si el parámetro del método de inicialización está establecido en text, entonces debe agregar el texto de inicialización.

2. Si se especifica, tokeniza el texto de inicialización y lo convierte en un vector de aviso.

3. Lee los datos de entrenamiento, los tokeniza y los convierte en lotes.

   El tamaño de los lotes viene determinado por el parámetro de tamaño de lote.

4. Envía la entrada de los ejemplos del lote al modelo de base para que el modelo lo procese y genere la salida.

5. Compara el resultado del modelo con el resultado de los datos de entrenamiento que se corresponden con la entrada de datos de entrenamiento que se envió. A continuación, calcula el gradiente de pérdida, que es la diferencia entre el resultado previsto y el resultado real a partir de los datos de entrenamiento.

   El experimento ajusta el vector de entrada que se añade a la entrada en función de la pérdida calculada del modelo. El momento en que se produce este ajuste depende de cómo esté configurado el parámetro de pasos de acumulación.

6. Los ajustes se aplican al vector de aviso que se inicializó en el paso 2. El grado en que se cambia el vector se controla mediante el parámetro Tasa de aprendizaje. El vector de indicaciones editado se añade como prefijo a la entrada del siguiente ejemplo en los datos de entrenamiento, y se envía al modelo como entrada.

7. El proceso se repite hasta que se procesan todos los ejemplos de todos los lotes.

8. El conjunto completo de lotes se procesa de nuevo tantas veces como se especifique en el parámetro Número de épocas.

Más información

• Parámetros para ajustar los modelos de cimientos
• IBM Entrada de blog de investigación: ¿Qué es el ajuste de la rapidez?
• Artículo de investigación: El poder de la escala para un ajuste rápido y eficiente de los parámetros

Tema principal: Métodos para ajustar los modelos de cimientos