Se ofrece una solución de gestión de riesgos de modelos con evaluación de modelos que mide los resultados de los modelos de IA a lo largo de su ciclo de vida y realiza validaciones de modelos para ayudar a su organización a cumplir las normas y reglamentos.
Realice análisis con Watson OpenScale
Después de configurar y activar las características de gestión de riesgos del modelo, puede ver y comparar las evaluaciones de ejemplo. Puede descargar el informe de resumen del modelo que incluye todas las medidas de calidad, las medidas de equidad y la magnitud de la desviación.
En el panel de control Detalles, pulse el icono de despliegue de modelo
En el menú Acciones, pulse una de las siguientes opciones de análisis:
- Todas las evaluaciones: Lista todas las evaluaciones en curso y completadas
- Comparar: Compara cualquiera de los modelos, pero especialmente versiones del mismo modelo, para obtener el mejor rendimiento
- Descargar informe en PDF: Genera el informe de resumen del modelo, que le ofrece todas las métricas y la explicación de por qué se han puntuado de la forma en que se han puntuado
Desplegar un nuevo modelo en producción en Watson OpenScale
Envíe el mejor modelo a producción. Cree un registro de producción importando desde un modelo de preproducción.
- Revise el estado del despliegue del modelo.
- Vuelva al cuaderno de ejemplo y ejecute las celdas para enviar el modelo a producción.
- Ahora puede ver el mosaico de despliegue del modelo de producción. En un entorno de producción habitual, inicialmente aparece vacío hasta que se recopilan suficientes datos y transcurre un tiempo para que se desencadene el cálculo de la métrica. El cuaderno añade datos y ejecuta los supervisores para que pueda ver los resultados inmediatamente.
Comparar modelos
Cuando vea los detalles de la evaluación de un modelo, podrá comparar modelos con un gráfico matricial que destaca las métricas clave. Utilice esta característica para determinar qué versión de un modelo es la mejor para enviar a producción o qué modelo puede requerir algún trabajo.
En el menú Acciones, seleccione Comparar para generar un gráfico que compara las puntuaciones de las métricas que utiliza para supervisar los modelos.
Evaluar ahora
En el menú Acciones, seleccione Evaluar ahora para evaluar los datos de la prueba. En el entorno de preproducción, puede importar datos de prueba con uno de los métodos siguientes:
- Subir un archivo CSV que contiene datos de prueba etiquetados
- Conéctese a un archivo CSV que contenga datos de prueba etiquetados en Cloud Object Storage o Db2
Cuando utilice cualquiera de estos métodos de importación, puede controlar si Watson OpenScale puntúa los datos de prueba.
Si desea puntuar sus datos, importe los datos de prueba etiquetados con columnas de características y etiquetas. Los datos de la prueba se puntúan y los valores de predicción y probabilidad se almacenan en la tabla de retroalimentación como las columnas _original_prediction y _original_probability.
Si desea importar datos de prueba que ya se han puntuado, seleccione el recuadro de selección Test data includes model output en el panel Importar datos de prueba. Debe importar los datos de prueba con columnas de característica y etiqueta junto con la salida puntuada. Los datos de las pruebas no se revisan. Los valores de predicción y probabilidad se almacenan en la tabla de comentarios como las columnas _original_prediction y _original_probability.
Notas:
Los datos de prueba que cargue también pueden incluir columnas de record_id/transaction_id y record_timestamp que se añaden al registro de carga útil y a las tablas de comentarios cuando se selecciona la opción Test data includes model output.
Asegúrese de que la suscripción está totalmente habilitada estableciendo los esquemas correctos antes de realizar las evaluaciones.
Cuando ejecuta evaluaciones, puede ver el progreso con un indicador de estado que muestra si las evaluaciones finalizan con éxito.
Copiar configuración de una suscripción de preproducción en una suscripción de producción
Para ahorrar tiempo, puede copiar metadatos de la configuración y del modelo de una suscripción de preproducción y añadir los datos a una suscripción de producción. El modelo debe ser una coincidencia idéntica del modelo de origen, pero se debe desplegar en el espacio de producción.
Tema principal: Gestión del riesgo del modelo y gobierno del modelo