Watson OpenScale ofrece una solución de gestión de riesgos de modelo con evaluación de modelos que mide los resultados de los modelos de IA a lo largo de su ciclo de vida y realiza validaciones de modelos para ayudar a su organización a cumplir con los estándares y las normativas.
Realizar el análisis en Watson OpenScale
Después de configurar y activar las características de gestión de riesgos del modelo, puede ver y comparar las evaluaciones de ejemplo. Puede descargar el informe de resumen del modelo que incluye todas las medidas de calidad, las medidas de equidad y la magnitud de la desviación.
En el panel de control Detalles, pulse el icono de despliegue de modelo
En el menú Acciones, pulse una de las siguientes opciones de análisis:
- Todas las evaluaciones: lista todas las versiones anteriores de la evaluación.
- Comparar: Compare cualquiera de los modelos, pero especialmente versiones del mismo modelo, para obtener el mejor rendimiento.
- Descargar PDF de informe: genera el informe Resumen de modelo, que le proporciona todas las métricas y la explicación de por qué se marcaron como se hizo.
Desplegar un nuevo modelo en producción en Watson OpenScale
Envíe el mejor modelo a producción. Cree un registro de producción importando desde un modelo de preproducción.
- Revise el estado del despliegue del modelo.
- Vuelva al cuaderno de ejemplo y ejecute las celdas para enviar el modelo a producción.
- Ahora puede ver el mosaico de despliegue del modelo de producción. En un entorno de producción habitual, inicialmente aparece vacío hasta que se recopilan suficientes datos y transcurre un tiempo para que se desencadene el cálculo de la métrica. El cuaderno añade datos y ejecuta los supervisores para que pueda ver los resultados inmediatamente.
Comparar modelos
Cuando vea los detalles de una evaluación de modelo, puede utilizar Watson OpenScale para comparar modelos con un diagrama de matriz que resalte métricas clave. Utilice esta característica para determinar qué versión de un modelo es la mejor para enviar a producción o qué modelo puede requerir algún trabajo.
En el menú Acciones, seleccione Comparar para generar un gráfico que compara las puntuaciones de las métricas que utiliza para supervisar los modelos.
Evaluar ahora
En el menú Acciones, seleccione Evaluar ahora para evaluar los datos de prueba para la equidad, la calidad y la desviación. En el entorno de preproducción, puede importar datos de prueba con uno de los métodos siguientes:
- Subir un archivo CSV que contiene datos de prueba etiquetados
- Conéctese a un archivo CSV que contenga datos de prueba etiquetados en Cloud Object Storage o Db2
Cuando utilice cualquiera de estos métodos de importación, puede controlar si Watson OpenScale puntúa los datos de prueba.
Si desea que Watson OpenScale puntúelos datos, importe los datos de prueba etiquetados con las columnas de característica y etiqueta. Watson OpenScale puntúa los datos de prueba y los valores de predicción y probabilidad se almacenan en la tabla de comentarios como las columnas _original_prediction y _original_probability.
Si desea importar datos de prueba que ya se han puntuado, seleccione el recuadro de selección Test data includes model output en el panel Importar datos de prueba. Debe importar los datos de prueba con columnas de característica y etiqueta junto con la salida puntuada. Watson OpenScale no vuelve a puntuar los datos de prueba. Los valores de predicción y probabilidad se almacenan en la tabla de comentarios como las columnas _original_prediction y _original_probability.
Notas:
Los datos de prueba que cargue también pueden incluir columnas de record_id/transaction_id y record_timestamp que se añaden al registro de carga útil y a las tablas de comentarios cuando se selecciona la opción Test data includes model output.
Asegúrese de que la suscripción está totalmente habilitada estableciendo los esquemas correctos antes de realizar las evaluaciones.
Copiar configuración de una suscripción de preproducción en una suscripción de producción
Para ahorrar tiempo, puede copiar metadatos de la configuración y del modelo de una suscripción de preproducción y añadir los datos a una suscripción de producción. El modelo debe ser una coincidencia idéntica del modelo de origen, pero se debe desplegar en el espacio de producción.
Tema principal: Gestión del riesgo del modelo y gobierno del modelo