Para ejecutar Watson OpenScale en mis propios servidores, ¿cuánta potencia de proceso del sistema es necesaria?

Hay directrices específicas para la configuración de hardware para las configuraciones de tres y de seis nodos. El equipo de ventas técnicas de IBM puede ayudarle con el dimensionamiento de su configuración específica. Dado que Watson OpenScale se ejecuta como complemento de IBM Cloud Pak for Data, debe tener en cuenta los requisitos de ambos productos de software.

¿Por qué Watson OpenScale necesita acceder a los datos de entrenamiento?

Debe proporcionar el acceso a Watson OpenScale para los datos de entrenamiento almacenados en Db2 o IBM Cloud Object Storage, o debe ejecutar un cuaderno para acceder a los datos de entrenamiento.

Watson OpenScale necesita acceso a sus datos de entrenamiento por las siguientes razones:

• Para generar explicaciones locales interpretables del modelo-Agnostic Explicaciones (LIME) y Contrastive: para crear explicaciones, es necesario acceder a estadísticas como, por ejemplo, el valor de la mediana, la desviación estándar y valores distintos de los datos de entrenamiento.
• Para mostrar las estadísticas de datos de entrenamiento: Para llenar la página de detalles del sesgo, Watson OpenScale debe tener datos de entrenamiento a partir de los cuales generar estadísticas.
• Para construir un modelo de detección de desviación: el supervisor de desviación utiliza datos de entrenamiento para crear y calibrar la detección de desviación.

En el enfoque basado en cuaderno, se espera que cargue las estadísticas y otra información cuando configure un despliegue en Watson OpenScale. Watson OpenScale ya no tiene acceso a los datos de entrenamiento fuera del cuaderno, que se ejecuta en el entorno. Solo tiene acceso a la información cargada durante la configuración.

¿Hay una herramienta de línea de mandatos para utilizar?

¡Sí! Existe una herramienta de CLI de ModelOps, cuyo nombre oficial es la herramienta de operaciones de modelo de CLI de Watson OpenScale. Utilícela para ejecutar tareas relacionadas con la gestión del ciclo de vida de los modelos de aprendizaje automático.

¿Qué versión de Python puedo utilizar con Watson OpenScale?

Debido a que Watson OpenScale es independiente del proceso de creación de modelos, da soporte a las versiones de Python que el proveedor de aprendizaje automático soporta. El cliente de Watson OpenScale Python es una biblioteca de Python que funciona directamente con el servicio Watson OpenScale en IBM Cloud. Para obtener la información de versión más actualizada, consulte la sección Requisitos. Puede utilizar el cliente Python, en lugar de la UI de cliente de Watson OpenScale, para configurar directamente una base de datos de registro, enlazar el motor de aprendizaje automático y seleccionar y supervisar despliegues. Para obtener ejemplos de cómo utilizar el cliente Python de este modo, consulte los cuadernos de ejemplo de Watson OpenScale.

¿Qué navegadores puedo utilizar para ejecutar Watson OpenScale?

El conjunto de herramientas de servicio de Watson OpenScale requiere el mismo nivel de software de navegador que IBM Cloud. Consulte el tema Requisitos previos de IBM Cloud para obtener detalles.

La configuración de un modelo requiere información sobre la ubicación de los datos de entrenamiento y las opciones son Cloud Object Storage y Db2. Si los datos están en Netezza, ¿puede Watson OpenScale utilizar Netezza?

Utilice este cuaderno de Watson OpenScale para leer los datos de Netezza y generar las estadísticas de entrenamiento y también el modelo de detección de desviación.

¿Por qué Watson OpenScale no ve las actualizaciones que se hicieron al modelo?

Watson OpenScale funciona en un despliegue de un modelo, no en el propio modelo. Debe crear un nuevo despliegue y luego configurar este nuevo despliegue como una nueva suscripción en Watson OpenScale. Con esta disposición, puede comparar las dos versiones del modelo.

¿Cómo se mitiga el sesgo del modelo utilizando Watson OpenScale?

La capacidad de eliminación del sesgo en Watson OpenScale es de grado empresarial. Es robusto, escalable y puede manejar una amplia variedad de modelos. La eliminación del sesgo en Watson OpenScale consta de un proceso de dos pasos.

1. Fase de aprendizaje: Aprender el comportamiento del modelo de cliente para comprender cuándo actúa de forma sesgada.
2. Fase de aplicación: Identificar si el modelo del cliente actúa de forma sesgada en un punto de datos específico y, si es necesario, fijar el sesgo. Para obtener más información, consulte Revisión de transacciones sin sesgo.

¿Es posible comprobar el sesgo del modelo en atributos sensibles, como raza y sexo, incluso cuando el modelo no está entrenado en ellos?

Sí. Recientemente, Watson OpenScale ha presentado una innovadora característica llamada "Detección de sesgo indirecto". Utilícela para detectar si el modelo presenta un sesgo indirecto para atributos confidenciales, aunque el modelo no esté entrenado en estos atributos. Para obtener más información, consulte Revisión de transacciones sin sesgo.

¿Puedo configurar la equidad de modelo a través de una API?

Sí, es posible con el SDK de Watson OpenScale. Para obtener más información, consulte IBM Watson OpenScale Python.

¿Cuáles son los distintos tipos de riesgos asociados a la utilización de un modelo de aprendizaje automático?

Varios tipos de riesgos que están asociados con modelos de aprendizaje automático, como cualquier cambio en los datos de entrada (también conocido como desviación) puede hacer que el modelo tome decisiones inexactas, lo que afecta a las predicciones de negocio. Los datos de entrenamiento se pueden limpiar para estar libres de sesgo, pero los datos de tiempo de ejecución pueden inducir un comportamiento sesgado del modelo.

Los modelos estadísticos tradicionales son más sencillos de interpretar y explicar, pero el hecho de no poder explicar el resultado del modelo de aprendizaje automático puede suponer una grave amenaza para el uso del modelo.

Para obtener más información, consulte Gestionar riesgo de modelo.

¿Watson OpenScale detecta la desviación en la precisión y la desviación en los datos?

Watson OpenScale detecta tanto la desviación en la precisión como la desviación en los datos:

• La desviación en la precisión estima la disminución de la precisión del modelo en tiempo de ejecución. La precisión del modelo disminuye cuando hay un aumento en las transacciones que son similares a las que el modelo no ha evaluado correctamente en los datos de entrenamiento. Este tipo de desviación se calcula para modelos de clasificación binaria y multiclase estructurada.
• La desviación en los datos estima la disminución de la coherencia de los datos en tiempo de ejecución en comparación con las características de los datos en tiempo de entrenamiento.

¿Cuáles son los tipos de explicaciones que se muestran en Watson OpenScale?

Watson OpenScale proporciona una explicación local basada en LIME, una explicación contrastiva y explicaciones SHAP. Para obtener más información, consulte Visualización de la explicabilidad.

¿Qué es el análisis de situaciones hipotéticas de Watson OpenScale?

La interfaz de usuario de explicaciones también proporciona la posibilidad de probar escenarios hipotéticos. Por ejemplo, el usuario puede cambiar los valores de característica del punto de datos de entrada y comprobar su impacto en la predicción y probabilidad del modelo.

¿Qué modelos dan soporte a las explicaciones LIME?

Los siguientes tipos de modelos dan soporte a explicaciones LIME en Watson OpenScale:

• Regresión estructurada y modelos de clasificación
• Modelos de clasificación de imágenes y texto no estructurado

¿Qué modelos dan soporte a explicaciones contrastativas y análisis hipotético?

Las explicaciones contrastivas y los análisis de hipótesis están soportados para modelos que utilizan sólo datos estructurados y problemas de clasificación.

¿Cuáles son las características controlables en la configuración de explicación de Watson OpenScale?

Utilizando características controlables se pueden bloquear algunas características del punto de datos de entrada, para que no cambien cuando se genere la explicación contrastiva y tampoco se pueden cambiar en el análisis de situaciones hipotéticas. Las características que no deben cambiarse deben establecerse como no controlables o NO en la configuración de explicabilidad.

Al configurar los proveedores de aprendizaje automático en Watson OpenScale, ¿cuál es la diferencia entre las suscripciones de preproducción y de producción?

Antes de pasar un modelo a producción, un validador de modelos puede configurar y validar el modelo utilizando un proveedor de servicios de preproducción. Watson OpenScale puede designar un proveedor de aprendizaje automático como parte del proceso de preproducción, donde se realizan evaluaciones de riesgo. Cuando el modelo cumpla los estándares de calidad, puede enviar el modelo a la producción. Puede utilizar distintos proveedores de aprendizaje de máquina para la preproducción y producción, o puede utilizar diferentes instancias del mismo proveedor de aprendizaje automático para mantener los entornos de preproducción y producción segmentados.

¿Debo seguir supervisando el panel de control de Watson OpenScale para asegurarme de que mis modelos se comportan como se esperaba?

No, puede configurar alertas de correo electrónico para los despliegues de modelo de producción en Watson OpenScale. Las alertas de correo electrónico se envían siempre que falla una prueba de evaluación de riesgos y, a continuación, puede venir y comprobar los problemas y abordarlos.

En un entorno de preproducción que utiliza Watson OpenScale después de que se evalúe el riesgo y se apruebe el uso del modelo, ¿tengo que volver a configurar todos los supervisores en el entorno de producción?

No, Watson OpenScale proporciona una forma de copiar la configuración de la suscripción de preproducción a la suscripción de producción. Para obtener más información, consulte Gestionar riesgo de modelo.

En Watson OpenScale, ¿puedo comparar mis despliegues de modelos en preproducción con un modelo de referencia para ver lo bueno o malo que es?

Sí, Watson OpenScale le proporciona la opción de comparar dos despliegues de modelo o suscripciones. Puede ver una comparación en paralelo del comportamiento de los dos modelos en cada uno de los supervisores configurados. Para comparar, vaya a la página de resumen del modelo en el panel de control de Watson OpenScale y seleccione Actions -> Compare. Para obtener más información, consulte Revisión de los resultados de la evaluación.

En Watson OpenScale, ¿qué datos se utilizan para el cálculo de métricas de calidad?

Se calculan métricas de calidad que utilizan datos de comentarios etiquetados manualmente y respuestas de despliegue supervisado para estos datos.

En Watson OpenScale, ¿por qué algunos de los separadores de configuración están inhabilitados?

Algunas condiciones habilitan determinados separadores. Puede ver la razón por la que este separador no está habilitado, pasando el ratón por encima del icono de círculo en el separador.

¿Por qué debería estar preocupado por la desviación de precisión del modelo o la desviación de datos?

Una disminución de la exactitud del modelo o de la coherencia de los datos lleva a un impacto negativo en los resultados del negocio que están asociados con el modelo y deben resolverse volviendo a entrenar el modelo.

¿Cuáles son los distintos tipos de desviación que IBM Watson OpenScale detecta?

Watson OpenScale detecta tanto la desviación en la precisión del modelo como la deriva en los datos.

¿Cómo se produce una disminución de precisión, es decir, la desviación de precisión del modelo calculada en Watson OpenScale?

Watson OpenScale aprende el comportamiento del modelo creando un modelo de proxy, también conocido como un modelo de detección de desviación. Examina los datos de entrenamiento y cómo el modelo está haciendo predicciones sobre los datos de entrenamiento.

Para obtener más información, consulte Detección de desviación.

¿Cómo se calcula la disminución de la coherencia de datos en IBM Watson OpenScale?

IBM Watson OpenScale aprende las restricciones o límites de una y dos columnas en los datos de entrenamiento en el momento de la configuración. A continuación, analiza todas las transacciones de carga útil para determinar qué transacciones están provocando una caída en la coherencia de los datos. Para obtener más información, consulte Métricas de desviación.

¿Puede Watson OpenScale detectar la desviación en mi modelo que se entrena en el corpus de texto?

Watson OpenScale no puede detectar la desviación en modelos basados en texto a partir de ahora.

¿Puede Watson OpenScale detectar la desviación de mi modelo que se entrena en datos de imagen?

Watson OpenScale no puede detectar la desviación en modelos basados en imágenes a partir de ahora.

¿Puede Watson OpenScale detectar derivas en mi función Python desplegada en IBM watsonx.ai Runtime?

Watson OpenScale puede detectar la desviación para las funciones Python que se entrenan en conjuntos de datos estructurados. Las funciones de python que se han entrenado en conjuntos de datos de texto o imagen no están soportadas. La salida de puntuación para las funciones python debe incluir columnas de predicción y columnas de probabilidad que contengan todas las probabilidades de clase para problemas de clasificación.

Tema principal: Evaluación de modelos de IA con Watson OpenScale