Problemas conocidos y limitaciones de Watson OpenScale

La lista siguiente contiene las limitaciones y los problemas conocidos de IBM Watson OpenScale.

 

Limitaciones

  • Watson OpenScale no da soporte a modelos en los que el tipo de datos de la predicción del modelo es binario. Debe cambiar estos modelos de modo que el tipo de datos de su predicción sea un tipo de datos de tipo serie o entero.
  • El soporte para la infraestructura XGBoost tiene las limitaciones siguientes para los problemas de clasificación: Para la clasificación binaria, Watson OpenScale soporta la función de regresión logística binary:logistic con una salida como una probabilidad de True. Para la clasificación multiclase, Watson OpenScale soporta la función multi:softprob, donde el resultado contiene la probabilidad pronosticada de cada punto de datos perteneciente a cada clase.
  • Las métricas de equidad y desviación no están soportadas para tipos de datos no estructurados (imagen o texto).
  • Tener un signo de igual (=) en el nombre de columna de un conjunto de datos genera un problema con la explicabilidad y genera el siguiente mensaje de error: Error: Se ha producido un error al calcular la importancia de la característica. No utilice un signo de igual (=) en un nombre de columna. No está soportado.
  • La base de datos y la instancia de IBM Watson Machine Learning se deben desplegar en la misma cuenta de .
  • Watson OpenScale utiliza la base de datos PostgreSQL o Db2 para almacenar datos relacionados con el modelo (datos de opinión, carga útil de puntuación) y métricas calculadas. Actualmente no se da soporte a los planes Lite Db2.
  • La base de datos del plan Lite gratuito no cumple el GDPR. Si el modelo procesa información de identificación personal (PII), debe adquirir una nueva base de datos o utilizar una base de datos existente que cumpla la normativa GDPR.

 

Problemas conocidos

Watson OpenScale tiene el siguiente problema conocido:

 

Hay una diferencia entre las tablas de carga útil de Spark y Python

La tabla de carga útil para un modelo de clasificación de Spark es diferente de la de una tabla de Python. Una tabla de carga útil de Apache Spark tiene tres columnas para los resultados pronosticados (prediction, probability y prediction_probability) mientras que la tabla de carga útil de Python solo tiene dos columnas (prediction y probability). Para el motor de Spark, el campo probability recibe una matriz, por ejemplo [0.1.0.9], como columna de cadena. El campo prediction_probability requiere un valor numérico, como 0.9, y se asemeja más al campo probability de Python.

Un tipo de datos imprevisto hace que el registro de carga útil automático falle

Si la salida del modelo incluye un campo con un valor de probabilidad, debe ser un vector. De lo contrario, la puntuación de carga útil automática está inhabilitada.

 

Límite del número de características de un modelo

Las cargas útiles de puntuación para un modelo deben ajustarse al ancho máximo permitido para la tabla creada por el registro de carga útil en la base de datos de despensa de datos (con algún almacenamiento intermedio para las columnas de uso interno que añade el propio Watson OpenScale). Además, además del ancho, también hay un límite codificado de 1012 características.

La tabla siguiente resume lo que esto significa para modelos con distintos tamaños de características:

Tabla 1: Límites de la columna de características

Límites de la columna de características
Tipo de característica Límite de núm. de características
int64 o float64 o longitud de serie 1-64 1012
longitud de serie 65-2048 444
longitud de serie 2048-32K 28

Puesto que muchos modelos tienen características de tipos mixtos, se pueden utilizar las siguientes configuraciones de ejemplo con fines de planificación:

  • Para int64 o float64 o series de longitud 64 o menos, recuento de 64.
  • Para series de 65 a 2048, recuento de 2048.
  • Para series de 2048 a 32K, recuento de 32K.
  • La longitud total de todas las características no puede ser más de ~900K.

 

No todas las instancias de Db2 funcionan de forma idéntica

Watson OpenScale da soporte al complemento bDb2 Warehouse, el complemento Db2 Advanced Enterprise Server Edition, así como a la instalación de Db2 Enterprise Server Edition (v. 11.5.1 o posterior) que está accesible para el clúster. Tenga en cuenta la limitación siguiente:

  • Watson OpenScale requiere un espacio de tablas con un tamaño de página de 32k o superior.

 

Errores de configuración de la desviación impiden la configuración del supervisor de desviación

La flexibilidad de la pantalla de configuración del modelo también puede causar problemas posteriormente cuando se desee configurar supervisores, como por ejemplo el supervisor de detección de desviación. Puesto que puede elegir los tipos de datos, debe asegurarse de que sus selecciones coinciden con el esquema de entrada del modelo. El error siguiente se puede producir si no se selecciona el tipo de columna de predicción adecuado:

error: AIQDD2003E:
Mensaje: "Las predicciones del modelo {0} son distintas de los nombres de clase en los datos de entrenamiento de {1} para la suscripción de {2} de la despensa de datos de {3} y el enlace de servicio de {4}."

Los casos siguientes son la causa más probable:

  • La etiqueta class es de tipo serie y se asigna modeling_role prediction a la columna prediction como tipo doble porque así es cómo se define el esquema de datos de salida.
  • Seleccione la columna prediction de tipo doble en la interfaz de usuario, lo que no está restringido.

Formatos de carga útil

Para procesar correctamente el análisis de carga útil, Watson OpenScale no da soporte a nombres de columna con comillas dobles (") en la carga útil. Esto afecta a la carga útil de puntuación y a los datos de opinión en los formatos CSV y JSON.

 

Microsoft Azure ML Studio

  • De los dos tipos de servicios web de Azure Machine Learning, sólo se admite el tipo Nuevo en Watson OpenScale. El tipo Clásico no se admite.

  • Se debe utilizar el nombre de entrada predeterminado: en el servicio web de Azure, el nombre de entrada predeterminado es "input1". Actualmente, este campo es obligatorio para Watson OpenScale y, si falta, Watson OpenScale no funcionará.

    Si el servicio web de Azure no utiliza el nombre predeterminado, cambie el nombre del campo de entrada por "input1" y, a continuación, vuelva a desplegar el servicio web y vuelva a configurar los valores del proveedor de aprendizaje automático de OpenScale.

  • Si las llamadas a Microsoft Azure ML Studio para listar los modelos de aprendizaje automático provocan que la respuesta exceda el tiempo de espera, por ejemplo, cuando tiene muchos servicios web, debe aumentar los valores de tiempo de espera. Es posible que tenga que trabajar en torno a este problema cambiando el valor de configuración /etc/haproxy/haproxy.cfg:

    • Inicie sesión en el equilibrador de carga y actualice /etc/haproxy/haproxy.cfg para establecer el tiempo de espera de cliente y servidor de 1m en 5m:

        timeout client           5m
        timeout server           5m
      
    • Ejecute systemctl restart haproxy para reiniciar el equilibrador de carga HAProxy.

Si utiliza otro equilibrador de carga, que no sea HAProxy, es posible que deba ajustar los valores de tiempo de espera de forma similar. {: note}

  • De los dos tipos de servicios web de Azure Machine Learning, sólo se admite el tipo Nuevo en Watson OpenScale. El tipo Clásico no se admite.

 

Amazon SageMaker

  • El algoritmo BlazingText no está soportado: El formato de la carga útil de entrada del algoritmo Amazon SageMaker BlazingText no está soportado en el release actual de Watson OpenScale.

 

Instancia de servicio de aprendizaje automático personalizado

  • El SDK del cliente Python de Watson OpenScale no tiene la explicabilidad operativa para el motor de servicio personalizado. Esto se debe a que el motor de servicio personalizado requiere una predicción numérica en los datos de respuesta, que no se incluye con el script de módulo.

 

Soporte de navegadores

Las herramientas de servicio de Watson OpenScale requieren el mismo nivel de software del navegador que requiere IBM Cloud. Para obtener más detalles, consulte el tema de IBM Cloud Requisitos previos.

 

La configuración de desviación se inicia pero nunca finaliza

La configuración de desviación se inicia pero nunca finaliza y continúa mostrando el icono de selector cíclico. Si observa que el selector se ejecuta más de 10 minutos, es posible que el sistema haya quedado en un estado incoherente. Hay un método alternativo para este comportamiento: Editar la configuración de desviación. A continuación, guárdelo. Es posible que el sistema salga de este estado y complete la configuración. Si la reconfiguración de la desviación no rectifica la situación, póngase en contacto con el soporte de IBM.

 

Próximos pasos