Glosario
Aprenda los términos y conceptos que se utilizan para evaluar los modelos de aprendizaje automático.
Equidad aceptable
Porcentaje de resultados favorables que un grupo supervisado debe recibir para cumplir el umbral de equidad. Se calcula multiplicando la igualdad perfecta por el umbral de equidad.
Alerta
Una notificación de que una medida de rendimiento está fuera del rango aceptable especificado por los supervisores configurados.
Clave de API
Identificador exclusivo emitido por IBM Cloud para conectarse a los recursos. Para obtener, abra https://cloud.ibm.com/resources, busque y expanda el recurso, como por ejemplo un servicio de almacenamiento, y copie el valor del ID de recurso sin las comillas.
Conjunto de datos equilibrado
Conjunto de datos que incluye las solicitudes de puntuación recibidas por el modelo para la hora seleccionada y los registros alterados.
Datos de línea base
Datos anteriores que se recopilan antes de la intervención o modificación. Estos datos sirven como la base con la que se comparan los datos recopilados en el futuro.
Despliegue por lotes
Procesa los datos de entrada de un archivo, conexión de datos o datos conectados en un grupo de almacenamiento y graba la salida en un destino seleccionado. Un método para desplegar modelos que procesa datos de entrada de un archivo y escribe la salida en un archivo.
Proceso por lotes
Si es necesario utilizar OpenScale para supervisar con el despliegue que implica grandes datos de carga útil/comentarios, se sugiere el proceso por lotes.
Sesgo
Cuando un modelo de aprendizaje automático produce un resultado para una persona, grupo o cosa supervisada que se considera injusto cuando se compara con un resultado de referencia. Puede deberse a un problema con los datos de entrenamiento de un modelo. El supervisor de equidad puede detectar sesgos que se encuentran por debajo de un umbral establecido. Término relacionado: Debiasing.
Cloud Object Storage
Un servicio ofrecido por IBM para almacenar y acceder a los datos. Si Cloud Object Storage es el repositorio para activos de aprendizaje de máquina, se deben utilizar las credenciales de servicio asociadas para conectarse a los activos desde OpenScale.
Consulte también: ID de recurso, clave de API.
Puntuación de confianza
La probabilidad de que la predicción de un modelo de aprendizaje automático sea correcta. Una puntuación más alta indica una probabilidad más alta de que el resultado previsto coincida con el resultado real.
Explicación conversiva
Explicaciones que indican el conjunto mínimo de cambios de valor de columna de característica para cambiar la predicción del modelo. Se calcula para un único punto de datos.
Despensa de datos
Espacio de trabajo donde se guardan todos los metadatos relacionados con OpenScale . En segundo plano, se conecta a una capa de persistencia de base de datos donde se guardan los metadatos.
Transacciones sin sesgo
Las transacciones para las que se genera un resultado sin sesgo.
Sin sesgo
Cuando el supervisor de equidad detecta sesgo. Cuando un grupo supervisado recibe resultados sesgados, tome medidas para mitigar el sesgo de forma automática o manual.
Despliegue
Despliegue un modelo para que un punto final esté disponible para que pueda especificar nuevos datos (la solicitud) en el modelo y obtener una puntuación o una respuesta. Un despliegue de modelo puede estar en un entorno de preproducción para pruebas, o un entorno de producción para uso real.
Desviación
Cuando la precisión del modelo disminuye con el tiempo. Puede deberse a un cambio en los datos de entrada del modelo que lleve al deterioro del rendimiento del modelo. Para supervisar el borrador, se pueden crear alertas para cuando la precisión del modelo cae por debajo de un umbral aceptable especificado.
Evaluación
Proceso de utilizar métricas para evaluar un modelo de aprendizaje automático y medir el rendimiento del modelo (en áreas como la equidad y la precisión). Los supervisores pueden evaluar un modelo para áreas importantes para los objetivos.
Explicación
Información sobre la evaluación de una medida determinada de un modelo. En OpenScale, una explicación ayuda a comprender los resultados y también experimenta con escenarios hipotéticos para ayudar a resolver los problemas.
Equidad
Determine si un modelo produce resultados sesgados que favorecen a un grupo supervisado sobre un grupo de referencia. La evaluación de equidad comprueba cuando el modelo muestra una tendencia a proporcionar un resultado favorable/preferible más a menudo para un grupo que para otro. Las categorías típicas para monitorear son edad, sexo y raza.
Características
Lista de nombres de columna de conjunto de datos (columnas de características) utilizados para entrenar un modelo de aprendizaje automático.
Ejemplo: En un modelo que predice si una persona cumple los requisitos para un préstamo, las características para el estado de empleo y el historial de crédito pueden tener un peso mayor que el código postal.
Datos de comentarios
Datos etiquetados que coinciden con el esquema y la estructura de los datos utilizados para entrenar un modelo de aprendizaje automático (incluido el destino) pero que no se han utilizado para el entrenamiento. Estos datos ya son conocidos o datos reales utilizados por el supervisor de calidad para medir la precisión de un modelo desplegado. Determina si las predicciones son precisas cuando se miden con respecto al resultado conocido.
Explicación global
Explica la predicción del modelo en una muestra de datos.
Suscripción autónoma
Una suscripción que tiene un despliegue en tiempo real entre bastidores. A través de la suscripción headless, el usuario puede monitorizar el despliegue utilizando los datos (Payload/Feedback) que se suministran al despliegue sin suministrar ninguna URL de puntuación.
Datos etiquetados
Datos etiquetados de forma uniforme para que los algoritmos de aprendizaje automático los reconozcan durante el entrenamiento del modelo.
Ejemplo: Una tabla de datos con columnas etiquetadas es típica para el aprendizaje automático supervisado. Las imágenes también se pueden etiquetar para su uso en un problema de aprendizaje automático.
Explicación local
Explica la predicción de un modelo utilizando ejemplos individuales específicos.
Meta campos
Datos especializados que son exclusivos entre productos.
Supervisar
Cada característica que proporciona OpenScale se denomina supervisor.
Ejemplo: Equidad, desviación, calidad, explicabilidad.
Grupo supervisado
Al evaluar la equidad, el grupo supervisado representa los valores que están en mayor riesgo para los resultados sesgados.
Ejemplo: En la característica sex, Female y Nonbinary se pueden establecer como grupos supervisados.
Despliegue en línea
Método para acceder a un despliegue a través de un punto final de API que proporciona una puntuación en tiempo real o una solución sobre nuevos datos.
Datos de carga útil
Datos en tiempo real proporcionados a un modelo. Consta de solicitudes a un modelo (entrada) y respuestas de un modelo (salida).
Registro de carga útil
Persistencia de datos de carga útil.
Igualdad perfecta
Porcentaje de resultados favorables entregados a todos los grupos de referencia. En los conjuntos de datos equilibrados y sin sesgo, el cálculo incluye las transacciones de grupo supervisadas alteradas para convertirse en transacciones de grupo de referencia.
Perturbaciones
Puntos de datos que se simulan alrededor de puntos de datos reales durante el cálculo de distintas métricas asociadas con supervisores, como equidad y explicabilidad.
Espacio de preproducción
Un entorno que se utiliza para probar fácilmente los datos para las validaciones de modelo.
Columna de predicción
Variable que un modelo de aprendizaje automático supervisado (entrenado con datos etiquetados) predice cuando se presentan nuevos datos.
Consulte también: Destino.
Probabilidad
Confianza con la que un modelo predice el resultado. Aplicable para modelos de clasificación.
Espacio de producción
Espacio de despliegue utilizado para operacionalizar modelos de aprendizaje automático. Los despliegues de un espacio de producción se evalúan para comparar el rendimiento real con las métricas especificadas.
Calidad
Un supervisor que evalúa cómo un modelo predice resultados precisos basándose en la evaluación de los datos de comentarios. Utiliza un conjunto de métricas de ciencia de datos estándar para evaluar cómo el modelo predice los resultados que coinciden con los resultados reales en el conjunto de datos etiquetado.
Registros
Transacciones en las que se evalúan los supervisores.
Grupo de referencia
Al evaluar la equidad, el grupo de referencia representa los valores que tienen menos riesgo de resultados sesgados.
Ejemplo: Para la característica Edad, puede establecer 30-55 como grupo de referencia y comparar los resultados de otras cohortes con ese grupo.
Ponderación relativa
La ponderación relativa que tiene una característica al predecir la variable objetivo. Un peso más alto indica más importancia. Conocer el peso relativo ayuda a explicar los resultados del modelo.
ID de recurso
Identificador exclusivo de un recurso almacenado en Cloud Object Storage. Para obtener:
- Abra https://cloud.ibm.com/resources
- Buscar y expandir el recurso (por ejemplo, un servicio de almacenamiento)
- Copie el valor del ID de recurso sin las comillas
Tiempo de respuesta
El tiempo que tarda el despliegue del modelo en procesar una solicitud de puntuación
Datos de tiempo de ejecución
Datos obtenidos de la ejecución del ciclo de vida de un modelo.
Punto final de puntuación
punto final HTTPS al que los usuarios pueden llamar para recibir el resultado de la puntuación de un modelo desplegado.
Solicitud de puntuación
La entrada a un despliegue.
Consulte también: Carga útil.
Puntuación
En una inferencia de modelo, la acción de enviar una solicitud al modelo y obtener una respuesta.
Autogestionadas
Modelar transacciones almacenadas en su propio almacén de datos y evaluadas por su propio motor de análisis de Spark.
Credenciales de servicio
Los ID de acceso necesarios para conectarse a los recursos de IBM Cloud .
Proveedor de servicios
proveedor de aprendizaje automático (normalmente un motor de modelos: WML, AWS, Azure, personalizado) que aloja las implementaciones.
Suscripción
Un despliegue que se supervisa a nivel de OpenScale . Existe una correlación de 1 a 1 entre el despliegue y la suscripción.
Transacciones de modelo de
gestionadas por el sistema almacenadas en la base de datos OpenScale y evaluadas utilizando recursos de cálculo de OpenScale .
Destino
Característica o columna de un conjunto de datos que predice el modelo entrenado. El modelo se entrena utilizando datos preexistentes para aprender patrones y descubrir relaciones entre las características del conjunto de datos y el destino.
Consulte también: Columna de predicción.
Umbral
Cuando los supervisores están configurados para evaluar un modelo de aprendizaje automático. Se establece un punto de referencia para una gama aceptable de resultados. Cuando el resultado cae por debajo del umbral configurado, se desencadena una alerta para evaluar y remediar la situación.
Datos de entrenamiento
Datos utilizados para enseñar y entrenar el algoritmo de aprendizaje de un modelo.
Transacciones
Los registros para evaluaciones de modelo de aprendizaje automático que se almacenan en la tabla de registro de carga útil.
Datos no etiquetados
Datos que no están asociados con etiquetas que identifican características, clasificaciones y propiedades. Datos no estructurados que no están etiquetados de forma uniforme.
Ejemplo: las imágenes de correo electrónico o no etiquetadas son típicas de los datos no etiquetados. Los datos no etiquetados se pueden utilizar en el aprendizaje automático no supervisado.
ID de usuario
ID del usuario asociado a la solicitud de puntuación
Tema principal: Evaluación de modelos de IA con Watson OpenScale