Descripción
Las explicaciones para las decisiones de salida de modelo pueden ser difíciles, imprecisas o no posibles de obtener.
¿Por qué la salida inexplicable es una preocupación para los modelos de base?
Los modelos de base se basan en arquitecturas complejas de aprendizaje profundo, lo que dificulta las explicaciones de sus resultados. Los datos de entrenamiento inaccesibles podrían limitar los tipos de explicaciones que puede ofrecer un modelo. Sin explicaciones claras para la salida del modelo, es difícil que los usuarios, los validadores de modelos y los auditores entiendan y confíen en el modelo. Las explicaciones erróneas pueden conducir a una confianza excesiva.
Precisión inexplicable en la predicción de raza
Según el artículo de la fuente, los investigadores que analizaron múltiples modelos de aprendizaje automático utilizando imágenes médicas de pacientes pudieron confirmar la capacidad de los modelos para predecir la raza con alta precisión a partir de las imágenes. Estaban perpletamente en cuanto a lo que exactamente está permitiendo que los sistemas adivinen correctamente. Los investigadores encontraron que incluso factores como la enfermedad y la construcción física no eran predictores fuertes de la raza-en otras palabras, los sistemas algorítmicos no parecen estar utilizando ningún aspecto particular de las imágenes para hacer sus determinaciones.
Tema principal: Atlas de riesgo de IA
Proporcionamos ejemplos cubiertos por la prensa para ayudar a explicar muchos de los riesgos de los modelos básicos. Muchos de estos eventos cubiertos por la prensa están todavía en evolución o se han resuelto, y hacer referencia a ellos puede ayudar al lector a comprender los riesgos potenciales y trabajar hacia las mitigaciones. El resaltado de estos ejemplos sólo tiene fines ilustrativos.