Riesgo de intoxicación de datos para IA
Descripción
Tipo de ataque contradictorio en el que un adversario o un insider malicioso inyecta muestras intencionadamente dañadas, falsas, engañosas o incorrectas en el conjunto de datos de entrenamiento o ajuste fino.
¿Por qué la intoxicación de datos es una preocupación para los modelos de base?
La intoxicación de datos puede hacer que el modelo sea sensible a un patrón de datos malicioso y producir la salida deseada del adversario. Puede crear un riesgo de seguridad en el que los adversarios pueden forzar el comportamiento del modelo para su propio beneficio. Además de producir resultados no deseados y potencialmente maliciosos, una desalineación del modelo a partir de la intoxicación de datos puede provocar que las entidades empresariales se enfrenten a consecuencias legales o daños en la reputación.
Tema principal: Atlas de riesgo de IA