Riesgo de ataque de evasión para IA
Descripción
Intente que la salida de un modelo sea incorrecta al perturbar los datos enviados al modelo entrenado.
¿Por qué la evasión es una preocupación para los modelos de fundación?
Los ataques de evasión alteran el comportamiento del modelo, normalmente para beneficiar al atacante. Si no se contabilizan adecuadamente, las entidades empresariales podrían enfrentarse a multas, daños a la reputación y otras consecuencias legales.
Ataques adversarios a los componentes de IA de los vehículos autónomos
Un informe de la Agencia de la Unión Europea para la Ciberseguridad (ENISA) encontró que los vehículos autónomos son "altamente vulnerables a una amplia gama de ataques" que podrían ser peligrosos para pasajeros, peatones y personas en otros vehículos. El informe afirma que un ataque adversarial podría ser utilizado para hacer que la IA 'ciega' a los peatones mediante la manipulación del componente de reconocimiento de imagen para clasificar mal a los peatones. Este ataque podría provocar estragos en las calles, ya que los coches autónomos podrían golpear a los peatones en las carreteras o los cruces.
Otros estudios demostraron posibles ataques adversarios en vehículos autónomos:
- Engañar a los algoritmos de aprendizaje automático realizando cambios menores en los gráficos de los signos de la calle, como añadir pegatinas.
- Los investigadores de seguridad de Tencent demostraron cómo la adición de tres pequeñas pegatinas en una intersección podría hacer que el sistema de piloto automático de Tesla virara hacia el carril equivocado.
- Dos investigadores de McAfee demostraron cómo el uso de sólo cinta eléctrica negra podría engañar a un Tesla 2016 en una peligrosa ráfaga de aceleración al cambiar un signo de límite de velocidad de 35 mph a 85 mph.
Tema principal: Atlas de riesgo de IA
Proporcionamos ejemplos cubiertos por la prensa para ayudar a explicar muchos de los riesgos de los modelos básicos. Muchos de estos eventos cubiertos por la prensa están todavía en evolución o se han resuelto, y hacer referencia a ellos puede ayudar al lector a comprender los riesgos potenciales y trabajar hacia las mitigaciones. El resaltado de estos ejemplos sólo tiene fines ilustrativos.