영어 버전 문서로 돌아가기
AI에 대한 공격 회피 위험
AI에 대한 공격 회피 위험
설명
훈련된 모델로 전송된 데이터를 섭동하여 모델 출력이 올바르지 않은 결과가 되도록 시도하십시오.
왜 탈세 공격이 재단 모델에 대한 우려가 되는가?
회피 공격은 일반적으로 공격자에게 이익을 주기 위해 모델 동작을 변경합니다. 제대로 설명되지 않으면 기업은 벌금, 평판 손상 및 기타 법적 결과에 직면할 수 있습니다.
예
자율주행 차량의 AI 부품에 대한 적대적 공격
유럽연합 (EU) 사이버안전국 (ENISA) 의 보고서에 따르면 자율주행 차량은 " 다른 차량의 승객, 보행자 및 사람들에게 위험할 수 있는 광범위한 공격에 매우 취약하다고 밝혔다. 이 보고서는 보행자를 오분류하기 위해 이미지 인식 요소를 조작함으로써 AI가 보행자를 '눈이 멀게' 만드는 데 적대적인 공격이 사용될 수 있다고 언급하고 있습니다. 자율주행차가 도로나 횡단보도의 보행자들을 공격할 수 있기 때문이다.
다른 연구들은 자율 차량에 대한 잠재적인 적대적 공격을 입증했습니다.
- 스티커를 추가하는 것과 같이 거리 표지판 그래픽을 약간 변경하여 기계 학습 알고리즘을 스풀링합니다.
- 텐센트의 보안 연구원들은 교차로에 소형 스티커 3개를 부착하면 테슬라의 오토파일럿 시스템이 어떻게 잘못된 차선으로 바뀌게 되는지를 보여주고 있다.
- 두 명의 McAfee 연구원은 검은색 전기 테이프만 사용하면 속도 제한 신호를 35mph에서 85mph로 변경하여 2016년테슬라를 위험한 가속 폭발로 속일 수 있는 방법을 증명했습니다.
상위 주제: AI 위험 지도책
많은 기초 모델의 위험을 설명하는 데 도움이 되도록 언론에서 다루는 예제를 제공합니다. 언론이 다루고 있는 이러한 많은 사건들은 여전히 진화하고 있거나 해결되었으며, 이를 참조하는 것은 독자가 잠재적인 위험을 이해하고 완화를 향해 노력하는 데 도움이 될 수 있다. 이 예제를 강조표시하는 것은 설명을 위한 것입니다.