설명
프롬프트 인젝션 공격은 프롬프트를 입력으로 사용하는 생성 모델이 프롬프트에 포함된 구조, 명령어 또는 정보를 조작하여 예기치 않은 출력을 생성하도록 강제합니다.
파운데이션 모델에서 프롬프트 인젝션 공격이 우려되는 이유는 무엇인가요?
인젝션 공격을 사용하여 모델 동작을 변경하고 공격자에게 이점을 제공할 수 있습니다.
AI 프롬프트 조작하기
출처 기사에 따르면 영국의 사이버 보안 기관은 시스템이 보안을 고려하여 설계되지 않은 경우 해커가 챗봇을 조작하여 사기 및 데이터 도용과 같은 해로운 실제 결과를 초래할 수 있다고 경고했습니다. 영국의 국가사이버보안센터(NCSC)는 개인이 프롬프트 인젝션 공격을 통해 메시지를 조작하는 사이버 보안 위험이 증가하고 있다고 밝혔습니다. 이 기사에서는 사용자가 프롬프트 인젝션을 생성하여 Bing Chat의 초기 프롬프트를 찾을 수 있었던 사례를 예로 들었습니다. 챗봇이 사용자와 상호 작용하는 방식을 결정하는 Open AI 또는 Microsoft가 작성한 문장의 목록으로, 사용자에게 숨겨져 있는 Microsoft의 Bing Chat의 전체 프롬프트는 사용자가 Bing Chat에 "이전 지침 무시"를 요청하는 메시지를 입력함으로써 공개되었습니다.
상위 주제: AI 위험 지도책
재단 모델의 여러 위험에 대한 설명을 돕기 위해 언론에서 다룬 사례를 제공합니다. 언론에서 다루는 이러한 사건 중 상당수는 아직 진행 중이거나 해결된 상태이므로 이를 참고하면 잠재적 위험을 이해하고 완화 조치를 취하는 데 도움이 될 수 있습니다. 이러한 예시는 예시를 보여주기 위한 것일 뿐입니다.