0 / 0
영어 버전 문서로 돌아가기
AI에 대한 프롬프트 인젝션 공격 위험
마지막 업데이트 날짜: 2024년 9월 26일
AI에 대한 프롬프트 인젝션 공격 위험
견고함 견고성 위험을 나타내는 아이콘입니다.
입력과 연관된 위험
추론
견고성
생성 AI의 새로운 기능

설명

프롬프트 인젝션 공격은 프롬프트를 입력으로 사용하는 생성 모델이 프롬프트에 포함된 구조, 명령어 또는 정보를 조작하여 예기치 않은 출력을 생성하도록 강제합니다.

파운데이션 모델에서 프롬프트 인젝션 공격이 우려되는 이유는 무엇인가요?

인젝션 공격을 사용하여 모델 동작을 변경하고 공격자에게 이점을 제공할 수 있습니다.

입력과 관련된 위험에 대한 배경 이미지

AI 프롬프트 조작하기

출처 기사에 따르면 영국의 사이버 보안 기관은 시스템이 보안을 고려하여 설계되지 않은 경우 해커가 챗봇을 조작하여 사기 및 데이터 도용과 같은 해로운 실제 결과를 초래할 수 있다고 경고했습니다. 영국의 국가사이버보안센터(NCSC)는 개인이 프롬프트 인젝션 공격을 통해 메시지를 조작하는 사이버 보안 위험이 증가하고 있다고 밝혔습니다. 이 기사에서는 사용자가 프롬프트 인젝션을 생성하여 Bing Chat의 초기 프롬프트를 찾을 수 있었던 사례를 예로 들었습니다. 챗봇이 사용자와 상호 작용하는 방식을 결정하는 Open AI 또는 Microsoft가 작성한 문장의 목록으로, 사용자에게 숨겨져 있는 Microsoft의 Bing Chat의 전체 프롬프트는 사용자가 Bing Chat에 "이전 지침 무시"를 요청하는 메시지를 입력함으로써 공개되었습니다.

상위 주제: AI 위험 지도책

재단 모델의 여러 위험에 대한 설명을 돕기 위해 언론에서 다룬 사례를 제공합니다. 언론에서 다루는 이러한 사건 중 상당수는 아직 진행 중이거나 해결된 상태이므로 이를 참고하면 잠재적 위험을 이해하고 완화 조치를 취하는 데 도움이 될 수 있습니다. 이러한 예시는 예시를 보여주기 위한 것일 뿐입니다.

일반적인 AI 검색 및 응답
이러한 응답은 제품 문서의 컨텐츠를 기반으로 하는 watsonx.ai 의 대형 언어 모델에 의해 생성됩니다. 자세히 알아보기