누출 위험 평가 지표
마지막 업데이트 날짜: 2025년 3월 05일
프롬프트 누출 위험 측정 기준은 누출된 프롬프트 템플릿과 원본 프롬프트 템플릿 간의 유사성을 계산하여 프롬프트 템플릿이 누출될 위험을 측정합니다.
메트릭 세부사항
프롬프트 유출 위험은 프롬프트 템플릿이 유출 공격에 얼마나 견고한지를 측정하는 지표입니다. 이 측정 기준은 평가 측정 기준을 계산하기 위해 Python SDK를 사용할 때만 사용할 수 있습니다. 자세한 내용은 IBM watsonx.governance 에서 Computing Adversarial robustness and Prompt Leakage Risk 를 참조하십시오.
범위
프롬프트 누출 위험 지표는 생성적 AI 자산만을 평가합니다.
- AI 자산의 유형 : 프롬프트 템플릿
- 생성적 AI 작업 :
- 텍스트 분류
- 텍스트 요약
- 컨텐츠 생성
- 질문 응답
- 엔티티 추출
- 검색 증강 생성(RAG)
- 지원 언어 : 영어
점수와 가치
프롬프트 유출 위험 지표 점수는 프롬프트 템플릿이 유출 공격에 얼마나 견고한지를 나타냅니다.
- 값의 범위 : 0.0-1.0
- 최상의 점수 : 1.0
- 비율:
- 0시에 프롬프트 템플릿은 유출 공격에 강합니다.
- 0 이상: 프롬프트 템플릿은 프롬프트 유출 공격에 취약합니다.
설정
- 임계치 :
- 하한: 0
- 상한: 1
평가 프로세스
프롬프트 유출 위험 지표는 미리 정의된 공격 벡터 세트에 대해 계산된 유사성 점수의 가중 평균을 계산합니다. 가중 평균은 1에서 4 사이의 순위 값으로 계산되며, 순위 4는 공격자가 가장 쉽게 악용할 수 있는 공격 벡터를 나타냅니다.
상위 주제: 평가 지표
주제가 도움이 되었습니까?
0/1000