모델 위험 평가 엔진

모델 위험 평가 엔진은 위험 허용 범위를 달성하는 최상의 모델을 식별하는 데 도움이 되도록 위험 차원과 관련된 지표를 계산하여 기초 모델의 위험을 측정합니다.

모델 위험 평가 엔진은 ibm-watsonx-gov Python SDK의 모듈로, 생성적 AI 위험을 이해하고 위험을 측정하고 완화하는 효과적인 방법을 수립하는 데 도움이 될 수 있습니다. 이 모듈은 기초 모델의 정량적 위험 평가를 지원하고, watsonx.ai 의 대규모 언어 모델과 다른 제공업체의 외부 모델에 대한 평가를 지원합니다.

평가에서는 다음 위험 차원에 대한 지표를 계산합니다

• 유독한 산출물
• 유해한 출력
• 누수 경고
• 환각
• 즉각적인 주입
• 탈옥
• 출력 편향
• 유해한 코드 생성

위험 차원은 생성적 AI 자산과 머신 러닝 모델로 작업할 때 발생할 수 있는 위험의 집합입니다. 더 자세한 정보를 원하시면 AI 리스크 아틀라스를 참고하세요. 사용 가능한 위험 차원은 위험 아틀라스에서 사용 가능한 위험의 하위 집합입니다.

탈옥, 프롬프트 유출, 유해 코드 생성, 프롬프트 삽입 위험에 대한 지표를 계산하려면 watsonx.ai 자격 증명을 제공해야 합니다. 각 위험 차원에 대해 하나 이상의 표준화된 데이터 세트를 사용하여 위험 수준을 평가합니다.

위험 평가가 완료되면 결과를 거버넌스 콘솔에 저장하거나 계산된 지표를 요약한 PDF 보고서로 내보낼 수 있습니다.

모델 위험 평가 엔진을 사용하여 다음 작업을 완료할 수 있습니다

• watsonx.ai 를 추론 엔진으로 사용하여 메트릭스를 계산합니다.
• watsonx.ai 에서 기초 모델에 대한 위험 지표를 계산합니다.
• watsonx.ai 에 없는 기초 모델에 대한 메트릭스를 계산하려면, 어떤 모델에 대해서도 자체 점수 산정 기능을 구현하고 평가해야 합니다.
• 계산된 지표를 거버넌스 콘솔( OpenPages )에 저장하십시오.
• 거버넌스 콘솔( OpenPages )에서 계산된 지표를 검색합니다.
• 계산된 지표의 PDF 보고서를 생성합니다.
• 노트북 셀에 있는 측정 항목을 표나 차트 형식으로 표시합니다.

from ibm_watsonx_gov.config.model_risk_configuration import ModelRiskConfiguration, WxGovConsoleConfiguration

configuration = ModelRiskConfiguration(
    model_details = model_details,
    risk_dimensions=risk_dimensions,
    max_sample_size=max_sample_size,
    pdf_report_output_path=pdf_report_output_path,
    # wx_gc_configuration=wx_gc_configuration, # uncomment this line if the result should be pushed to Governance Console (OpenPages)
)
Copy to clipboard클립보드에 복사됨

from ibm_watsonx_gov.evaluate import evaluate_model_risk

evaluation_results = evaluate_model_risk(
    configuration=configuration,
    credentials=credentials,
)

print(evaluation_results.risks)
Copy to clipboard클립보드에 복사됨

from ibm_wos_utils.joblib.utils.notebook_utils import  create_download_link_for_file
pdf_file = create_download_link_for_file(evaluation_results.output_file_path)
display((pdf_file))
Copy to clipboard클립보드에 복사됨