영어 버전 문서로 돌아가기모델 평가를 위한 Python 클라이언트 샘플
모델 평가를 위한 Python 클라이언트 샘플
마지막 업데이트 날짜: 2024년 11월 21일
모델 평가에 Python 클라이언트 라이브러리를 사용하는 샘플 Jupyter 노트북을 검토하고 사용하여 기능 및 작업을 시연하세요.
샘플 노트북을 사용하여 Python 클라이언트의 기능과 작업을 시연할 때는 Jupyter Notebook 코딩하는 데 익숙해야 합니다. Jupyter 노트북은 대화식 컴퓨팅을 위한 웹 기반 환경입니다. 데이터를 처리하는 작은 코드 조각을 실행한 후 계산 결과를 즉시 볼 수 있습니다. 샘플 Jupyter 노트북을 사용하여 모델 구축, 교육 및 배포, 모델 평가 구성과 같은 작업을 시연하는 튜토리얼을 완료할 수 있습니다.
샘플 노트북
다음 Jupyter 노트북을 보거나 실행하여 다른 태스크를 완료하는 방법을 학습하십시오.
| 샘플 이름 | 설명된 태스크 |
|---|---|
| IBM watsonx.governance 메트릭 툴킷을 사용하여 프롬프트 템플릿의 품질 평가 | 신속한 템플릿 평가를 위해 콘텐츠 분석 및 질문 견고성 지표를 계산하세요. |
| RAG 작업에 대해 IBM에서 LLM을 판독기로 사용하여 검색 및 답변 품질 지표 계산 | RAG 및 답변 품질 메트릭을 계산하여 RAG 작업에 대한 답변을 생성합니다. |
| IBM watsonx.governance을 사용하여 적대적 견고성 및 즉각적인 유출 위험 계산하기 | 프롬프트 인젝션, 탈옥, 시스템 프롬프트 유출 등의 공격에 대해 모델이 어떻게 방어하는지 측정하기 위해 적대적 견고성 지표를 계산합니다. |
| LLM용 임베딩 생성 | 채점된 데이터의 CSV 파일을 사용하여 입력 및 출력 열에 대한 임베딩을 생성하고 임베딩이 포함된 모델 출력이 있는 CSV 파일을 다운로드합니다. |
| LLM을 위한 임베딩 생성 및 지속성 | 페이로드 테이블의 기존 레코드에 대한 임베딩을 생성하거나, 새로운 점수 데이터 프레임을 제공하여 페이로드 테이블에 임베딩이 포함된 레코드를 생성 및 저장하거나, 드리프트 v2 평가를 구성 및 평가할 수 있습니다. |
| IBM WatsonX.거버넌스를 위한 생성적 AI 품질 메트릭의 다국어 지원을 위한 설계 시간 노트북 | 생성형 AI 품질 프롬프트 템플릿 평가 결과를 일본어로 시연합니다. |
다음 단계
- 노트북 편집기 사용에 대해 자세히 학습하려면 노트북을 참조하십시오.
- 노트북 관련 작업에 대해 자세히 알아보려면 노트북 코딩 및 실행을 참조하십시오.
- 노트북에서 인증하는 방법에 대해 자세히 알아보려면 인증하기를 참조하세요.