모델 벤치마크 점수 찾기

foundation model 벤치마크에 액세스하려면 다음 단계를 완료하세요:

1. 채팅 모드의 watsonx.ai Prompt Lab 모델 필드를 클릭한 다음 모든 기초 모델 보기를 선택합니다.

2. 모델 벤치마크 탭을 클릭하여 사용 가능한 벤치마크를 확인합니다.

   필터 아이콘( )을 클릭하여 비교 보기에 표시할 모델 또는 벤치마크 유형 등의 요소를 변경합니다.

   점수의 범위는 0에서 100까지입니다. 점수가 높을수록 좋습니다.

IBM 영어 이해력 벤치마크

IBM 영어 이해력 벤치마크는 각 모델의 일반적인 작업 수행 능력을 평가하기 위해 IBM Research에서 수행한 테스트를 기반으로 IBM 발표하는 벤치마크입니다.

다음 표에서는 IBM 벤치마크의 데이터 세트, 목표 및 메트릭에 대해 설명합니다.

기초 모델에 대한 오픈 소스 영어 이해도 벤치마크

오픈 소스 영어 이해력 벤치마크는 주로 학술 기관이나 업계 연구팀과 같은 제3자가 게시한 영어 데이터 세트를 사용하여 IBM Research에서 수행한 테스트 결과를 보여줍니다.

다음 표에서는 영어 이해력 벤치마크의 데이터 세트, 목표 및 메트릭에 대해 설명합니다.

기초 모델을 위한 오픈 소스 다국어 언어 이해 벤치마크

오픈 소스 다국어 언어 이해력 벤치마크는 학술 기관이나 업계 연구팀과 같은 제3자가 게시한 다국어 데이터 세트를 사용하여 IBM Research에서 수행한 테스트 결과를 보여줍니다.

다음 표에서는 다국어 벤치마크의 데이터 세트, 목표, 메트릭 및 대상 언어에 대해 설명합니다.

벤치마크 지표 이해

객관식 데이터 세트에 대해 테스트한 모델의 정확도 점수와 같이 일부 지표는 설명이 필요 없습니다. 잘 알려지지 않은 경우도 있습니다. 다음 목록은 watsonx.ai: 모델 성능을 정량화하는 데 사용되는 메트릭에 대해 설명합니다:

F1

정확도와 회상률 간의 최적의 균형에 도달했는지 여부를 측정합니다. 정확도는 전체 문장 중 얼마나 많은 문장이 올바른 문장 클래스로 분류되었는지를 측정하고, 회상도는 분류해야 하는 문장이 얼마나 자주 분류되었는지를 측정하는 분류 작업에 점수를 매기는 데 자주 사용됩니다.

정규화된 할인 누적 이득(NDCG)

생성된 순위를 가장 관련성이 높은 항목이 순위 목록의 맨 위에 있는 기준 순서와 비교하는 순위 품질 측정지표입니다.

ROUGE-L

생성된 요약과 참조 요약 간의 유사성을 측정하여 요약의 품질을 평가하는 데 사용됩니다. ROUGE는 지스팅 평가를 위한 회상 지향적 언더스터디의 약자입니다. L은 가장 긴 일치하는 단어 시퀀스를 기준으로 점수를 매기는 것을 의미합니다. 이 메트릭은 문장 수준의 어순을 반영하는 시퀀스 내 일치 항목을 찾습니다.

SacreBLEU

BLEU(이중 언어 평가 연구)는 생성된 번역을 참조 번역과 비교하기 위한 지표입니다. SacreBLEU 샘플 테스트 데이터 세트를 제공하고 표준화된 방식으로 토큰화를 관리하여 메트릭을 더 쉽게 사용할 수 있도록 하는 버전입니다. 번역 작업의 품질을 평가하는 데 가장 자주 사용되지만 요약 작업의 점수를 매기는 데에도 사용할 수 있습니다.

안전

공격과 관련된 레이블을 고려하는 ARI(조정된 랜드 지수) 지표와 응집력, 분리, 왜곡, 가능성 등 클러스터 기반 특성을 평가하는 실루엣 점수를 결합한 AttaQ 500 벤치마크에 사용되는 지표입니다. 자세한 내용은 대규모 언어 모델의 안전 취약점 공개 연구 논문을 참조하세요.

승률

모델 응답이 액션의 성공적인 완료로 이어지는 대화의 비율을 보여주기 위해 아레나-하드-자동 벤치마크와 함께 사용되는 메트릭입니다. 자세한 내용은 연구 논문 ' 크라우드소싱 데이터부터 고품질 벤치마크까지: 아레나-하드 및 벤치빌더 파이프라인'을 참조하세요.

자세히 알아보기

• 모델 선택

상위 주제: 지원되는 기초 모델