기초 모델 벤치마크

모델 벤치마크 점수 찾기

기초 모델 벤치마크에 액세스하려면 다음 단계를 완료하십시오

1. 채팅 모드의 watsonx.ai Prompt Lab 모델 필드를 클릭한 다음 모든 기초 모델 보기를 선택합니다.

2. 모델 벤치마크 탭을 클릭하여 사용 가능한 벤치마크를 확인합니다.

   필터 아이콘( )을 클릭하여 비교 보기에 표시할 모델 또는 벤치마크 유형 등의 요소를 변경합니다.

   점수의 범위는 0에서 100까지입니다. 점수가 높을수록 좋습니다.

재단 모델 벤치마크 평가 실행

watsonx.ai 의 벤치마크 보기 모델은 IBM 에서 실시한 테스트의 벤치마크 점수를 보여줍니다. IBM 대부분 Unitxt 라이브러리를 기반으로 하는 기초 모델 평가 프레임워크를 사용합니다. Unitxt는 엔터프라이즈 사용 사례의 고유한 기초 모델 평가 요구를 해결하기 위해 IBM Research에서 개발한 오픈 소스 프로젝트입니다. IBM 's 모델 평가 프레임워크는 또 다른 선도적인 오픈 소스 평가 프레임워크인 LM 평가 하네스를 사용합니다. 이 두 가지 오픈 소스 도구를 사용하여 기초 모델에 대한 독립적인 평가를 수행할 수 있습니다.

granite-13b-instruct-v2 모델을 표준 벤치마크와 비교 평가하는 이 샘플 노트북을 살펴보세요. LM 평가 도구를 사용하여 자세히 알아보세요. Lm-evaluation-harness를 사용하고 watsonx.ai 의 기초 모델로 자체 벤치마킹 데이터를 확인해 보세요.

자세한 정보는 다음 리소스를 참조하십시오.

• Unitxt
• LM 평가 도구

IBM 영어 이해력 벤치마크

IBM 영어 이해력 벤치마크는 각 모델의 일반적인 작업 수행 능력을 평가하기 위해 IBM Research에서 수행한 테스트를 기반으로 IBM 발표하는 벤치마크입니다.

다음 표에서는 IBM 벤치마크의 데이터 세트, 목표 및 메트릭에 대해 설명합니다.

기초 모델에 대한 오픈 소스 영어 이해도 벤치마크

오픈 소스 영어 언어 이해 벤치마크는 학술 기관이나 산업 연구팀과 같은 제3자가 공개한 영어 데이터 세트를 주로 사용하는 IBM Research에서 수행한 테스트 결과를 보여줍니다.

다음 표에서는 영어 이해력 벤치마크의 데이터 세트, 목표 및 메트릭에 대해 설명합니다.

기초 모델을 위한 오픈 소스 다국어 언어 이해 벤치마크

오픈 소스 다국어 언어 이해 벤치마크는 학술 기관이나 산업 연구팀과 같은 제3자가 공개한 다국어 데이터 세트를 사용하는 IBM Research의 테스트 결과를 보여줍니다.

다음 표에서는 다국어 벤치마크의 데이터 세트, 목표, 메트릭 및 대상 언어에 대해 설명합니다.

기초 모델에 대한 코드 벤치마크

코드 벤치마크는 코드 생성, 코드 설명, 코드 수정 또는 한 프로그래밍 언어에서 다른 프로그래밍 언어로 코드 번역과 같은 프로그래밍 코딩 작업을 수행하는 모델의 능력을 평가하는 테스트에서 다양한 기초 모델이 어떤 점수를 받는지 보여줍니다.

이 벤치마크는 학술 기관이나 업계 연구팀 등 제3자가 게시한 코드 평가 데이터 세트를 사용하여 IBM Research에서 수행한 테스트 결과를 보여줍니다.

다음 표에서는 watsonx.ai 에서 사용할 수 있는 코드 벤치마크의 데이터 세트, 목표 및 대상 프로그래밍 언어에 대해 설명합니다.

벤치마크 지표

객관식 데이터 세트에 대해 테스트한 모델의 정확도 점수와 같이 일부 지표는 설명이 필요 없습니다. 잘 알려지지 않은 경우도 있습니다. 다음 목록은 watsonx.ai: 모델 성능을 정량화하는 데 사용되는 메트릭에 대해 설명합니다:

F1

정확도와 회상률 간의 최적의 균형에 도달했는지 여부를 측정합니다. 정확도는 전체 문장 중 얼마나 많은 문장이 올바른 문장 클래스로 분류되었는지를 측정하고, 회상도는 분류해야 하는 문장이 얼마나 자주 분류되었는지를 측정하는 분류 작업에 점수를 매기는 데 자주 사용됩니다.

정규화된 할인 누적 이득(NDCG)

생성된 순위를 가장 관련성이 높은 항목이 순위 목록의 맨 위에 있는 기준 순서와 비교하는 순위 품질 측정지표입니다.

ROUGE-L

생성된 요약과 참조 요약 간의 유사성을 측정하여 요약의 품질을 평가하는 데 사용됩니다. ROUGE는 지스팅 평가를 위한 회상 지향적 언더스터디의 약자입니다. L은 가장 긴 일치하는 단어 시퀀스를 기준으로 점수를 매기는 것을 의미합니다. 이 메트릭은 문장 수준의 어순을 반영하는 시퀀스 내 일치 항목을 찾습니다.

SacreBLEU

BLEU(이중 언어 평가 연구)는 생성된 번역을 참조 번역과 비교하기 위한 지표입니다. SacreBLEU 샘플 테스트 데이터 세트를 제공하고 표준화된 방식으로 토큰화를 관리하여 메트릭을 더 쉽게 사용할 수 있도록 하는 버전입니다. 번역 작업의 품질을 평가하는 데 가장 자주 사용되지만 요약 작업의 점수를 매기는 데에도 사용할 수 있습니다.

안전

AttaQ 500 벤치마크에 사용되는 측정 지표로, 공격과 관련된 라벨을 고려하는 ARI(Adjusted Rand Index) 측정 지표와 응집력, 분리, 왜곡, 가능성 등 클러스터 기반 특성을 평가하는 실루엣 점수를 결합합니다. 자세한 내용은 대규모 언어 모델의 안전 취약점 공개 연구 논문을 참조하세요.

승률

모델 응답이 액션의 성공적인 완료로 이어지는 대화의 비율을 보여주기 위해 아레나-하드-자동 벤치마크와 함께 사용되는 메트릭입니다. 더 자세한 정보를 원하시면, 연구 논문인 크라우드소싱 데이터에서 고품질 벤치마크까지: Arena-Hard와 Benchbuilder 파이프라인을 참고하시기 바랍니다.

자세히 알아보기

• 모델 선택

상위 주제: 지원되는 기초 모델