머신러닝 모델을 평가하는 데 사용되는 용어와 개념에 대해 알아보세요.
허용 가능한 공정성
모니터되는 그룹이 공정성 임계값을 충족하기 위해 수신해야 하는 선호 결과의 백분율입니다. 이는 완전한 등식에 공정성 임계값을 곱하여 계산됩니다.
경보
성능 지표가 구성된 모니터에서 지정한 허용 가능한 범위를 벗어났음을 알리는 알림입니다.
API키
자원에 연결하기 위해 IBM Cloud 에서 발행한 고유 ID입니다. 확보하려면 https://cloud.ibm.com/resources를 열고 스토리지 서비스와 같은 자원을 찾아 펼치고 따옴표 없이 자원 ID의 값을 복사하십시오.
균형 데이터 세트
선택한 시간 동안 모델이 수신한 스코어링 요청 및 섭동된 레코드를 포함하는 데이터 세트입니다.
기준선 데이터
개입 또는 수정 전에 수집된 이전 데이터입니다. 이 데이터는 수집된 향후 데이터를 비교하는 기반으로 사용됩니다.
일괄처리 배치
스토리지 버킷의 파일, 데이터 연결 또는 연결된 데이터에서 입력 데이터를 처리하고 선택된 대상에 출력을 씁니다. 파일의 입력 데이터를 처리하고 출력을 파일에 기록하는 모델 배치 방법입니다.
일괄처리
OpenScale 을 사용하여 대용량 페이로드/피드백 데이터와 관련된 배치를 모니터해야 하는 경우 일괄처리를 제안합니다.
편향성
기계 학습 모델이 참조 결과와 비교할 때 불공정한 것으로 간주되는 모니터된 사용자, 그룹 또는 사물에 대한 결과를 생성하는 경우입니다. 모델에 대한 훈련 데이터의 문제로 인해 발생할 수 있습니다. 공정성 모니터는 사용자가 설정한 임계값 아래로 떨어지는 편향성을 발견할 수 있습니다. 관련 용어: 편향성 제거.
Cloud Object Storage
데이터 저장 및 액세스를 위해 IBM 에서 제공하는 서비스입니다. Cloud Object Storage 가 기계 학습 자산의 저장소인 경우 연관된 서비스 신임 정보를 사용하여 OpenScale에서 자산에 연결해야 합니다.
자원 ID, API키도 참조하십시오.
신뢰도 점수
기계 학습 모델의 예측이 올바른 확률입니다. 점수가 높을수록 예측 결과가 실제 결과와 일치할 확률이 높음을 나타냅니다.
변환 가능한 설명
모델 예측을 변경하기 위한 최소 기능 열 값 변경 세트를 표시하는 설명입니다. 이는 단일 데이터 점에 대해 계산됩니다.
데이터 마트
모든 OpenScale 관련 메타데이터가 저장되는 작업공간입니다. 이면에서는 메타데이터가 저장되는 데이터베이스 지속성 계층에 연결됩니다.
편향성 제거된 트랜잭션
편향성 제거된 결과가 생성되는 트랜잭션입니다.
편향성 제거
공정성 모니터가 편향성을 발견하는 경우입니다. 모니터되는 그룹이 편향된 결과를 수신하면 자동 또는 수동으로 편향을 완화하는 단계를 수행하십시오.
배치
모델에 새 데이터 (요청) 를 입력하고 점수 또는 응답을 얻을 수 있도록 엔드포인트를 사용 가능하게 하기 위해 모델을 배치합니다. 모델 배치는 테스트를 위한 사전 프로덕션 환경 또는 실제 사용을 위한 프로덕션 환경에 있을 수 있습니다.
드리프트
모델 정확도가 시간이 경과함에 따라 감소하는 경우입니다. 모델 성능 저하를 초래하는 모델 입력 데이터의 변경으로 인해 발생할 수 있습니다. 드래프트를 모니터하기 위해 모델 정확도가 지정된 허용 가능한 임계값 아래로 떨어질 때 경보를 작성할 수 있습니다.
평가
메트릭을 사용하여 기계 학습 모델을 평가하고 모델의 성능을 측정하는 프로세스입니다 (공정성 및 정확성과 같은 영역에서). 모니터는 목표에 중요한 영역에 대한 모델을 평가할 수 있습니다.
설명
모델의 특정 측정 평가에 대한 통찰입니다. OpenScale, 결과를 이해하는 데 도움이 되는 설명과 함께 문제를 해결하는 데 도움이 되는 가상 시나리오를 실험해 볼 수 있습니다.
공정성
모델이 참조 그룹에 대해 모니터된 그룹에 유리한 편향된 결과를 생성하는지 여부를 판별합니다. 공정성 평가는 모델이 한 그룹이 다른 그룹보다 더 자주 선호하는 결과를 제공하는 경향을 표시하는 경우 확인합니다. 일반적으로 모니터할 카테고리는 나이, 성별 및 인종입니다.
기능
기계 학습 모델을 훈련시키는 데 사용되는 데이터 세트 열 이름 (기능 열) 의 목록입니다.
예: 개인이 대출을 받을 자격이 있는지 여부를 예측하는 모델에서 고용 상태 및 신용 기록에 대한 기능에 우편번호보다 더 큰 가중치가 부여될 수 있습니다.
피드백 데이터
기계 학습 모델 (대상 포함) 을 훈련하는 데 사용되었지만 훈련에 사용되지 않은 데이터의 스키마 및 구조와 일치하는 레이블 지정된 데이터입니다. 이 데이터는 배치된 모델의 정확성을 측정하기 위해 품질 모니터에서 사용하는 이미 알려진 데이터 또는 실제 데이터입니다. 알려진 결과에 대해 측정할 때 예측이 정확한지 여부를 판별합니다.
글로벌 설명
데이터 샘플에 대한 모델의 예측을 설명합니다.
명령행 모드 구독
이면에 실시간 배치가 있는 구독입니다. 헤드리스 구독을 통해 사용자는 채점 URL을 제공하지 않고도 배포에 제공되는 데이터(페이로드/피드백)를 사용하여 배포를 모니터링할 수 있습니다.
레이블 지정된 데이터
모델 훈련 중에 인식할 기계 학습 알고리즘에 대해 균일한 방식으로 레이블이 지정된 데이터입니다.
예: 레이블이 지정된 열이 있는 데이터 테이블은 감독되는 기계 학습에 일반적입니다. 기계 학습 문제점에서 사용하기 위해 이미지에 레이블을 지정할 수도 있습니다.
로컬 설명
특정한 개별 예제를 사용하여 모델의 예측을 설명합니다.
메타 필드
제품 간에 고유한 특수화된 데이터입니다.
모니터
OpenScale 이 제공하는 각 기능을 모니터라고 합니다.
예: 공정성, 드리프트, 품질, 설명 가능성.
모니터되는 그룹
공정성을 평가할 때 모니터되는 그룹은 편향된 결과에 대해 가장 위험한 값을 표시합니다.
예: 성별 기능에서 여성 및 비2진을 모니터된 그룹으로 설정할 수 있습니다.
온라인 배치
새 데이터에 대한 실시간 점수 또는 솔루션을 제공하는 API 엔드포인트를 통해 배치에 액세스하는 방법입니다.
페이로드 데이터
모델에 제공된 실시간 데이터입니다. 모델에 대한 요청 (입력) 및 모델의 응답 (출력) 으로 구성됩니다.
페이로드 로깅
페이로드 데이터를 지속합니다.
완전한 등식
모든 참조 그룹에 전달된 선호 결과의 백분율입니다. 편향성이 제거된 균형 잡힌 데이터 세트의 경우, 계산에는 참조 그룹 트랜잭션으로 변경된 모니터링 그룹 트랜잭션이 포함됩니다.
변동
모니터와 연관된 여러 메트릭 (예: 공정성, 설명 가능성) 의 계산 중에 실제 데이터 점 주위에서 시뮬레이션되는 데이터 점입니다.
사전 프로덕션 공간
모델 유효성 검증을 위해 데이터를 즉시 테스트하는 데 사용되는 환경입니다.
예측 열
새 데이터가 표시될 때 감독되는 기계 학습 모델 (레이블 지정된 데이터로 훈련됨) 이 예측하는 변수입니다.
관련 항목: 대상.
확률
모델이 출력을 예측하는 신뢰도입니다. 분류 모델에 적용 가능합니다.
프로덕션 공간
기계 학습 모델을 조작하는 데 사용되는 배치 공간입니다. 프로덕션 공간의 배치는 지정된 메트릭에 대해 실제 성능을 비교하기 위해 평가됩니다.
품질
피드백 데이터의 평가를 기반으로 모델이 정확한 결과를 얼마나 잘 예측하는지 평가하는 모니터입니다. 표준 데이터 과학 메트릭 세트를 사용하여 모델이 레이블 지정된 데이터 세트의 실제 결과와 일치하는 결과를 얼마나 잘 예측하는지 평가합니다.
레코드
모니터가 평가되는 트랜잭션입니다.
참조 그룹
공정성을 평가할 때 참조 그룹은 편향된 결과에 대해 최소한 위험한 값을 나타냅니다.
예: 연령 기능의 경우 30-55를 참조 그룹으로 설정하고 다른 코호트의 결과를 해당 그룹과 비교할 수 있습니다.
상대적 가중치
대상 변수를 예측할 때 기능이 갖는 상대적 가중치입니다. 가중치가 높을수록 중요도가 높음을 나타냅니다. 상대 가중치를 알면 모델 결과를 설명하는 데 도움이 됩니다.
자원 ID
Cloud Object Storage에 저장된 자원의 고유 ID입니다. 다음을 수행하십시오.
- 열기 https://cloud.ibm.com/resources
- 자원 (예: 스토리지 서비스) 찾기 및 펼치기
- 따옴표 없이 자원 ID의 값 복사
응답 시간
모델 배치에서 스코어링 요청을 처리하는 데 걸리는 시간입니다.
런타임 데이터
모델의 라이프사이클을 실행하여 얻은 데이터입니다.
채점 엔드포인트
배포된 모델의 채점 결과를 받기 위해 호출할 수 있는 HTTPS 엔드포인트입니다.
스코어링 요청
배포에 대한 입력입니다.
관련 항목: 페이로드.
스코어링
모델 추론에서 모델에 요청을 보내고 응답을 가져오는 조치입니다.
자체 관리
자체 데이터 웨어하우스에 저장되고 자체 Spark 분석 엔진에 의해 평가되는 트랜잭션을 모델링합니다.
서비스 신임 정보
IBM Cloud 리소스에 연결하는 데 필요한 액세스 ID입니다.
서비스 공급자
배포를 호스팅하는 머신 러닝 공급자(일반적으로 모델 엔진: WML, AWS, Azure, 사용자 지정)입니다.
등록
OpenScale 레벨에서 모니터되는 배치입니다. 배치와 구독 사이에는 1-1개의 맵핑이 있습니다.
시스템 관리
OpenScale 데이터베이스에 저장되고 OpenScale 컴퓨팅 자원을 사용하여 평가되는 모델 트랜잭션입니다.
대상
훈련된 모델이 예측하는 데이터 세트의 기능 또는 열입니다. 모델은 기존 데이터를 사용하여 패턴을 학습하고 데이터 세트의 기능과 대상 간의 관계를 발견하여 훈련됩니다.
관련 항목: 예측 열.
임계값
기계 학습 모델을 평가하도록 모니터가 구성된 경우. 허용 가능한 결과 범위에 대한 벤치마크가 설정되었습니다. 결과가 구성된 임계값 아래로 떨어지면 경보가 트리거되어 상황을 평가하고 해결합니다.
훈련 데이터
모델의 학습 알고리즘을 가르치고 훈련하는 데 사용되는 데이터입니다.
트랜잭션
페이로드 로깅 테이블에 저장된 기계 학습 모델 평가에 대한 레코드입니다.
레이블이 지정되지 않은 데이터
특성, 분류 및 특성을 식별하는 레이블과 연관되지 않은 데이터입니다. 일정한 방식으로 레이블이 지정되지 않은 구조화되지 않은 데이터입니다.
예: 이메일 또는 레이블이 지정되지 않은 이미지는 레이블이 지정되지 않은 데이터의 일반적인 이미지입니다. 레이블이 지정되지 않은 데이터는 감독되지 않은 기계 학습에서 사용할 수 있습니다.
사용자 ID
스코어링 요청과 연관된 사용자의 ID입니다.