AI Factsheets 와 함께 모델 인벤토리를 사용하여 AI 통제 전략의 일부로 조직에 대한 기계 학습 모델을 구성합니다. 추적하려는 모든 모델에 대한 유스 케이스를 작성한 후 카탈로그의 인벤토리 페이지에서 세부사항을 검토할 수 있습니다. 필터를 사용하여 보기를 세분화합니다. 예를 들어, 승인된 상태에 있는 모델 유스 케이스만 보십시오.
모델 재고를 보려면 탐색 분할창의 카탈로그 섹션에서 모델 재고를 선택하십시오.
모델 유스 케이스에 대한 작업
모델 명세에서 다음을 수행할 수 있습니다.
- 모델 유스 케이스 작성
- 모델 유스 케이스 세부사항 보기
- 모델 유스 케이스의 상태 변경
- 모델 유스 케이스 삭제
- 모델 유스 케이스를 찾기 위한 검색 또는 필터링
- 경보 보기
- 모델에 대한 팩트시트 보기
- 배치에 대한 팩트시트 보기
- 추적 상세 정보
모델 유스 케이스 작성
모델 유스 케이스를 작성하여 모델의 라이프사이클을 추적합니다.
- 탐색 분할창에서 카탈로그 섹션을 클릭한 후 모델 인벤토리를 클릭하십시오.
- 새 모델 유스 케이스 를 클릭하고 이름 및 설명을 입력하십시오.
- 모델 유스 케이스를 포함하는 카탈로그를 선택하십시오.
- 유스 케이스를 작성한 후에는 모델 목적, 비즈니스 용어 또는 지원 문서와 같은 추가 세부사항을 지정할 수 있습니다.
모델 유스 케이스 세부사항 보기
모델 인벤토리에는 통제를 지원하는 모델 라이프사이클, 목적 및 팩트에 대한 세부사항을 제공하는 모델 유스 케이스가 포함되어 있습니다. 각 모델 유스 케이스에 대해 다음을 볼 수 있습니다.
- 모델 유스 케이스 이름입니다.
- 모델 유스 케이스의 상태입니다. 예를 들어, 모델이 개발, 검토 또는 생산 중일 수 있습니다.
- 모델 유스 케이스와 연관된 비즈니스 용어입니다.
- 모델 유스 케이스에 사용 가능한 태그입니다.
각 모델에 포함되는 내용에 대한 전체 세부사항은 모델 및 배치 팩트시트 보기의 내용을 참조하십시오.
모델 유스 케이스의 상태 변경
모델의 라이프사이클에 변경사항을 반영하도록 모델 유스 케이스의 상태를 변경할 수 있습니다. 예를 들어, 모델이 적절히 테스트되었음을 확인한 후 모델의 상태를 유효성 검증을 위해 배치됨 에서 유효성 검증됨 으로 변경할 수 있습니다.
모델 유스 케이스의 상태를 변경하려면 다음을 수행하십시오.
- 모델 인벤토리에서 모델 유스 케이스를 여십시오.
- 자산 탭으로 전환하십시오.
- 편집 아이콘
을 클릭하십시오. - 새 상태를 선택하고 업데이트 를 클릭하여 저장하십시오.
모델 유스 케이스가 새 상태 카테고리에 표시됩니다.
모델 유스 케이스 삭제
인벤토리에서 모델 유스 케이스를 삭제하려면 모델 유스 케이스 타일의 조치 항목에서 제거 를 클릭하십시오. 모델 유스 케이스가 인벤토리에서 제거되고 프로젝트 또는 공간에서 모델과의 모든 연관이 삭제됩니다.
모델을 찾기 위한 검색 또는 필터링
- 이름, 태그, 분류 또는 비즈니스 용어별로 모델 유스 케이스를 검색하려면 검색 표시줄을 사용하십시오.
- 모델 명세 보기에서 필터를 사용하여 목록을 세분화하십시오. 경보 (예: 드리프트, 공정성 또는 품질의 변경), 비즈니스 용어, 카탈로그, 분류, 태그 및 상태별로 필터링할 수 있습니다.
경보 보기
모델을 평가할 때, 임계값이 충족되면 경고를 트리거하도록 임계값을 설정할 수 있습니다. 예를 들어, 모니터링된 그룹에 대한 편향성 발견이 10% 정도 변경되면 트리거되는 경고를 설정할 수 있습니다. 모델 유스 케이스에서 모델에 대한 경보를 볼 수 있습니다.
모델 배치에 경보가 있는 경우 경보가 모델 인벤토리에 모델 유스 케이스의 배지로 표시됩니다. 경보의 세부사항을 보려면 모델 인벤토리 페이지의 모델 유스 케이스에 있는 조치 메뉴 항목에서 경보 미리보기 를 선택하십시오.
모델의 팩트시트 보기
재고에 있는 모델 유스 케이스의 모델 추적 페이지에서 자산 탭을 클릭하여 연관된 패싯 시트를 보십시오. 또한 프로젝트, 공간 또는 카탈로그에서 모델 세부사항을 볼 때 패싯 시트를 볼 수 있습니다. 자세한 내용은 모델 팩트시트 보기를 참조하십시오.
모델이 등록된 후 모델에 대한 사실은 모델이 업데이트되거나 변경될 때마다를 포함하여 모델 라이프사이클의 각 지점에서 자동으로 캡처되고 보존됩니다. 예를 들어, 모델이 다음과 같은 경우 이벤트가 캡처됩니다.
- 작성일시
- 태그 또는 설명 수정을 포함하여 임의의 방법으로 업데이트됨
- 공간으로 프로모션됨
- 카탈로그에 공개됨
- 배치로 테스트됨
- OpenScale 에서 평가된 라이프사이클
팩트시트를 업데이트하는 데 사용자 개입이 필요하지 않습니다.
또한, 모델에 대한 사실은 모델 이후에도 노트북에 보존됩니다. IBM AI 거버넌스 사실 클라이언트 라이브러리( AIGovFactsClient) 노트북에서 시작됩니다. 이 시점에서 라이프사이클 메타데이터 및 메트릭은 자동으로 보존됩니다.
배치의 팩트시트 보기
인벤토리에 있는 모델 유스 케이스의 모델 세부사항 페이지에서 자산 탭을 클릭하여 연관된 패싯 시트를 보십시오. 영역에서 배치 세부사항을 볼 때 팩트시트를 볼 수도 있습니다. 자세한 내용은 모델 팩트시트 보기를 참조하십시오.
추적 상세 정보
추적이 사용으로 설정되면 모델 또는 관련 자산에 대한 조치에 의해 팩트의 레코딩이 트리거됩니다. 마찬가지로, 모델이 모델 유스 케이스에 표시되는 AI 라이프사이클 제어의 변경사항은 개발에서 오퍼레이션으로의 진행을 표시합니다. 예를 들어, 모델이 프로젝트에 저장되면 모델이 개발 필러에 표시됩니다. 모델이 공간으로 승격되면 유스 케이스가 테스트 필러 등에서 모델을 표시하도록 업데이트됩니다.
| 모델 위치 | 개발 | 테스트 | 유효성 검증 | 운영 |
|---|---|---|---|---|
| 프로젝트 | ✓ | |||
| 공백 | ✓ | |||
| AIGovernance로 태그 지정된 공간: 사전 프로덕션 | ✓ | |||
| AIGovernance: 프로덕션으로 태그 지정된 공간 | ✓ | |||
| Watson OpenScale 사전 프로덕션 | ✓ | |||
| Watson OpenScale 프로덕션 | ✓ |
이 참고사항은 라이프사이클 컴포넌트 간의 상호작용이 모델 유스 케이스에서 Watson Machine Learning 이 표시되는 위치를 제어하는 방법을 설명합니다.
모델이 공간으로 승격되면 모델이 테스트 필러에 표시됩니다. 해당 모델의 배치가 Watson OpenScale 에서 평가되고 사전 프로덕션으로 태그 지정된 경우, 모델은 테스트가 아닌 유효성 검증에 표시됩니다. 모델 배치가 사전 프로덕션 대신 프로덕션으로 태그 지정된 경우에는 운영 필러로 이동합니다.
공간 태그
AIGovernance: Pre-production또는AIGovernance: Production를 지정하면 모델이 각각 유효성 검증 또는 운영 필러에 표시됩니다.참고: 이 변경은 모델이 추적된 후 태그가 공간에 추가된 경우 모델 이름, 설명 또는 태그 업데이트와 같이 모델 메타데이터를 변경하는 조치에 의해 트리거됩니다.모델이 공간에
AIGovernance: Pre-production태그가 있는 공간으로 승격되면 모델이 유효성 검증 필러에 표시됩니다. 해당 모델의 배치가 Watson OpenScale 에서 평가되고 사전 프로덕션으로 태그 지정된 경우 모델이 유효성 검증 필러에 표시됩니다. 모델 배치가 사전 프로덕션 대신 프로덕션으로 태그 지정된 경우에는 운영 필러로 이동합니다.모델이 공간에
AIGovernance: Production태그가 있는 공간으로 승격되면 작동 필러에 표시됩니다. 이 모델의 배치가 Watson OpenScale 에서 평가되고 프로덕션으로 태그 지정된 경우에도 여전히 Operate pillar에 있습니다. 그러나 사전 프로덕션으로 태그가 지정된 경우에는 유효성 검증 필러에 표시됩니다.모델 배치가 Watson OpenScale에서 평가되지 않으면
Pending Evaluation태그가 있습니다. 모델 배치가 평가되면Evaluated태그가 있습니다. Watson OpenScale에서 평가 후에 모델 배치가 승인되면Approved태그가 있습니다.
자세한 정보
- 모델 등록 또는 모델 유스 케이스 및 팩시밀리 보기에 대해 학습하십시오.
- IBM AI Governance Facts Client 라이브러리를 사용하여 프로그래밍 방식으로 모델 인벤토리에 대해 작업하는 방법을 알아보십시오.
- 상위 주제: 모델 자산의 인벤토리 관리.