거버넌스 팀 구축

거버넌스 팀에 필요한 전문 지식을 고려하십시오. 일반적인 통제 계획에는 다음 역할이 포함될 수 있습니다. 때때로 동일한 사용자가 여러 역할을 수행할 수 있습니다. 다른 경우에는 역할이 사람들의 팀을 나타낼 수 있습니다.

• 모델 소유자: 소유자는 비즈니스 요구사항에 대한 솔루션을 추적하기 위해 AI 유스 케이스를 작성합니다. 소유자는 모델 또는 프롬프트 템플리트를 요청하고 승인 프로세스를 관리하며 AI 라이프사이클을 통해 솔루션을 추적합니다.
• 모델 개발자 또는 데이터 과학자: 개발자는 데이터 세트 또는 LLM (Large Language Model) 의 데이터에 대해 작업하고 기계 학습 모델 또는 LLM 프롬프트 템플리트를 작성합니다.
• 모델 유효성 검증기: 유효성 검증기가 솔루션을 테스트하여 AI 유스 케이스에 명시된 목표를 충족하는지 여부를 판별합니다.
• 위험 및 준수 관리자: 위험 관리자는 AI 유스 케이스에 대한 정책 및 준수 임계값을 판별합니다. 예를 들어, 위험 관리자가 공정성을 위한 솔루션 테스트 또는 혐오스럽고 폭력적인 음성에 대한 검사 출력에 적용할 규칙을 판별할 수 있습니다.
• MLOps 엔지니어: MLOps 엔지니어는 솔루션을 완전히 배치할 준비가 된 것으로 간주되면 사전 프로덕션 (테스트) 환경에서 프로덕션 환경으로 솔루션을 이동합니다.
• 앱 개발자: 배치 후에 앱 개발자가 배치에 대한 평가를 실행하여 위험 및 준수 소유자가 설정한 메트릭 임계값에 대해 솔루션이 수행되는 방식을 모니터합니다. 성능이 지정된 임계값 이하로 떨어지면 앱 개발자는 다른 이해관계자와 협력하여 문제를 해결하고 모델 또는 프롬프트 템플릿을 업데이트합니다.

통제 구조 설정

역할을 식별하고 팀을 구성한 후 통제 구조를 계획하십시오.

1. AI 유스 케이스를 저장하기 위한 인벤토리를 작성합니다. 인벤토리는 AI 유스 케이스 및 통제된 자산과 연관된 패싯 시트를 저장하고 보는 위치입니다. 통제 요구사항에 따라 모든 유스 케이스를 단일 인벤토리에 저장하거나 통제 노력을 위해 여러 인벤토리를 작성하십시오.
2. 협업을 위한 프로젝트를 작성하십시오. IBM 도구를 사용하는 경우, watsonx.ai Studio 프로젝트를 만듭니다. 프로젝트는 통제되는 모델 또는 프롬프트 템플리트 및 AI 솔루션을 훈련하거나 테스트하는 데 필요한 데이터를 보유할 수 있습니다. 액세스 제어를 사용하여 승인된 협업자에 대한 액세스를 제한하십시오.
3. 사전 프로덕션 배치 영역을 작성하십시오. 테스트 데이터를 사용하여 모델 또는 프롬프트 템플리트를 테스트하려면 공간을 사용하십시오. 프로젝트와 마찬가지로 공간은 필수 협업자를 포함할 수 있도록 액세스 제어 기능을 제공합니다.
4. 테스트 및 유효성 검증 평가를 구성하십시오. 모델 또는 프롬프트 템플리트 세부사항을 제공하고 솔루션의 성능을 테스트하기 위한 평가 세트를 구성하십시오. 예를 들어, 공정성, 품질 및 드리프트와 같은 차원에 대해 기계 학습 모델을 테스트하고 혼란 (출력이 얼마나 정확한지) 또는 독성 (출력에 혐오스럽거나 폭력적인 음성이 포함되어 있는지 여부) 과 같은 메트릭에 대해 프롬프트 템플리트를 테스트할 수 있습니다. 알려진 (레이블 지정된) 데이터를 테스트하여 솔루션을 프로덕션으로 이동하기 전에 성능을 평가할 수 있습니다.
5. 프로덕션 공간을 구성하십시오. 모델 또는 프롬프트 템플리트를 프로덕션 환경에 배치할 준비가 되면 솔루션 및 모든 종속 항목을 프로덕션 공간으로 이동하십시오. 프로덕션 공간에는 일반적으로 더 엄격한 액세스 제어 목록이 있습니다.
6. 배치된 모델에 대한 평가를 구성하십시오. 모델 세부사항을 제공하고 솔루션에 대한 평가를 구성하십시오. 이제 테스트 데이터가 아닌 라이브 데이터에 대해 테스트할 수 있습니다. 배치된 솔루션에 잠재적인 문제점이 있음을 표시하는 임계값을 초과하는 경우 경보를 받을 수 있도록 솔루션을 모니터하는 것이 중요합니다.

거버넌스를 위한 협업 관리

Watsonx.governance 는 승인된 모든 팀 구성원이 비즈니스 문제점을 해결하는 목표에 기여할 수 있도록 협업 플랫폼에 빌드됩니다.

협업을 계획하려면 통제에 사용하는 인벤토리, 프로젝트 및 공간에 대한 액세스를 관리하는 방법을 고려하십시오.

액세스 제어 기능과 함께 역할을 사용하여 팀에 목표를 달성하기 위한 적절한 액세스 권한이 있는지 확인하십시오.

통신 계획 개발

AI 유스 케이스 정의 및 라이프사이클 전체에서 자산 이동과 관련된 일부 워크플로우는 효과적인 커뮤니케이션에 의존합니다. 팀이 통신하는 방법을 결정하고 세부사항을 설정하십시오. 예를 들어,

• 의사결정 또는 Slack과 같은 메시징 도구에 이메일을 사용하시겠습니까?
• 워크플로우를 통해 이동할 때 자산에 주석을 추가하는 공식 프로세스가 있습니까?

커뮤니케이션 계획을 작성하고 이를 팀과 공유하십시오.

간단한 거버넌스 솔루션 구현

통제 전략을 롤아웃할 때 단순한 구현으로 시작하여 보다 포괄적인 솔루션을 점진적으로 빌드하는 방법을 고려하십시오. 가장 단순한 구현에는 요청에서 프로덕션으로 이동하는 자산이 있는 인벤토리의 AI 유스 케이스가 필요합니다.

AI 거버넌스의 가장 간단한 구현을 위해 자산 추적을 위한 AI 유스 케이스를 작성하십시오. 인벤토리의 AI 사용 사례는 계보, 이력 및 모델의 수명 주기에 대한 기타 관련 정보가 포함된 팩트 시트 세트로 구성됩니다. 데이터 과학자, 데이터 엔지니어 및 기타 사용자를 협업자로 추가하십시오.

다음 그림은 AI 유스 케이스 소유자가 자산을 요청하고 추적하는 방법을 보여줍니다.

• 비즈니스 사용자는 인벤토리에서 AI 유스 케이스를 작성하여 기계 학습 모델 또는 LLM 프롬프트 템플리트를 요청합니다.
• 데이터 과학자는 훈련된 자산을 AI 유스 케이스와 연관시켜 라이프사이클 활동을 추적합니다.

AI 패싯 시트는 다음과 같은 방식으로 모델 또는 프롬프트 템플리트에 대한 정보를 누적합니다.

• 배치 및 평가를 포함하여 추적된 자산과 연관된 모든 조치가 자동으로 저장됩니다.
• 입력 데이터 자산에 대한 모든 변경사항은 자동으로 저장됩니다.
• 데이터 과학자는 태그, 지원 문서 및 기타 정보를 추가할 수 있습니다.
• 데이터 과학자는 도전자 모델을 AI 유스 케이스와 연관시켜 모델 성능을 비교할 수 있습니다.

유효성 검증기 및 기타 이해 당사자 (stakeholder) 가 AI 패싯 시트를 검토하여 규제 준수를 확인하고 개발에서 프로덕션까지의 자산 진행상태를 인증합니다. 또한 세부사항을 인쇄, 공유 또는 아카이브하기 위해 팩시밀리에서 보고서를 생성할 수도 있습니다.

더 복잡한 솔루션 계획

언제든지 AI 거버넌스 구현을 확장할 수 있습니다. 통제를 확장하려면 다음 옵션을 고려하십시오.

• MLOps 엔지니어는 써드파티 머신 러닝 모델을 사용하여 작성된 외부 모델을 포함하도록 모델 추적을 확장할 수 있습니다.
• MLOps 엔지니어는 사용자 정의 특성을 패싯 시트에 추가하여 자세한 정보를 추적할 수 있습니다.
• 준수 분석가는 기본 보고서 템플리트를 사용자 정의하여 조직에 맞게 조정된 보고서를 생성할 수 있습니다.
• 통합 AI Factsheets 거버넌스 콘솔을 사용하여 거버넌스 활동에 대한 기업의 관점을 지원하고 거버넌스 프로세스를 지원하는 워크플로를 개발합니다.