AI 사용 사례 정의

AI 사용 사례는 모델이나 프롬프트 템플릿과 같은 AI 자산의 수명 주기에 대한 계보, 기록 및 기타 관련 정보가 포함된 팩트 시트 세트로 구성됩니다.

조직에서 투명성 또는 규정 준수를 위해 AI 솔루션을 추적하고 문서화해야 할 수도 있습니다. 그러나 AI 사용 사례는 솔루션에 대한 진행 상황, 의사 결정 및 메트릭을 추적하는 통합된 방법을 제공하기 때문에 필요하지 않은 경우에도 유용합니다.

AI 사용 사례를 만들려면 먼저 인벤토리를 만든 다음 사용 사례를 만드세요. 데이터 과학자, 데이터 엔지니어 및 솔루션의 생성, 테스트 또는 관리에 관여하는 기타 사용자를 사용 사례 공동 작업자로 추가하세요.

거버넌스 워크플로 개발

거버넌스 워크플로는 AI 사용 사례 및 모델 사용에 대한 검토 및 승인 프로세스를 시행합니다.

조직에는 다음 중 하나 이상의 거버넌스 워크플로 유형이 필요할 수 있습니다:

• 위험 거버넌스 워크플로를 모델링하여 AI 사용 사례 승인, foundation model 수명 주기 이벤트 승인, 위험 평가 실행 또는 모델 성능 모니터링을 자동화하세요.
• 규제 기관에서 게시한 경고를 처리하기 위한 규제 준수 관리 워크플로입니다.
• 운영 위험 관리 워크플로우를 통해 기업 전반의 다른 운영 위험과 함께 모델 위험을 추적할 수 있습니다.

거버넌스 워크플로를 설정하려면 거버넌스 콘솔에서 구성합니다.

프로젝트 설정

프로젝트는 사람들이 모델과 데이터를 사용하여 공동의 목표를 달성하기 위해 작업하는 협업 작업 공간입니다.

프롬프트를 작성하고, 실험을 실행하고, 모델을 조정하려면 프로젝트가 필요합니다.

세대별 AI 솔루션의 프로젝트에는 일반적으로 AI 엔지니어가 명시적으로 추가하거나 프로세스의 결과로 생성되는 다음과 같은 유형의 항목이 포함됩니다:

• 벡터 저장소 또는 트레이닝 또는 튜닝 데이터를 저장하는 곳과 같은 데이터 소스에 에셋을 연결합니다.
• 모델 학습 또는 튜닝을 위한 데이터 세트를 나타내는 데이터 자산입니다.
• 나중에 참조할 수 있도록 저장한 세션 자산을 프롬프트합니다.
• 추론을 위한 엔드포인트를 제공하는 프롬프트 템플릿 에셋입니다.
• 사용자가 만들거나 프롬프트를 노트북으로 저장하거나 AutoAI 실험을 실행하는 등의 프로세스를 통해 생성되는 노트북입니다.
• RAG 패턴에 대해 벡터화된 문서를 나타내는 벡터 인덱스입니다.
• AutoAI, Tuning Studio, Synthetic Data Generator 등의 툴을 실행하여 생성한 실험 및 흐름 에셋입니다.
• RAG와 같이 세대별 AI 패턴에 대한 엔드포인트를 제공하는 AI 서비스 에셋입니다.
• 도구에서 에셋을 실행하여 생성되는 작업입니다.

자동으로 생성된 샌드박스 프로젝트가 있습니다. 하지만 목표를 반영하는 이름으로 프로젝트를 만드는 것이 좋습니다. 홈 페이지 또는 탐색 메뉴에서 프로젝트를 만들 수 있습니다. 솔루션에 함께 작업할 모든 사람을 추가하세요. 각 공동 작업자에게 역할을 할당하여 프로젝트에서 각자의 권한을 제어할 수 있습니다.

데이터 준비

데이터 준비에는 솔루션에 필요한 형식과 품질 수준으로 필요한 데이터에 대한 액세스를 제공하는 것이 포함됩니다.

RAG 패턴으로 문서를 사용하여 모델을 기반으로 하거나, 프롬프트 템플릿을 평가하거나, foundation model 조정하려는 경우에는 데이터를 준비해야 합니다. 사용 사례가 번역, 요약, 분류 또는 텍스트 생성이라면 평가를 실행하지 않는 한 데이터를 준비할 필요가 없을 수도 있습니다.

RAG 패턴의 경우 문서를 임베디드 벡터로 변환하여 효율적으로 검색할 수 있습니다. 벡터화된 문서를 벡터 저장소에 저장하고 벡터 인덱스로 검색합니다. 다음과 같은 방법으로 RAG 패턴에 문서를 포함시킬 수 있습니다:

• 로컬 시스템에서 문서 파일을 업로드하고 벡터 스토어에 추가하세요
• 기존 벡터 스토어에 있는 문서 지정
• 연결된 데이터 소스에서 벡터 저장소로 문서 추가하기

문서의 총 크기, 실험을 위한 자동화 수준 및 기타 요인에 따라 RAG 패턴을 만드는 다양한 방법 중에서 선택할 수 있습니다.

프롬프트 템플릿을 평가하거나 foundation model 조정하려면 모델에 대한 대표 입력과 모델이 응답으로 생성할 적절한 출력이 포함된 데이터 집합을 제공합니다. 다음과 같은 방법으로 튜닝 데이터를 제공할 수 있습니다:

• 로컬 시스템에서 파일 업로드
• 데이터 집합이 포함된 데이터 원본에 연결합니다

프롬프트 실험하기

프롬프트는 foundation model 응답을 생성하도록 지시하는 방법입니다.

다음과 같은 방법으로 조건을 변경하여 프롬프트를 실험해 볼 수 있습니다:

• 채팅 모드와 비채팅 모드 간 전환하기
• 프롬프트 텍스트 또는 시스템 프롬프트 변경하기
• foundation model 변경
• 모델 매개변수 조정
• 가드레일 활성화 및 비활성화하기
• 채팅에 이미지 또는 문서 추가하기
• 변수를 추가하여 프롬프트 텍스트를 동적으로 변경하기
• 통화 도구에 상담원 구성하기

프롬프트를 개발하려면 Prompt Lab 실험하거나 REST API, Python 또는 Node.js 코드를 사용하여 실험할 수 있습니다. 최적의 RAG 패턴을 자동으로 찾으려면 RAG용 AutoAI 실험을 실행하세요.

프롬프트 평가하기

프롬프트의 평가는 선택한 메트릭 집합에 대한 모델 출력의 품질을 테스트합니다. 일부 지표는 테스트 데이터 세트에 제공한 적절한 출력과 모델 출력을 비교하는 것을 기반으로 합니다. 모델이 얼마나 효율적으로 응답을 생성하는지도 평가됩니다.

조직에서 규정 준수 또는 내부 정책에 대한 평가가 필요할 수 있습니다. 그러나 메트릭 점수는 솔루션의 품질을 나타낼 수 있고 점수가 떨어지면 사용자 만족도 저하를 예측할 수 있으므로 평가는 필요하지 않은 경우에도 유용합니다.

프롬프트를 평가할 때 다음 요소를 구성할 수 있습니다:

• 테스트할 샘플 크기
• 포함할 메트릭
• 각 메트릭의 임계값

생성 AI 메트릭은 프롬프트에 대해 다음과 같은 유형의 정보를 제공합니다:

• 출력 텍스트와 입력 텍스트의 유사도
• 출력 텍스트가 참조 출력과 얼마나 유사한가
• 입력 또는 출력 텍스트에 유해하거나 민감한 정보가 포함되어 있는지 여부

현재 결과와 시간 경과에 따른 결과를 볼 수 있습니다. 각 평가의 결과가 프롬프트의 사용 사례에 추가됩니다.

프롬프트를 평가하려면 Prompt Lab 코드를 사용하여 또는 배포된 프롬프트 템플릿에서 평가를 실행합니다. RAG 패턴에 대한 AutoAI 실험을 실행하면 후보 프롬프트가 자동으로 평가되고 순위가 매겨집니다.

여러 프롬프트 템플릿을 동시에 평가하고 비교하려면 평가 스튜디오에서 평가 실험을 실행하세요.

foundation model 최적화

foundation model 최적화하면 모델의 성과 지표가 하나 이상 향상됩니다.

정확도, 비용, 추론 처리량 또는 모델 수명 주기 제어를 위해 솔루션의 foundation model 최적화할 수 있습니다.

foundation model 배포하는 방법은 다음과 같은 특성에 따라 다릅니다:

• 청구 방법은 추론된 토큰당 또는 호스팅된 시간당입니다
• 호스팅 환경이 멀티테넌트 또는 전용 하드웨어에 있습니다
• 배포 메커니즘은 IBM 또는 사용자가 직접 수행합니다
• 모델이 튜닝되었거나 튜닝되지 않았습니다
• 사용 중단 정책은 IBM 또는 사용자가 제어합니다

멀티테넌트 하드웨어에서 모델을 실행하고, 토큰당 비용을 지불하고, IBM 모델 수명 주기를 제어하도록 하려면 IBM 제공하고 배포하는 모델을 선택하세요.

foundation model 튜닝하려면 튜닝 방법을 선택하고 튜닝 데이터를 추가한 다음 Tuning Studio 또는 코드를 사용하여 작업을 실행합니다. 그런 다음 조정된 모델을 멀티테넌트 하드웨어에 배포하고 토큰당 비용을 지불하며 모델 수명 주기를 제어합니다.

전용 하드웨어에서 모델을 실행하고, 시간당 요금을 지불하고, 모델 수명 주기를 제어하려면 사용자 지정 모델을 가져와 배포하거나 주문형 배포 모델을 배포할 수 있습니다.

솔루션 배포

에셋을 배포하면 엔드포인트에서 테스트하거나 생산적으로 사용할 수 있습니다. 배포를 생성한 후에는 테스트 및 관리하고 에셋을 사전 프로덕션 및 프로덕션 환경에 배포할 수 있도록 준비할 수 있습니다.

프로젝트와 별도의 작업 공간이며 다른 공동 작업자 집합을 추가할 수 있는 배포 공간에서 배포를 만듭니다.

대부분의 세대 AI 자산을 배포하려면 자산을 배포 공간으로 승격하고 엔드포인트가 포함된 배포를 생성합니다. 그런 다음 애플리케이션에서 엔드포인트를 호출하여 foundation model 추론할 수 있습니다. 변수를 포함하지 않는 프롬프트 템플릿의 경우 Prompt Lab 직접 엔드포인트 코드를 복사할 수 있습니다. 테스트, 스테이징 및 프로덕션 배포를 위한 별도의 배포 공간을 만들어 ModelOps 워크플로우를 지원할 수 있습니다.

솔루션 모니터링 및 유지 관리

애플리케이션에 솔루션을 임베드하고 프로덕션에 적용한 후에는 솔루션을 유지 관리해야 합니다. 모델 성능을 모니터링할 수도 있습니다. 솔루션 유지 관리에는 foundation model 최신 버전으로 업데이트 또는 교체하거나 평가 또는 사용자 피드백을 기반으로 모델을 최적화하는 작업이 포함될 수 있습니다. 솔루션 모니터링은 프로덕션 환경에서 모델의 성능을 평가합니다.

조직에서 솔루션을 모니터링하고 성능이 지정된 임계값 아래로 떨어지지 않도록 해야 할 수도 있습니다.

솔루션을 모니터링하려면 배포 공간에서 솔루션 배포를 열고 평가를 활성화합니다. 페이로드 로깅 엔드포인트를 사용하여 공정성 및 드리프트 평가를 위한 채점 요청을 보내고 피드백 로깅 엔드포인트를 사용하여 품질 평가를 위한 피드백 데이터를 제공할 수 있습니다.

솔루션의 foundation model IBM 제공하고 배포하는 경우, IBM 해당 모델을 최신 버전으로 교체할 수 있습니다. IBM 솔루션의 모델을 더 이상 사용하지 않는 경우, 모델이 제거되기 전에 솔루션을 업데이트하여 모델을 변경해야 합니다. 솔루션의 foundation model 배포한 경우 주기적으로 모델을 업데이트하여 성능을 개선할 수 있습니다.