사용 사례는 무엇인가요?

솔루션의 목표, 그 목표가 실현 가능하고 가치가 있는지, 솔루션이 언제 준비되었는지 판단할 수 있는 방법을 이해합니다:

Gen AI 태스크

모델이 필요한 이유는 무엇인가요?

대화형 또는 별도 출력

사용자가 이전 상호 작용의 컨텍스트를 유지하는 모델과 채팅하는 대화 환경이 필요한지, 아니면 모델과의 각 상호 작용이 개별적인지 파악하세요. 분류, 요약 또는 생성과 같은 일부 작업은 대화가 도움이 되지 않을 수 있습니다. 대화에는 모든 입력과 함께 채팅 내역이 포함되므로 대화는 별도의 출력물보다 비용이 더 많이 듭니다.

실행 가능성

기초 모델의 한계를 이해하여 사용 사례가 실현 가능한지 평가할 수 있습니다. 예를 들어 구현하려는 사용 사례 유형에 대한 모델 벤치마크 점수를 확인할 수 있습니다.

비즈니스 가치

솔루션의 이점이 솔루션 운영 비용보다 더 큰지 고려하세요.

성공 기준

솔루션의 성공 여부를 측정하는 방법을 결정합니다. 예를 들어 대상 사용자의 평가 지표나 사용자 피드백에 의존할 수 있습니다.

참여 대상

처음부터 적절한 이해관계자를 참여시키면 방향을 바꾸거나 프로세스의 일부를 반복해야 하는 위험을 줄일 수 있습니다. 최소한 이러한 팀의 이해관계자를 계획 프로세스에 참여시켜야 합니다:

조직의 우선순위와 프로세스를 정의하는 사람들

반드시 준수해야 하는 요구 사항과 제한 사항에 대해 알려주는 사람이 필요합니다. 규정을 준수하기 위해 워크플로우에 따라 솔루션에 대한 특정 정보를 문서화하거나 특정 유형의 소스가 있는 모델을 선택해야 할 수도 있습니다. 예를 들어, 조직에서 오픈 소스 모델을 선택하도록 요구할 수 있습니다.

솔루션을 사용하는 사람들

솔루션의 요구 사항을 정의하고 솔루션이 프로세스에서 작동하는지 테스트하고 검증하는 데 도움을 줄 수 있는 사람이 필요합니다.

솔루션을 만드는 사람들

디자인 및 운영 결정에 이러한 사람들이 참여해야 합니다. 이 협업 팀에는 디자이너, 데이터 엔지니어, AI 엔지니어, 데이터 과학자, 리스크 및 규정 준수 관리자가 포함될 수 있습니다. 문서에 검색 증강 생성 솔루션을 구현하는 경우 콘텐츠를 AI에 맞게 조정할 수 있는 콘텐츠 작성자를 포함시키는 것이 좋습니다.

위험 및 규정 준수 관리 방법

솔루션 개발을 시작하기 전에 위험과 규정 준수 요구 사항을 이해하면 나중에 감사에 더 잘 대비할 수 있습니다.

AI 관련 위험

평판, 규제, 운영 리스크와 같은 주요 리스크 차원을 이해합니다. 생성 AI를 사용할 때의 위험에는 기존 머신러닝 모델과 동일한 위험, 생성 AI로 인해 증폭되는 위험, 생성 AI에만 적용되는 새로운 위험이 있습니다. 예를 들어, 사실과 다르거나 진실이 아닌 내용이 포함된 결과물을 생성할 수 있는 위험(환각이라고 함)은 생성형 AI에만 해당되는 문제입니다.

법률 및 규정 준수

준수해야 하는 법률 및 규정, 규정 준수 추적 방법, 규정 준수를 보장하는 방법을 결정합니다. 예를 들어, 조직에서 AI 솔루션에 대한 공식적인 위험 평가 또는 승인 워크플로우가 필요할 수 있습니다.

사용 사례 문서

AI 사용 사례를 만들어 요청 단계부터 개발 및 프로덕션에 이르기까지 모델 또는 프롬프트 템플릿을 관리하기 위한 모든 정보를 수집하세요. 사용 사례를 문서화하면 조직에서 규제를 위해 필요한지 여부에 관계없이 진행 상황을 편리하게 추적할 수 있습니다.

솔루션 개발 방법

사용자와 개발팀은 watsonx.ai 사용자 인터페이스에서 다양한 도구와 방법 중에서 선택하거나 코드로만 작업할 수 있습니다:

코딩 언어

코드를 작성하려는 경우 REST API, Python, Node.js 코드 중에서 선택할 수 있습니다. 언어 선택의 요소에는 개발자의 선호도와 기술, 솔루션 배포 방법, 대화형 개발 환경(IDE)에서 수행하려는 작업의 양과 watsonx.ai 사용자 인터페이스가 포함될 수 있습니다.

자동화 수준

솔루션 코드를 얼마나 많이 생성할지 선택할 수 있습니다:

• 모든 코드: IDE에서 REST API를 사용하여 코드를 작성할 수 있습니다. 노트북 편집기로 Python 라이브러리를 사용해 코드를 작성하고 실행할 수 있습니다.

• 일부 코드: 다양한 도구로 Python 노트북을 생성한 다음 필요에 따라 코드를 수정할 수 있습니다. 예를 들어, 프롬프트 템플릿을 기반으로 노트북을 생성하거나 문서를 임베드하고 벡터화하기 위해 여러 개의 노트북을 생성할 수 있습니다.

• 코드가 필요 없습니다: 도구를 사용하여 모든 프롬프트 엔지니어링, 모델 튜닝, 문서 임베딩 및 벡터화 작업을 완료할 수 있습니다.

기능성

watsonx.ai 사용자 인터페이스에서 찾을 수 있는 대부분의 기능은 API를 통해 사용할 수 있습니다. 그러나 도구마다 기능이 다릅니다.

모델 선택 방법

솔루션에 대한 계획을 세우기 전에 모델을 선택할 필요는 없습니다. 그러나 자신과 조직에 가장 중요한 기준이 무엇인지 이해한다면 부적절한 모델을 선택할 위험을 줄일 수 있습니다.

태스크

모델이 수행하기를 원하는 작업은 모델 선택의 제한 요소가 될 수 있습니다. 많은 모델 작업의 경우 여러 모델 중에서 선택할 수 있습니다. 그러나 번역이나 영어 이외의 언어로 응답하는 것과 같은 다른 모델 작업의 경우 선택의 폭이 좁습니다.

비용

추론 비용은 모델에 따라 다릅니다. 추론 비용을 낮게 유지하는 것이 우선 순위라면 더 저렴한 모델, 더 작은 모델, 정량화된 모델 또는 조정할 수 있는 모델을 선택하세요.

환경 영향

일반적으로 모델이 클수록 학습과 추론 과정에서 환경에 미치는 영향이 더 큽니다. 더 작은 모델과 정량화된 모델은 환경에 미치는 영향이 더 적습니다.

정확도 및 기타 점수

모델 벤치마크를 비교하여 가장 중요한 영역에서 높은 점수를 받은 모델을 선택할 수 있습니다.

면책 및 모델 출처

조직에는 교육 데이터에 대해 투명하거나, 오픈 소스이거나, 면책을 제공하는 모델을 선택하는 데 대한 정책이 있을 수 있습니다.

사용자 정의

모델을 조정하여 특정 도메인에 맞게 사용자 지정할 수 있습니다. Tuning Studio 에서 watsonx.ai 와 함께 제공되는 일부 모델을 조정할 수 있습니다. 또는 외부 도구에서 모델을 튜닝하고 사용자 지정 모델을 watsonx.ai 가져올 수도 있습니다.

InstructLab 사용하여 IBM Granite 모델에 지식이나 기술을 추가할 수 있습니다.

데이터 준비 방법

기초 모델은 대량의 데이터로 학습되지만 회사 내부 데이터로는 학습되지 않습니다. 회사 데이터를 파악하기 위해 foundation model 필요한 경우, 모델에 데이터를 제공하는 방법을 결정해야 합니다.

접지 문서

문서에 있는 정보로 모델을 근거로 질문에 답하는 솔루션이 필요한 경우 검색 증강 생성(RAG) 패턴을 설정할 수 있습니다. RAG 패턴에서는 문서를 벡터화하여 사용자 질문에 답하는 구절을 효율적으로 검색할 수 있습니다.

데이터 조정 및 테스트

분류, 요약, 생성 등의 자연어 처리 작업을 위해 출력을 개선하거나 맞춤화해야 하는 경우 모델을 조정할 수 있습니다. 프롬프트의 품질을 테스트하려면 생성된 AI 메트릭을 사용하여 평가할 수 있습니다. 두 작업 모두에 대해 검증된 프롬프트 입력 및 출력 예제 세트를 제공해야 합니다. 데이터에 개인 식별 정보(PII)와 같은 민감한 정보가 포함되어 있는 경우 PII에 대한 조직의 정책을 숙지해야 합니다. 예를 들어 모델 튜닝 또는 테스트를 위해 PII를 마스킹하거나 합성 데이터를 생성해야 할 수 있습니다.

지식 또는 기술

모델에 정보를 제공하는 데이터 세트를 제공합니다. IntructLab 사용하여 사용 사례에 필요한 기능으로 기존 foundation model 보강할 수 있습니다. foundation model 튜닝을 위한 합성 데이터 생성의 기초가 되는 시드 예제 또는 접지 데이터를 제공합니다.

품질을 평가하고 위험을 완화하는 방법

품질을 측정하고 안전을 보장하는 방법을 결정해야 합니다.

평가

업계 표준 메트릭을 기준으로 솔루션 성능과 위험을 평가할 수 있습니다. 텍스트 정확도, 유사도 및 foundation model 출력의 품질을 측정할 수 있습니다. 또한 모델 출력의 공정성, 성능 및 드리프트도 평가할 수 있습니다. 이러한 메트릭은 AI 솔루션에 편견이 없고, 비즈니스 사용자가 쉽게 설명하고 이해할 수 있으며, 비즈니스 거래에서 감사할 수 있는지를 확인하는 데 도움이 됩니다.

가드레일

가드레일을 활성화하여 프롬프트의 입력 및 출력 텍스트 모두에서 잠재적으로 유해한 콘텐츠 또는 PII 콘텐츠를 제거할 수 있습니다.

테스트 중

적의 공격을 모방하기 위해 레드팀을 구성하는 것을 고려하세요.

파운데이션 모델을 최적화하고 관리하는 방법

정확도, 비용, 추론 지연 시간, 모델 수명 주기 제어를 위해 foundation model 최적화할 수 있습니다.

기본 최적화

IBM 멀티 테넌트 하드웨어에 배포되는 일련의 기본 모델을 제공합니다. 토큰당 추론 비용을 지불합니다. IBM 모델 업데이트 및 사용 중단을 통해 모델 수명 주기를 관리합니다. 모델이 더 이상 사용되지 않는 경우 새 버전의 모델 또는 다른 모델을 추론하려면 솔루션을 업데이트해야 합니다.

정확성 및 비용 최적화

더 작은 foundation model 추론하여 프롬프트의 정확도를 높이고 비용을 절감해야 하는 경우 제공된 foundation model 프롬프트 조정할 수 있습니다. 멀티테넌트 하드웨어에 프롬프트 조정된 모델을 배포하고 토큰당 추론 비용을 지불합니다.

정확성 및 제어를 위한 최적화

사용 사례에 맞게 외부에서 모델을 학습시키거나 튜닝한 경우, 사용자 지정 모델을 가져와 배포할 수 있습니다. 전용 하드웨어에 모델을 배포합니다. 추론이 아닌 모델 호스팅에 대한 시간당 비용을 지불합니다. 모델 라이프사이클을 관리합니다.

지연 시간 및 제어 최적화

솔루션이 많은 수의 동시 사용자를 지원해야 하는 경우, IBM 전용 하드웨어에 제공하는 온디맨드 배포 모델을 배포할 수 있습니다. 전용 하드웨어는 멀티테넌트 하드웨어보다 지연 시간이 짧습니다. 추론이 아닌 모델 호스팅에 대한 시간당 비용을 지불합니다. 모델 라이프사이클을 관리합니다.

솔루션 제공 및 유지 관리 방법

젠 AI 솔루션을 제공하고 지속적인 품질을 보장할 수 있는 방법을 결정해야 합니다.

솔루션 배포

foundation model 추론하기 위해 애플리케이션에서 호출하는 엔드포인트를 배포하여 모델을 추론합니다. 세대별 AI 솔루션의 아키텍처에 따라 엔드포인트는 코드 스니펫, Python 함수, AI 서비스 또는 팀에서 개발한 코드에 있을 수 있습니다.

배포 공간으로 ModelOps 관리하기

솔루션의 테스트, 스테이징 및 프로덕션 버전을 위한 별도의 배포 공간을 만들어 ModelOps 플로우를 지원할 수 있습니다. 각 스페이스에 적절한 공동 작업자를 추가하여 프로덕션 솔루션에 대한 액세스를 관리할 수 있습니다.

모니터링

개발 중 솔루션을 평가하는 것과 마찬가지로 공정성, 품질, 설명 가능성 등의 솔루션 성능과 위험을 모니터링할 수 있습니다. 시간 경과에 따른 추세를 확인하고 임계값을 설정하여 성능 저하 시 알림을 받을 수 있습니다.

사용자 피드백

사용자 피드백 메커니즘을 구현하고 피드백을 수집하고 이를 통해 솔루션을 개선하는 프로세스를 만드는 것을 고려해 보세요. 예를 들어 RAG 패턴을 구현하는 경우 사용자가 질문에 대한 답변을 평가할 수 있는 피드백 메커니즘을 추가할 수 있습니다. 오답 및 부적절한 답안을 평가하는 프로세스를 설정하고 RAG 패턴을 조정하거나 콘텐츠를 조정하여 더 나은 답안을 제공할 수 있습니다.

자세히 알아보기

• 도구와 코드 비교

상위 주제: 제너레이티브 AI 솔루션 계획