0 / 0
영어 버전 문서로 돌아가기

텍스트 생성

마지막 업데이트 날짜: 2025년 2월 12일
텍스트 생성

IBM watsonx.ai 에서 텍스트 생성 작업을 위해 기초 모델을 프로그래밍 방식으로 사용하십시오.

발전하는 방법

다음과 같은 프로그래밍 방법을 사용하여 기초 모델을 추론할 수 있습니다

또는, watsonx.ai 의 그래픽 도구를 사용하여 기초 모델을 추론할 수 있습니다. 보다 Prompt Lab.

추론 유형

다음과 같은 텍스트 생성 방법 중 하나를 사용하여 자동 완성( foundation model )을 유도할 수 있습니다

  • 텍스트 추론: foundation model 에 의해 생성된 출력을 한꺼번에 반환할 때까지 기다립니다.
  • 텍스트 이벤트 스트림 추론: foundation model 에 의해 생성된 그대로 출력을 반환합니다. 이 방법은 챗봇이나 가상 어시스턴트가 실제 대화를 흉내내는 유동적인 방식으로 사용자에게 응답하기를 원하는 대화형 사용 사례에 유용합니다.

채팅 사용 사례의 경우, 채팅 API를 사용하십시오. 채팅 API를 사용하여 애플리케이션에 생성형 채팅 기능을 추가하는 방법을 참조하십시오.

Node.js

텍스트 생성

다음과 같은 자원을 참조하십시오.

텍스트 생성 스트림

다음 자료를 참고하세요:

Python 도서관

watsonx.ai Python 라이브러리의 Model Inference 클래스를 참조하십시오.

다음 항목에서는 사용 가능한 샘플 노트북을 사용하는 방법을 설명합니다

휴식 (REST API)

foundation model 를 추론하는 방법은 foundation model 가 watsonx.ai 와 함께 제공되는지 아니면 배포와 연관되어 있는지에 따라 다릅니다.

  • IBM watsonx.ai 에서 배포된 를 추론하려면 foundation model 텍스트 생성 방법을 사용하십시오.

    curl -X POST \
-H 'Authorization: Bearer {token}' \
-H 'Content-Type: application/json' \
-H 'Accept: application/json' \
--data-raw '{
"input": "Tell me about interest rates",
"parameters": {
  "max_new_tokens": 200
},
"model_id": "ibm/granite-3-8b-instruct",
"project_id": "{project_id}"
}' \
"https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"

  • foundation model, 사용자 지정 foundation model, 또는 필요할 때 배포 foundation model 를 추론하려면 Deployments>Infer 텍스트 방법을 사용하십시오.

    배포에 의해 하나의 모델만 지원되기 때문에 이런 유형의 요청에는 배포 모델( {model_id} )이 필요하지 않습니다.

추론할 때 AI 가드레일 적용

API를 사용하여 foundation model 를 프롬프트할 때, moderations 필드를 사용하여 AI 가드레일을 foundation model 입력 및 출력에 적용할 수 있습니다. 더 자세한 정보는 모델 입력 및 출력에서 유해한 언어 제거하기를 참고하세요.

프롬프트 템플릿을 이용한 추론

입력 텍스트가 프롬프트 템플릿에 정의된 패턴을 따르는 경우, 추론된 입력 텍스트( foundation model )를 얻을 수 있습니다.

자세한 정보는 프롬프트 템플릿 만들기를 참고하세요.

텍스트 생성 방법에 입력으로 사용할 프롬프트 템플릿 텍스트를 추출하려면 다음 단계를 따르십시오

  1. Watson 의 데이터 API의 자산 유형 검색 방법을 사용하여 프롬프트 템플릿 ID를 얻으십시오.

    curl -X POST \
'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wx_prompt/search?version=2024-07-29&project_id={project_id}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ACCESS_TOKEN' \
--data '{
 "query": "asset.name:{template_name}"
}'

    프롬프트 템플릿 ID는 metadata.asset_id 로 지정됩니다.

  2. 주어진 프롬프트에 대한 추론 입력 문자열 가져오기 방법을 사용하여 프롬프트 템플릿 텍스트를 가져옵니다.

    curl -X POST \
'https://api.dataplatform.cloud.ibm.com/wx/v1/prompts/{prompt-template-id}/input?version=2024-07-29&project_id={project_id}'
...

    자세한 내용은 주어진 프롬프트에 대한 추론 입력 문자열 얻기를 참고하세요

    추출된 프롬프트 텍스트를 텍스트 생성 방법의 입력으로 제출할 수 있습니다.

상위 주제: 생성적 AI 솔루션 코딩