0 / 0

텍스트 생성

마지막 업데이트 날짜: 2025년 3월 26일
텍스트 생성

IBM watsonx.ai 에서 텍스트 생성 작업을 위해 기초 모델을 프로그래밍 방식으로 사용하십시오.

발전하는 방법

다음과 같은 프로그래밍 방법을 사용하여 기초 모델을 추론할 수 있습니다

또는, watsonx.ai 의 그래픽 도구를 사용하여 기초 모델을 추론할 수 있습니다. 보다 Prompt Lab.

추론 유형

다음 텍스트 생성 방법 중 하나를 사용하여 파운데이션 모델에 메시지를 표시할 수 있습니다:

  • 텍스트 추론: 기초 모델에서 생성된 출력을 한 번에 모두 반환할 때까지 기다립니다.
  • 텍스트 이벤트 스트림을 추론합니다: 기초 모델에서 생성된 출력을 그대로 반환합니다. 이 방법은 챗봇이나 가상 어시스턴트가 실제 대화를 흉내내는 유동적인 방식으로 사용자에게 응답하기를 원하는 대화형 사용 사례에 유용합니다.

채팅 사용 사례의 경우, 채팅 API를 사용하십시오. 채팅 API를 사용하여 애플리케이션에 생성형 채팅 기능을 추가하는 방법을 참조하십시오.

Node.js

텍스트 생성

다음과 같은 자원을 참조하십시오.

텍스트 생성 스트림

다음 자료를 참고하세요:

Python 도서관

watsonx.ai Python 라이브러리의 Model Inference 클래스를 참조하십시오.

다음 항목에서는 사용 가능한 샘플 노트북을 사용하는 방법을 설명합니다

휴식 (REST API)

기초 모델을 추론하는 데 사용하는 방법은 기초 모델이 watsonx.ai 와 함께 제공되는지 또는 배포와 연관되어 있는지에 따라 다릅니다.

  • watsonx.ai 에서 IBM 에 배포된 기초 모델을 추론하려면 텍스트 생성 방법을 사용합니다.

    curl -X POST \
-H 'Authorization: Bearer {token}' \
-H 'Content-Type: application/json' \
-H 'Accept: application/json' \
--data-raw '{
"input": "Tell me about interest rates",
"parameters": {
  "max_new_tokens": 200
},
"model_id": "ibm/granite-3-8b-instruct",
"project_id": "{project_id}"
}' \
"https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"

  • 조정된 기초 모델, 사용자 지정 기초 모델 또는 주문형 배포 기초 모델을 추론하려면 배포 > 텍스트 추론 방법을 사용하세요.

    배포에 의해 하나의 모델만 지원되기 때문에 이런 유형의 요청에는 배포 모델( {model_id} )이 필요하지 않습니다.

추론할 때 AI 가드레일 적용

API를 사용하여 파운데이션 모델에 메시지를 표시할 때 moderations 필드를 사용하여 파운데이션 모델 입력 및 출력에 AI 가드레일을 적용할 수 있습니다. 더 자세한 정보는 모델 입력 및 출력에서 유해한 언어 제거하기를 참고하세요.

프롬프트 템플릿을 이용한 추론

프롬프트 템플릿에 정의된 패턴을 따르는 입력 텍스트를 사용하여 기초 모델을 추론할 수 있습니다.

자세한 정보는 프롬프트 템플릿 만들기를 참고하세요.

텍스트 생성 방법에 입력으로 사용할 프롬프트 템플릿 텍스트를 추출하려면 다음 단계를 따르십시오

  1. Watson 의 데이터 API의 자산 유형 검색 방법을 사용하여 프롬프트 템플릿 ID를 얻으십시오.

    curl -X POST \
'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wx_prompt/search?version=2024-07-29&project_id={project_id}' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer ACCESS_TOKEN' \
--data '{
 "query": "asset.name:{template_name}"
}'

    프롬프트 템플릿 ID는 metadata.asset_id 로 지정됩니다.

  2. 주어진 프롬프트에 대한 추론 입력 문자열 가져오기 방법을 사용하여 프롬프트 템플릿 텍스트를 가져옵니다.

    curl -X POST \
'https://api.dataplatform.cloud.ibm.com/wx/v1/prompts/{prompt-template-id}/input?version=2024-07-29&project_id={project_id}'
...

    자세한 내용은 주어진 프롬프트에 대한 추론 입력 문자열 얻기를 참고하세요

    추출된 프롬프트 텍스트를 텍스트 생성 방법의 입력으로 제출할 수 있습니다.

상위 주제: 코드로 텍스트 생성하기