watsonx.ai 지원되는 인코더 기초 모델
의미론적 검색, 문서 비교, 순위 재지정 작업에 도움이 되는 IBM watsonx.ai 배포된 인코더 전용 기초 모델을 사용합니다.
필요에 가장 적합한 인코더 전용 기초 모델 유형을 선택하거나 두 가지 유형을 모두 사용하여 2단계 검색 및 검색 워크플로로 사용할 수 있습니다. 다음과 같은 유형의 인코더 전용 기초 모델을 사용할 수 있습니다 watsonx.ai:
- 파운데이션 모델 임베딩
수학적으로 비교할 수 있는 텍스트의 벡터 표현을 생성하려는 경우 임베딩 모델을 사용합니다. 임베딩 모델은 리랭커 모델보다 더 빠르고 효율적이지만 정확도는 떨어집니다.
자세한 내용은 모델 임베딩을 참조하세요.
- 파운데이션 모델 순위 재조정
작은 구절 세트에서 각 구절에 대한 점수를 생성하여 쿼리와 가장 관련성이 높은 구절 한두 개를 찾으려는 경우 재랭크 모델을 사용합니다. 리랭커 모델은 임베딩 모델보다 정확도는 높지만 효율성은 떨어집니다. 제출하는 입력이 많을수록 재랭커 모델이 텍스트를 처리하는 데 걸리는 시간이 길어집니다.
자세한 내용은 순위 재조정 모델을 참조하세요.
검색 및 검색 작업에 두 가지 유형의 인코더 전용 기초 모델을 함께 사용하려면 다음을 수행하십시오
- 임베딩 모델을 사용하여 많은 결과를 반환하는 광범위한 의미론적 검색을 수행하세요.
- 순위 재조정 모델을 사용하여 1단계의 상위 결과를 단일 답변 또는 가장 좋은 답변의 짧은 목록으로 좁힙니다.
생성 기초 모델에 대한 자세한 정보는 지원되는 기초 모델을 참조하십시오. 생성 모델과는 달리, 임베딩 모델을 사용자 지정 기초 모델로 추가할 수 없습니다.
인코더 전용 파운데이션 모델에서 지원하는 작업
다음 작업에는 watsonx.ai 인코더 전용 모델을 사용할 수 있습니다:
- API에서 텍스트 벡터화
- watsonx.ai REST API를 사용하여 텍스트를 텍스트 임베딩으로 변환하는 데 사용할 임베딩 모델을 지정합니다. 텍스트 벡터화 참조.
- API의 구절 순위 재조정
- 구절을 쿼리와 비교하는 데 사용할 재랭커 모델을 지정하고 watsonx.ai REST API를 사용하여 관련성이 가장 높은 구절부터 가장 낮은 구절까지 순위를 매깁니다. 문장 순서 재정렬하기 문서를 참조하세요.
- RAG용AutoAI
- AutoAI 함께 임베딩 모델을 사용하여 검색 증강 생성 워크플로를 프로그래밍 방식으로 구축하세요. AutoAI SDK로 RAG 패턴 자동화를 참조하세요.
- Prompt Lab 문서와 채팅하기
- Prompt Lab 임베딩 모델을 사용하여 문서를 벡터화하여 기초 모델에 제출하는 기초 정보로 사용하십시오. 기초 모델 프롬프트의 기초를 다지기 위해 벡터화된 문서 추가하기를 참조하십시오.
다음 표에는 IBM watsonx.ai 인코더 전용 기반 모델이 지원하는 작업 유형이 나와 있습니다. 체크 표시(✓)는 열 머리글에 있는 작업이 기초 모델에서 지원됨을 나타냅니다.
| 모델 | API에서 텍스트 벡터화 | API의 구절 순위 재조정 | RAG용 AutoAI | Prompt Lab 문서와 채팅하기 |
|---|---|---|---|---|
| all-minilm-l6-v2 | ✓ | ✓ | ||
| all-minilm-l12-v2 | ✓ | ✓ | ||
| ELSER(Elastic 학습형 스파스 EncodeR) | ✓ | |||
| granite-embedding-107m-multilingual | ✓ | ✓ | ||
| granite-embedding-278m-multilingual | ✓ | ✓ | ✓ | |
| ms-marco-minilm-l-12-v2 | ✓ | |||
| multilingual-e5-large | ✓ | ✓ | ✓ | |
| slate-30m-english-rtrvr-v2 | ✓ | ✓ | ||
| slate-30m-english-rtrvr | ✓ | ✓ | ||
| slate-125m-english-rtrvr-v2 | ✓ | ✓ | ✓ | |
| slate-125m-english-rtrvr | ✓ | ✓ | ✓ |
임베딩 모델
임베딩 모델은 문서를 벡터화하고 검색 및 비교 작업을 돕기 위해 텍스트 임베딩을 생성하는 데 사용하는 모델입니다. 텍스트 임베딩은 문장이나 구절의 의미를 벡터라고 하는 숫자 배열로 인코딩합니다. 벡터화에 대한 자세한 내용은 텍스트 임베딩 생성을 참조하세요.
구절이 벡터로 변환된 후에는 코사인 유사도와 같은 수학 함수를 사용하여 독립적인 벡터화된 구절의 유사도를 계산할 수 있습니다. 대부분의 임베딩 모델은 바이 인코더 모델입니다. 높은 리콜률이 필수적인 경우, 즉 가능한 일치 항목을 놓치지 않아야 하고 많은 구절의 유사성을 효율적으로 확인해야 하는 경우 바이 인코더 모델을 사용하세요.
다음 임베딩 모델은 watsonx.ai: API에서 사용할 수 있습니다:
- granite-embedding-107m-multilingual
- granite-embedding-278m-multilingual
- slate-30m-english-rtrvr-v2
- slate-30m-english-rtrvr
- slate-125m-english-rtrvr-v2
- slate-125m-english-rtrvr
- all-minilm-l6-v2
- all-minilm-l12-v2
- multilingual-e5-large
사용 가능한 임베딩 모델 목록을 얻으려면 watsonx.ai as a service API에서 사용 가능한 기초 모델 나열 메서드를 사용합니다. 임베딩 모델만 반환하려면 ' filters=function_embedding
curl -X GET \ 'https://{cluster_url}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_embedding'
자연어 처리 기능
IBM 슬레이트 모델은 분류, 실체 추출, 감정 분석 등과 같은 일반적인 자연어 처리(NLP) 작업에 사용할 수 있는 일련의 라이브러리도 지원합니다.
슬레이트 모델의 NLP 기능을 사용하는 방법에 대한 자세한 내용은 Watson NLP library를 참조하십시오.
IBM 임베디드 모델 개요
다음 표에는 API에서 사용할 수 있는 IBM 임베딩 모델이 나와 있습니다.
| 모델 이름 | API 모델 ID | 가격USD/1,000 ) | 최대 입력 토큰 | 차원 수(N) | 기타 정보 |
|---|---|---|---|---|---|
| granite-embedding-107m-multilingual | |
$0.0001 | 512 | 384 | 모델 카드 |
| granite-embedding-278m-multilingual | |
$0.0001 | 512 | 768 | 모델 카드 |
| slate-125m-english-rtrvr-v2 | |
$0.0001 | 512 | 768 | 모델 카드 |
| slate-125m-english-rtrvr | |
$0.0001 | 512 | 768 | 모델 카드 |
| slate-30m-english-rtrvr-v2 | |
$0.0001 | 512 | 384 | 모델 카드 |
| slate-30m-english-rtrvr | |
$0.0001 | 512 | 384 | 모델 카드 |
타사 임베딩 모델 개요
다음 표에는 API에서 사용할 수 있는 타사 임베딩 모델이 나열되어 있습니다.
| 모델 이름 | API 모델 ID | 제공자 | 가격USD/1,000 ) | 최대 입력 토큰 | 차원 수(N) | 기타 정보 |
|---|---|---|---|---|---|---|
| all-minilm-l6-v2 | |
오픈 소스 자연어 처리 (NLP) 및 컴퓨터 비전 (CV) 커뮤니티 | $0.0001 | 256 | 384 | - 모델 카드 |
| all-minilm-l12-v2 | |
오픈 소스 자연어 처리 (NLP) 및 컴퓨터 비전 (CV) 커뮤니티 | $0.0001 | 256 | 384 | - 모델 카드 |
| multilingual-e5-large | |
Microsoft | $0.0001 | 512 | 1,024 | - 모델 카드 ' - 연구 논문 |
- 각 지역 데이터 센터에서 제공되는 모델 목록은 기초 모델의 지역 가용성을 참조하십시오.
- 모델 사용량은 RU(리소스 단위)로 측정됩니다. 각 단위는 재단 모델에 제출된 입력의 1,000 토큰 과 같습니다. 자세한 내용은 생성 AI 자산에 대한 청구 세부 정보를 참조하세요.
모델 순위 재조정
재랭크 모델은 쿼리와 관련성이 가장 높은 순서부터 낮은 순서로 구절의 순위를 매기는 데 사용하는 교차 인코더 모델입니다. 바이 인코더 모델과 달리 크로스 인코더 모델은 구절과 쿼리를 함께 처리하고 두 입력의 유사성에 대한 점수를 생성합니다. 모델은 포함되는 각 구절에 대해 이 유사도 비교 단계를 반복합니다. 이 방법은 채점할 지문의 수가 적고 최상의 답을 찾고자 할 때 더 좋은 선택입니다.
watsonx.ai 사용할 수 있는 리랭커 모델은 텍스트 임베딩을 생성하는 데 사용할 수 없습니다.
다음 재랭커 모델은 watsonx.ai: API에서 사용할 수 있습니다:
사용 가능한 재랭커 모델 목록을 얻으려면 watsonx.ai as a service API에서 사용 가능한 기초 모델 나열 메서드를 사용합니다. 사용 가능한 리랭커 모델만 반환하려면 ' filters=function_rerank
curl -X GET \ 'https://{region}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_rerank'
리랭커 모델 개요
다음 표에는 watsonx.ai:
| 모델 이름 | API 모델 ID | 제공자 | 가격USD/1,000 ) | 최대 입력 토큰 | 기타 정보 |
|---|---|---|---|---|---|
| ms-marco-minilm-l-12-v2 | |
Microsoft | $0.000005 | 512 | - 모델 카드 |
- 각 지역 데이터 센터에서 제공되는 모델 목록은 기초 모델의 지역 가용성을 참조하십시오.
- 모델 사용량은 RU(리소스 단위)로 측정됩니다. 각 단위는 재단 모델에 제출된 입력의 1,000 토큰 과 같습니다. 자세한 내용은 생성 AI 자산에 대한 청구 세부 정보를 참조하세요.
인코더 전용 모델 세부 정보
watsonx.ai Python 라이브러리 또는 REST API를 사용하여 지원되는 인코더 전용 기초 모델 중 하나에 문장이나 구절을 제출할 수 있습니다.
all-minilm-l6-v2
all-minilm-l6-v2 의 임베딩 모델은 오픈 소스 자연어 처리(NLP) 및 컴퓨터 비전(CV) 커뮤니티에 의해 구축되었으며, Hugging Face 에서 제공합니다. 모델을 문장 및 단락 인코더로 사용하십시오. 입력 텍스트가 주어지면 모델은 텍스트의 의미 정보를 캡처하는 벡터를 생성합니다.
all-minilm-l6-v2 임베딩 모델은 all-minilm-l12-v2 임베딩 모델과 유사하지만, all-minilm-l6-v2 모델의 임베딩 레이어가 12개가 아닌 6개의 레이어가 있다는 점을 제외하면 all-minilm-l12-v2 모델과 유사합니다.
사용법: 정보 검색, 클러스터링, 문장 유사성 감지 등의 작업에 all-minilm-l6-v2 임베딩 모델에 의해 생성된 문장 벡터를 사용합니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 3을 참조하십시오.
차원 수: 384
입력 토큰 한도 : 128
지원되는 자연어: 영어
미세 조정 정보: 이 임베딩 모델은 10억 개의 문장 쌍이 포함된 데이터 세트에 대해 미세 조정된 Microsoft의 사전 학습된 ' MiniLM-L6-H384-uncased 모델의 버전입니다.
모델 아키텍처: 인코더 전용
라이선스: Apache 2.0 license
자세히 알아보기
all-minilm-l12-v2
all-minilm-l12-v2 의 임베딩 모델은 오픈 소스 자연어 처리(NLP) 및 컴퓨터 비전(CV) 커뮤니티에 의해 구축되었으며, Hugging Face 에서 제공합니다. 모델을 문장 및 단락 인코더로 사용하십시오. 입력 텍스트가 주어지면 텍스트의 의미 정보를 캡처하는 벡터를 생성합니다.
all-minilm-l12-v2 임베딩 모델은 all-minilm-l6-v2 임베딩 모델과 유사하지만, all-minilm-l6-v2 모델의 임베딩 레이어가 6개가 아닌 12개라는 점이 다릅니다.
사용: 정보 검색, 클러스터링, 문장 유사성 감지 등의 작업에 all-minilm-l12-v2 임베딩 모델에 의해 생성된 문장 벡터를 사용합니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 3을 참조하십시오.
차원 수: 384
입력 토큰 한도 : 128
지원되는 자연어: 영어
미세 조정 정보: 이 임베드 모델은 10억문장 이상의 문장 쌍으로 미세 조정된 Microsoft의 사전 훈련된 MiniLM-L12-H384-uncased 모델 버전입니다.
모델 아키텍처: 인코더 전용
라이선스: Apache 2.0 license
자세히 알아보기
granite-embedding-107m-multilingual
granite-embedding-107m-multilingual 모델은 IBM 제공하는 Granite 1억 7백만 매개변수 모델입니다. 이 모델은 고품질의 텍스트 임베딩을 생성하는 데 사용할 수 있습니다. 이 모델은 오픈 소스 관련성 쌍 데이터 세트와 기업 친화적인 개방형 라이선스를 결합한 데이터 세트, 그리고 IBM 생성하고 수집한 데이터 세트를 사용하여 훈련됩니다. 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어 등 12개 언어를 지원합니다.
사용법 : granite-embedding-107m-multilingual 사용하여 쿼리, 구절, 문서와 같은 주어진 입력에 대한 임베딩을 생성합니다. 이 모델은 두 개의 입력 텍스트 사이의 코사인 유사성을 최대화하도록 훈련됩니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 2를 참조하십시오.
차원 수: 384
입력 토큰 한계: 512
지원되는 자연어 : 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어
미세 조정 정보 : granite-embedding-107m-multilingual 모델은 RoBERTa 버전입니다. RoBERTa 다국어 버전으로, 2.5 필터링된 CommonCrawl 데이터로 사전 훈련된 모델입니다. 이 모델은 검색 기반 작업을 위해 여러 언어로 된 데이터 세트를 혼합하여 지속적으로 훈련되었습니다.
모델 아키텍처: 인코더 전용
라이선스: Apache 2.0 license
자세히 알아보기
granite-embedding-278m-multilingual
granite-embedding-278m-multilingual 모델은 IBM 이 제공하는 Granite 2억 7,800만 매개변수 모델입니다. 이 모델은 고품질의 텍스트 임베딩을 생성하는 데 사용할 수 있습니다. 이 모델은 오픈 소스 관련성 쌍 데이터 세트와 기업 친화적인 개방형 라이선스를 결합한 데이터 세트, 그리고 IBM 생성하고 수집한 데이터 세트를 사용하여 훈련됩니다. 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어 등 12개 언어를 지원합니다.
사용법 : granite-embedding-278m-multilingual 사용하여 쿼리, 구절, 문서와 같은 주어진 입력에 대한 임베딩을 생성합니다. 이 모델은 두 개의 입력 텍스트 사이의 코사인 유사성을 최대화하도록 훈련됩니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 2를 참조하십시오.
차원 수: 768
입력 토큰 한계: 512
지원되는 자연어 : 영어, 독일어, 스페인어, 프랑스어, 일본어, 포르투갈어, 아랍어, 체코어, 이탈리아어, 한국어, 네덜란드어, 중국어
미세 조정 정보 : granite-embedding-107m-multilingual 모델은 RoBERTa 버전입니다. RoBERTa 다국어 버전으로, 2.5 필터링된 CommonCrawl 데이터로 사전 훈련된 모델입니다. 이 모델은 검색 기반 작업을 위해 여러 언어로 된 데이터 세트를 혼합하여 지속적으로 훈련되었습니다.
모델 아키텍처: 인코더 전용
라이선스: Apache 2.0 license
자세히 알아보기
ms-marco-minilm-l-12-v2
ms-marco-minilm-l-12-v2 의 reranker 모델은 Microsoft에서 구축되었으며 Hugging Face 에서 제공합니다. 모델을 구절 및 문서 순위 재조정기로 사용하세요. 쿼리 텍스트와 문서 구절 집합이 주어지면 쿼리와 가장 관련성이 높은 구절부터 가장 낮은 구절까지 순위를 매깁니다.
사용법: 쿼리에 대해 점수를 매기고자 하는 작은 구절 세트가 있고 정확도가 필수적인 경우 ms-marco-minilm-l-12-v2 리랭커 모델을 사용합니다. 예를 들어, 구절이 100개 미만이고 쿼리 텍스트와 얼마나 유사한지에 따라 점수를 매기고자 하는 경우입니다.
API 가격 계층: 클래스 11. 가격에 대한 자세한 내용은 표 4를 참조하십시오.
입력 토큰 한계: 512
지원되는 자연어: 영어
정보 미세 조정: ms-marco-minilm-l-12-v2 모델은 MS 마르코 통과 순위 작업에 대해 학습되었습니다. MS MARCO(Microsoft 기계 독해)는 기계 독해, 질문 답변 및 합격자 순위에 사용되는 대규모 데이터 세트입니다.
모델 아키텍처: 인코더 전용
라이선스: Apache 2.0 license
자세히 알아보기
multilingual-e5-large
multilingual-e5-large 의 임베딩 모델은 Microsoft에서 구축되었으며 Hugging Face 에서 제공합니다.
임베드 모델 아키텍처에는 데이터를 처리하기 위해 순차적으로 사용되는 24개의 계층이 있습니다.
사용법: 영어 이외의 언어로 된 텍스트에 대한 텍스트 임베드를 생성하려는 유스 케이스에 사용하십시오. multilingual-e5-large 모델은 구절 또는 정보 검색, 의미적 유사성, 바이텍스트 마이닝, 의역 검색과 같은 작업에 유용합니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 3을 참조하십시오.
치수 수입니다: 1,024
입력 토큰 한계: 512
지원되는 자연어: 최대 100개의 언어. 세부사항은 모델 카드를 참조하십시오.
세부 조정 정보 : multilingual-e5-large 은 2.5 필터링된 CommonCrawl 데이터로 사전 훈련된 다국어 버전의 RoBERTa 인 RoBERTa 의 버전입니다. 이 모델은 여러 언어로 된 데이터 세트를 혼합하여 지속적으로 훈련되었습니다.
모델 아키텍처: 인코더 전용
자세히 알아보기
slate-125m-english-rtrvr
slate-125m-english-rtrvr-v2 및 slate-125m-english-rtrvr 기초 모델은 IBM에서 제공합니다. IBM Slate 125m 임베딩 모델은 쿼리, 구절 또는 문서와 같은 다양한 입력에 대한 임베딩을 생성합니다.
훈련 목표는 쿼리와 구절 사이의 코사인 유사성을 최대화하는 것입니다. 이 프로세스는 두 개의 문장 임베드를 생성합니다. 하나는 질문을 나타내고 다른 하나는 단락을 나타내며 코사인 유사성을 통해 두 문장을 비교할 수 있습니다.
사용: IBM 임베딩 모델보다 2~3배 느리지만 성능이 약간 더 우수합니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 2를 참조하십시오.
차원 수: 768
입력 토큰 한계: 512
지원되는 자연어: 영어
미세 조정 정보: 이 모델 버전은 문장 검색 기반 태스크에서 더 잘 수행되도록 미세 조정되었습니다.
모델 아키텍처: 인코더 전용
라이센스: 이용 약관
자세히 알아보기
slate-30m-english-rtrvr
slate-30m-english-rtrvr-v2 및 slate-30m-english-rtrvr 기초 모델은 slate-125m-english-rtrvr의 증류 버전으로, 모두 IBM에서 제공합니다. IBM 슬레이트 임베딩 모델은 두 텍스트 입력 간의 코사인 유사성을 최대화하도록 학습되어 나중에 유사성을 기반으로 임베딩을 평가할 수 있습니다.
임베드 모델 아키텍처에는 데이터를 처리하기 위해 순차적으로 사용되는 6개의 계층이 있습니다.
사용: IBM Slate 125m 임베딩 모델보다 2~3배 빠르고 성능 점수가 약간 낮습니다.
API 가격 계층: 클래스 C1. 가격에 대한 자세한 내용은 표 2를 참조하십시오.
시험 사용: 검색 기능이 보강된 생성 태스크와 함께 벡터화된 텍스트 사용
차원 수: 384
입력 토큰 한계: 512
지원되는 자연어: 영어
미세 조정 정보: 이 모델 버전은 문장 검색 기반 태스크에서 더 잘 수행되도록 미세 조정되었습니다.
모델 아키텍처: 인코더 전용
라이센스: 이용 약관
자세히 알아보기
자세히 알아보기
- IBM 의 임베딩 모델을 사용하여 문장과 구절을 텍스트 임베딩으로 변환하는 방법에 대한 자세한 내용은 텍스트 임베딩 생성을 참조하십시오.
- 벡터화된 문서 추가
- API를 사용하여 구절 순위 재조정하기
상위 주제: 지원되는 기초 모델