Aggiunta di documenti vettorializzati per la messa a terra del modello di fondazione
Aggiungere documenti di base a un indice vettoriale che può essere utilizzato per aggiungere informazioni contestuali ai prompt del modello di base per le attività di generazione aumentata di recupero.
- Autorizzazioni richieste
- Per creare risorse di indici vettoriali e associarle a un prompt, è necessario avere il ruolo Admin o Editor in un progetto.
- Formato dei dati
- Differiscono in base al negozio di vettori.
- Dimensione dati
- Le dimensioni massime dei file variano a seconda del tipo di file.
Per i dettagli sul formato e la dimensione dei dati, vedere Messa a terra dei tipi di file di documenti.
Quando si utilizzano modelli di base per attività di domanda-risposta, è possibile aiutare il modello di base a generare risposte concrete e aggiornate aggiungendo informazioni contestuali al prompt del modello di base. Quando un modello di base riceve informazioni concrete come input, è più probabile che incorpori tali informazioni concrete nel suo output.
Per ulteriori informazioni, consultare Utilizzo del testo vettorizzato con attività di generazione incrementata dal recupero.
Per fornire informazioni contestuali a un prompt, aggiungere prima i documenti di base a una risorsa di indice vettoriale, quindi associare l'indice vettoriale a un prompt del modello di base.
L'attività di aggiunta dei documenti di messa a terra a un indice è rappresentata nel diagramma di generazione aumentata dal fase di preelaborazione, in cui i documenti aziendali vengono vettorializzati.
Tipi di magazzini vettoriali
È possibile utilizzare uno dei seguenti archivi vettoriali per memorizzare i documenti di messa a terra:
In memoria: Un indice vettoriale del database Chroma associato al progetto e che fornisce una memoria vettoriale temporanea.
Nota: L'asset indice vettoriale in memoria viene creato automaticamente; non è necessario configurare l'archivio vettoriale.Elasticsearch : un indice vettoriale di terze parti configurato e connesso al tuo progetto.
watsonx.data Milvus : un indice vettoriale di terze parti che si può impostare in watsonx.data e poi collegare al progetto.
Scegliere un negozio di vettori
Quando si crea un indice vettoriale per i documenti, è possibile scegliere l'archivio vettoriale da utilizzare. Per determinare l'archivio vettoriale giusto per il vostro caso d'uso, considerate i seguenti fattori:
Quali tipi di file può indicizzare l'archivio vettoriale?
I tipi di file supportati variano a seconda del negozio di vettori. Per maggiori dettagli, vedere Tipi di file di documenti di messa a terra supportati.
Quali modelli di incorporamento possono essere utilizzati con l'archivio vettoriale?
I modelli di incorporazione che si possono usare per vettorializzare i documenti aggiunti all'indice sono diversi a seconda dell'archivio vettoriale. Per i dettagli, vedere Modelli di incorporazione e impostazioni di vettorizzazione.
Quanti documenti di base desideri poter cercare dai prompt del modello di fondazione?
Quando ci si collega a un negozio di vettori di terze parti, si può scegliere di fare una delle seguenti operazioni:
- Aggiungere file da vettorializzare e memorizzare in un nuovo indice o raccolta vettoriale nell'archivio vettoriale.
- Utilizzare i dati vettoriali di un indice o di una collezione esistente nell'archivio vettoriale.
Il numero di file che è possibile aggiungere all'archivio vettoriale al momento della creazione dell'indice vettoriale è limitato. Se si desidera vettorializzare un numero maggiore di documenti, ad esempio un insieme di file PDF di dimensioni superiori a 50 MB, utilizzare un archivio vettoriale di terze parti. Con un archivio vettoriale di terze parti, è possibile creare una raccolta o un indice con più documenti direttamente dall'archivio dati. Quindi, è possibile collegarsi alla raccolta o all'indice esistente quando si crea una risorsa indice vettoriale da associare al prompt.
Messa a terra dei tipi di file di documenti
Quando si aggiungono documenti di messa a terra per creare un nuovo indice vettoriale, è possibile caricare file o collegarsi a un asset di dati che contiene file.
La tabella seguente elenca i tipi di file supportati e le dimensioni massime dei file che è possibile aggiungere quando si crea un nuovo indice vettoriale. I tipi di file supportati variano a seconda del negozio di vettori.
I tipi di file sono elencati nella prima colonna. La dimensione massima totale consentita per ciascun tipo di file è elencata nella seconda colonna. Un segno di spunta (✓) indica che l'archivio vettoriale indicato nell'intestazione della colonna supporta il tipo di file elencato nella prima colonna.
.txt| Tipo di file | Dimensione massima file totale | In memoria | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 50 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| 50 MB | ✓ | ✓ | ✓ | |
| PPTX | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Modelli di integrazione
Quando si caricano documenti di messa a terra, viene utilizzato un modello di incorporamento per calcolare i vettori che rappresentano numericamente il testo del documento. È possibile scegliere il modello di incorporazione da utilizzare.
Per gli archivi di dati in-memory e Milvus, sono supportati i seguenti modelli di incorporamento:
- all-MiniLM-L6-v2
- Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
- all-MiniLM-l12-v2
- Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
- granite-embedding-107m-multilingual
- Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
- granite-embedding-278m-multilingual
- Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
- slate-30m-english-rtrvr
- IBM, più veloce della versione 125m.
- slate-125m-english-rtrvr
- IBM modello più preciso della versione 30m.
- slate-30m-english-rtrvr-v2
- Ultima versione del modello IBM, più veloce della versione 125m
- slate-125m-english-rtrvr-v2
- Ultima versione del modello IBM, più precisa della versione 30m.
Per ulteriori informazioni sui modelli di incorporamento IBM, vedere Modelli di codificatore supportati.
Per ilElasticsearch archivio dati, ELSER (Elastic Learned SparseEncodeR ) sono supportati i modelli di incorporamento. Per ulteriori informazioni, vedere ELSER – Elastic Learned SparseEncodeR
Ulteriori informazioni
- Creazione di un indice vettoriale
- Conversazione con documenti e immagini
- Vettorializzare il testo utilizzando l'API
Argomento principale: Preparazione dei dati