Aggiungere documenti di base a un indice vettoriale che può essere usato per aggiungere informazioni contestuali ai prompt foundation model per le attività di generazione aumentata dal reperimento.
- Autorizzazioni richieste
- Per creare risorse di indici vettoriali e associarle a un prompt, è necessario avere il ruolo Admin o Editor in un progetto.
- Formato dei dati
- Differiscono in base al negozio di vettori. Vedere Tipi di file di documenti di messa a terra supportati.
- Dimensione dati
- Le dimensioni massime dei file variano a seconda del tipo di file. Vedere Tipi di file di documenti di messa a terra supportati.
Quando si utilizzano i modelli di base per i compiti di risposta alle domande, si può aiutare il foundation model a generare risposte concrete e aggiornate aggiungendo informazioni contestuali al prompt foundation model. Quando un foundation model riceve in ingresso informazioni concrete, è più probabile che le incorpori nei suoi risultati.
Per ulteriori informazioni, consultare Utilizzo del testo vettorizzato con attività di generazione incrementata dal recupero.
Per rendere disponibili le informazioni contestuali a un prompt, aggiungere prima i documenti di messa a terra a un asset indice vettoriale e poi associare l'indice vettoriale a un prompt foundation model.
L'attività di aggiunta dei documenti di messa a terra a un indice è rappresentata nel diagramma di generazione aumentata dal fase di preelaborazione, in cui i documenti aziendali vengono vettorializzati.
Archivi di vettori supportati
È possibile utilizzare uno dei seguenti archivi vettoriali per memorizzare i documenti di messa a terra:
In memoria: Un indice vettoriale del database Chroma associato al progetto e che fornisce una memoria vettoriale temporanea.
Nota: L'asset indice vettoriale in memoria viene creato automaticamente; non è necessario configurare l'archivio vettoriale.Elasticsearch : un indice vettoriale di terze parti configurato e connesso al tuo progetto.
watsonx.data Milvo : un indice vettoriale di terze parti che puoi configurarewatsonx.data e quindi connettiti al tuo progetto.
Scegliere un negozio di vettori
Quando si crea un indice vettoriale per i documenti, è possibile scegliere l'archivio vettoriale da utilizzare. Per determinare l'archivio vettoriale giusto per il vostro caso d'uso, considerate i seguenti fattori:
Quali tipi di file può indicizzare l'archivio vettoriale?
I tipi di file supportati variano a seconda del negozio di vettori. Per maggiori dettagli, vedere Tipi di file di documenti di messa a terra supportati.
Quali modelli di incorporamento possono essere utilizzati con l'archivio vettoriale?
I modelli di incorporazione che si possono usare per vettorializzare i documenti aggiunti all'indice sono diversi a seconda dell'archivio vettoriale. Per i dettagli, vedere Modelli di incorporazione e impostazioni di vettorizzazione.
Quanti documenti di base volete poter cercare tra i prompt del vostro foundation model?
Quando ci si collega a un negozio di vettori di terze parti, si può scegliere di fare una delle seguenti operazioni:
- Aggiungere file da vettorializzare e memorizzare in un nuovo indice o raccolta vettoriale nell'archivio vettoriale.
- Utilizzare i dati vettoriali di un indice o di una collezione esistente nell'archivio vettoriale.
Il numero di file che è possibile aggiungere all'archivio vettoriale al momento della creazione dell'indice vettoriale è limitato. Se si desidera vettorializzare un numero maggiore di documenti, ad esempio un insieme di file PDF di dimensioni superiori a 50 MB, utilizzare un archivio vettoriale di terze parti. Con un archivio vettoriale di terze parti, è possibile creare una raccolta o un indice con più documenti direttamente dall'archivio dati. Quindi, è possibile collegarsi alla raccolta o all'indice esistente quando si crea una risorsa indice vettoriale da associare al prompt.
Tipi di file di documenti di messa a terra supportati
Quando si aggiungono documenti di messa a terra per creare un nuovo indice vettoriale, è possibile caricare file o collegarsi a un asset di dati che contiene file.
La tabella seguente elenca i tipi di file supportati e le dimensioni massime dei file che è possibile aggiungere quando si crea un nuovo indice vettoriale. I tipi di file supportati variano a seconda del negozio di vettori.
I tipi di file sono elencati nella prima colonna. La dimensione massima totale consentita per ciascun tipo di file è elencata nella seconda colonna. Un segno di spunta (✓) indica che l'archivio vettoriale indicato nell'intestazione della colonna supporta il tipo di file elencato nella prima colonna.
| Tipo di file | Dimensione massima file totale | In memoria | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 10 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| 50 MB | ✓ | ✓ | ✓ | |
| PPTX | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Modelli di incorporazione supportati
Quando si caricano i documenti di grounding, viene utilizzato un modello di incorporazione per calcolare i vettori che rappresentano il testo del documento. È possibile scegliere il modello di incorporazione da utilizzare.
Per gli archivi di dati in-memory e Milvus, sono supportati i seguenti modelli di incorporamento:
- all-MiniLM-L6-v2
- Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate. Per ulteriori informazioni sul modello, vedere all-MiniLM-L6-v2.
- slate-30m-english-rtrvr
- IBM, più veloce della versione 125m.
- slate-125m-english-rtrvr
- IBM modello più preciso della versione 30m.
Per ulteriori informazioni sui modelli di IBM Slate, vedere Modelli di encoder supportati.
Per ilElasticsearch archivio dati, ELSER (Elastic Learned SparseEncodeR ) sono supportati i modelli di incorporamento. Per ulteriori informazioni, vedere ELSER – Elastic Learned SparseEncodeR
Ulteriori informazioni
- Creazione di un indice vettoriale
- Conversazione con documenti e immagini
- Vettorializzare il testo utilizzando l'API
Argomento principale: Acquisizione e preparazione dei dati in un progetto