Aggiungere documenti di base a un indice vettoriale che può essere usato per aggiungere informazioni contestuali ai prompt foundation model per le attività di generazione aumentata dal reperimento.
- Autorizzazioni richieste
- Per creare risorse di indici vettoriali e associarle a un prompt, è necessario avere il ruolo Admin o Editor in un progetto.
- Formato dei dati
- Differiscono in base al negozio di vettori.
- Dimensione dati
- Le dimensioni massime dei file variano a seconda del tipo di file.
Per informazioni dettagliate sul formato e sulle dimensioni dei dati, vedere i tipi di file di documenti di messa a terra supportati
Quando si utilizzano i modelli di base per i compiti di risposta alle domande, si può aiutare il foundation model a generare risposte concrete e aggiornate aggiungendo informazioni contestuali al prompt foundation model. Quando un foundation model riceve in ingresso informazioni concrete, è più probabile che le incorpori nei suoi risultati.
Per ulteriori informazioni, consultare Utilizzo del testo vettorizzato con attività di generazione incrementata dal recupero.
Per rendere disponibili le informazioni contestuali a un prompt, aggiungere prima i documenti di messa a terra a un asset indice vettoriale e poi associare l'indice vettoriale a un prompt foundation model.
L'attività di aggiunta dei documenti di messa a terra a un indice è rappresentata nel diagramma di generazione aumentata dal fase di preelaborazione, in cui i documenti aziendali vengono vettorializzati.
Archivi di vettori supportati
È possibile utilizzare uno dei seguenti archivi vettoriali per memorizzare i documenti di messa a terra:
In memoria: Un indice vettoriale del database Chroma associato al progetto e che fornisce una memoria vettoriale temporanea.
Nota: L'asset indice vettoriale in memoria viene creato automaticamente; non è necessario configurare l'archivio vettoriale.Elasticsearch : un indice vettoriale di terze parti configurato e connesso al tuo progetto.
watsonx.data Milvus : un indice vettoriale di terze parti che si può impostare in watsonx.data e poi collegare al progetto.
Scegliere un negozio di vettori
Quando si crea un indice vettoriale per i documenti, è possibile scegliere l'archivio vettoriale da utilizzare. Per determinare l'archivio vettoriale giusto per il vostro caso d'uso, considerate i seguenti fattori:
Quali tipi di file può indicizzare l'archivio vettoriale?
I tipi di file supportati variano a seconda del negozio di vettori. Per maggiori dettagli, vedere Tipi di file di documenti di messa a terra supportati.
Quali modelli di incorporamento possono essere utilizzati con l'archivio vettoriale?
I modelli di incorporazione che si possono usare per vettorializzare i documenti aggiunti all'indice sono diversi a seconda dell'archivio vettoriale. Per i dettagli, vedere Modelli di incorporazione e impostazioni di vettorizzazione.
Quanti documenti di base volete poter cercare tra i prompt del vostro foundation model?
Quando ci si collega a un negozio di vettori di terze parti, si può scegliere di fare una delle seguenti operazioni:
- Aggiungere file da vettorializzare e memorizzare in un nuovo indice o raccolta vettoriale nell'archivio vettoriale.
- Utilizzare i dati vettoriali di un indice o di una collezione esistente nell'archivio vettoriale.
Tipi di file di documenti di messa a terra supportati
Quando si aggiungono documenti di messa a terra per creare un nuovo indice vettoriale, è possibile caricare file o collegarsi a un asset di dati che contiene file.
La tabella seguente elenca i tipi di file supportati e le dimensioni massime dei file che è possibile aggiungere quando si crea un nuovo indice vettoriale. I tipi di file supportati variano a seconda del negozio di vettori.
I tipi di file sono elencati nella prima colonna. La dimensione massima totale consentita per ciascun tipo di file è elencata nella seconda colonna. Un segno di spunta (✓) indica che l'archivio vettoriale indicato nell'intestazione della colonna supporta il tipo di file elencato nella prima colonna.
Tipo di file | Dimensione massima file totale | In memoria | Elasticsearch | Milvus |
---|---|---|---|---|
CSV | 5 MB | ✓ | ✓ | |
docx | 10 MB | ✓ | ✓ | ✓ |
HTML | 5 MB | ✓ | ✓ | |
JSON | 5 MB | ✓ | ✓ | |
50 MB | ✓ | ✓ | ✓ | |
PPTX | 300 MB | ✓ | ✓ | ✓ |
TXT | 5 MB | ✓ | ✓ | ✓ |
XLSX | 5 MB | ✓ | ✓ |
Modelli di incorporazione supportati
Quando si caricano i documenti di grounding, viene utilizzato un modello di incorporazione per calcolare i vettori che rappresentano il testo del documento. È possibile scegliere il modello di incorporazione da utilizzare.
Per gli archivi di dati in-memory e Milvus, sono supportati i seguenti modelli di incorporamento:
- all-MiniLM-L6-v2
- Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
- all-MiniLM-l12-v2
- Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
- granite-embedding-107m-multilingual
- Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
- granite-embedding-278m-multilingual
- Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
- slate-30m-english-rtrvr
- IBM, più veloce della versione 125m.
- slate-125m-english-rtrvr
- IBM modello più preciso della versione 30m.
- slate-30m-english-rtrvr-v2
- Ultima versione del modello IBM, più veloce della versione 125m
- slate-125m-english-rtrvr-v2
- Ultima versione del modello IBM, più precisa della versione 30m.
Per ulteriori informazioni sui modelli di incorporamento IBM, vedere Modelli di codificatore supportati.
Per ilElasticsearch archivio dati, ELSER (Elastic Learned SparseEncodeR ) sono supportati i modelli di incorporamento. Per ulteriori informazioni, vedere ELSER – Elastic Learned SparseEncodeR
Ulteriori informazioni
- Creazione di un indice vettoriale
- Conversazione con documenti e immagini
- Vettorializzare il testo utilizzando l'API
Argomento principale: Acquisizione e preparazione dei dati in un progetto