0 / 0
Torna alla versione inglese della documentazione
Aggiunta di documenti vettoriali per i prompt foundation model
Ultimo aggiornamento: 29 gen 2025
Aggiunta di documenti vettoriali per i prompt foundation model

Aggiungere documenti di base a un indice vettoriale che può essere usato per aggiungere informazioni contestuali ai prompt foundation model per le attività di generazione aumentata dal reperimento.

Autorizzazioni richieste
Per creare risorse di indici vettoriali e associarle a un prompt, è necessario avere il ruolo Admin o Editor in un progetto.
Formato dei dati
Differiscono in base al negozio di vettori.
Dimensione dati
Le dimensioni massime dei file variano a seconda del tipo di file.

Per informazioni dettagliate sul formato e sulle dimensioni dei dati, vedere i tipi di file di documenti di messa a terra supportati

 

Quando si utilizzano i modelli di base per i compiti di risposta alle domande, si può aiutare il foundation model a generare risposte concrete e aggiornate aggiungendo informazioni contestuali al prompt foundation model. Quando un foundation model riceve in ingresso informazioni concrete, è più probabile che le incorpori nei suoi risultati.

Per ulteriori informazioni, consultare Utilizzo del testo vettorizzato con attività di generazione incrementata dal recupero.

Per rendere disponibili le informazioni contestuali a un prompt, aggiungere prima i documenti di messa a terra a un asset indice vettoriale e poi associare l'indice vettoriale a un prompt foundation model.

L'attività di aggiunta dei documenti di messa a terra a un indice è rappresentata nel diagramma di generazione aumentata dal fase di preelaborazione, in cui i documenti aziendali vengono vettorializzati.

Primo piano della fase di preelaborazione in un modello RAG con incorporazioni vettoriali, in cui i documenti aziendali vengono vettorializzati da un modello di incorporazione e memorizzati in un archivio di dati vettoriali.

Archivi di vettori supportati

È possibile utilizzare uno dei seguenti archivi vettoriali per memorizzare i documenti di messa a terra:

  • In memoria: Un indice vettoriale del database Chroma associato al progetto e che fornisce una memoria vettoriale temporanea.

    Nota: L'asset indice vettoriale in memoria viene creato automaticamente; non è necessario configurare l'archivio vettoriale.
  • Elasticsearch : un indice vettoriale di terze parti configurato e connesso al tuo progetto.

  • watsonx.data Milvus : un indice vettoriale di terze parti che si può impostare in watsonx.data e poi collegare al progetto.

Scegliere un negozio di vettori

Quando si crea un indice vettoriale per i documenti, è possibile scegliere l'archivio vettoriale da utilizzare. Per determinare l'archivio vettoriale giusto per il vostro caso d'uso, considerate i seguenti fattori:

  • Quali tipi di file può indicizzare l'archivio vettoriale?

    I tipi di file supportati variano a seconda del negozio di vettori. Per maggiori dettagli, vedere Tipi di file di documenti di messa a terra supportati.

  • Quali modelli di incorporamento possono essere utilizzati con l'archivio vettoriale?

    I modelli di incorporazione che si possono usare per vettorializzare i documenti aggiunti all'indice sono diversi a seconda dell'archivio vettoriale. Per i dettagli, vedere Modelli di incorporazione e impostazioni di vettorizzazione.

  • Quanti documenti di base volete poter cercare tra i prompt del vostro foundation model?

    Quando ci si collega a un negozio di vettori di terze parti, si può scegliere di fare una delle seguenti operazioni:

    • Aggiungere file da vettorializzare e memorizzare in un nuovo indice o raccolta vettoriale nell'archivio vettoriale.
    • Utilizzare i dati vettoriali di un indice o di una collezione esistente nell'archivio vettoriale.

     

    Il numero di file che è possibile aggiungere all'archivio vettoriale al momento della creazione dell'indice vettoriale è limitato. Se si desidera vettorializzare un numero maggiore di documenti, ad esempio un insieme di file PDF di dimensioni superiori a 50 MB, utilizzare un archivio vettoriale di terze parti. Con un archivio vettoriale di terze parti, è possibile creare una raccolta o un indice con più documenti direttamente dall'archivio dati. Quindi, è possibile collegarsi alla raccolta o all'indice esistente quando si crea una risorsa indice vettoriale da associare al prompt.

Tipi di file di documenti di messa a terra supportati

Quando si aggiungono documenti di messa a terra per creare un nuovo indice vettoriale, è possibile caricare file o collegarsi a un asset di dati che contiene file.

La tabella seguente elenca i tipi di file supportati e le dimensioni massime dei file che è possibile aggiungere quando si crea un nuovo indice vettoriale. I tipi di file supportati variano a seconda del negozio di vettori.

I tipi di file sono elencati nella prima colonna. La dimensione massima totale consentita per ciascun tipo di file è elencata nella seconda colonna. Un segno di spunta (✓) indica che l'archivio vettoriale indicato nell'intestazione della colonna supporta il tipo di file elencato nella prima colonna.

Tabella 1. Tipi di file supportati per i documenti di messa a terra aggiunti dall'utente
Tipo di file Dimensione massima file totale In memoria Elasticsearch Milvus
CSV 5 MB
docx 10 MB
HTML 5 MB
JSON 5 MB
PDF 50 MB
PPTX 300 MB
TXT 5 MB
XLSX 5 MB

Modelli di incorporazione supportati

Quando si caricano i documenti di grounding, viene utilizzato un modello di incorporazione per calcolare i vettori che rappresentano il testo del documento. È possibile scegliere il modello di incorporazione da utilizzare.

Per gli archivi di dati in-memory e Milvus, sono supportati i seguenti modelli di incorporamento:

all-MiniLM-L6-v2
Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
all-MiniLM-l12-v2
Richiede una dimensione dei pezzi più piccola rispetto ai modelli di incorporazione IBM Slate.
granite-embedding-107m-multilingual
Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
granite-embedding-278m-multilingual
Modello standard di trasformatore di frasi basato su bi-encoder e parte della suite IBM Granite Embeddings.
slate-30m-english-rtrvr
IBM, più veloce della versione 125m.
slate-125m-english-rtrvr
IBM modello più preciso della versione 30m.
slate-30m-english-rtrvr-v2
Ultima versione del modello IBM, più veloce della versione 125m
slate-125m-english-rtrvr-v2
Ultima versione del modello IBM, più precisa della versione 30m.

Per ulteriori informazioni sui modelli di incorporamento IBM, vedere Modelli di codificatore supportati.

Per ilElasticsearch archivio dati, ELSER (Elastic Learned SparseEncodeR ) sono supportati i modelli di incorporamento. Per ulteriori informazioni, vedere ELSER – Elastic Learned SparseEncodeR

Ulteriori informazioni

Argomento principale: Acquisizione e preparazione dei dati in un progetto