Tipi di file supportati

È possibile utilizzare l'API per estrarre il testo dai seguenti tipi di file:

• PDF

È possibile memorizzare il testo estratto nei seguenti formati:

• JSON
• Markdown

Gestione dei documenti

Si aggiungono i documenti che si desidera elaborare nell'IBM Cloud Object Storage, in modo da poterli consultare dall'API.

Sono supportate solo le risorse di connessione che utilizzano la coppia 'Chiave di accesso e chiave segreta per le credenziali. Per ulteriori informazioni su come impostare la connessione, vedere Riferimento ai file dell'API.

Ad esempio, si fa riferimento al file aggiunto a IBM Cloud Object Storage come segue:

"document_location": {
  "type": "connection_asset",
  "connection": {
    "id": "6f5688fd-f3bf-42c2-a18b-49c0d8a1920d"
  },
  "location": {
    "file_name": "document.pdf",
    "bucket":"janessandbox"
  }
}

Si definisce la posizione in cui si desidera memorizzare il file di output generato come segue:

"results_location": {
  "type": "connection_asset",
  "connection": {
    "id": "6f5688fd-f3bf-42c2-a18b-49c0d8a1920d"
  },
  "location": {
    "file_name": "extracted_document.json"
  }
}

Lingue supportate

La capacità di estrarre il testo dalle immagini è chiamata riconoscimento ottico dei caratteri (OCR). Questa funzionalità è utile per conservare le informazioni contenute in immagini, diagrammi o testo incorporato in file come i PDF scansionati.

Sebbene il riconoscimento ottico dei caratteri possa estrarre il testo da immagini rumorose, la qualità dei file di immagine deve soddisfare il requisito minimo di 80 DPI (punti per pollice).

Se il documento con immagini che si desidera convertire è in una lingua diversa dall'inglese, è necessario specificare la lingua con il suo codice ISO 639 nel parametro language_list della richiesta.

    "languages_list": [
      "fr"
    ]

Se il documento contiene un mix di lingue, elencare ogni lingua separatamente. Il riconoscimento ottico dei caratteri è in grado di convertire le immagini in un documento multilingue solo se le lingue condividono una scrittura comune. Ad esempio, è possibile estrarre il testo dalle immagini di un documento con un mix di testo inglese e francese, poiché entrambe le lingue sono basate sul latino. Tuttavia, non è possibile utilizzare l'OCR per estrarre il testo dalle immagini in un documento con testo misto giapponese e inglese.

La funzione di riconoscimento ottico dei caratteri può estrarre il testo dalle immagini di documenti scritti nelle seguenti lingue:

Estrazione del testo dalle tabelle

Convertire i dati tabellari all'interno di un documento in testo consumabile che catturi le informazioni della tabella. Molti modelli linguistici di grandi dimensioni hanno difficoltà a interpretare correttamente le informazioni tabellari.

Per abilitare la conversione delle tabelle, specificare il seguente parametro nella richiesta.

"steps": {
    "tables_processing": {
      "enabled": true
    }
  }

Scelta del formato del file di output

Per impostazione predefinita, il testo estratto viene scritto in sintassi JSON. Se invece si desidera che il testo estratto sia scritto in markdown, specificare il seguente parametro nel corpo della richiesta API:

"assembly_md": {}

Dettagli API

Il diagramma seguente mostra il flusso di lavoro utilizzato per estrarre informazioni strutturali su un documento aziendale con l'API di estrazione del testo del documento.

Seguite questi passaggi di alto livello per estrarre il testo da un documento aziendale utilizzando l'API REST:

1. Aggiungete il file da cui volete estrarre il testo a un bucket IBM Cloud Object Storage e quindi definite una connessione dal vostro progetto watsonx.ai all'istanza del servizio IBM Cloud Object Storage.

   Per ulteriori informazioni, vedere Riferimento dei file dall'API.

2. Utilizzare il metodo Avviare una richiesta di estrazione di testo per avviare il processo di estrazione del testo.

   Si noti l'ID restituito nel campo metadata.id. Questo ID viene utilizzato come ID di estrazione per controllare lo stato della richiesta nella fase successiva.

3. Utilizzare il metodo Get the results of the request per verificare lo stato della richiesta.

   Controllare lo stato è l'unico modo per scoprire se il processo non è riuscito per qualche motivo.

   Quando lo stato è Completed, il file di testo estratto è disponibile nel bucket IBM Cloud Object Storage specificato.

4. Scaricare il file generato da Cloud Object Storage.

Per i dettagli sui metodi API, consultare la documentazione di riferimento dell'API.

curl -X POST \
  'https://{region}.ml.cloud.ibm.com/ml/v1/text/extractions?version=2024-10-18' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer eyJraWQiOi...'

{
    "project_id": "e40e5895-ce4d-42a3-b699-8ac764b89a09",
    "document_reference": {
      "type": "connection_asset",
      "connection": {
        "id": "5c0cefce-da57-408b-b47d-58f7785de3ee"
      },
      "location": {
        "bucket":"my-cloud-object-storage-bucket",
        "file_name": "retail_guidebook.pdf"
      }
    },
    "results_reference": {
      "type": "connection_asset",
      "connection": {
        "id": "5c0cefce-da57-408b-b47d-58f7785de3ee"
      },
      "location": {
        "bucket":"my-cloud-object-storage-bucket",
        "file_name": "output_retail.md"
      }
    },
    "steps": {
      "ocr": {
        "languages_list": [
          "en"
        ]
      },
      "tables_processing": {
        "enabled": true
      }
    },
    "assembly_md": {}
  }

curl -X GET \
  'https://{region}.ml.cloud.ibm.com/ml/v1/text/extractions/64162e0a-b05d-4ba6-a688-422893f58663?project_id=e40e5895-ce4d-42a3-b699-8ac764b89a09&version=2024-09-23' \
  --header 'Accept: application/json' \
  --header 'Authorization: Bearer eyJraWQiOi...'

Dettagli output

Il testo estratto viene scritto in un file markdown con il nome specificato nel campo 'results_reference.location.file_name.

Il markdown cattura le strutture del documento, come le sezioni e le tabelle. Ad esempio, l'immagine seguente mostra come una tabella del file PDF originale viene rappresentata in markdown dopo l'estrazione del testo. È inclusa un'anteprima della tabella markdown per mostrare che il testo della tabella originale nel PDF rimane intatto dopo l'estrazione.

Utilizzando il testo estratto dal file PDF

È possibile convertire il file markdown generato in un file di testo cambiando l'estensione del file da '.md a '.txt. Il file di testo risultante include i tag markdown. Se si desidera rimuovere i tag, si può usare una libreria di parser per trovare e convertire i tag.

È possibile utilizzare una libreria di elaborazione JSON per estrarre il testo dal file JSON generato e memorizzarlo come testo normale. Ad esempio, il comando seguente estrae il testo da ogni token per tutte le strutture del documento e lo memorizza in un file chiamato parsed_output_text.txt:

cat output_retail.json | jq '[.all_structures.tokens[].text] | join(" ")' > parsed_output_text.txt

Dopo aver convertito il file generato in un file TXT, è possibile utilizzare il testo estratto come informazione contestuale per un prompt foundation model nei seguenti modi:

• Fare riferimento al testo estratto da un quaderno Python.

  Ad esempio, è possibile utilizzare il file TXT al posto del file 'state_of_the_union.txt nel quaderno di esempio Use watsonx, Chroma, and LangChain to answer questions (RAG).

• È possibile utilizzare il file TXT come documento di base in Prompt Lab. Per ulteriori informazioni, vedere 'Fondare i prompt di 'foundation model su informazioni contestuali.

Ulteriori informazioni

• Estrazione programmatica del testo da un file
• Parsing delle strutture JSON generate dall'estrazione del testo
• Credenziali per l'accesso al programma

Argomento principale: Codifica di soluzioni di IA generativa