Extrahieren von Text aus Dokumenten

Entwicklungsmöglichkeiten

Copy link to section

Sie können Text aus Dokumenten extrahieren, indem Sie diese Programmiermethoden verwenden:

• REST-API
• Python
• Node.js
• AutoAI RAG

Übersicht

Copy link to section

Die Vereinfachung Ihrer Geschäftsdokumente auf diese Weise ist besonders nützlich für abrufgestützte Generierungsaufgaben, bei denen Sie Informationen finden möchten, die für eine Benutzeranfrage relevant sind, und diese in die Eingabe für ein Basismodell einbeziehen möchten. Durch die Einbeziehung genauer Kontextinformationen in die Modelleingabe kann das Fundamentmodell sachliche und aktuelle Informationen in die Modellausgabe integrieren. Weitere Informationen finden Sie unter Retrieval-augmented generation (RAG).

Die Textextraktion ist auch für Anwendungsfälle nützlich, bei denen Sie bestimmte Entitäten oder Kategorien von Informationen aus einem Dokument basierend auf der Dokumentstruktur extrahieren möchten.

Python

Copy link to section

Sie können Text aus Dateien in IBM watsonx.ai programmgesteuert extrahieren, indem Sie die Python -Bibliothek verwenden.

Siehe die Text-Extraktionsklasse der watsonx.ai Python -Bibliothek.

Probieren Sie das Beispielnotizbuch aus: Verwenden Sie den Textextraktionsdienst von watsonx.ai, um Text aus einer Datei zu extrahieren.

Node.js

Copy link to section

Sie können Text aus Dateien in IBM watsonx.ai programmgesteuert extrahieren, indem Sie das Node.js SDK verwenden. Weitere Informationen können Sie über die folgenden Links aufrufen:

• TextExtractionParams
• createTextExtraction

Weitere Informationen finden Sie im Codebeispiel.

REST-API

Copy link to section

Sie können die Dokumenttextextraktionsmethode der watsonx.ai REST-API verwenden, um stark strukturierte PDF-Dateien mit Diagrammen, Bildern und Tabellen in ein Dateiformat zu konvertieren, das sich leichter programmatisch verarbeiten lässt, z. B. Markdown oder JSON.

Die Textextraktions-API wendet die von IBM entwickelte Technologie zum Verstehen natürlicher Sprache an, um Dokumentstrukturen zu erkennen.

Die Textextraktion ist ein asynchroner Prozess, bei dem eine Datei nach der anderen konvertiert wird. Sie können parallele Methodenanforderungen stellen, um Text aus einer Reihe von Dokumenten zu extrahieren.

Die Textextraktion ist nur bei kostenpflichtigen Tarifen verfügbar. Die Abrechnung erfolgt nach der Anzahl der bearbeiteten Seiten. Weitere Informationen finden Sie unter Abrechnungsdetails für generative KI-Assets.

Vorbereitende Schritte

Copy link to section

1. Erstellen Sie eine Aufgabe mit Berechtigung.

   Eine Aufgabenberechtigung ist ein API-Schlüssel, der zur Authentifizierung von lang laufenden Aufträgen verwendet wird, die durch Schritte gestartet werden, die Sie während des Textextraktionsverfahrens durchführen. Sie müssen die Berechtigung für die Aufgabe nicht in der API-Anfrage angeben. Ein von Ihnen erstellter Aufgaben-Berechtigungsnachweis muss im Berechtigungsnachweis-Dienst für Ihre user_id und account_id vorhanden sein. Siehe Erstellen von Berechtigungsnachweisen für Aufgaben.

2. Wenn Sie eine Textextraktionsanforderung übermitteln, schließen Sie eine Nutzlast ein, die Konfigurationsdetails für den Textextraktionsvorgang angibt. Entscheiden Sie sich für die folgenden Optionen, damit Sie im Anforderungskörper Parameter festlegen können, die Ihren Konfigurationswünschen entsprechen:

   • Dateityp des Dokuments, aus dem Text extrahiert werden soll
   • Sprache des Eingabetextes
   • Ob Text aus Tabellen in die Extraktion einbezogen werden soll, was eine längere Bearbeitungszeit zur Folge haben kann
   • Dateityp, in dem der extrahierte Text gespeichert werden soll

3. Die Textextraktionsmethode erfordert, dass die Datei, aus der Sie den Text extrahieren möchten, als Verbindungs-Asset in Ihrem Projekt gespeichert ist und dann über ihre Verbindungs-ID referenziert wird. Weitere Informationen finden Sie unter Verwaltung Ihrer Dokumente.

    "languages_list": [
      "fr"
    ]
Copy to clipboardIn die Zwischenablage kopiert

"steps": {
    "tables_processing": {
      "enabled": true
    }
  }
Copy to clipboardIn die Zwischenablage kopiert

"assembly_md": {}
Copy to clipboardIn die Zwischenablage kopiert

Verwaltung Ihrer Dokumente

Copy link to section

Sie fügen die Dokumente, die Sie verarbeiten möchten, in IBM Cloud Object Storage ein, damit Sie sie über die API referenzieren können.

Es werden nur Verbindungs-Assets unterstützt, die das Schlüsselpaar Access Key und Secret Key für Anmeldeinformationen verwenden. Weitere Informationen zum Einrichten der Verbindung finden Sie unter Referenzierung von Dateien über die API.

Sie referenzieren die Datei, die Sie zu IBM Cloud Object Storage hinzufügen, zum Beispiel wie folgt:

"document_location": {
  "type": "connection_asset",
  "connection": {
    "id": "6f5688fd-f3bf-42c2-a18b-49c0d8a1920d"
  },
  "location": {
    "file_name": "document.pdf",
    "bucket":"janessandbox"
  }
}
Copy to clipboardIn die Zwischenablage kopiert

Sie legen den Speicherort für die erzeugte Ausgabedatei wie folgt fest:

"results_location": {
  "type": "connection_asset",
  "connection": {
    "id": "6f5688fd-f3bf-42c2-a18b-49c0d8a1920d"
  },
  "location": {
    "file_name": "extracted_document.json"
  }
}
Copy to clipboardIn die Zwischenablage kopiert

Das folgende Diagramm zeigt den Workflow, den Sie verwenden, um mit der Textextraktions-API strukturelle Informationen über ein Geschäftsdokument zu extrahieren.

Vorgehensweise

Copy link to section

Befolgen Sie diese allgemeinen Schritte, um mit der REST-API Text aus einem Geschäftsdokument zu extrahieren:

1. Fügen Sie die Datei, aus der Sie den Text extrahieren möchten, zu einem IBM Cloud Object Storage Bucket hinzu und definieren Sie dann eine Verbindung von Ihrem watsonx.ai Projekt zu der IBM Cloud Object Storage Service-Instanz.

   Weitere Informationen finden Sie unter Hinzufügen von Dateien zur Referenz aus der API.

2. Verwenden Sie die Methode Start a text extraction request, um den Textextraktionsprozess zu starten.

   Beachten Sie die ID, die im Feld metadata.id zurückgegeben wird. Sie verwenden diese ID als Extraktions-ID, um den Status Ihres Antrags im nächsten Schritt zu überprüfen.

3. Verwenden Sie die Funktion Ergebnisse der Anfrage abrufen, um den Status Ihrer Anfrage zu überprüfen.

   Die Überprüfung des Status ist die einzige Möglichkeit, um herauszufinden, ob der Prozess aus irgendeinem Grund fehlgeschlagen ist.

   Wenn der Status Completed ist, ist die extrahierte Textdatei im angegebenen IBM Cloud Object Storage Bucket verfügbar.

4. Laden Sie die generierte Datei von Cloud Object Storage herunter.

Anforderungsbeispiel

Copy link to section

Mit dem folgenden Befehl wird zum Beispiel eine Anforderung zum Extrahieren von Text aus der Datei " retail_guidebook.pdf und zum Speichern im Markdown-Format übermittelt.

curl -X POST \
  'https://{region}.ml.cloud.ibm.com/ml/v1/text/extractions?version=2024-10-18' \
  --header 'Accept: application/json' \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer eyJraWQiOi...'
Copy to clipboardIn die Zwischenablage kopiert

Der Anfragekörper sieht wie folgt aus:

{
    "project_id": "e40e5895-ce4d-42a3-b699-8ac764b89a09",
    "document_reference": {
      "type": "connection_asset",
      "connection": {
        "id": "5c0cefce-da57-408b-b47d-58f7785de3ee"
      },
      "location": {
        "bucket":"my-cloud-object-storage-bucket",
        "file_name": "retail_guidebook.pdf"
      }
    },
    "results_reference": {
      "type": "connection_asset",
      "connection": {
        "id": "5c0cefce-da57-408b-b47d-58f7785de3ee"
      },
      "location": {
        "bucket":"my-cloud-object-storage-bucket",
        "file_name": "output_retail.md"
      }
    },
    "steps": {
      "ocr": {
        "languages_list": [
          "en"
        ]
      },
      "tables_processing": {
        "enabled": true
      }
    },
    "assembly_md": {}
  }
Copy to clipboardIn die Zwischenablage kopiertShow more

Kopieren Sie aus der Antwort das metadata.id, beispielsweise 64162e0a-b05d-4ba6-a688-422893f58663. Geben Sie diese ID in dem Endpunkt an, den Sie verwenden, um den Status des Extraktionsprozesses zu überprüfen.

curl -X GET \
  'https://{region}.ml.cloud.ibm.com/ml/v1/text/extractions/64162e0a-b05d-4ba6-a688-422893f58663?project_id=e40e5895-ce4d-42a3-b699-8ac764b89a09&version=2024-09-23' \
  --header 'Accept: application/json' \
  --header 'Authorization: Bearer eyJraWQiOi...'
Copy to clipboardIn die Zwischenablage kopiert

Ausgabedetails

Copy link to section

Der extrahierte Text wird in eine Markdown-Datei mit dem Namen geschrieben, den Sie im Feld " results_reference.location.file_name angegeben haben.

Das Markdown erfasst Strukturen im Dokument, wie Abschnitte und Tabellen. Das folgende Bild zeigt zum Beispiel, wie eine Tabelle aus der ursprünglichen PDF-Datei nach der Extraktion des Textes in Markdown dargestellt wird. Eine Vorschau der Markdown-Tabelle ist enthalten, um zu zeigen, dass der Text der Originaltabelle in der PDF-Datei nach der Extraktion intakt bleibt.

cat output_retail.json | jq '[.all_structures.tokens[].text] | join(" ")' > parsed_output_text.txt
Copy to clipboardIn die Zwischenablage kopiert

Weitere Informationen

Copy link to section

• Programmatisch Text aus einer Datei extrahieren
• Parsing der durch Textextraktion erzeugten JSON-Strukturen
• Berechtigungsnachweise für den programmatischen Zugang

Übergeordnetes Thema: Codierung generativer KI-Lösungen