Chatten mit hochgeladenen Dokumenten

Um die Qualität eines Dokuments und die Fähigkeiten eines foundation model schnell zu testen, bevor Sie das Modell oder Dokument in einer RAG-Lösung (Retrieval-Augmented Generation) verwenden, chatten Sie mit dem Dokument in Prompt Lab.

Der Text aus dem von Ihnen hochgeladenen Dokument wird in Texteinbettungen umgewandelt und in einem Vektorindex gespeichert, in dem die Informationen schnell durchsucht werden können. Wenn eine Frage mithilfe der Eingabeaufforderung übermittelt wird, wird eine Ähnlichkeitssuche im Vektorindex ausgeführt, um relevante Inhalte zu finden. Die wichtigsten Suchergebnisse werden der Eingabeaufforderung als Kontext hinzugefügt und zusammen mit der ursprünglichen Frage als Input an das foundation model übermittelt.

Zu Testzwecken können Sie die Standardeinstellungen für den speicherinternen Vektorspeicher übernehmen, der automatisch für Sie erstellt wird.

Wenn Sie sich entscheiden, eine robustere Lösung mit vektorisierten Dokumenten zu implementieren, finden Sie unter Hinzufügen von vektorisierten Dokumenten für foundation model weitere Konfigurationsoptionen.

Gehen Sie wie folgt vor, um mit einem Dokument zu chatten:

1. Wählen Sie im Eingabeaufforderungs-Labor im Chat-Modus ein foundation model aus und geben Sie dann alle Modellparameter an, die Sie für die Eingabeaufforderung verwenden möchten.

2. Klicken Sie auf das Symbol für das Hochladen von Dokumenten " , und wählen Sie dann Dokumente hinzufügen.

   Suchen Sie nach einer Datei oder wählen Sie ein Datenasset in Ihrem Projekt mit der Datei aus, die Sie hinzufügen möchten. Weitere Informationen über unterstützte Dateitypen finden Sie unter Grundlagendokumente.

   Wenn Sie einen robusteren Vektorindex als den standardmäßigen In-Memory-Index zum Speichern Ihrer Dokumente verwenden möchten, lesen Sie bitte den Abschnitt Erstellen eines Vektorindexes.

3. Klicken Sie auf Erstellen.

   Möglicherweise wird eine Meldung angezeigt, die besagt, dass die Erstellung des Vektorindexes im Gange ist. Um herauszufinden, wann der Index fertig ist, schließen Sie die Nachricht und klicken Sie dann auf das hochgeladene Dokument, um die Detailseite des Vektorindex-Assets zu öffnen.

4. Stellen Sie Fragen zu Informationen aus dem Dokument, um zu sehen, wie gut das Modell die Kontextinformationen nutzen kann, um Ihre Fragen zu beantworten.

   Sie können das foundation model zum Beispiel bitten, das Dokument zusammenzufassen oder nach Konzepten zu fragen, die in dem Dokument erklärt werden.

Wenn die erwarteten Antworten nicht gefunden werden, können Sie die Konfiguration des Vektorindex-Assets überprüfen und Anpassungen vornehmen. Siehe Verwaltung eines Vektorindex.

Chatten mit hochgeladenen Bildern

Laden Sie ein Bild hoch, um es der Eingabe hinzuzufügen, die Sie an ein multimodales foundation model senden. Nachdem Sie das Bild hinzugefügt haben, können Sie Fragen zum Bildinhalt stellen.

Achten Sie darauf, alle Vorschläge des Anbieters foundation model zu prüfen und umzusetzen, die dazu beitragen, das Modell auf Kurs zu halten und unangemessene Inhalte zu blockieren, wie z. B. das Hinzufügen empfohlener Systemaufforderungen. Weitere Informationen zum Bearbeiten einer Systemansage finden Sie unter Chat-Vorlagen.

Die Bildanforderungen sind wie folgt:

• Ein Bild pro Chat hinzufügen
• Unterstützte Dateitypen sind PNG oder JPEG
• Die Größe kann bis zu 4 MB betragen
• Ein Bild wird je nach Bildgröße mit etwa 1.200 bis 3.000 Token bewertet

Um mit einem Bild zu chatten, führen Sie die folgenden Schritte aus:

1. Wählen Sie im Eingabeaufforderungs-Labor im Chat-Modus ein foundation model aus, das Bilder in Text umwandeln kann, und geben Sie dann alle Modellparameter an, die Sie für die Eingabeaufforderung verwenden möchten.

2. Klicken Sie auf das Symbol Dokumente hochladen ' und wählen Sie dann Bild hinzufügen.

   Durchsuchen, um eine Bilddatei hochzuladen, oder wählen Sie ein Datenelement in Ihrem Projekt mit der Bilddatei, die Sie hinzufügen möchten.

3. Klicken Sie auf Hinzufügen.

4. Geben Sie eine Frage zum Bild ein und senden Sie die Eingabeaufforderung ab.

   Geben Sie genau an, was Sie über das Bild wissen möchten.

5. Optional: Speichern Sie den Prompt als Prompt-Vorlage oder Prompt-Sitzung.

   Hinweis: Sie können einen Chat mit einem hinzugefügten Bild nicht als Prompt-Notizbuch speichern.

   Weitere Informationen finden Sie unter Speichern Ihrer Arbeit.

Das von Ihnen hinzugefügte Bild wird in dem IBM Cloud Object Storage Bucket gespeichert, das Ihrem Projekt als Daten-Asset zugeordnet ist.

Sehen Sie sich die Beispielaufforderungen an, die für Gespräche über Bilder mit den folgenden Stiftungsmodellen verwendet werden:

• llama-3-2-11b-vision-instruct
• llama-3-2-90b-vision-instruct
• llama-guard-3-11b-vision
• pixtral-12b

Programmatische Alternative

Sie können auch die watsonx.ai Chat-API verwenden, um ein foundation model zu Bildern zu befragen. Weitere Informationen finden Sie unter Hinzufügen einer generativen Chatfunktion zu Ihren Anwendungen mit der Chat-API.

Aufrufen des Llama 3.2 11B Sichtmodells

Im folgenden Beispiel wird ein Diagramm des RAG-Musters (retrieval-augmented generation) zusammen mit der Anweisung " Explain the process that is shown in the image" an das foundation model übermittelt.

Das foundation model llama-3-2-11b-vision-instruct antwortet mit der folgenden umfassenden Erklärung:

Das Bild veranschaulicht den Prozess der Interaktion eines Benutzers mit einem Chatbot oder einem KI-System für Unterhaltungen. Hier ist eine schrittweise Aufschlüsselung:

1. Benutzereingabe: Der Benutzer initiiert das Gespräch, indem er eine Frage stellt oder eine Eingabe macht.

2. Frage: Die Anfrage des Benutzers wird vom System entgegengenommen und bearbeitet.

3. Suche: Das System durchsucht seine Wissensbasis oder Datenbank, um relevante Informationen zur Frage des Benutzers zu finden.

4. Top-Suchergebnisse: Das System ruft die wichtigsten Suchergebnisse aus dem Suchprozess ab.

5. Eingabe = Anweisung + Suchergebnisse + Frage: Das System kombiniert die Eingabe des Benutzers (Frage), die Suchergebnisse und jeden zusätzlichen Kontext oder Anweisungen, um ein umfassendes Verständnis der Absicht des Benutzers zu erhalten.

6. -Basis-Modell: Das System verwendet ein foundation model, ein umfangreiches Sprachmodell, das mit einer großen Menge von Textdaten trainiert wurde. Dieses Modell wird verwendet, um Antworten zu generieren, die kontextuell relevant und genau sind.

7. Tatsächliche Antwort: Das foundation model verarbeitet die kombinierte Eingabe und generiert eine sachliche Antwort auf der Grundlage der Suchergebnisse und der Benutzereingaben.

Zusammengefasst zeigt das Bild einen Nutzer, der mit einem Chatbot oder einem KI-System interagiert, das eine Kombination aus natürlicher Sprachverarbeitung (NLP), maschinellem Lernen und Wissensabfrage verwendet, um eine sachliche Antwort auf die Frage des Nutzers zu geben.

Aufrufen des Llama 3.2 90B Sichtmodells

Dieses Beispiel veranschaulicht, wie sich die Anweisungen, die Sie im Text geben, auf die Qualität der Ausgabe des foundation model auswirken.

Die Eingabeaufforderung, die an das foundation model übermittelt wird, enthält ein Bild, das einen effektiven Alternativtext für ein Bild einer Umsatztabelle illustriert.

Wenn die Anweisung spezifisch ist, erzeugt das foundation model eine nützliche Antwort.

Anweisung

Was sagt das Bild über den alternativen Bildtext aus?

Antwort

Das Bild zeigt, wie alternativer Text verwendet werden kann, um eine prägnante und informative Beschreibung eines Bildes für sehbehinderte Personen zu liefern. Der Beispiel-Alt-Text für ein Balkendiagramm lautet: "Balkendiagramm, das die täglichen Umsätze des Monats im Vergleich zum historischen Durchschnitt zeigt", was die wesentlichen Informationen des Bildes gut wiedergibt. Dieser Ansatz stellt sicher, dass alle Benutzer, unabhängig von ihren visuellen Fähigkeiten, auf die im Diagramm dargestellten Daten zugreifen und sie verstehen können.

Wenn Sie dem Modell eine allgemeine Anweisung geben, beschreibt das foundation model die visuellen Elemente des Bildes im Detail, interpretiert aber nicht immer die Informationen, die im Bild vermittelt werden.

Anweisung

Erklären Sie das Bild.

Antwort

Er geht auf die visuellen Elemente ein und versucht, die Informationen zu erklären, die in dem Dummy-Bild vermittelt werden, ohne den größeren Gedanken zu erfassen, der ausgedrückt wird, wie dieser Auszug aus der Antwort zeigt:

Insgesamt deutet das Bild darauf hin, dass das Unternehmen im vergangenen Jahr ein deutliches Umsatzwachstum verzeichnen konnte, mit einem bemerkenswerten Anstieg im Februar. Die rosafarbene Linie, die den durchschnittlichen monatlichen Umsatz hervorhebt, bietet einen Kontext für den Umsatztrend, der es dem Betrachter ermöglicht, die Leistung des Unternehmens schnell zu verstehen.

Verwendung des Llama Guard-Vision-Modells zur Überprüfung der Bildsicherheit

Dieses Beispiel zeigt, wie llama-guard-3-11b-vision die Sicherheit eines Bildes und des dazugehörigen Textes einstuft, die als Eingabe übermittelt werden. Weitere Informationen über die Arten von Inhalten, die als unsicher eingestuft werden, finden Sie auf der Musterkarte.

Hinweise zur Verwendung des foundation model:

• Um das Modell zu finden, wählen Sie im Dropdown-Menü des Feldes Modell die Option Alle Gründungsmodelle anzeigen. Ändern Sie die Suchfilter, indem Sie die Option Aufgabe>Chat deaktivieren und die Option Modalitäten>Bild auswählen.

• Bearbeiten Sie die Eingabeaufforderung für das foundation model nicht.

Der Screenshot zeigt, dass das Bild eines Welpen genau als safe klassifiziert wird.

Das Modell berücksichtigt sowohl das Bild als auch den Text in der Eingabeaufforderung, wenn es den Inhalt auf Sicherheit prüft. Der folgende Screenshot zeigt zum Beispiel ein harmloses Bild eines Gebäudes, aber mit einem entsprechenden Text, der um Ratschläge bittet, wie man das Gebäude unrechtmäßig betreten kann.

Die Kategorie S2 kennzeichnet Hinweise auf nicht gewalttätige Straftaten. Weitere Informationen zu den Kategorien, auf die das foundation model trainiert ist, finden Sie in der Dokumentation zu Llama Guard 3.

Ein Beispiel für einen Prompt, der Ihnen zeigt, wie Sie einen Nur-Text-Prompt übermitteln können, finden Sie unter Beispiel-Prompt: Klassifizierung von Prompts für die Sicherheit.

Aufrufen des Modells Pixtral-12b

Im folgenden Beispiel wird ein Diagramm, das die Unterschiede zwischen traditionellen KI-Modellen und Grundlagenmodellen erklärt, zusammen mit der Anweisung " What information does this image convey? an das pixtral-12b foundation model übermittelt.

Das foundation model pixtral-12b antwortet mit der folgenden umfassenden Erklärung:

Das Bild stellt die traditionellen KI-Modelle den Stiftungsmodellen gegenüber und hebt ihre jeweiligen Mechanismen und Fähigkeiten hervor.

Traditionelle AI-Modelle Auf der linken Seite des Bildes sind traditionelle KI-Modelle abgebildet. Diese Modelle funktionieren wie folgt:

1. Training: Jedes Modell wird anhand eines bestimmten Datentyps trainiert (dargestellt durch verschiedene Symbole, wie z. B. ein Dokument, eine Datenbank, eine Kalkulationstabelle usw.).
2. Modelle: Für jede Art von Daten wird ein eigenes Modell erstellt (model_1, model_2, model_3 usw.).
3. Aufgaben: Jedes Modell ist auf bestimmte Aufgaben spezialisiert, die durch grüne Häkchen gekennzeichnet sind.

Fundamentmodelle Auf der rechten Seite des Bildes sind Fundamentmodelle abgebildet:

1. Massive externe Daten: Foundation-Modelle werden auf einer riesigen Menge unterschiedlicher externer Daten trainiert, die durch verschiedene Symbole dargestellt werden, darunter eine Datenbank, ein Dokument, ein Code und vieles mehr. Ein Grundmodell: Dieses Modell wird anhand der umfangreichen externen Daten trainiert, so dass es eine Vielzahl von Aufgaben bewältigen kann.
2. Aufforderungen: Die Aufgaben werden mit Hilfe von Aufforderungen ausgeführt, die die Antworten des Modells anleiten.
3. Aufgaben: Das foundation model kann mehrere Aufgaben bewältigen, darunter:
   • Übersetzung
   • Textgenerierung
   • Codegenerierung
   • Beantwortung von Sachfragen

Zusammenfassung

• Traditionelle KI-Modelle: Spezialisiert auf bestimmte Aufgaben, nachdem sie auf bestimmten Datensätzen trainiert wurden.
• Grundlegende Modelle: An umfangreichen, vielfältigen Datensätzen trainiert, so dass sie mehrere Aufgaben mit einem einzigen Modell unter Verwendung von Eingabeaufforderungen bearbeiten können.

Weitere Informationen

• Hinzufügung von vektorisierten Dokumenten für die Eingabeaufforderungen des foundation model
• Retrieval-augmented generation (RAG)
• Verwendung von vektorisiertem Text mit durch Abruf erweiterten Generierungsaufgaben
• Hinzufügen einer generativen Chatfunktion zu Ihren Anwendungen mit der Chat-API

Übergeordnetes Thema: Labor für Eingabeaufforderung