Auswahl eines Gründungsmodells in watsonx.ai

Letzte Aktualisierung: 07. Apr. 2025
Auswahl eines Gründungsmodells in watsonx.ai

Bei der Auswahl eines Grundmodells für die Ableitung aus einem generativen KI-Projekt sind viele Faktoren zu berücksichtigen.

Für eine Lösung, die beispielsweise Callcenter-Problemberichte zusammenfasst, benötigen Sie ein Basismodell mit folgenden Eigenschaften:

  • Erreicht gute Ergebnisse bei Benchmarks für Zusammenfassungsaufgaben
  • Verarbeitet große Textmengen, was eine große Länge des Kontextfensters bedeutet
  • Kann Bilder von beschädigten Gegenständen interpretieren und akzeptiert daher Eingaben sowohl in Text- als auch in Bildform

Bestimmen Sie, welche Faktoren für Sie und Ihr Unternehmen am wichtigsten sind.

Nachdem Sie eine kurze Liste von Modellen erstellt haben, die Ihren Anforderungen am besten entsprechen, können Sie die Modelle testen, um herauszufinden, welche Modelle die gewünschten Ergebnisse liefern.

Basismodelle, die Ihren Anwendungsfall unterstützen

Suchen Sie zunächst nach Basismodellen, die den Typ der auszuführenden Task ausführen können.

Die folgende Tabelle zeigt die Arten von Aufgaben, die die Stiftungsmodelle in IBM watsonx.ai unterstützen. Ein Häkchen (✓) zeigt an, dass die in der Spaltenüberschrift genannte Aufgabe vom Stiftungsmodell unterstützt wird. Bei einigen Aufgaben können Sie auf einen Link klicken, um zu einer Musterabfrage für die Aufgabe zu gelangen.

Tabelle 1a. Unterstützung von Basismodelltasks
Modell Dialog Werkzeuginteraktion
von Chat API
Retrieval-augmented Generation (RAG) Beispiele
granite-7b-lab
Chat von Prompt Lab

RAG von Prompt Lab

Zusammenfassungen
granite-13b-instruct-v2
Chat von Prompt Lab

RAG von Prompt Lab

Generation
granite-8b-japanese
- Q&A
- Übersetzung
granite-20b-multilingual
Chat von Prompt Lab

RAG von Prompt Lab

Übersetzung
granite-3-2-8b-instruct
Beispiele:
• Von Prompt Lab : Beispiel
• Von Chat-API: Beispiel
granite-3-2b-instruct
Beispiele:
- Chat von Prompt Lab
- Von Chat API: Beispiel

Code
granite-3-8b-instruct
Beispiele:
- Chat von Prompt Lab
- Von Chat API: Beispiel

Muster für den Aufruf von Werkzeugen

Code
granite-guardian-3-2b
Chat von Prompt Lab

RAG von Prompt Lab
granite-guardian-3-8b
Chat von Prompt Lab

RAG von Prompt Lab
granite-3b-code-instruct
Chat von Prompt Lab

Code
granite-8b-code-instruct
Chat von Prompt Lab

Code
granite-20b-code-instruct
Beispiele:
• Chat von Prompt Lab
• Von Chat-API (Multitenant): Beispiel

Code
granite-20b-code-base-schema-linking
Code
granite-20b-code-base-sql-gen
Code
granite-34b-code-instruct
Beispiele:
• Chat von Prompt Lab
• Von Chat-API (Multitenant): Beispiel

Code
granite-vision-3-2-2b
Samples:
- Chat von Prompt Lab : Chat mit Bild Beispiel
- Von Chat API: Beispiel
allam-1-13b-instruct
Chat von Prompt Lab

- Klassifizierung
- Übersetzung
codellama-34b-instruct-hf
Code
deepseek-r1-distill-llama-8b
Q&A
deepseek-r1-distill-llama-70b
Q&A
elyza-japanese-llama-2-7b-instruct
- Klassifizierung
- Übersetzung
eurollm-1-7b-instruct
Chat von Prompt Lab

- Q&A
- Übersetzung
eurollm-9b-instruct
Chat von Prompt Lab

- Q&A
- Übersetzung
flan-t5-xl-3b
RAG von Prompt Lab
flan-t5-xxl-11b
RAG von Prompt Lab

- Q&A
- Klassifizierung
-Zusammenfassung
flan-ul2-20b
RAG von Prompt Lab
RAG von AutoAI (Mandantenfähig )

- Q&A
- Klassifizierung
- Extraktion
- Verdichtung
jais-13b-chat
Chat von Prompt Lab : Beispiel-Chat
llama-3-3-70b-instruct
Beispiele:
• Chat von Prompt Lab : Beispielchat
• Von Chat-API (Multitenant): Beispiel

Multitenant: Tool-Aufruf-Beispiel (Multitenant )

RAG von Prompt Lab
llama-3-2-1b-instruct
- Chat von Prompt Lab : Beispiel-Chat
- Von Chat-API: Beispiel

Muster für den Aufruf von Werkzeugen

RAG von Prompt Lab

Code
llama-3-2-3b-instruct
- Chat von Prompt Lab : Beispiel-Chat
- Von Chat-API: Beispiel

RAG von Prompt Lab

Code
llama-3-2-11b-vision-instruct
Beispiele:
- Chat von Prompt Lab : Chat mit Bildbeispiel
- Aus Chat-API: Beispiel

Muster für den Aufruf von Werkzeugen

RAG von Prompt Lab
llama-3-2-90b-vision-instruct
Beispiele:
- Chat von Prompt Lab : Chat mit Bildbeispiel
- Aus Chat-API: Beispiel

Muster für den Aufruf von Werkzeugen

RAG von Prompt Lab
llama-3-1-8b
Chat von Prompt Lab : Beispiel-Chat

Proben:
- RAG von Prompt Lab
llama-3-1-8b-instruct
Chat von Prompt Lab : Beispielchat
• Von Chat-API (Mandantenfähigkeit): Beispiel
Mehrere Mandanten: ✓
Beispiel für Tool-Aufruf (Multitenant)

Muster:
• RAG von Prompt Lab
RAG von AutoAI (Mandantenfähig )
llama-3-1-70b-instruct
Beispiele:
• Chat von Prompt Lab : Beispielchat
• Von Chat-API (Multitenant): Beispiel
Mehrere Mandanten: ✓
Beispiel für Tool-Aufruf (Multitenant)

• RAG von Prompt Lab
RAG von AutoAI (Mandantenfähig )
llama-3-405b-instruct
- Chat von Prompt Lab : Beispiel-Chat
- Von Chat-API: Beispiel

Muster für den Aufruf von Werkzeugen

RAG von Prompt Lab
llama-3-8b-instruct
Beispiele:
- Chat von Prompt Lab : Beispiel-Chat
- Von Chat-API: Beispiel

RAG von Prompt Lab
llama-2-13b-chat
Chat von Prompt Lab : Beispiel-Chat

RAG von Prompt Lab
llama-guard-3-11b-vision
Beispiele:
- Chat von Prompt Lab : Chat mit Bildbeispiel
- Aus Chat-API: Beispiel

RAG von Prompt Lab

Klassifizierung
mistral-large (Mehrmandanten)
mistral-large -instruct-2407 (Dediziert)

Beispiele:
• Chat von Prompt Lab
• Von Chat-API (Multitenant): Beispiel

Multitenant:
Beispiel für Tool-Aufrufe (Multitenant)

• RAG von Prompt Lab
RAG von AutoAI (Mandantenfähig )

- Klassifizierung
- Extraktion
- Zusammenfassung
- Code
- Übersetzung
mistral-large-instruct-2411
Muster:
• Chat von Prompt Lab

- RAG von Prompt Lab

- Klassifizierung
- Extraktion
- Zusammenfassung
- Code
- Übersetzung
mistral-nemo-instruct-2407
Chat von Prompt Lab

- RAG von Prompt Lab

- Klassifizierung
- Extraktion
- Generierung
- Verdichtung
- Code
- Übersetzung
mistral-small-24b-instruct-2501
Chat von Prompt Lab

- RAG von Prompt Lab

- Klassifizierung
- Extraktion
- Generierung
- Verdichtung
- Code
- Übersetzung
mixtral-8x7b-base
Chat von Prompt Lab

- RAG von Prompt Lab

- Klassifizierung
- Extraktion
- Generierung
- Verdichtung
- Code
- Übersetzung
mixtral-8x7b-instruct-v01
Chat von Prompt Lab

• RAG von Prompt Lab
RAG von AutoAI (Mandantenfähig )

- Klassifizierung
- Extraktion
- Generierung
- Verdichtung
- Code
- Übersetzung
mt0-xxl-13b
RAG von Prompt Lab

- Klassifizierung
- Q&A
pixtral-12b
Chat von Prompt Lab : Chat mit Bildbeispiel

RAG von Prompt Lab

- Klassifizierung
- Extraktion
- Verdichtung

 

Multimodale Stiftungsmodelle

Multimodale Grundlagenmodelle sind in der Lage, Informationen aus vielen Modalitäten oder Datentypen zu verarbeiten und zu integrieren. Diese Modalitäten können Text, Bilder, Audio, Video und andere Formen von Sinneseindrücken umfassen.

Die multimodalen Basismodelle, die von watsonx.ai zur Verfügung gestellt werden, können die folgenden Arten von Aufgaben erfüllen:

Bild-zu-Text-Generierung
Nützlich für die Beantwortung visueller Fragen, die Interpretation von Diagrammen und Schaubildern, die Beschriftung von Bildern und vieles mehr.

In der folgenden Tabelle sind die verfügbaren Stiftungsmodelle aufgeführt, die andere Modalitäten als Texteingabe und Textausgabe unterstützen.

Tabelle 1b. Unterstützte multimodale Stiftungsmodelle
Modell Modalitäten der Eingabe Modalitäten der Ausgabe
granite-vision-3-2-2b Bild, Text Text
llama-3-2-11b-vision-instruct Bild, Text Text
llama-3-2-90b-vision-instruct Bild, Text Text
llama-guard-3-11b-vision Bild, Text Text
pixtral-12b Bild, Text Text

 

Basismodelle, die Ihre Sprache unterstützen

Viele Gründungsmodelle funktionieren gut nur auf Englisch. Einige Modellersteller enthalten jedoch mehrere Sprachen in den Datasets vor dem Training, um ihr Modell für Tasks in verschiedenen Sprachen zu optimieren und die Leistung ihres Modells in mehreren Sprachen zu testen. Wenn Sie planen, eine Lösung für eine globale Zielgruppe oder eine Lösung zu erstellen, die Übersetzungstasks ausführt, suchen Sie nach Modellen, die mit mehrsprachiger Unterstützung erstellt wurden.

In der folgenden Tabelle sind natürliche Sprachen aufgelistet, die zusätzlich zu Englisch nach Basismodellen in watsonx.aiunterstützt werden. Weitere Informationen zu den Sprachen, die für mehrsprachige Stiftungsmodelle unterstützt werden, finden Sie auf der Modellkarte für das Stiftungsmodell.

Tabelle 2. Basismodelle, die andere natürliche Sprachen als Englisch unterstützen
Modell Andere Sprachen als Englisch
granite-8b-japanese Japanisch
granite-20b-multilingual Deutsch, Spanisch, Französisch und Portugiesisch
Granite Instruct 3.2 ( granite-3-2-8b-instruct, granite-vision-3-2-2b ) Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch (vereinfacht)
Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct ) Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch (vereinfacht)
Granite 3 granite-3-8b-base ) Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch, Chinesisch (vereinfacht)
allam-1-13b-instruct Arabisch
elyza-japanese-llama-2-7b-instruct Japanisch
EuroLLM Modelle anleiten Bulgarisch, Dänisch, Deutsch, Englisch, Estnisch, Finnisch, Französisch, Griechisch, Irisch, Italienisch, Kroatisch, Lettisch, Litauisch, Maltesisch, Niederländisch, Polnisch, Portugiesisch, Rumänisch, Schwedisch, Slowakisch, Slowenisch, Spanisch, Tschechisch, Ungarisch, Arabisch, Katalanisch, Chinesisch, Galizisch, Hindi, Japanisch, Koreanisch, Norwegisch, Russisch, Türkisch und Ukrainisch
flan-t5-xl-3b Mehrsprachig(siehe Modellkarte)
flan-t5-xxl-11b Französisch, Deutsch
jais-13b-chat Arabisch
Lama 4 ( llama-4-maverick-17b-128e-instruct-fp8, llama-4-scout-17b-16e-instruct ) Arabisch, Englisch, Französisch, Deutsch, Hindi, Indonesisch, Italienisch, Portugiesisch, Spanisch, Tagalog, Thai und Vietnamesisch.
Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. Auch llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, und llama-guard-3-11b-vision mit reinen Texteingaben) Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
mistral-large Mehrsprachig(siehe Modellkarte)
mistral-large-instruct-2411, mistral-nemo-instruct-2407, mistral-small-24b-instruct-2501 Mehrere Sprachen, insbesondere Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Japanisch, Koreanisch, Arabisch und Hindi.
mixtral-8x7b-base, mixtral-8x7b-instruct-v01 Französisch, Deutsch, Italienisch, Spanisch
mt0-xxl-13b Mehrsprachig(siehe Modellkarte)

 

Basismodelle, die Sie optimieren können

Einige der in watsonx.ai verfügbaren Basismodelle können an Ihre Anforderungen angepasst werden.

Die folgende Optimierungsmethode wird unterstützt:

  • Prompt-Tuning: Führt Tuning-Experimente durch, die den Prompt-Vektor anpassen, der in der Eingabe des Grundmodells enthalten ist. Nach mehreren Durchläufen wird der schnellste Vektor gefunden, der das Fundamentmodell am besten anleiten kann, um eine Ausgabe zu erzielen, die Ihrer Aufgabe entspricht.

Die folgende Tabelle zeigt die Methoden für die Optimierung von Basismodellen, die in IBM watsonx.aiverfügbar sind. Ein Häkchen (✓) zeigt an, dass die in der Spaltenüberschrift genannte Abstimmmethode vom Basismodell unterstützt wird.

Tabelle 3. Verfügbare Optimierungsmethoden
Modellname Prompt-Tuning
flan-t5-xl-3b
granite-13b-instruct-v2

Weitere Informationen finden Sie unter Tuning Studio.

Modelltypen und IP-Entschädigung

Lesen Sie die Richtlinie zur Entschädigung für geistiges Eigentum für das Stiftungsmodell, das Sie verwenden möchten. Einige Drittanbieter von Stiftungsmodellen verlangen, dass Sie sie von der Haftung für jegliche Verletzungen des geistigen Eigentums freistellen, die sich aus der Nutzung ihrer KI-Modelle ergeben könnten.

IBM-entwickelte Basismodelle, die von watsonx.ai zur Verfügung gestellt werden, haben einen standardmäßigen Schutz des geistigen Eigentums, ähnlich dem, den IBM für Hardware- und Softwareprodukte bietet.

IBM dehnt seine Standardentschädigung für geistiges Eigentum auf den Output aus, der von den erfassten Modellen erzeugt wird. Die abgedeckten Modelle umfassen IBM-entwickelte und einige von Drittanbietern stammende Basismodelle, die von watsonx.ai verfügbar sind. Abgedeckte Modelle von Drittanbietern sind in Tabelle 4 aufgeführt.

In der folgenden Tabelle werden die verschiedenen Stiftungsmodelltypologien und ihre Entschädigungsrichtlinien beschrieben. Weitere Einzelheiten finden Sie in den Referenzmaterialien.

Tabelle 4. Einzelheiten der Entschädigungspolitik
Modell der Stiftung Entschädigungspolitik Basismodelle Details zu Referenzmaterialien
IBM Abgedecktes Modell Unbegrenzte IBM-Entschädigung - IBM Granite
- IBM Schiefer
IBM -entwickelte Fundamentmodelle, die unter watsonx.ai erhältlich sind. Siehe folgende Ressourcen:
watsonx.ai Laufzeitdienstbeschreibung
watsonx.ai Studiodienstbeschreibung
Drittes gedecktes Modell Begrenzte IBM-Entschädigung Mistral Large Modelle mit Drittanbieter-Abdeckung, die unter watsonx.ai erhältlich sind. Siehe Leistungsbeschreibung
Kein IBM-Produkt Keine IBM Entschädigung Verschiedene Modelle von Drittanbietern, die von watsonx.ai erhältlich sind und deren jeweiligen Lizenzbedingungen unterliegen, einschließlich der damit verbundenen Verpflichtungen und Einschränkungen. Siehe Modellinformationen.
Angepasstes Modell Keine IBM Entschädigung Verschiedene Foundation-Modelle, die Sie zur Verwendung in watsonx.ai importieren, sind Client-Inhalte. Der Kunde ist allein verantwortlich für die Auswahl und Verwendung des Modells und des Outputs sowie für die Einhaltung der Lizenzbedingungen, Verpflichtungen und Einschränkungen Dritter.

 

Weitere Informationen zu den Lizenzbedingungen von Drittanbietern finden Sie unter Drittanbieter-Stiftungsmodelle.

Weitere Überlegungen zur Auswahl eines Modells

Tabelle 5. Überlegungen zur Auswahl eines Stiftungsmodells in IBM watsonx.ai
Modell, Attribut Überlegungen
Kontextlänge Manchmal auch als Kontextfensterlänge, Kontextfensteroder maximale Sequenzlängebezeichnet, ist die Kontextlänge der maximal zulässige Wert für die Anzahl der Tokens in der Eingabeaufforderung plus die Anzahl der Tokens in der generierten Ausgabe. Wenn Sie Ausgaben mit Modellen in watsonx.aigenerieren, wird die Anzahl der Tokens in der generierten Ausgabe durch den Parameter "Max. Token" begrenzt.
Kosten Die Kosten für die Verwendung von Basismodellen werden in Ressourceneinheiten gemessen. Der Preis einer Ressourceneinheit basiert auf dem Preis der Preisstufe für das Gründungsmodell.
Feinabgestimmt Nach dem Vortraining eines Grundmodells werden viele Grundmodelle für spezifische Aufgaben wie Klassifizierung, Informationsextraktion, Zusammenfassung, Reaktion auf Anweisungen, Beantwortung von Fragen oder Teilnahme an einem wechselseitigen Dialog-Chat verfeinert. Ein Modell, das für Tasks, die Ihrer geplanten Verwendung ähneln, optimiert wird, ist in der Regel besser mit Zero-Shot-Eingabeaufforderungen als Modelle, die nicht auf eine für Ihren Anwendungsfall passende Weise optimiert sind. Eine Möglichkeit, die Ergebnisse für ein fein optimiertes Modell zu verbessern, besteht darin, Ihre Eingabeaufforderung in demselben Format zu strukturieren wie Eingabeaufforderungen in den Datasets, die zur Feinabstimmung dieses Modells verwendet wurden.
Instruktionsoptimiert Instruktionsoptimiert bedeutet, dass das Modell mit Eingabeaufforderungen, die eine Instruktion enthalten, fein optimiert wurde. Wenn ein Modell instruktionsoptimiert ist, reagiert es normalerweise gut auf Eingabeaufforderungen, die eine Anweisung haben, auch wenn diese Eingabeaufforderungen keine Beispiele enthalten.
IP-Schadensersatz Überprüfen Sie zusätzlich zu den Lizenzbedingungen die Richtlinie zur Entschädigung bei geistigem Eigentum für das Modell. Weitere Informationen finden Sie unter Modelltypen und IP-Entschädigung.
Lizenz Im Allgemeinen wird jedes Stiftungsmodell mit einer anderen Lizenz geliefert, die die Nutzungsmöglichkeiten des Modells einschränkt. Überprüfen Sie Modelllizenzen, um sicherzustellen, dass Sie ein Modell für Ihre geplante Lösung verwenden können.
Modellarchitektur Die Architektur des Modells beeinflusst das Verhalten des Modells. Ein transformatorbasiertes Modell hat in der Regel eine der folgenden Architekturen:
Nur Codierer: Versteht Eingabetext auf Satzebene, indem Eingabesequenzen in Darstellungsvektoren, die als Einbettungen bezeichnet werden, umgesetzt werden. Zu den allgemeinen Tasks für reine Encoder-Modelle gehören die Klassifizierung und Entitätsextraktion.
Nur Decoder: Generiert den Ausgabetext wortweise durch Inferenz aus der Eingabefolge. Allgemeine Tasks für reine Decodermodelle sind das Generieren von Text und das Beantworten von Fragen.
Encoder-Decoder: Beide verstehen Eingabetext und generieren Ausgabetext auf der Basis des Eingabetexts. Gängige Aufgaben für Encoder-Decoder-Modelle sind die Übersetzung und Zusammenfassung.
Regionale Verfügbarkeit Sie können mit Modellen arbeiten, die in demselben regionalen IBM Cloud -Rechenzentrum wie Ihre watsonx -Services verfügbar sind.
Unterstützte Programmiersprachen Nicht alle Basismodelle funktionieren gut für die Programmierung von Anwendungsfällen. Wenn Sie planen, eine Lösung zu erstellen, die Code zusammenfasst, konvertiert, generiert oder auf andere Weise verarbeitet, überprüfen Sie, welche Programmiersprachen in den Vortrainingsdatasets eines Modells enthalten waren, und optimieren Sie die Aktivitäten, um festzustellen, ob dieses Modell für Ihren Anwendungsfall geeignet ist.

Weitere Informationen

Übergeordnetes Thema: Unterstützte Basismodelle