Auswahl eines foundation model in watsonx.ai

Zurück zur englischen Version der Dokumentation

Letzte Aktualisierung: 18. Dez. 2024

Auswahl eines foundation model in watsonx.ai

Bei der Auswahl eines foundation model für das Inferencing eines generativen KI-Projekts sind viele Faktoren zu berücksichtigen.

Bestimmen Sie, welche Faktoren für Sie und Ihr Unternehmen am wichtigsten sind.

Aufgaben, die das Modell erledigen kann
Multimodale Gründungsmodelle
Sprachen, unterstützte
Einstellungsmöglichkeiten für die Anpassung des Modells
Lizenz- und IP-Entschädigungsbedingungen
Modellattribute, wie Größe, Architektur und Länge des Kontextfensters

Nachdem Sie eine kurze Liste von Modellen erstellt haben, die Ihren Anforderungen am besten entsprechen, können Sie die Modelle testen, um herauszufinden, welche Modelle die gewünschten Ergebnisse liefern.

Basismodelle, die Ihren Anwendungsfall unterstützen

Suchen Sie zunächst nach Basismodellen, die den Typ der auszuführenden Task ausführen können.

Die folgende Tabelle zeigt die Arten von Aufgaben, die die Basismodelle in IBM watsonx.ai unterstützen. Ein Häkchen (✓) zeigt an, dass die Aufgabe, die in der Spaltenüberschrift genannt wird, vom foundation model unterstützt wird. Bei einigen Aufgaben können Sie auf einen Link klicken, um zu einer Musterabfrage für die Aufgabe zu gelangen. Alternativ können Sie sich unter Musteraufforderungen verschiedene Beispiele für Aufforderungen ansehen, die nach Aufgabentyp gruppiert sind.

Tabelle 1a. Unterstützung von Basismodelltasks
Modell	Dialog	Codegenerierung und -umsetzung	Tool-Interaktion über Chat-API	(Klassifizierung, Extraktion, Q&A, Zusammenfassung)	Retrieval-augmented Generation (RAG)	Übersetzung
granite-13b-instruct-v2	✓ Chat von Prompt Lab			✓ Generation Probe	✓ RAG von Prompt Lab
granite-7b-lab	✓ Chat von Prompt Lab			Stichprobe	✓ - RAG von Prompt Lab - RAG von AutoAI
granite-8b-japanese				Probe		✓ Übersetzungsbeispiel
granite-20b-multilingual	✓ Chat von Prompt Lab			✓	✓ RAG von Prompt Lab	✓ Übersetzungsbeispiel
granite-3-2b-instruct	✓ Beispiele: - Chat von Prompt Lab - Von Chat API: Beispiel	✓ Code-Beispiel		✓		✓
granite-3-8b-instruct	✓ Beispiele: - Chat von Prompt Lab - Von Chat API: Beispiel	✓ Code-Beispiel	✓ Muster für den Aufruf von Werkzeugen	✓		✓
granite-guardian-3-2b	✓ Chat von Prompt Lab			✓	✓ RAG von Prompt Lab
granite-guardian-3-8b	✓ Chat von Prompt Lab			✓	✓ RAG von Prompt Lab
granite-3b-code-instruct	✓ Chat von Prompt Lab	✓ Code-Beispiel
granite-8b-code-instruct	✓ Chat von Prompt Lab	✓ Code-Beispiel
granite-20b-code-instruct	✓ Beispiele: - Chat von Prompt Lab - Von Chat API: Beispiel	✓ Code-Beispiel
granite-20b-code-base-schema-linking		✓ Text-zu-SQL-Code
granite-20b-code-base-sql-gen		✓ Text-zu-SQL-Code
granite-34b-code-instruct	✓ Beispiele: - Chat von Prompt Lab - Von Chat API: Beispiel	✓ Code-Beispiel
allam-1-13b-instruct	✓ Chat von Prompt Lab			✓ Klassifizierungsmuster		✓ Übersetzungsbeispiel
codellama-34b-instruct-hf		✓ Code-Beispiel
elyza-japanese-llama-2-7b-instruct				✓ Klassifizierungsmuster		✓ Übersetzungsbeispiel
flan-t5-xl-3b				✓	✓ RAG von Prompt Lab
flan-t5-xxl-11b				✓ Beispiele: - Fragen und Antworten - Klassifizierung - Zusammenfassung	✓ RAG von Prompt Lab	✓
flan-ul2-20b				✓ Beispiele: - Fragen und Antworten - Klassifizierung - Extraktion - Verdichtung	✓ RAG von Prompt Lab - RAG von AutoAI
jais-13b-chat	✓ Chat von Prompt Lab : Beispiel-Chat			✓		✓
llama-3-3-70b-instruct	✓ Beispiele: - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel		✓ Muster für den Aufruf von Werkzeugen	✓	✓ RAG von Prompt Lab
llama-3-2-1b-instruct	✓ - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel	✓ Code-Beispiel	✓ Muster für den Aufruf von Werkzeugen	✓	✓ RAG von Prompt Lab
llama-3-2-3b-instruct	✓ - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel	✓ Code-Beispiel		✓	✓ RAG von Prompt Lab
llama-3-2-11b-vision-instruct	✓ Beispiele: - Chat von Prompt Lab : Chat mit Bildbeispiel - Aus Chat-API: Beispiel		✓ Muster für den Aufruf von Werkzeugen	✓	✓ RAG von Prompt Lab
llama-3-2-90b-vision-instruct	✓ Beispiele: - Chat von Prompt Lab : Chat mit Bildbeispiel - Aus Chat-API: Beispiel		✓ Muster für den Aufruf von Werkzeugen		✓ RAG von Prompt Lab
llama-3-1-8b	✓ Chat von Prompt Lab : Beispiel-Chat		✓	✓	✓ Proben: - RAG von Prompt Lab
llama-3-1-8b-instruct	✓ Chat von Prompt Lab : Beispiel-Chat		✓ Muster für den Aufruf von Werkzeugen	✓	✓ Beispiele: - RAG von Prompt Lab - RAG von AutoAI
llama-3-1-70b-instruct	✓ Beispiele: - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel		✓ Muster für den Aufruf von Werkzeugen	✓	✓ - RAG von Prompt Lab - RAG von AutoAI
llama-3-405b-instruct	✓ - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel		✓ Muster für den Aufruf von Werkzeugen	✓	✓ RAG von Prompt Lab
llama-3-8b-instruct	✓ Beispiele: - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel				✓ RAG von Prompt Lab
llama-3-70b-instruct	✓ Beispiele: - Chat von Prompt Lab : Beispiel-Chat - Von Chat-API: Beispiel			✓	✓ - RAG von Prompt Lab - RAG von AutoAI
llama-2-13b-chat	✓ Chat von Prompt Lab : Beispiel-Chat			✓	✓ RAG von Prompt Lab
llama-guard-3-11b-vision	✓ Beispiele: - Chat von Prompt Lab : Chat mit Bildbeispiel - Aus Chat-API: Beispiel			✓ Klassifizierungsmuster	✓ RAG von Prompt Lab
mistral-large	✓ Beispiele: - Chat von Prompt Lab - Von Chat API: Beispiel	✓ Code-Beispiel	✓ Muster für den Aufruf von Werkzeugen	✓ Beispiele: - Klassifizierung - Extraktion - Verdichtung	✓ - RAG von Prompt Lab - RAG von AutoAI	✓ Übersetzung
mixtral-8x7b-base	✓ Chat von Prompt Lab	✓ Code-Beispiel		✓ Beispiele: - Klassifizierung - Extraktion - Erzeugung ' - Verdichtung	✓ - RAG von Prompt Lab	✓ Übersetzungsbeispiel
mixtral-8x7b-instruct-v01	✓ Chat von Prompt Lab	✓ Code-Beispiel		✓ Beispiele: - Klassifizierung - Extraktion - Erzeugung ' - Verdichtung	✓ - RAG von Prompt Lab - RAG von AutoAI	✓ Übersetzungsbeispiel
mixtral-nemo-instruct-2407	✓ Chat von Prompt Lab	✓ Code-Beispiel		✓ Beispiele: - Klassifizierung - Extraktion - Erzeugung ' - Verdichtung	✓ - RAG von Prompt Lab	✓ Übersetzungsbeispiel
mt0-xxl-13b				✓ Beispiele: - Klassifizierung - Fragen und Antworten	✓ RAG von Prompt Lab
pixtral-12b	✓ Chat von Prompt Lab : Chat mit Bildbeispiel	✓		✓ Beispiele: - Klassifizierung - Extraktion - Verdichtung	✓ RAG von Prompt Lab

Multimodale Stiftungsmodelle

Multimodale Grundlagenmodelle sind in der Lage, Informationen aus vielen Modalitäten oder Datentypen zu verarbeiten und zu integrieren. Diese Modalitäten können Text, Bilder, Audio, Video und andere Formen von Sinneseindrücken umfassen.

Die multimodalen Basismodelle, die von watsonx.ai zur Verfügung gestellt werden, können die folgenden Arten von Aufgaben erfüllen:

Bild-zu-Text-Generierung: Nützlich für die Beantwortung visueller Fragen, die Interpretation von Diagrammen und Schaubildern, die Beschriftung von Bildern und vieles mehr.

In der folgenden Tabelle sind die verfügbaren Stiftungsmodelle aufgeführt, die andere Modalitäten als Texteingabe und Textausgabe unterstützen.

Tabelle 1b. Unterstützte multimodale Stiftungsmodelle
Modell	Modalitäten der Eingabe	Modalitäten der Ausgabe
llama-3-2-11b-vision-instruct	Bild, Text	Text
llama-3-2-90b-vision-instruct	Bild, Text	Text
llama-guard-3-11b-vision	Bild, Text	Text
pixtral-12b	Bild, Text	Text

Basismodelle, die Ihre Sprache unterstützen

Viele Gründungsmodelle funktionieren gut nur auf Englisch. Einige Modellersteller enthalten jedoch mehrere Sprachen in den Datasets vor dem Training, um ihr Modell für Tasks in verschiedenen Sprachen zu optimieren und die Leistung ihres Modells in mehreren Sprachen zu testen. Wenn Sie planen, eine Lösung für eine globale Zielgruppe oder eine Lösung zu erstellen, die Übersetzungstasks ausführt, suchen Sie nach Modellen, die mit mehrsprachiger Unterstützung erstellt wurden.

In der folgenden Tabelle sind natürliche Sprachen aufgelistet, die zusätzlich zu Englisch nach Basismodellen in watsonx.aiunterstützt werden. Weitere Informationen zu den Sprachen, die für mehrsprachige Gründungsmodelle unterstützt werden, finden Sie in der Modellkarte für das foundation model.

Tabelle 2. Basismodelle, die andere natürliche Sprachen als Englisch unterstützen
Modell	Andere Sprachen als Englisch
granite-8b-japanese	Japanisch
granite-20b-multilingual	Deutsch, Spanisch, Französisch und Portugiesisch
Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct )	Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch (vereinfacht)
Granite 3 granite-3-8b-base )	Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch, Chinesisch (vereinfacht)
allam-1-13b-instruct	Arabisch
elyza-japanese-llama-2-7b-instruct	Japanisch
flan-t5-xl-3b	Mehrsprachig(siehe Modellkarte)
flan-t5-xxl-11b	Französisch, Deutsch
jais-13b-chat	Arabisch
Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf )	Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. Auch llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, und llama-guard-3-11b-vision mit reinen Texteingaben)	Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct)	Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai
mistral-large	Mehrsprachig(siehe Modellkarte)
mixtral-8x7b-base, mixtral-8x7b-instruct-v01	Französisch, Deutsch, Italienisch, Spanisch
mistral-nemo-instruct-2407	Mehrere Sprachen, insbesondere Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Japanisch, Koreanisch, Arabisch und Hindi.
mt0-xxl-13b	Mehrsprachig(siehe Modellkarte)

Basismodelle, die Sie optimieren können

Einige der in watsonx.ai verfügbaren Basismodelle können an Ihre Anforderungen angepasst werden.

Die folgende Optimierungsmethode wird unterstützt:

Prompt-Abstimmung: Führt Abstimmungsexperimente durch, bei denen der Prompt-Vektor angepasst wird, der mit der Eingabe des foundation model verbunden ist. Nach mehreren Durchläufen wird der Aufforderungsvektor gefunden, der das foundation model am besten dazu anleitet, die für Ihre Aufgabe geeignete Ausgabe zu liefern.

Die folgende Tabelle zeigt die Methoden für die Optimierung von Basismodellen, die in IBM watsonx.aiverfügbar sind. Ein Häkchen (✓) zeigt an, dass die in der Spaltenüberschrift genannte Abstimmungsmethode vom foundation model unterstützt wird.

Tabelle 3. Verfügbare Optimierungsmethoden
Modellname	Prompt-Tuning
flan-t5-xl-3b	✓
granite-13b-instruct-v2	✓

Weitere Informationen finden Sie unter Tuning Studio.

Modelltypen und IP-Entschädigung

Prüfen Sie die Entschädigungsrichtlinien für geistiges Eigentum für das foundation model, das Sie verwenden möchten. Einige Drittanbieter von foundation model verlangen von Ihnen, dass Sie sie von der Haftung für Verletzungen des geistigen Eigentums freistellen, die sich aus der Verwendung ihrer KI-Modelle ergeben könnten.

IBM-entwickelte Basismodelle, die von watsonx.ai zur Verfügung gestellt werden, haben einen standardmäßigen Schutz des geistigen Eigentums, ähnlich dem, den IBM für Hardware- und Softwareprodukte bietet.

IBM dehnt seine Standardentschädigung für geistiges Eigentum auf den Output aus, der von den erfassten Modellen erzeugt wird. Die abgedeckten Modelle umfassen IBM-entwickelte und einige von Drittanbietern stammende Basismodelle, die von watsonx.ai verfügbar sind. Abgedeckte Modelle von Drittanbietern sind in Tabelle 4 aufgeführt.

In der folgenden Tabelle werden die verschiedenen foundation model und ihre Entschädigungspolitik beschrieben. Weitere Einzelheiten finden Sie in den Referenzmaterialien.

Tabelle 4. Einzelheiten der Entschädigungspolitik
Modell der Stiftung	Entschädigungspolitik	Basismodelle	Details zu	Referenzmaterialien
IBM Abgedecktes Modell	Unbegrenzte IBM-Entschädigung	- IBM Granite - IBM Schiefer	IBM entwickelte Grundlagenmodelle, die unter watsonx.ai erhältlich sind. Um die IBM IP-Entschädigungsdeckung für die Modellausgabe zu erhalten, müssen Sie die folgenden Maßnahmen ergreifen: - Anwendung von KI-Leitplanken auf Inferenzanfragen ' - Verwendung von watsonx.governance, das als separater Service angeboten wird, zur Protokollierung und Überwachung der Ausgabe foundation model	Servicebeschreibung
Drittes gedecktes Modell	Begrenzte IBM-Entschädigung	Mistral Large	Von Dritten abgedeckte Modelle, die von watsonx.ai erhältlich sind. Um die IBM IP-Entschädigungsdeckung für die Modellausgabe zu erhalten, müssen Sie die folgenden Maßnahmen ergreifen: - Anwendung von KI-Leitplanken auf Inferenzanfragen ' - Verwendung von watsonx.governance, das als separater Service angeboten wird, zur Protokollierung und Überwachung der Ausgabe foundation model	Servicebeschreibung
Nicht-IBM Produkt	Keine IBM Entschädigung	Verschiedene	Modelle von Drittanbietern, die von watsonx.ai erhältlich sind und deren jeweiligen Lizenzbedingungen unterliegen, einschließlich der damit verbundenen Verpflichtungen und Einschränkungen.	Siehe Modellinformationen.
Angepasstes Modell	Keine IBM Entschädigung	Verschiedene	Foundation-Modelle, die Sie zur Verwendung in watsonx.ai importieren, sind Client-Inhalte.	Der Kunde ist allein verantwortlich für die Auswahl und Verwendung des Modells und des Outputs sowie für die Einhaltung der Lizenzbedingungen, Verpflichtungen und Einschränkungen Dritter.

Weitere Informationen finden Sie in den folgenden Abschnitten:

KI-Leitfäden
Übersicht über watsonx.governance
Unterstützte Gründungsmodelle (enthält Links zu den Lizenzbedingungen für Modelle von Drittanbietern)

Weitere Überlegungen zur Auswahl eines Modells

Tabelle 5. Überlegungen zur Auswahl eines foundation model in IBM watsonx.ai
Modell, Attribut	Überlegungen
Kontextlänge	Manchmal auch als Kontextfensterlänge, Kontextfensteroder maximale Sequenzlängebezeichnet, ist die Kontextlänge der maximal zulässige Wert für die Anzahl der Tokens in der Eingabeaufforderung plus die Anzahl der Tokens in der generierten Ausgabe. Wenn Sie Ausgaben mit Modellen in watsonx.aigenerieren, wird die Anzahl der Tokens in der generierten Ausgabe durch den Parameter "Max. Token" begrenzt.
Kosten	Die Kosten für die Verwendung von Basismodellen werden in Ressourceneinheiten gemessen. Der Preis einer Ressourceneinheit richtet sich nach dem Tarif der Preisstufe für das foundation model.
Feinabgestimmt	Nachdem ein foundation model vortrainiert wurde, werden viele Basismodelle für bestimmte Aufgaben wie Klassifizierung, Informationsextraktion, Zusammenfassung, Beantwortung von Anweisungen, Beantwortung von Fragen oder Teilnahme an einem Hin- und Her-Dialog feinabgestimmt. Ein Modell, das für Tasks, die Ihrer geplanten Verwendung ähneln, optimiert wird, ist in der Regel besser mit Zero-Shot-Eingabeaufforderungen als Modelle, die nicht auf eine für Ihren Anwendungsfall passende Weise optimiert sind. Eine Möglichkeit, die Ergebnisse für ein fein optimiertes Modell zu verbessern, besteht darin, Ihre Eingabeaufforderung in demselben Format zu strukturieren wie Eingabeaufforderungen in den Datasets, die zur Feinabstimmung dieses Modells verwendet wurden.
Instruktionsoptimiert	Instruktionsoptimiert bedeutet, dass das Modell mit Eingabeaufforderungen, die eine Instruktion enthalten, fein optimiert wurde. Wenn ein Modell instruktionsoptimiert ist, reagiert es normalerweise gut auf Eingabeaufforderungen, die eine Anweisung haben, auch wenn diese Eingabeaufforderungen keine Beispiele enthalten.
IP-Schadensersatz	Überprüfen Sie zusätzlich zu den Lizenzbedingungen die Richtlinie zur Entschädigung bei geistigem Eigentum für das Modell. Weitere Informationen finden Sie unter Modelltypen und IP-Entschädigung.
Lizenz	Im Allgemeinen ist jedes foundation model mit einer anderen Lizenz verbunden, die die Nutzungsmöglichkeiten des Modells einschränkt. Überprüfen Sie Modelllizenzen, um sicherzustellen, dass Sie ein Modell für Ihre geplante Lösung verwenden können.
Modellarchitektur	Die Architektur des Modells beeinflusst das Verhalten des Modells. Ein transformatorbasiertes Modell hat in der Regel eine der folgenden Architekturen: Nur Codierer: Versteht Eingabetext auf Satzebene, indem Eingabesequenzen in Darstellungsvektoren, die als Einbettungen bezeichnet werden, umgesetzt werden. Zu den allgemeinen Tasks für reine Encoder-Modelle gehören die Klassifizierung und Entitätsextraktion. Nur Decoder: Generiert den Ausgabetext wortweise durch Inferenz aus der Eingabefolge. Allgemeine Tasks für reine Decodermodelle sind das Generieren von Text und das Beantworten von Fragen. Encoder-Decoder: Beide verstehen Eingabetext und generieren Ausgabetext auf der Basis des Eingabetexts. Gängige Aufgaben für Encoder-Decoder-Modelle sind die Übersetzung und Zusammenfassung.
Regionale Verfügbarkeit	Sie können mit Modellen arbeiten, die in demselben regionalen IBM Cloud -Rechenzentrum wie Ihre watsonx -Services verfügbar sind.
Unterstützte Programmiersprachen	Nicht alle Basismodelle funktionieren gut für die Programmierung von Anwendungsfällen. Wenn Sie planen, eine Lösung zu erstellen, die Code zusammenfasst, konvertiert, generiert oder auf andere Weise verarbeitet, überprüfen Sie, welche Programmiersprachen in den Vortrainingsdatasets eines Modells enthalten waren, und optimieren Sie die Aktivitäten, um festzustellen, ob dieses Modell für Ihren Anwendungsfall geeignet ist.

Weitere Informationen

Übergeordnetes Thema: Unterstützte Basismodelle