Eine Sammlung von Open-Source- und IBM steht für die Inferenzierung in IBM watsonx.ai zur Verfügung. Finden Sie die Basismodelle, die am besten zu den Anforderungen Ihrer generativen KI-Anwendung und Ihrem Budget passen.
Die Basismodelle, die für das Inferencing von watsonx.ai zur Verfügung stehen, werden auf verschiedene Weise gehostet:
- Mit watsonx.ai bereitgestellte Stiftungsmodelle
- IBM Basismodelle, die auf mandantenfähiger Hardware von IBM bereitgestellt werden und für die Inferenzierung verfügbar sind. Sie zahlen nach verbrauchten Token. Siehe die mit watsonx.ai bereitgestellten Stiftungsmodelle.
- Einsatz von On-Demand-Gründungsmodellen
- Eine Instanz eines IBM foundation model, das Sie bereitstellen und das speziell für Ihre Inferencing-Verwendung bestimmt ist. Nur Kollegen, die Zugriff auf die Bereitstellung haben, können auf das foundation model zugreifen. Eine dedizierte Bereitstellung bedeutet schnellere und reaktionsschnellere Interaktionen ohne Ratenbeschränkungen. Sie zahlen für das Hosting des foundation model stundenweise. Siehe Bereitstellung von On-Demand-Foundation-Modellen.
- Angepasste Basismodelle
- Von Ihnen kuratierte Basismodelle, die Sie in watsonx.ai importieren und einsetzen. Die Instanz des benutzerdefinierten foundation model, die Sie bereitstellen, ist für Ihre Verwendung bestimmt. Eine gezielte Bereitstellung bedeutet schnellere und reaktionsschnellere Interaktionen. Sie zahlen für das Hosting des foundation model stundenweise. Siehe Benutzerdefinierte Gründungsmodelle.
- Aufeinander abgestimmte Gründungsmodelle
- Eine Teilmenge der verfügbaren Fundamentmodelle, die durch eine sofortige Abstimmung des Modells über die API oder Tuning Studio an Ihre Bedürfnisse angepasst werden können. Ein prompter abgestimmtes foundation model stützt sich auf das zugrundeliegende IBM foundation model. Sie zahlen für die Ressourcen, die Sie zur Abstimmung des Modells verbrauchen. Nachdem das Modell abgestimmt ist, zahlen Sie mit Token, die zur Inferenz des Modells verwendet werden. Siehe Prompt-abgestimmte Gründungsmodelle.
Wenn Sie die Basismodelle in Ihrem eigenen Rechenzentrum einsetzen möchten, können Sie die watsonx.ai erwerben. Weitere Informationen finden Sie unter Überblick über IBM watsonx as a Service und IBM watsonx.governance Software.
Vergleich der Verteilungsmethoden
Die Vergleichstabelle hilft Ihnen bei der Auswahl der richtigen Bereitstellungsmethode.
| Bereitstellungstyp | Verfügbar ab | Mechanismus für den Einsatz | Hosting-Umgebung | Abrechnungsmethode | Abschreibungspolitik |
|---|---|---|---|---|---|
| Mit watsonx.ai bereitgestellte Stiftungsmodelle | - Ressourcendrehscheibe>Pay per token - Prompt Lab |
Kuratiert und bereitgestellt von IBM | Mehrmandantenfähige Hardware | Nach verwendeten Token | Veraltet gemäß dem veröffentlichten Lebenszyklus |
| Einsatz von On-Demand-Gründungsmodellen | - Ressourcen-Hub>Stundenweise Bezahlung - Prompt Lab |
Auf Ihren Wunsch von IBM zusammengestellt und bereitgestellt | dedizierte Hardware | Nach Einsatzstunden | Ihr eingesetztes Modell ist nicht veraltet |
| Angepasste Basismodelle | • Prompt Lab | Von Ihnen kuratiert und eingesetzt | dedizierte Hardware | Nach Einsatzstunden | Nicht veraltet |
| Aufeinander abgestimmte Gründungsmodelle | • Prompt Lab | Abgestimmt und eingesetzt von Ihnen | Mehrmandantenfähige Hardware | - Schulung wird nach CUH abgerechnet - Inferencing wird nach verwendeten Token abgerechnet |
Veraltet, wenn das zugrunde liegende Modell veraltet ist, es sei denn, Sie fügen das zugrunde liegende Modell als benutzerdefiniertes foundation model hinzu |
Einzelheiten zur Berechnung und Überwachung der Modellpreise finden Sie unter Abrechnungsdetails für generative KI-Assets.
Unterstützte Gründungsmodelle nach Bereitstellungsmethode
Bei watsonx.ai sind verschiedene Basismodelle erhältlich, die Sie entweder sofort nutzen können oder die Sie auf dedizierter Hardware für Ihre Organisation einsetzen können.
Mit watsonx.ai bereitgestellte Stiftungsmodelle
Eine Sammlung von Open-Source-und IBM -Basismodellen wird in IBM watsonx.aibereitgestellt. Sie können diese Gründungsmodelle im Prompt Lab oder programmatisch abfragen.
IBM, die mit watsonx.ai bereitgestellt werden
In der folgenden Tabelle sind die unterstützten IBM Foundation-Modelle aufgeführt, die IBM für das Inferencing bereitstellt.
Die Nutzung wird in Ressourceneinheiten (RU) gemessen; jede Einheit entspricht 1.000 Token aus dem Input und Output des foundation model Inferencing. Einzelheiten zur Berechnung und Überwachung der Modellpreise finden Sie unter Abrechnungsdetails für generative KI-Assets.
Einige IBM Foundation-Modelle sind auch in Repositories von Drittanbietern verfügbar, z. B. bei Hugging Face. IBM Foundation-Modelle, die Sie aus einem Repository eines Drittanbieters beziehen, werden von IBM nicht entschädigt. Nur IBM Foundation-Modelle, auf die Sie über watsonx.ai zugreifen, werden von IBM entschädigt. Weitere Informationen zum vertraglichen Schutz im Zusammenhang mit der Entschädigung IBM finden Sie in der IBM Kundenbeziehungsvereinbarung und der IBM watsonx.ai Servicebeschreibung.
Mit watsonx.ai bereitgestellte Stiftungsmodelle von Drittanbietern
In der folgenden Tabelle sind die unterstützten Foundation-Modelle von Drittanbietern aufgeführt, die mit watsonx.ai bereitgestellt werden.
Die Nutzung wird in Ressourceneinheiten (RU) gemessen; jede Einheit entspricht 1.000 Token aus dem Input und Output des foundation model Inferencing. Einzelheiten zur Berechnung und Überwachung der Modellpreise finden Sie unter Abrechnungsdetails für generative KI-Assets.
| Modellname | Einbindung | USD/1,000 Token) |
USD/1,000 Token) |
Kontextfenster (Eingabe- und Ausgabe-Token) |
Weitere Informationen |
|---|---|---|---|---|---|
| allam-1-13b-instruct | Nationales Zentrum für Künstliche Intelligenz und saudische Behörde für Daten und Künstliche Intelligenz | $0.0018 | $0.0018 | 4.096 | - Modellkarte |
| codellama-34b-instruct | Code Llama | $0.0018 | $0.0018 | 16.384 | - Musterkarte - ' Meta AI Blog |
| elyza-japanese-llama-2-7b-instruct | ELYZA, Inc. | $0.0018 | $0.0018 | 4.096 | - Musterkarte - Blog auf note.com |
| flan-t5-xl-3b | $0.0006 | $0.0006 | 4.096 | - Musterkarte - Forschungspapier Hinweis: Dieses foundation model kann zeitnah angepasst werden.
|
|
| flan-t5-xxl-11b | $0.0018 | $0.0018 | 4.096 | - Musterkarte - Forschungspapier |
|
| flan-ul2-20b | $0.0050 | $0.0050 | 4.096 | - Musterkarte - ForschungspapierUL2 - Forschungspapier Flan |
|
| jais-13b-chat | Inception, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) und Cerebras Systems | $0.0018 | $0.0018 | 2.048 | - Musterkarte - Forschungspapier |
| llama-3-3-70b-instruct | Meta | $0.0018 | $0.0018 | 131.072 | - Musterkarte - ' Meta AI Blog |
| llama-3-2-1b-instruct | Meta | $0.0001 | $0.0001 | 131.072 | - Musterkarte - ' Meta AI blog - Forschungspapier |
| llama-3-2-3b-instruct | Meta | $0.00015 | $0.00015 | 131.072 | - Musterkarte - ' Meta AI blog - Forschungspapier |
| llama-3-2-11b-vision-instruct | Meta | $0.00035 | $0.00035 | 131.072 | - Musterkarte - ' Meta AI blog - Forschungspapier |
| llama-3-2-90b-vision-instruct | Meta | $0.0020 | $0.0020 | 131.072 | - Musterkarte - ' Meta AI blog - Forschungspapier |
| llama-guard-3-11b-vision | Meta | $0.00035 | $0.00035 | 131.072 | - Musterkarte - ' Meta AI blog - Forschungspapier |
| llama-3-1-8b-instruct | Meta | $0.0006 | $0.0006 | 131.072 | - Musterkarte - ' Meta AI Blog |
| llama-3-1-70b-instruct | Meta | $0.0018 | $0.0018 | 131.072 | - Musterkarte - ' Meta AI Blog |
| llama-3-405b-instruct | Meta | $0.0050 | $0.016 | 16.384 | - Musterkarte - ' Meta AI Blog |
| llama-3-8b-instruct | Meta | $0.0006 | $0.0006 | 8.192 | - Musterkarte - ' Meta AI Blog |
| llama-3-70b-instruct | Meta | $0.0018 | $0.0018 | 8.192 | - Musterkarte - ' Meta AI Blog |
| llama-2-13b-chat | Meta | $0.0006 | $0.0006 | 4.096 | - Musterkarte - Forschungspapier |
| mistral-large | Mistral AI | $0.003 | $0.01 | 32.768 | - Modellkarte - Blogbeitrag für Mistral Large 2 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $0.0006 | $0.0006 | 32.768 | - Musterkarte - Forschungspapier |
| mt0-xxl-13b | BigScience | $0.0018 | $0.0018 | 4.096 | - Musterkarte - Forschungspapier |
| pixtral-12b | Mistral AI | $0.00035 | $0.00035 | 128.000 | - Modellkarte - Blogbeitrag für Pixtral 12B |
- Weitere Informationen zu den unterstützten Basismodellen, die IBM für die Einbettung und das Reranking von Text bereitstellt, finden Sie unter Unterstützte Encoder-Basismodelle.
- Eine Liste der Modelle, die in den einzelnen regionalen Rechenzentren angeboten werden, finden Sie unter Regionale Verfügbarkeit des foundation model.
- Informationen zu Preisen und Tarifbegrenzungen finden Sie unter watsonx.ai Laufzeitpläne.
Angepasste Basismodelle
Sie können nicht nur mit Foundation-Modellen arbeiten, die von IBM kuratiert wurden, sondern auch Ihre eigenen Foundation-Modelle hochladen und einsetzen. Nachdem die benutzerdefinierten Modelle bereitgestellt und bei watsonx.ai registriert wurden, können Sie Prompts erstellen, die auf die benutzerdefinierten Modelle aus dem Prompt Lab und aus der watsonx.ai schließen lassen.
Weitere Informationen über das Hochladen, Registrieren und Bereitstellen eines benutzerdefinierten foundation model finden Sie unter Bereitstellen eines benutzerdefinierten foundation model.
Einsatz von On-Demand-Gründungsmodellen
Wählen Sie aus einer Reihe von IBM Modellen ein foundation model aus, das Sie für die ausschließliche Verwendung in Ihrem Unternehmen bereitstellen.
Weitere Informationen über die Bereitstellung eines foundation model bei Bedarf finden Sie unter Bereitstellen von Foundation-Modellen bei Bedarf.
Bereitstellung von On-Demand-Foundation-Modellen von IBM
In der folgenden Tabelle sind die IBM Foundation-Modelle aufgeführt, die Sie bei Bedarf einsetzen können.
Einige IBM Foundation-Modelle sind auch in Repositories von Drittanbietern verfügbar, z. B. bei Hugging Face. IBM Foundation-Modelle, die Sie aus einem Repository eines Drittanbieters beziehen, werden von IBM nicht entschädigt. Nur IBM Foundation-Modelle, auf die Sie über watsonx.ai zugreifen, werden von IBM entschädigt. Weitere Informationen zum vertraglichen Schutz im Zusammenhang mit der Entschädigung IBM finden Sie in der IBM Kundenbeziehungsvereinbarung und der IBM watsonx.ai Servicebeschreibung.
| Modellname | Preis pro Stunde in USD | Kategorie Modell-Hosting | Kontextfenster (Eingabe- und Ausgabe-Token) |
|---|---|---|---|
| granite-13b-chat-v2 | $5.22 | Klein | 8.192 |
| granite-13b-instruct-v2 | $5.22 | Klein | 8.192 |
| granite-20b-code-base-schema-linking | $5.22 | Klein | 8.192 |
| granite-20b-code-base-sql-gen | $5.22 | Klein | 8.192 |
| granite-3-8b-base | $5.22 | Klein | 4.096 |
Bereitstellung von On-Demand-Grundlagenmodellen von Drittanbietern
In der folgenden Tabelle sind die Foundation-Modelle von Drittanbietern aufgeführt, die Sie bei Bedarf einsetzen können.
| Modellname | Einbindung | Preis pro Stunde in USD | Kategorie Modell-Hosting | Kontextfenster (Eingabe- und Ausgabe-Token) |
|---|---|---|---|---|
| flan-t5-xl-3b | $5.22 | Klein | 4.096 | |
| flan-t5-xxl-11b | $5.22 | Klein | 4.096 | |
| flan-ul2-20b | $5.22 | Klein | 4.096 | |
| llama-2-13b-chat | Meta | $5.22 | Klein | 4.096 |
| llama-2-70b-chat | Meta | $20.85 | Groß | 4.096 |
| llama-3-8b-instruct | Meta | $5.22 | Klein | 8.192 |
| llama-3-70b-instruct | Meta | $20.85 | Groß | 8.192 |
| llama-3-1-8b | Meta | $5.22 | Klein | 131.072 |
| llama-3-1-8b-instruct | Meta | $5.22 | Klein | 131.072 |
| llama-3-3-70b-instruct | Meta | $10.40 | Mittel | 8.192 |
| llama-3-3-70b-instruct-hf | Meta | $20.85 | Groß | 8.192 |
| mixtral-8x7b-base | Mistral AI | $10.40 | Mittel | 32.768 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $10.40 | Mittel | 32.768 |
| mistral-nemo-instruct-2407 | Mistral AI | $5.22 | Klein | 131.072 |
| mt0-xxl-13b | BigScience | $5.22 | Klein | 4.096 |
Aufeinander abgestimmte Gründungsmodelle
Sie können die folgenden Basismodelle anpassen, indem Sie sie in ' watsonx.ai:' prompt einstellen
Weitere Informationen finden Sie unter Tuning Studio.
Weitere Informationen
- Details zum Gründungsmodell
- Abrechnungsdetails für generative AI-Assets
- Regionale Verfügbarkeit des foundation model
Übergeordnetes Thema: Abgenerative KI-Lösungen entwickeln