0 / 0
Zurück zur englischen Version der Dokumentation
Einsatz von generativen AI-Assets
Letzte Aktualisierung: 30. Jan. 2025
Einsatz von generativen AI-Assets

Setzen Sie generative KI-Assets ein, um sie in der Produktion zu verwenden, und überwachen Sie diese eingesetzten Assets.

Arten von einsatzfähigen Assets für generative KI-Anwendungen

Sie können watsonx.ai verwenden, um die folgenden Assets für Ihre generativen KI-Anwendungen einzusetzen:

Bereitstellen von Prompt-Vorlagen

Nachdem Sie eine Eingabeaufforderungsvorlage als Projektasset gespeichert haben, können Sie sie in einen Bereitstellungsbereich hochstufen. Vom Bereitstellungsbereich aus können Sie Ihre Eingabeaufforderungsvorlage für die Produktion bereitstellen und den Endpunkt für die Inferenzierung abrufen.

Wenn Sie über den Service watsonx.governance verfügen, können Sie die Bereitstellungsdetails für eine Eingabeaufforderungsvorlage erfassen und verfolgen, um Governance-Anforderungen zu erfüllen.

Weitere Informationen finden Sie unter Einsatz einer Prompt-Vorlage.

Bereitstellung von KI-Diensten

Ein KI-Dienst ist eine einsetzbare Code-Einheit, die die Logik Ihrer generativen KI-Anwendungsfälle erfasst, wie z. B. die "Retrieval Augmented Generation" (RAG). Wenn Ihre KI-Dienste erfolgreich implementiert sind, können Sie den Endpunkt für Inferenzen aus Ihrer Anwendung heraus verwenden.

KI-Dienste werden automatisch erstellt, wenn Sie eine komplexe generative KI-Lösung mit visuellen Tools wie Agent Lab, Prompt Lab oder AutoAI bereitstellen. Wenn Sie beispielsweise das Agent Lab oder Prompt Lab verwenden, um Ihre agentenbasierte oder generative KI-Lösung zu erstellen und bereitzustellen, erkennt das Tool automatisch die Komplexität der Lösung und präsentiert die richtige Art von Bereitstellungsressource.

Obwohl Sie die Vorlagen für Eingabeaufforderungen verwenden können, um gespeicherte Eingabeaufforderungen in Prompt Lab zu erstellen und bereitzustellen, können Sie sie nicht verwenden, um generative KI-Anwendungen für komplexe Anwendungsfälle wie RAG bereitzustellen.

Wenn Sie sich dafür entscheiden, Ihre generative KI-Anwendung, die auf diesen komplexen Anwendungsfällen basiert, zu programmieren, müssen Sie einen KI-Dienst erstellen und sicherstellen, dass dieser bestimmte Anforderungen erfüllt. Sie können einen KI-Dienst programmgesteuert mit der watsonx.ai REST API oder der Python Client-Bibliothek bereitstellen. Nach der Bereitstellung des KI-Dienstes können Sie den Endpunkt für Schlussfolgerungen verwenden.

Weitere Informationen finden Sie unter Bereitstellen von KI-Diensten.

Einsatz von abgestimmten Modellen

Nachdem Sie ein foundation model abgestimmt haben und das abgestimmte Modell als Projektbestandteil gespeichert haben, können Sie es in einen Bereitstellungsbereich verschieben. Vom Bereitstellungsraum aus können Sie das abgestimmte Modell testen und den Endpunkt für die Inferenzierung erhalten.

Weitere Informationen finden Sie unter Bereitstellen eines abgestimmten foundation model.

Einsatz von benutzerdefinierten Foundation-Modellen

Sie können nicht nur mit von IBM kuratierten Basismodellen arbeiten, sondern auch Ihre eigenen Basismodelle hochladen und bereitstellen. Nachdem die Modelle bereitgestellt und bei watsonx.ai registriert wurden, erstellen Sie Eingabeaufforderungen, die die benutzerdefinierten Modelle aus Prompt Lab abrufen.

Der Einsatz eines benutzerdefinierten foundation model bietet Ihnen die Flexibilität, die für Ihren Anwendungsfall geeigneten KI-Lösungen zu implementieren.

Weitere Informationen finden Sie unter Bereitstellen eines benutzerdefinierten foundation model.

Bereitstellung von Basismodellen auf Abruf

Stellen Sie ein foundation model bei Bedarf auf dedizierter Hardware bereit, um das foundation model je nach Bedarf in verschiedenen Anwendungen und Diensten zu nutzen. Mit diesem Ansatz können Sie auf die Fähigkeiten dieser leistungsstarken Fundamentmodelle zugreifen, ohne dass Sie umfangreiche Rechenressourcen benötigen. Foundation-Modelle, die Sie on-demand bereitstellen, werden in einem speziellen Bereitstellungsbereich gehostet, in dem Sie diese Modelle für Inferencing verwenden können.

Weitere Informationen finden Sie unter Bereitstellen von Foundation-Modellen auf Abruf.

Weitere Informationen

Übergeordnetes Thema: Bereitstellen von Assets mit watsonx.ai Runtime