Setzen Sie generative KI-Assets ein, um sie in der Produktion zu verwenden, und überwachen Sie diese eingesetzten Assets.
Arten von einsatzfähigen Assets für generative KI-Anwendungen
Sie können watsonx.ai verwenden, um die folgenden Assets für Ihre generativen KI-Anwendungen einzusetzen:
Bereitstellen von Prompt-Vorlagen
Nachdem Sie eine Eingabeaufforderungsvorlage als Projektasset gespeichert haben, können Sie sie in einen Bereitstellungsbereich hochstufen. Vom Bereitstellungsbereich aus können Sie Ihre Eingabeaufforderungsvorlage für die Produktion bereitstellen und den Endpunkt für die Inferenzierung abrufen.
Wenn Sie über den Service watsonx.governance verfügen, können Sie die Bereitstellungsdetails für eine Eingabeaufforderungsvorlage erfassen und verfolgen, um Governance-Anforderungen zu erfüllen.
Weitere Informationen finden Sie unter Einsatz einer Prompt-Vorlage.
Bereitstellung von KI-Diensten
Ein KI-Service ist eine einsatzfähige Codeeinheit, mit der Sie die Logik Ihrer generativen KI-Anwendungsfälle, wie Retrieval Augmented Generation (RAG), erfassen können. Wenn Ihre KI-Dienste erfolgreich implementiert sind, können Sie den Endpunkt für Inferenzen aus Ihrer Anwendung heraus verwenden.
Obwohl Sie Prompt-Vorlagen verwenden können, um gespeicherte Prompts im Prompt-Labor zu erstellen und bereitzustellen, können Sie diese nicht verwenden, um generative KI-Anwendungen bereitzustellen, die Retrieval Augmented Generation (RAG) verwenden. Um RAG-Anwendungen einzusetzen, müssen Sie einen KI-Dienst bereitstellen. Die KI-Services bieten Ihnen die Möglichkeit, Ihre RAG-Anwendungen zu implementieren und den Endpunkt für Inferencing zu nutzen.
Weitere Informationen finden Sie unter Bereitstellen von KI-Diensten.
Einsatz von abgestimmten Modellen
Nachdem Sie ein foundation model abgestimmt haben und das abgestimmte Modell als Projektbestandteil gespeichert haben, können Sie es in einen Bereitstellungsbereich verschieben. Vom Bereitstellungsraum aus können Sie das abgestimmte Modell testen und den Endpunkt für die Inferenzierung erhalten.
Weitere Informationen finden Sie unter Bereitstellen eines abgestimmten foundation model.
Einsatz von benutzerdefinierten Foundation-Modellen
Sie können nicht nur mit von IBM kuratierten Basismodellen arbeiten, sondern auch Ihre eigenen Basismodelle hochladen und bereitstellen. Nachdem die Modelle bereitgestellt und bei watsonx.ai registriert wurden, erstellen Sie Prompts, die auf die benutzerdefinierten Modelle aus dem Prompt Lab schließen lassen.
Der Einsatz eines benutzerdefinierten foundation model bietet Ihnen die Flexibilität, die für Ihren Anwendungsfall geeigneten KI-Lösungen zu implementieren.
Weitere Informationen finden Sie unter Bereitstellen eines benutzerdefinierten foundation model.
Bereitstellung von Basismodellen auf Abruf
Stellen Sie ein foundation model bei Bedarf auf dedizierter Hardware bereit, um das foundation model je nach Bedarf in verschiedenen Anwendungen und Diensten zu nutzen. Mit diesem Ansatz können Sie auf die Fähigkeiten dieser leistungsstarken Fundamentmodelle zugreifen, ohne dass Sie umfangreiche Rechenressourcen benötigen. Foundation-Modelle, die Sie on-demand bereitstellen, werden in einem speziellen Bereitstellungsbereich gehostet, in dem Sie diese Modelle für Inferencing verwenden können.
Weitere Informationen finden Sie unter Bereitstellen von Foundation-Modellen auf Abruf.
Weitere Informationen
- Vorlagen für Tracking-Eingabeaufforderungen
- Eingabeaufforderungsvorlage in einem Bereitstellungsbereich auswerten
Übergeordnetes Thema: Bereitstellen von Assets mit watsonx.ai Runtime