Wenn Sie das Prompt Lab verwenden, um eine generative KI-Anwendung zu erstellen, die Retrieval Augmented Generation (RAG) verwendet, können Sie Ihre Anwendung als KI-Dienst bereitstellen, indem Sie einen schnellen Pfad oder ein Bereitstellungsnotizbuch verwenden.
Prozessübersicht
Die folgende Grafik veranschaulicht zwei Methoden zur Bereitstellung eines KI-Dienstes mit Hilfe des Prompt Labs:
- Durch die Nutzung eines schnellen Weges zur direkten Förderung und Bereitstellung.
- Durch die Verwendung eines Einsatznotizbuchs.
Sie können eine RAG-Anwendung im Prompt Lab erstellen, indem Sie eine Verbindung zu einem Vektorindex hinzufügen. Um den KI-Dienst bereitzustellen, können Sie den Schnellpfad verwenden, um den KI-Dienst direkt in einen Bereitstellungsbereich zu verschieben und eine Online-Bereitstellung zu erstellen.
Alternativ können Sie Ihre Arbeit in einem Bereitstellungsnotizbuch speichern, das Sie zur Anpassung des Codes an Ihren Anwendungsfall verwenden können. Das Bereitstellungsnotizbuch enthält automatisch generierten Code zur Erstellung und Bereitstellung eines KI-Dienstes. Der KI-Dienst erfasst die Logik für die Durchführung einer Ähnlichkeitssuche, um Dokumente zu ermitteln, die mit der Abfrage übereinstimmen, und zieht anhand des Abfrageergebnisses Schlüsse für das Modell. Der KI-Dienst enthält auch die Generierungsfunktion, die eine einsatzfähige Codeeinheit darstellt. Die Generierungsfunktion wird in den Bereitstellungsraum befördert, wodurch eine Bereitstellung erstellt wird.
Die Bereitstellung wird als REST-API-Endpunkt dargestellt, auf den andere Anwendungen zugreifen können. Sie können eine Anfrage an den REST-API-Endpunkt senden, um den bereitgestellten KI-Dienst für Inferencing zu verwenden. Der eingesetzte KI-Dienst verarbeitet die Anfrage und gibt eine Antwort zurück.
Aufgaben für die Bereitstellung von KI-Diensten von Prompt Lab
Im Folgenden finden Sie die Schritte, die Sie zum Erstellen, Bereitstellen und Verwalten von KI-Diensten ausführen müssen:
- Wählen Sie eine Bereitstellungsmethode: Sie können KI-Dienste vom Prompt-Labor aus erstellen und bereitstellen, indem Sie einen schnellen Pfad oder ein Bereitstellungsnotizbuch verwenden. Wählen Sie eine Methode, die für Ihren Anwendungsfall am besten geeignet ist.
- Testen der Bereitstellung von AI-Diensten: Testen Sie Ihren bereitgestellten KI-Dienst für Online-Inferencing oder Batch-Scoring.
- Verwalten Sie AI-Dienste: Zugriff und Aktualisierung von Einsatzdetails. Skalieren oder löschen Sie die Bereitstellung über die Benutzeroberfläche oder programmgesteuert.
Bereitstellung eines KI-Dienstes mit schnellem Pfad
Sie können das Prompt Lab verwenden, um eine RAG-Anwendung zu erstellen, indem Sie mit Dokumenten chatten und einen Vektorindex erstellen. Wenn Sie Ihre Arbeit über den schnellen Pfad als KI-Service bereitstellen, wird die Logik Ihrer RAG-Anwendung automatisch in einem KI-Service-Asset erfasst und ein Online-Deployment wird automatisch für das Asset erstellt.
Weitere Informationen finden Sie unter Bereitstellen eines KI-Dienstes mit Fast Path.
Bereitstellen eines KI-Dienstes mit einem Bereitstellungsnotizbuch
Um die Programmierlogik Ihrer RAG-Anwendung anzupassen, können Sie das Prompt Lab verwenden und Ihre Arbeit in einem Deployment-Notebook speichern. Wenn Sie Ihre Arbeit in einem Deployment-Notebook speichern, generiert watsonx.ai automatisch ein Deployment-Notebook, das die Logik Ihrer RAG-Anwendung in einem KI-Service festhält.
Das Bereitstellungsnotizbuch enthält automatisch generierten Code, um Ihr KI-Service-Asset in einen Bereitstellungsbereich zu verschieben und eine Bereitstellung für das Asset zu erstellen. Sie können das Bereitstellungsnotizbuch zur Anpassung bearbeiten, z. B. eine Batch-Bereitstellung zur Bereitstellung eines KI-Service-Assets anstelle einer Online-Bereitstellung für Ihren Anwendungsfall erstellen.
Weitere Informationen finden Sie unter Bereitstellen eines KI-Dienstes mit Notebook.
Weitere Informationen
Übergeordnetes Thema: Bereitstellung von KI-Diensten