Bereitstellung von KI-Diensten
Ein KI-Service ist eine einsatzfähige Codeeinheit, mit der Sie die Logik Ihrer generativen KI-Anwendungsfälle erfassen können. Wenn Ihre KI-Dienste erfolgreich implementiert sind, können Sie den Endpunkt für Inferenzen aus Ihrer Anwendung heraus verwenden.
Einsatz von generativen KI-Anwendungen mit KI-Diensten
Während Python die herkömmliche Methode zur Bereitstellung von maschinellen Lernressourcen sind, bieten KI-Dienste eine flexiblere Option zur Bereitstellung von Code für generative KI-Anwendungen wie Streaming.
Im Gegensatz zur Python für den Einsatz eines prädiktiven maschinellen Lernmodells, die Eingaben in einem festen Schema erfordert, bietet ein KI-Dienst Flexibilität für mehrere Eingaben und ermöglicht die Anpassung.
KI-Dienste bieten eine sichere Lösung für die Bereitstellung Ihrer Code-Funktionen. So werden z. B. Berechtigungsnachweise wie Inhaber-Tokens, die für die Authentifizierung erforderlich sind, vom Dienst aus den Aufgabendaten generiert, und das Token wird dem KI-Dienst-Asset zur Verfügung gestellt. Mit diesem Token können Sie Verbindungsdaten abrufen, Daten herunterladen und vieles mehr.
Einsatz von KI-Diensten mit Tools
Sie können die folgenden visuellen Tools verwenden, um eine generative KI-Lösung zu erstellen watsonx.ai:
- Prompt Lab
- AutoAI
- Agentenlabor
Wenn Sie visuelle Tools verwenden, um eine generative KI-Lösung für einen komplexen Anwendungsfall wie RAG zu erstellen, wird Ihre Lösung als KI-Dienst bereitgestellt. Sie können Ihre Lösung direkt über die Benutzeroberfläche bereitstellen oder Ihre Lösung in ein bearbeitbares Notizbuch in Python exportieren, das den KI-Dienst bereitstellt. Das Notizbuch generiert automatisch den Code, um einen KI-Dienst in einem Standardformat zu erstellen, und bietet Ihnen die Möglichkeit, nach dem Testen weitere Funktionen hinzuzufügen oder zu aktualisieren. Während Tools eine benutzerfreundliche Oberfläche zum Erstellen und Bereitstellen von KI-Diensten bieten, bietet die Programmierung mehr Flexibilität und Anpassungsmöglichkeiten.
Weitere Informationen finden Sie unter "KI-Dienste mit Tools bereitstellen ".
KI-Dienste mit Code bereitstellen
Wenn Sie Ihre generativen KI-Anwendungen von Grund auf aufbauen, können Sie einen KI-Dienst verwenden, um die Programmierlogik Ihrer Anwendung zu erfassen, die dann mit einem Endpunkt für Inferenzen bereitgestellt werden kann. Wenn Sie zum Beispiel eine RAG-Anwendung mit Frameworks wie LangChain, LlamaIndex, oder anderen erstellen, können Sie einen KI-Dienst verwenden, um die Logik für das Abrufen von Antworten aus dem Vektorindex im KI-Dienst zu erfassen und den KI-Dienst bereitzustellen.
Weitere Informationen finden Sie unter "Deployment von KI-Diensten mit Code ".
Weitere Informationen
Übergeordnetes Thema: Bereitstellung von Foundation Model Assets