Ein KI-Service ist eine einsatzfähige Codeeinheit, mit der Sie die Logik Ihrer generativen KI-Anwendungsfälle erfassen können. Wenn Ihre KI-Dienste erfolgreich implementiert sind, können Sie den Endpunkt für Inferenzen aus Ihrer Anwendung heraus verwenden.
Einsatz von generativen KI-Anwendungen mit KI-Diensten
Während Python die herkömmliche Methode zur Bereitstellung von maschinellen Lernressourcen sind, bieten KI-Dienste eine flexiblere Option zur Bereitstellung von Code für generative KI-Anwendungen wie Streaming.
Im Gegensatz zur Python für den Einsatz eines prädiktiven maschinellen Lernmodells, die Eingaben in einem festen Schema erfordert, bietet ein KI-Dienst Flexibilität für mehrere Eingaben und ermöglicht die Anpassung.
KI-Dienste bieten eine sichere Lösung für die Bereitstellung Ihrer Code-Funktionen. So werden z. B. Berechtigungsnachweise wie Inhaber-Tokens, die für die Authentifizierung erforderlich sind, vom Dienst aus den Aufgabendaten generiert, und das Token wird dem KI-Dienst-Asset zur Verfügung gestellt. Mit diesem Token können Sie Verbindungsdaten abrufen, Daten herunterladen und vieles mehr.
Bereitstellung von KI-Diensten mit Prompt Lab
Sie können visuelle Tools wie Prompt Lab verwenden, um automatisch AI-Dienste in einem Standardformat zu erstellen. Dann können Sie den KI-Dienst für Ihren Anwendungsfall anpassen. Wenn Sie zum Beispiel ein Asset bereitstellen, das Retrieval Augmented Generation (RAG) verwendet, können Sie das Prompt Lab verwenden, um die Logik für das Abrufen von Antworten aus dem Vektorindex im KI-Dienst zu erfassen und den KI-Dienst bereitzustellen.
Weitere Informationen finden Sie unter Bereitstellen von KI-Diensten mit Prompt Lab.
Bereitstellung von KI-Diensten mit direkter Kodierung
Wenn Sie Ihre generativen KI-Anwendungen von Grund auf aufbauen, können Sie einen KI-Dienst verwenden, um die Programmierlogik Ihrer Anwendung zu erfassen, die dann mit einem Endpunkt für Inferenzen bereitgestellt werden kann. Wenn Sie zum Beispiel eine RAG-Anwendung mit Frameworks wie LangChain, LlamaIndex, oder anderen erstellen, können Sie einen KI-Dienst verwenden, um die Logik für das Abrufen von Antworten aus dem Vektorindex im KI-Dienst zu erfassen und den KI-Dienst bereitzustellen.
Weitere Informationen finden Sie unter Bereitstellen von KI-Diensten mit direkter Codierung.
Weitere Informationen
Übergeordnetes Thema: Bereitstellung von foundation model Assets