Sie können einen individuellen KI-Service aufbauen, der von Grund auf auf Ihre generative KI-Anwendung zugeschnitten ist. Wenn Sie beispielsweise ein Asset bereitstellen, das RAG (Retrieval Augmented Generation) verwendet, können Sie die Logik zum Abrufen von Antworten aus den Basisdokumenten im KI-Dienst erfassen.
Prozessübersicht
Die folgende Grafik veranschaulicht den Prozess der Kodierung von KI-Diensten.
Sie können ein Notizbuch erstellen, das den AI-Dienst und die Verbindungen innerhalb des Projekts enthält. Der KI-Dienst erfasst die Logik Ihrer RAG-Anwendung und enthält die Generierungsfunktion, die eine einsatzfähige Codeeinheit darstellt. Die Generierungsfunktion wird in den Bereitstellungsraum befördert, der zur Erstellung einer Bereitstellung verwendet wird. Die Bereitstellung wird als REST-API-Endpunkt dargestellt, auf den andere Anwendungen zugreifen können. Sie können eine Anfrage an den REST-API-Endpunkt senden, um den bereitgestellten KI-Dienst für Inferencing zu verwenden. Der eingesetzte KI-Dienst verarbeitet die Anfrage und gibt eine Antwort zurück.
Aufgaben für die Erstellung und den Einsatz von KI-Diensten
Im Folgenden finden Sie die Schritte, die Sie zum Erstellen, Bereitstellen und Verwalten von KI-Diensten ausführen müssen:
- KI-Dienst erstellen: Definieren Sie einen KI-Dienst in einem Notizbuch mit Python. Der KI-Dienst muss bestimmte Anforderungen erfüllen, um als KI-Dienst eingesetzt werden zu können.
- AI-Dienst testen: Testen Sie die Codierungslogik Ihres KI-Dienstes lokal.
- Erstellen Sie AI-Service-Assets: Nachdem Sie den KI-Dienst erstellt und getestet haben, müssen Sie den KI-Dienst als bereitstellungsfähiges Asset verpacken.
- Bereitstellen von AI-Service-Assets: Stellen Sie das KI-Service-Asset als Online- oder Batch-Bereitstellung bereit.
- Testen der Bereitstellung von AI-Diensten: Testen Sie Ihren bereitgestellten KI-Dienst für Online-Inferencing oder Batch-Scoring.
- Verwalten Sie AI-Dienste: Greifen Sie auf die Einsatzdetails zu und aktualisieren Sie sie. Skalieren oder löschen Sie die Bereitstellung über die Benutzeroberfläche oder programmgesteuert.
Beispiel-Notebooks für die Erstellung und den Einsatz von KI-Diensten
Wie Sie KI-Dienste programmatisch erstellen und bereitstellen können, erfahren Sie in den folgenden Beispiel-Notebooks:
| Beispielname | Framework | Veranschaulichte Verfahren |
|---|---|---|
| Verwenden Sie watsonx und meta-llama/llama-3-2-11b-vision-instruct, um als KI-Dienst zu laufen | Python | Einrichten der Umgebung ' Erstellen eines AI-Dienstes ' Testen der Funktion des AI-Dienstes vor Ort ' Bereitstellen des AI-Dienstes ' Ausführen eines AI-Dienstes |
| Nutzung von watsonx, Elasticsearch und LangChain zur Beantwortung von Fragen (RAG) | LangChain | Richten Sie die Umgebung ' ein Laden Sie den Testdatensatz herunter. Definieren des foundation model auf watsonx ' Einrichten von Konnektivitätsinformationen zu Elasticsearch ' Generieren einer abruferweiterten Antwort auf eine Frage ' Erstellen eines KI-Dienstes ' Testen der KI-Dienstfunktion vor Ort ' Bereitstellen des KI-Dienstes |
| Verwendung von watsonx und meta-llama/llama-3-1-70b-instruct zur Erstellung von KI-Diensten | LangGraph | Einrichten der Umgebung ' Erstellen eines AI-Dienstes ' Testen der Funktion des AI-Dienstes vor Ort ' Bereitstellen des AI-Dienstes ' Ausführen eines AI-Dienstes |
Weitere Informationen
Übergeordnetes Thema: Bereitstellung von KI-Diensten