Standardisierung von KI-Service-Bereitstellungen mit Vorlagen

KI-Servicevorlagen sind vorgefertigte, wiederverwendbare und anpassbare Komponenten, die einen strukturierten Ansatz für die Bereitstellung und Verwaltung von generativen KI-Anwendungen bieten. Sie bieten eine standardisierte Möglichkeit, KI-Modelle zu verpacken, bereitzustellen und in andere Anwendungen und Systeme zu integrieren. So können sich Entwickler auf die Erstellung und das Training von Modellen konzentrieren, ohne sich um die zugrunde liegende Infrastruktur und die Bereitstellungslogistik kümmern zu müssen. Durch die Bereitstellung einer vordefinierten Struktur, Konfiguration und eines Satzes von Tools vereinfachen KI-Service-Vorlagen den Prozess der Bereitstellung von KI-Services, verringern das Fehlerrisiko und verbessern die Gesamteffizienz und Konsistenz der KI-Entwicklung und -Bereitstellung.

Komponenten von AI-Dienstvorlagen

Die Komponenten einer KI-Dienstvorlage sind wie folgt:

1. Quellverzeichnis : Das Quellverzeichnis enthält den von den eingesetzten Funktionen verwendeten Code (aus der Datei ai_service.py ). Bei der Bereitstellung wird das Quellverzeichnis verpackt und als Paketerweiterung an die Cloud gesendet.

2. Kernanwendungslogik : Die Hauptanwendungslogik ist in der Datei ai_service.py enthalten. Diese Datei umfasst die Funktionen, die bereitgestellt werden sollen, einschließlich der Kernlogik der Anwendung, der Definition des Eingabeschemas und des Authentifizierungscodes.

3. Konfigurationsdatei : Die Datei config.toml speichert die Bereitstellungs-Metadaten und Konfigurationseinstellungen für das Modell.

4. Tests : tests/ enthält die Einheitstests für die Vorlage, einschließlich Tests für Werkzeuge und Hilfsfunktionen.

5. Skripte für die Bereitstellung : Die scripts/deploy.py stellt die Vorlage in der IBM Cloud bereit. Die examples/execute_ai_service_locally.py kann verwendet werden, um den KI-Dienst lokal auszuführen. Die examples/query_existing_deployment.py kann verwendet werden, um auf eine bestehende Einrichtung zu schließen.

6. Projektkonfiguration : Die Datei pyproject.toml verwaltet Abhängigkeiten und Pakete für das Projekt.

Bereitstellung von KI-Diensten mit Vorlagen

Gehen Sie folgendermaßen vor, um AI-Dienste mit Vorlagen bereitzustellen:

1. Bereiten Sie die Vorlage vor : Um die Vorlage vorzubereiten, müssen Sie das Vorlagen-Repository klonen, die erforderlichen Abhängigkeiten und Tools wie Pipx oder Poetry installieren, die Umgebung auf Ihrem lokalen System einrichten und die virtuelle Umgebung aktivieren. Dadurch wird sichergestellt, dass die Vorlage ordnungsgemäß konfiguriert und einsatzbereit ist.

2. Konfigurieren Sie die Vorlage : Konfigurieren Sie die Vorlage, indem Sie die Datei config.toml mit den erforderlichen Anmeldedaten und Konfigurationseinstellungen ausfüllen. Dazu gehört auch die Anpassung des Modells mit der Anwendungslogik an die spezifischen Anforderungen des KI-Dienstes. Die Konfigurationsdatei speichert Bereitstellungs-Metadaten und Konfigurationseinstellungen für das Modell und wird verwendet, um das Modell für lokale Läufe zu optimieren.

   Sie können der Anwendung auch zusätzliche Schlüsselwertdaten zur Verfügung stellen, indem Sie Parameter sets oder das Objekt CUSTOM in der Datei config.toml verwenden. Weitere Informationen zum Speichern und Verwalten von Parametersätzen finden Sie unter Parametersätze in der Dokumentation der watsonx.ai Python.

   Für den Umgang mit externen Anmeldeinformationen können Sie IBM Secrets Manager verwenden. Secrets Manager ist ein Dienst, mit dem Sie sensible Informationen wie API-Schlüssel und Kennwörter sicher speichern und verwalten können. Durch die Verwendung von Secrets Manager können Sie Ihre Anmeldedaten aus Ihrem Code und Ihren Konfigurationsdateien heraushalten, was zur Verbesserung der Sicherheit Ihrer Anwendung beiträgt. Weitere Informationen finden Sie in der IBM Cloud Secrets Manager API-Dokumentation.

3. Testen Sie die Vorlage : Bevor Sie die Vorlage bereitstellen, müssen Sie sie unbedingt testen, um sicherzustellen, dass sie korrekt funktioniert. Dies beinhaltet die Durchführung von Unit-Tests, um zu überprüfen, ob die Vorlage wie erwartet funktioniert, indem die Anwendung lokal durch die Ausführung des examples/execute_ai_service_locally.py -Skripts getestet wird. Sie können dieses Skript ausführen, um den KI-Dienst lokal zu starten und ihn mit Beispieleingaben zu testen.

4. Stellen Sie die Vorlage bereit : Sobald die Vorlage getestet und validiert wurde, kann sie mit dem Skript scripts/deploy.py bereitgestellt werden. Dieses Skript automatisiert den Verteilungsprozess und erstellt eine Paketerweiterung. Sie können den Secrets Manager verwenden, um externe Anmeldeinformationen während der Bereitstellung zu verwalten. Erstellen Sie dazu ein Geheimnis, das die zu verwendenden Anmeldeinformationen enthält. Sobald Sie Ihr Geheimnis erstellt haben, können Sie bei der Bereitstellung darauf verweisen. Dadurch wird Ihre Anwendung mit den Anmeldedaten aus dem Geheimnis bereitgestellt. Der Verteilungsprozess kann einige Minuten in Anspruch nehmen. Danach erhalten Sie eine Verteilungs-ID.

5. Inferenz der Vorlage : Sie können den bereitgestellten KI-Dienst mithilfe des Skripts examples/query_existing_deployment.py ableiten. Verwenden Sie dieses Skript, um den AI-Dienst mit Beispieleingaben zu testen und die Ausgabe zu überprüfen. Sie können auch die Benutzeroberfläche verwenden, um die Bereitstellung zu ermitteln und mit dem KI-Dienst zu interagieren. Um der Anwendung während der Inferenz zusätzliche Schlüsselwertdaten zur Verfügung zu stellen, können Sie Parameter sets oder das Objekt CUSTOM in der Datei config.toml verwenden. Diese Schlüssel-Wert-Paare werden während der Bereitstellung an Ihre Anwendung übergeben und können während der Inferenz abgerufen werden.

Beispielvorlage

Wie Sie KI-Dienste mithilfe von Vorlagen einsetzen können, erfahren Sie in der folgenden Beispielvorlage:

Übergeordnetes Thema: Bereitstellung von KI-Diensten