Für eine ordnungsgemäße Bereitstellung müssen Sie einen Bereitstellungsbereich einrichten und anschließend einen bestimmten Bereitstellungstyp auswählen und konfigurieren. Nachdem Sie Assets implementiert haben, können Sie sie verwalten und aktualisieren, um sicherzustellen, dass sie gut funktionieren, und um ihre Genauigkeit zu überwachen.
Damit Sie Assets aus einem Bereich bereitstellen können, müssen Sie über eine Machine Learning-Serviceinstanz verfügen, die bereitgestellt und diesem Bereich zugeordnet ist.
Online-und Batchbereitstellungen bieten einfache Möglichkeiten, einen Online-Scoring-Endpunkt zu erstellen oder Batch-Scoring mit Ihren Modellen durchzuführen.
Gehen Sie wie folgt vor, wenn Sie eine angepasste Logik implementieren möchten:
- Erstellen Sie eine Python -Funktion für die Erstellung Ihres Online-Endpunkts.
- Notebook oder Script für Stapelscoring schreiben
Implementierbare Assets
Nachfolgend finden Sie eine Liste der Assets, die Sie von einem watsonx.ai Runtime Space aus bereitstellen können, mit Informationen zu den entsprechenden Bereitstellungstypen:
| Assettyp | Batchbereitstellung | Onlinebereitstellung |
|---|---|---|
| Funktionen | Ja | Ja |
| Modelle | Ja | Ja |
| Scripts | Ja | Nein |
Hinweise:
- Ein Deployment-Job ist eine Möglichkeit, ein Batch-Deployment oder ein in sich geschlossenes Asset wie einen Flow in watsonx.ai Runtime auszuführen. Sie können die Ein-und Ausgabe für Ihren Job auswählen und ihn manuell oder nach einem Zeitplan ausführen. Weitere Informationen finden Sie unter Bereitstellungsjob erstellen.
- Sie können ein Natural Language Processing-Modell mithilfe von Python oder Python bereitstellen. Es werden sowohl Online- als auch Batch-Bereitstellungen unterstützt.
- Notebooks und Abläufe verwenden Notebookumgebungen. Sie können sie in einem Bereitstellungsbereich ausführen, sie sind jedoch nicht implementierbar.
Weitere Informatinoen enthalten die folgenden Abschnitte:
- Onlinebereitstellungen erstellen
- Stapelbereitstellungen erstellen
- Python-Funktionen bereitstellen
- Einsatz von NLP-Modellen
- Scripts bereitstellen
Nachdem Sie Assets implementiert haben, können Sie sie verwalten und aktualisieren, um sicherzustellen, dass sie gut funktionieren, und um ihre Genauigkeit zu überwachen. Es gibt folgende Möglichkeiten, eine Implementierung zu verwalten oder zu aktualisieren:
Bereitstellungsjobs verwalten. Nachdem Sie mindestens einen Job erstellt haben, können Sie ihn über die Registerkarte Jobs in Ihrem Bereitstellungsbereich anzeigen und verwalten.
Bereitstellung aktualisieren. Ein Modell kann beispielsweise durch eine leistungsstärkere Version ersetzt werden, ohne dass eine neue Bereitstellung erstellt werden muss.
Skalieren Sie eine Bereitstellung, um die Verfügbarkeit und den Durchsatz durch das Erstellen von Replikaten der Bereitstellung zu erhöhen.
Löschen Sie eine Bereitstellung, um sie zu entfernen und somit Ressourcen freizugeben.
API-Gateways für die Bereitstellung stabiler Endpunkte konfigurieren
watsonx.ai Runtime bietet stabile Endpunkte, um Ausfallzeiten zu vermeiden. Es kann jedoch zu Ausfallzeiten kommen, wenn Sie zu einer neuen Cloud Pak for Data -Instanz wechseln oder eine Instanz hinzufügen.
API-Gateways stellen eine stabile URL bereit, die mit Ihrem Watson Machine Learning -API-Endpunkt verwendet werden kann. Sie können ein API-Gateway (verfügbar in Cloud Pak for Integration) mit Ihren Implementierungsendpunkten verwenden, um Ausfallzeiten zu verarbeiten, wenn dies in den folgenden Fällen geschieht:
- Wenn Sie mehrere Instanzen von Cloud Pak for Data in einer Hochverfügbarkeitskonfiguration haben und eine der verfügbaren Instanzen fehlschlägt. In diesem Fall können Sie ein API-Gateway für den automatischen Wechsel zu einer anderen Instanz verwenden, um einen vollständigen Ausfall zu verhindern.
- Wenn Sie mehrere Anwendungen haben, die denselben Endpunkt verwenden, und der Implementierungsendpunkt nicht verfügbar ist. Dies ist beispielsweise der Fall, wenn Sie die Implementierung versehentlich löschen. In diesem Fall können Sie den Endpunkt im API-Gateway aktualisieren, um sicherzustellen, dass Anwendungen ihn weiterhin verwenden.
Aktivierung der GPU- und MIG-Unterstützung für Bereitstellungs-Laufzeiten
Wenn Sie ein prädiktives maschinelles Lernmodell bereitstellen, das eine erhebliche Verarbeitungsleistung für die Inferenzierung erfordert, können Sie optional einen Grafikprozessor für die Bereitstellungslaufzeiten konfigurieren.
Sie können auch die MIG-Unterstützung für GPUs aktivieren, wenn Sie eine Anwendung bereitstellen möchten, die nicht die volle Leistung eines GPUs benötigt. Wenn Sie MIG für GPU-beschleunigte Workloads konfigurieren, sollten alle GPU-fähigen Knoten einer einzigen Strategie folgen, die in den vorherigen Konfigurationsschritten festgelegt wurde. Dies gewährleistet ein einheitliches Verhalten auf allen GPU-fähigen Knoten im Cluster. Um die MIG-Unterstützung zu konfigurieren, siehe Nvidia-Anleitung zur Konfiguration der MIG-Unterstützung.
Weitere Informationen
Übergeordnetes Thema: Assets bereitstellen