Vorteile der Konvertierung von Modellen zur ONNX-Laufzeit

Die Konvertierung eines Modells in die ONNX-Laufzeit bietet mehrere Vorteile, insbesondere im Zusammenhang mit Anwendungen für maschinelles Lernen und Deep Learning. Einige der Vorteile der Konvertierung von Modellen in ONNX-Laufzeit sind folgende

• Plattformübergreifende Kompatibilität : ONNX bietet ein Standardformat für die Darstellung von Modellen des maschinellen Lernens, was es einfacher macht, Modelle in verschiedenen Frameworks wie PyTorch oder Tensorflow einzusetzen. Sie können Modelle in einem Framework trainieren und sie in einem anderen Framework einsetzen, das die ONNX-Laufzeit unterstützt.

• Verbesserte Leistung : Die ONNX-Laufzeit optimiert die Modelle für das Inferencing durch Anwendung verschiedener hardware- und softwarespezifischer Optimierungen, wie z. B. Graphenoptimierungen. Außerdem unterstützt es die Ausführung auf unterschiedlicher Hardware, wie z. B. CPUs und GPUs, und gewährleistet so eine effiziente Nutzung der Ressourcen.

• Interoperabilität : ONNX bietet eine Möglichkeit, Modelle wie PyTorch, TensorFlow, und scikit-learn in einem Framework zu trainieren und sie dann zu exportieren, um sie in einer anderen Umgebung auszuführen, was die Arbeitsabläufe rationalisiert. Es baut die Barrieren zwischen verschiedenen Deep Learning-Frameworks ab und ermöglicht es Entwicklern, die Stärken verschiedener Bibliotheken zu nutzen, ohne sich auf ein einziges Ökosystem festzulegen.

Unterstützte Frameworks für die Konvertierung

Sie können Modelle für maschinelles Lernen, die die folgenden Frameworks verwenden, in das ONNX-Format konvertieren:

1. PyTorch
2. TensorFlow

Konvertierung von PyTorch in das ONNX-Format

Folgen Sie diesem Prozess, um Ihr in PyTorch trainiertes Modell in das ONNX-Format zu konvertieren:

1. Bibliotheken importieren : Beginnen Sie damit, die wesentlichen Bibliotheken zu importieren, z. B. onnxruntime für die Ausführung des Modells, torch für PyTorch und andere für Ihre Anwendung erforderliche Bibliotheken.

2. PyTorch erstellen oder herunterladen : Sie können ein PyTorch unter Verwendung Ihres eigenen Datensatzes erstellen oder Modelle verwenden, die von externen Open-Source-Modell-Repositories wie Hugging Face bereitgestellt werden.

3. Konvertieren Sie das PyTorch in das ONNX-Format : Konvertieren des PyTorch in das ONNX-Format:

   a. Bereiten Sie das Modell vor : Stellen Sie sicher, dass sich Ihr PyTorch im Evaluierungsmodus befindet, indem Sie die Funktion model.eval() verwenden. Möglicherweise benötigen Sie einen Dummy-Eingabetensor, der der Form des Modells entspricht.

   b. Exportieren Sie das Modell : Verwenden Sie die Funktion torch.onnx.export, um das Modell in das ONNX-Format zu konvertieren.

4. Überprüfen Sie die Konvertierung : Überprüfen Sie nach der Konvertierung des Modells, ob das Modell wie erwartet funktioniert, indem Sie die Bibliothek onnx verwenden.

Konvertierung von TensorFlow in das ONNX-Format

Folgen Sie diesem Prozess, um Ihr TensorFlow in das ONNX-Format zu konvertieren:

1. Bibliotheken importieren : Beginnen Sie damit, die wesentlichen Bibliotheken zu importieren, wie z.B. tf2onnx, um die Konvertierung von TensorFlow in ONNX zu erleichtern, und andere Bibliotheken, die für Ihre Anwendung benötigt werden.

2. TensorFlow herunterladen : Sie müssen das extern erstellte TensorFlow und die Daten, die für das Training des Modells verwendet werden, herunterladen.

3. TensorFlow in ONNX-Format konvertieren : Verwenden Sie den Befehl tf2onnx.convert, um Ihr TensorFlow, das im Format SavedModel erstellt wurde, in das ONNX-Format zu konvertieren. Wenn Sie ein TensorFlow Lite Modell konvertieren wollen, verwenden Sie das --tflite Flag anstelle des --saved-model Flags.

4. Überprüfen Sie die Konvertierung : Überprüfen Sie nach der Konvertierung des Modells, ob das Modell wie erwartet funktioniert, indem Sie die Bibliothek onnx verwenden.

Bereitstellung von in das ONNX-Format konvertierten Modellen

Verwenden Sie die Software-Spezifikation onnxruntime_opset_19, um Ihr in das ONNX-Format konvertiertes Modell für maschinelles Lernen einzusetzen. Weitere Informationen finden Sie unter Unterstützte Software-Spezifikationen.

Führen Sie die folgenden Schritte aus, um über die Benutzeroberfläche in das ONNX-Format konvertierte Modelle bereitzustellen:

1. Wechseln Sie in Ihrem Bereitstellungsbereich auf die Registerkarte Assets.

2. Suchen Sie Ihr Modell in der Asset-Liste, klicken Sie auf das Menüsymbol Menüsymbol und wählen Sie Verteilen.

3. Wählen Sie die Bereitstellungsart für Ihr Modell. Wählen Sie zwischen Online- und Stapelverteilungsoptionen.

4. Geben Sie einen Namen für Ihre Bereitstellung ein und geben Sie optional einen Serving-Namen, eine Beschreibung und Tags ein.

   Hinweis:

   • Verwenden Sie das Feld Verteilungsname, um anstelle der Verteilungs-ID einen Namen für Ihre Verteilung anzugeben.
   • Der Serving-Name muss innerhalb des Namensraumes eindeutig sein.
   • Der Name des Dienstes darf nur diese Zeichen enthalten: a-z,0-9,_] und darf maximal 36 Zeichen lang sein.
   • In Arbeitsabläufen, in denen Ihr benutzerdefiniertes Basismodell regelmäßig verwendet wird, sollten Sie in Erwägung ziehen, Ihrem Modell jedes Mal denselben Serving-Namen zuzuweisen, wenn Sie es einsetzen. Auf diese Weise können Sie nach dem Löschen und erneuten Bereitstellen des Modells weiterhin denselben Endpunkt in Ihrem Code verwenden.

5. Wählen Sie eine Hardware-Spezifikation für Ihr Modell.

6. Wählen Sie eine Konfiguration und eine Software-Spezifikation für Ihr Modell.

7. Klicken Sie auf Erstellen.

Testen des Modells

Gehen Sie folgendermaßen vor, um Ihre in das ONNX-Format konvertierten Modelle zu testen:

1. Öffnen Sie in Ihrem Bereitstellungsbereich die Registerkarte " Bereitstellungen" und klicken Sie auf den Namen der Bereitstellung.
2. Klicken Sie auf die Registerkarte Test, um Aufforderungstext einzugeben und eine Antwort vom bereitgestellten Asset zu erhalten.
3. Geben Sie die Testdaten in einem der folgenden Formate ein, abhängig von der Art des Assets, das Sie bereitgestellt haben:
   • Text : Geben Sie Texteingabedaten ein, um einen Textblock als Ausgabe zu erzeugen.
   • Strom : Geben Sie Texteingabedaten ein, um einen Textstrom als Ausgabe zu erzeugen.
   • JSON : Geben Sie JSON-Eingabedaten ein, um eine Ausgabe im JSON-Format zu erzeugen.
4. Klicken Sie auf Generieren, um Ergebnisse zu erhalten, die auf Ihrer Eingabeaufforderung basieren.

Beispielnotebooks

Die folgenden Beispiel-Notizbücher demonstrieren, wie Modelle für maschinelles Lernen, die von PyTorch oder TensorFlow in das ONNX-Format konvertiert wurden, unter Verwendung der Python bereitgestellt werden:

Übergeordnetes Thema: Einsatz von Ressourcen für maschinelles Lernen