Prüfen und verwenden Sie Jupyter-Beispiel-Notebooks, die die Python für Modellevaluierungen verwenden, um Funktionen und Aufgaben zu demonstrieren.
Wenn Sie ein Beispiel-Notizbuch verwenden, um Funktionen und Aufgaben mit dem Python zu demonstrieren, müssen Sie mit der Codierung in einem Jupyter Notebook vertraut sein. Ein Jupyter-Notebook ist eine webbasierte Umgebung für den Dialogbetrieb. Sie können kleine Codeteile ausführen, die Ihre Daten verarbeiten, und dann sofort die Ergebnisse Ihrer Berechnung anzeigen. Mit Jupyter-Beispiel-Notebooks können Sie Tutorien durchführen, um Aufgaben wie das Erstellen, Trainieren und Bereitstellen von Modellen und das Konfigurieren von Modellauswertungen zu demonstrieren.
Beispielnotebooks
Zeigen Sie die folgenden Jupyter-Notebooks an oder führen Sie sie aus, um zu erfahren, wie verschiedene Tasks ausgeführt werden:
| Beispielname | Veranschaulichte Tasks |
|---|---|
| Verwendung des IBM watsonx.governance Metrik-Toolkits zur Bewertung der Qualität Ihrer Prompt-Vorlage | Berechnen Sie Metriken zur Inhaltsanalyse und zur Robustheit der Fragen für die Bewertung von Prompt-Vorlagen. |
| Berechnung von Abfrage- und Antwortqualitätsmetriken mit LLM als Richter in IBM watsonx.governance für RAG-Aufgabe | Berechnung von RAG- und Antwortqualitätsmetriken zur Erstellung von Antworten für RAG-Aufgaben. |
| Berechnung der Robustheit gegenüber Angreifern und des Risikos von Leckagen mit IBM watsonx.governance | Berechnen Sie die Robustheitsmetrik für Angreifer, um zu messen, wie Ihr Modell gegen Angriffe wie Prompt Injections, Jailbreaks und System Prompt Leaks verteidigt. |
| Erzeugung von Embeddings für LLMs | Verwenden Sie CSV-Dateien mit bewerteten Daten, um Einbettungen für die Eingabe- und Ausgabespalten zu erzeugen, und laden Sie die CSV-Datei mit der Modellausgabe herunter, die Einbettungen enthält. |
| Erzeugung und Beibehaltung von Embeddings für LLM | Erzeugen Sie Einbettungen für vorhandene Datensätze in der Nutzlasttabelle, stellen Sie neue bewertete Datenrahmen bereit, um Datensätze mit Einbettungen in der Nutzlasttabelle zu erzeugen und zu speichern, oder konfigurieren und bewerten Sie Drift v2-Auswertungen. |
| Entwurfszeit-Notizbuch für die mehrsprachige Unterstützung von generativen KI-Qualitätsmetriken für IBM WatsonX.governance | Demonstration der Ergebnisse der generativen KI-Qualitätsprompt-Vorlagenbewertung auf Japanisch. |
Nächste Schritte
- Weitere Informationen zur Verwendung von Notebook-Editoren finden Sie unter Notebooks.
- Weitere Informationen zum Arbeiten mit Notebooks finden Sie unter Notebooks codieren und ausführen.
- Um mehr über die Authentifizierung in einem Notebook zu erfahren, siehe Authentifizierung.