Definition eines AI-Anwendungsfalls

Ein KI-Anwendungsfall besteht aus einer Reihe von Datenblättern, die die Herkunft, den Verlauf und andere relevante Informationen über den Lebenszyklus eines KI-Assets wie eines Modells oder einer Eingabeaufforderungsvorlage enthalten.

Ihr Unternehmen könnte verlangen, dass Sie Ihre KI-Lösung aus Gründen der Transparenz oder der Einhaltung gesetzlicher Vorschriften nachverfolgen und dokumentieren. KI-Anwendungsfälle sind jedoch auch dann nützlich, wenn sie nicht erforderlich sind, da sie eine integrierte Möglichkeit bieten, Fortschritte, Entscheidungen und Kennzahlen zu Ihrer Lösung zu verfolgen.

Um einen KI-Anwendungsfall zu erstellen, legen Sie zunächst ein Inventar an und erstellen dann den Anwendungsfall. Fügen Sie Datenwissenschaftler, Dateningenieure und andere Benutzer, die an der Erstellung, dem Testen oder der Verwaltung Ihrer Lösung beteiligt sind, als Anwendungsfallmitarbeiter hinzu.

Entwicklung von Governance-Workflows

Ein Governance-Workflow erzwingt einen Überprüfungs- und Genehmigungsprozess für KI-Anwendungsfälle und die Verwendung von Modellen.

Ihr Unternehmen benötigt möglicherweise einen oder mehrere der folgenden Arten von Governance-Workflows:

• Modellrisiko-Governance-Workflows zur Genehmigung von KI-Anwendungsfällen, zur Genehmigung von Ereignissen im Lebenszyklus von foundation model, zur Durchführung von Risikobewertungen oder zur Automatisierung der Leistungsüberwachung von Modellen.
• Workflows für die Verwaltung der Einhaltung gesetzlicher Vorschriften zur Verarbeitung von Warnungen, die von Aufsichtsbehörden veröffentlicht werden.
• Arbeitsabläufe für das Management operationeller Risiken, um das Modellrisiko zusammen mit anderen operationellen Risiken im gesamten Unternehmen zu verfolgen.

Um einen Governance-Workflow einzurichten, konfigurieren Sie ihn in der Governance-Konsole.

Einrichten eines Projekts

Ein Projekt ist ein gemeinschaftlicher Arbeitsbereich, in dem Menschen mit Modellen und Daten arbeiten, um ein gemeinsames Ziel zu erreichen.

Sie brauchen ein Projekt, um Prompts zu erstellen, Experimente durchzuführen und Modelle abzustimmen.

Ein Projekt für eine generelle KI-Lösung enthält in der Regel die folgenden Arten von Elementen, die entweder explizit von KI-Ingenieuren hinzugefügt oder als Ergebnis eines Prozesses erstellt werden:

• Verbindungs-Assets zu Datenquellen, z. B. einem Vektorspeicher oder einem Ort, an dem Sie Trainings- oder Abstimmungsdaten speichern.
• Datenbestände, die Datensätze zum Trainieren oder Abstimmen von Modellen darstellen.
• Abfrage von Sitzungsdaten, die Sie für eine spätere Verwendung speichern.
• Aufforderungsvorlagen-Assets, die Endpunkte für Inferencing bieten.
• Notizbücher, die Sie erstellen oder die durch Prozesse wie das Speichern einer Eingabeaufforderung als Notizbuch oder die Durchführung eines AutoAI erzeugt werden.
• Vektorindizes, die vektorisierte Dokumente für ein RAG-Muster darstellen.
• Experiment- und Flow-Assets, die Sie mit laufenden Tools wie AutoAI, Tuning Studio oder Synthetic Data Generator erstellen.
• KI-Service-Assets, die Endpunkte für KI-Muster, wie z. B. RAG, bereitstellen.
• Aufträge, die durch die Ausführung von Assets in Werkzeugen erstellt werden.

Sie haben ein automatisch erstelltes Sandbox-Projekt. Vielleicht möchten Sie jedoch ein Projekt mit einem Namen erstellen, der Ihr Ziel widerspiegelt. Sie können ein Projekt von der Startseite aus oder über das Navigationsmenü erstellen. Fügen Sie alle Personen hinzu, die an der Lösung mitarbeiten sollen. Sie weisen jedem Mitwirkenden eine Rolle zu, um seine Berechtigungen im Projekt zu steuern.

Vorbereiten von Daten

Bei der Datenaufbereitung geht es darum, den Zugang zu den benötigten Daten in dem Format und in der Qualität zu ermöglichen, die Ihre Lösung benötigt.

Sie müssen Daten vorbereiten, wenn Sie planen, das Modell mit Ihren Dokumenten in einem RAG-Muster zu erden, eine Prompt-Vorlage zu evaluieren oder ein foundation model abzustimmen. Wenn Ihr Anwendungsfall die Übersetzung, Zusammenfassung, Klassifizierung oder Generierung von Text ist, müssen Sie die Daten möglicherweise nicht vorbereiten, es sei denn, Sie möchten Auswertungen durchführen.

Bei einem RAG-Muster wandeln Sie Dokumente in eingebettete Vektoren um, um sie effizient abrufen zu können. Sie speichern vektorisierte Dokumente in einem Vektorspeicher und rufen sie mit einem Vektorindex ab. Sie können Dokumente auf die folgenden Arten in ein RAG-Muster aufnehmen:

• Hochladen von Dokumentdateien aus Ihrem lokalen System und Hinzufügen zu einem Vektorspeicher
• Angabe von Dokumenten, die sich in einem vorhandenen Vektorspeicher befinden
• Hinzufügen von Dokumenten aus einer verbundenen Datenquelle in einen Vektorspeicher

Sie können zwischen verschiedenen Methoden zur Erstellung eines RAG-Musters wählen, abhängig von der Gesamtgröße Ihrer Dokumente, dem Grad der Automatisierung beim Experimentieren und anderen Faktoren.

Zur Bewertung einer Eingabeaufforderungsvorlage oder zur Abstimmung eines foundation model stellen Sie einen Datensatz zur Verfügung, der repräsentative Eingaben für das Modell und die entsprechenden Ausgaben enthält, die das Modell als Antwort erzeugen soll. Sie können Abstimmungsdaten auf die folgenden Arten bereitstellen:

• Hochladen einer Datei von Ihrem lokalen System
• Verbindung mit der Datenquelle, die den Datensatz enthält

Experimentieren mit Souffleuren

Mit einer Eingabeaufforderung weisen Sie ein foundation model an, eine Antwort zu geben.

Sie können mit Aufforderungen experimentieren, indem Sie die Bedingungen auf folgende Weise ändern:

• Umschalten zwischen Chat- und Nicht-Chat-Modus
• Ändern des Prompt-Textes oder der System-Eingabeaufforderung
• Änderung des foundation model
• Anpassen der Modellparameter
• Aktivieren und Deaktivieren von Leitplanken
• Hinzufügen von Bildern oder Dokumenten zu einem Chat
• Hinzufügen von Variablen zur dynamischen Änderung des Prompt-Textes
• Konfiguration von Agenten für den Aufruf von Tools

Um Ihre Prompts zu entwickeln, können Sie im Prompt Lab oder mit REST API, Python oder Node.js Code experimentieren. Um die Suche nach einem optimalen RAG-Muster zu automatisieren, führen Sie ein AutoAI für RAG-Experiment durch.

Auswertung Ihrer Aufforderungen

Bei der Bewertung einer Eingabeaufforderung wird die Qualität der Modellausgabe für die von Ihnen ausgewählten Metriken geprüft. Einige Metriken basieren auf dem Vergleich der Modellausgabe mit der entsprechenden Ausgabe, die Sie im Testdatensatz bereitstellen. Bewertet wird auch, wie effizient Ihr Modell Antworten erzeugt.

Ihr Unternehmen benötigt möglicherweise Bewertungen zur Einhaltung gesetzlicher Vorschriften oder interner Richtlinien. Evaluierungen sind jedoch auch dann nützlich, wenn sie nicht erforderlich sind, da die metrischen Werte die Qualität Ihrer Lösung anzeigen und bei sinkenden Werten eine geringere Benutzerzufriedenheit voraussagen können.

Wenn Sie eine Eingabeaufforderung auswerten, können Sie die folgenden Faktoren konfigurieren:

• Der zu prüfende Stichprobenumfang
• Welche Metriken sollten einbezogen werden?
• Der Schwellenwert für jede Metrik

Generative KI-Metriken liefern die folgenden Arten von Informationen über den Prompt:

• Wie ähnlich der Ausgabetext dem Eingabetext ist
• Wie ähnlich der Ausgabetext den Referenzausgaben ist
• Ob der Eingabe- oder Ausgabetext schädliche oder sensible Informationen enthält

Sie sehen die aktuellen Ergebnisse und die Ergebnisse im Zeitverlauf. Die Ergebnisse jeder Bewertung werden dem Anwendungsfall für die Eingabeaufforderung hinzugefügt.

Um einen Prompt zu evaluieren, führen Sie eine Evaluierung im Prompt Lab, mit Code oder anhand einer bereitgestellten Prompt-Vorlage durch. Wenn Sie ein AutoAI für ein RAG-Muster durchführen, werden die Kandidaten-Prompts automatisch bewertet und eingestuft.

Um mehrere Prompt-Vorlagen gleichzeitig zu bewerten und zu vergleichen, führen Sie ein Evaluierungsexperiment in Evaluation Studio durch.

Optimierung eines foundation model

Die Optimierung eines foundation model verbessert einen oder mehrere Leistungsindikatoren des Modells.

Sie können das foundation model in Ihrer Lösung hinsichtlich Genauigkeit, Kosten, Inferenzdurchsatz oder Kontrolle des Modelllebenszyklus optimieren.

Die Methoden für den Einsatz eines foundation model variieren je nach den folgenden Merkmalen:

• Die Abrechnung erfolgt pro übertragenem Token oder pro gehosteter Stunde
• Die Hosting-Umgebung besteht aus einer mandantenfähigen oder dedizierten Hardware
• Der Bereitstellungsmechanismus wird von IBM oder von Ihnen selbst durchgeführt
• Das Modell ist gestimmt oder nicht gestimmt
• Die Abkündigungspolitik wird von IBM oder von Ihnen kontrolliert

Um ein Modell auf mandantenfähiger Hardware auszuführen, pro Token zu bezahlen und den Lebenszyklus des Modells von IBM kontrollieren zu lassen, wählen Sie ein Modell, das IBM bereitgestellt und implementiert wird.

Um ein foundation model abzustimmen, wählen Sie eine Abstimmungsmethode, fügen Abstimmungsdaten hinzu und führen den Auftrag im Tuning Studio oder mit Code aus. Dann stellen Sie das abgestimmte Modell auf mandantenfähiger Hardware bereit, zahlen pro Token und kontrollieren den Lebenszyklus des Modells.

Um ein Modell auf dedizierter Hardware auszuführen, pro Stunde zu bezahlen und den Lebenszyklus des Modells zu kontrollieren, können Sie entweder ein benutzerdefiniertes Modell importieren und bereitstellen oder ein Modell bei Bedarf bereitstellen.

Einsatz Ihrer Lösung

Durch die Bereitstellung eines Assets wird es für Tests oder für die produktive Nutzung durch einen Endpunkt verfügbar. Nachdem Sie Bereitstellungen erstellt haben, können Sie diese testen und verwalten und Ihre Assets für die Bereitstellung in Vorproduktions- und Produktionsumgebungen vorbereiten.

Sie erstellen Verteilungen in Verteilungsbereichen, die von den Projekten getrennt sind und zu denen Sie eine andere Gruppe von Mitarbeitern hinzufügen können.

Um die meisten Arten von Gen AI-Assets bereitzustellen, verschieben Sie das Asset in einen Bereitstellungsbereich und erstellen eine Bereitstellung, die einen Endpunkt enthält. Sie können dann den Endpunkt von Ihrer Anwendung aus aufrufen, um das foundation model zu inferenzieren. Für Prompt-Vorlagen, die keine Variablen enthalten, können Sie den Endpunkt-Code direkt aus Prompt Lab kopieren. Sie können separate Bereitstellungsbereiche für Test-, Staging- und Produktionsbereitstellungen erstellen, um Ihren ModelOps zu unterstützen.

Überwachung und Wartung Ihrer Lösung

Nachdem Sie Ihre Lösung in Ihre Anwendung eingebettet und in Produktion gegeben haben, müssen Sie Ihre Lösung pflegen. Sie können auch die Leistung des Modells überwachen. Die Wartung Ihrer Lösung kann die Aktualisierung oder den Ersatz des foundation model durch neuere Versionen oder die Optimierung des Modells auf der Grundlage von Bewertungen oder Benutzerfeedback umfassen. Die Überwachung Ihrer Lösung bewertet die Leistung des Modells in Ihrer Produktionsumgebung.

Ihr Unternehmen könnte von Ihnen verlangen, dass Sie Ihre Lösung überwachen und sicherstellen, dass die Leistung nicht unter bestimmte Schwellenwerte fällt.

Um Ihre Lösung zu überwachen, öffnen Sie die Bereitstellung Ihrer Lösung im Bereitstellungsbereich und aktivieren Sie die Auswertungen. Sie können den Payload-Protokollierungsendpunkt verwenden, um Bewertungsanfragen für Fairness- und Driftbewertungen zu senden, und den Feedback-Protokollierungsendpunkt verwenden, um Feedbackdaten für Qualitätsbewertungen bereitzustellen.

Wenn das foundation model für Ihre Lösung von IBM bereitgestellt und implementiert wird, kann IBM dieses Modell durch eine neuere Version ersetzen. Wenn IBM das Modell für Ihre Lösung veraltet, müssen Sie Ihre Lösung aktualisieren, um das Modell zu ändern, bevor das Modell entfernt wird. Wenn Sie das foundation model für Ihre Lösung eingesetzt haben, sollten Sie Ihr Modell regelmäßig aktualisieren, um die Leistung zu verbessern.