Was ist Ihr Anwendungsfall?

Verstehen Sie das Ziel Ihrer Lösung, ob dieses Ziel realisierbar und wertvoll ist, und wie Sie feststellen können, wann Ihre Lösung fertig ist:

Gen KI Aufgabe

Wozu brauchen Sie das Modell?

Konversation oder getrennte Ausgänge

Machen Sie sich klar, ob Sie ein konversationelles Erlebnis benötigen, bei dem die Benutzer mit einem Modell chatten, das den Kontext früherer Interaktionen beibehält, oder ob jede Interaktion mit dem Modell separat erfolgt. Einige Aufgaben, wie Klassifizierung, Zusammenfassung oder Generierung, profitieren nicht von einer Unterhaltung. Unterhaltungen kosten mehr als getrennte Ausgaben, da Unterhaltungen den Chatverlauf mit jeder Eingabe beinhalten.

Durchführbarkeit

Verstehen Sie die Grenzen von Gründungsmodellen, damit Sie beurteilen können, ob Ihr Anwendungsfall realisierbar ist. Sie können zum Beispiel die Modell-Benchmark-Ergebnisse für die Art des Anwendungsfalls, den Sie implementieren möchten, überprüfen.

Geschäftlicher Nutzen

Überlegen Sie, ob der Nutzen der Lösung größer ist als die Kosten für den Betrieb der Lösung.

Erfolgskriterien

Entscheiden Sie, wie Sie den Erfolg der Lösung messen wollen. Sie können sich zum Beispiel auf Bewertungskennzahlen oder auf das Feedback der Zielnutzer stützen.

Wer sollte einbezogen werden?

Wenn Sie die entsprechenden Interessengruppen von Anfang an einbeziehen, ist das Risiko geringer, dass Sie die Richtung ändern oder Teile des Prozesses wiederholen müssen. Beziehen Sie zumindest die Beteiligten aus diesen Teams in den Planungsprozess ein:

Personen, die die Prioritäten und Prozesse Ihrer Organisation festlegen

Diese Personen müssen Sie über die Anforderungen und Einschränkungen informieren, die Sie beachten müssen. Vielleicht müssen Sie bestimmte Informationen über Ihre Lösung dokumentieren, einen Arbeitsablauf befolgen, um eine Vorschrift einzuhalten, oder ein Modell mit einer bestimmten Art von Quelle auswählen. Ihr Unternehmen könnte zum Beispiel verlangen, dass Sie ein Open-Source-Modell wählen.

Menschen, die die Lösung nutzen

Sie brauchen diese Leute, um die Anforderungen an die Lösung zu definieren und um zu testen und zu validieren, dass die Lösung in ihren Prozessen funktioniert.

Menschen, die die Lösung schaffen

Sie müssen diese Personen in gestalterische und operative Entscheidungen einbeziehen. Zu diesem Team von Mitarbeitern könnten Designer, Dateningenieure, KI-Ingenieure, Datenwissenschaftler sowie Risiko- und Compliance-Manager gehören. Wenn Sie eine Lösung für die abruferweiterte Generierung Ihrer Dokumentation implementieren, sollten Sie in Erwägung ziehen, Ihre Inhaltsautoren einzubeziehen, die die Inhalte für KI anpassen können.

Risiko- und Compliance-Management

Wenn Sie Ihre Risiken und Compliance-Anforderungen kennen, bevor Sie mit der Entwicklung Ihrer Lösung beginnen, können Sie sich besser auf spätere Audits vorbereiten.

KI-bezogene Risiken

Verstehen Sie die wichtigsten Risikodimensionen wie Reputationsrisiken, regulatorische und operative Risiken. Zu den Risiken beim Einsatz generativer KI gehören die gleichen Risiken wie bei herkömmlichen maschinellen Lernmodellen, Risiken, die durch generative KI verstärkt werden, und neue, für generative KI spezifische Risiken. So besteht beispielsweise bei der generativen KI die Gefahr, dass sie Ergebnisse erzeugt, die sachlich ungenaue oder unwahre Inhalte enthalten, was als Halluzinationen bezeichnet wird.

Einhaltung von Recht und Gesetz

Legen Sie fest, welche Gesetze und Vorschriften Sie einhalten müssen, welche Methoden es gibt, um die Einhaltung der Vorschriften zu verfolgen, und welche Methoden die Einhaltung sicherstellen. So könnte Ihr Unternehmen beispielsweise eine formale Risikobewertung oder einen Genehmigungsworkflow für KI-Lösungen verlangen.

Dokumentation des Anwendungsfalls

Erstellen Sie einen KI-Anwendungsfall, um alle Informationen für die Verwaltung eines Modells oder einer Eingabeaufforderungsvorlage von der Anfragephase über die Entwicklung bis hin zur Produktion zu erfassen. Die Dokumentation Ihres Anwendungsfalls bietet eine bequeme Möglichkeit, Ihre Fortschritte zu verfolgen, unabhängig davon, ob Ihr Unternehmen dies aus rechtlichen Gründen verlangt oder nicht.

Wie Sie Ihre Lösung entwickeln

Sie und Ihr Entwicklungsteam können zwischen verschiedenen Werkzeugen und Methoden in der watsonx.ai wählen oder vollständig mit Code arbeiten:

Codesprache

Wenn Sie Code schreiben möchten, können Sie zwischen REST-APIs, Python und Node.js wählen. Zu den Faktoren für die Wahl der Sprache gehören die Vorlieben und Fähigkeiten Ihrer Entwickler, die Art und Weise, wie Sie die Lösung bereitstellen möchten, und wie viel Arbeit Ihr Team in seiner interaktiven Entwicklungsumgebung (IDE) im Vergleich zur watsonx.ai erledigen möchte.

Grad der Automatisierung

Sie können wählen, wie viel von Ihrem Lösungscode für Sie generiert werden soll:

• Sämtlicher Code: Sie können Code mit REST-APIs in Ihrer IDE schreiben. Sie können Code mit Python mit dem Notebook-Editor schreiben und ausführen.

• Etwas Code: Sie können Python mit vielen Tools erstellen und den Code dann nach Bedarf anpassen. Sie können z. B. ein Notizbuch auf der Grundlage einer Eingabeaufforderungsvorlage erstellen oder mehrere Notizbücher zum Einbetten und Vektorisieren von Dokumenten erzeugen.

• Kein Code: Sie können alle Aufgaben wie Prompt-Engineering, Modellabstimmung, Dokumenteneinbettung und Vektorisierung mit Tools erledigen.

Funktionalität

Die meisten Funktionen, die Sie in der watsonx.ai finden können, sind über APIs verfügbar. Allerdings unterscheiden sich die Fähigkeiten der einzelnen Tools.

Wie man ein Modell auswählt

Sie brauchen sich nicht für ein Modell zu entscheiden, bevor Sie einen Plan für Ihre Lösung erstellen. Wenn Sie jedoch wissen, welche Kriterien für Sie und Ihr Unternehmen am wichtigsten sind, können Sie das Risiko der Auswahl eines ungeeigneten Modells verringern.

Task

Die Aufgabe, die das Modell erfüllen soll, kann ein einschränkender Faktor bei der Auswahl eines Modells sein. Für viele Modellaufgaben können Sie zwischen mehreren Modellen wählen. Bei anderen Musteraufgaben, wie z. B. Übersetzung oder Beantwortung in einer anderen Sprache als Englisch, haben Sie jedoch weniger Auswahlmöglichkeiten.

Kosten

Die Kosten für das Inferencing variieren je nach Modell. Wenn es für Sie wichtig ist, die Inferenzkosten niedrig zu halten, wählen Sie ein billigeres Modell, ein kleineres Modell, ein quantisiertes Modell oder ein Modell, das Sie einstellen können.

Umweltbelastung

Im Allgemeinen haben größere Modelle sowohl beim Training als auch beim Inferencing eine größere Auswirkung auf die Umwelt. Kleinere Modelle und quantisierte Modelle haben eine geringere Auswirkung auf die Umwelt.

Genauigkeit und andere Ergebnisse

Sie können Modell-Benchmarks vergleichen und das Modell auswählen, das in den für Sie wichtigsten Bereichen am besten abschneidet.

Entschädigung und Musterherkunft

Ihr Unternehmen hat vielleicht Richtlinien für die Auswahl von Modellen, die ihre Trainingsdaten transparent darstellen, Open Source sind oder eine Entschädigung anbieten.

Anpassung

Sie können ein Modell für einen bestimmten Bereich anpassen, indem Sie es abstimmen. Sie können einige Modelle, die mit watsonx.ai geliefert werden, im Tuning Studio tunen. Alternativ können Sie auch ein Modell in einem externen Tool anpassen und Ihr eigenes Modell in watsonx.ai importieren.

Mit InstructLab können Sie IBM Granite Wissen oder Fähigkeiten hinzufügen.

Wie man Daten vorbereitet

Foundation-Modelle werden auf großen Datenmengen trainiert, aber nicht auf Ihren internen Unternehmensdaten. Wenn Sie ein foundation model benötigen, um Ihre Unternehmensdaten zu kennen, müssen Sie entscheiden, wie Sie dem Modell Ihre Daten zur Verfügung stellen.

Dokumente zur Erdung

Wenn Sie eine Lösung benötigen, die Fragen beantwortet, indem sie das Modell auf die Informationen in Ihren Dokumenten stützt, können Sie ein RAG-Muster (retrieval-augmented generation) einrichten. Bei einem RAG-Muster vektorisieren Sie Ihre Dokumente, um die Passagen, die die Fragen der Benutzer beantworten, effizient abrufen zu können.

Abstimmung und Prüfung von Daten

Wenn Sie die Ausgabe für Aufgaben der natürlichen Sprachverarbeitung wie Klassifizierung, Zusammenfassung und Generierung verbessern oder anpassen müssen, können Sie das Modell abstimmen. Wenn Sie die Qualität Ihres Prompts testen möchten, können Sie ihn mit generativen KI-Metriken bewerten. Für beide Aufgaben müssen Sie eine Reihe von Beispielen für die validierte Eingabeaufforderung und Ausgabe bereitstellen. Wenn Ihre Daten sensible Informationen enthalten, z. B. personenbezogene Daten (PII), vergewissern Sie sich, dass Sie die Richtlinien Ihres Unternehmens für PII kennen. So kann es beispielsweise erforderlich sein, personenbezogene Daten zu maskieren oder synthetische Daten zu erzeugen, um Ihr Modell zu optimieren oder zu testen.

Kenntnisse oder Fähigkeiten

Bereitstellung von Datensätzen, die als Grundlage für das Modell dienen. Sie können IntructLab verwenden, um ein bestehendes foundation model mit den für Ihren Anwendungsfall erforderlichen Funktionen zu erweitern. Sie stellen Startbeispiele oder Basisdaten zur Verfügung, die die Grundlage für die Erzeugung synthetischer Daten für die Abstimmung des foundation model bilden.

Wie man Qualität bewertet und Risiken mindert

Sie müssen entscheiden, wie Sie die Qualität messen und die Sicherheit gewährleisten.

Evaluierung

Sie können die Leistung und die Risiken der Lösung anhand von branchenüblichen Kennzahlen bewerten. Sie können die Textgenauigkeit, Ähnlichkeit und Qualität der Ausgabe des foundation model messen. Sie können auch Fairness, Leistung und Drift der Modellausgabe bewerten. Mit Hilfe dieser Kennzahlen können Sie sicherstellen, dass KI-Lösungen frei von Vorurteilen sind, von Geschäftsanwendern leicht erklärt und verstanden werden können und in Geschäftsvorgängen überprüfbar sind.

Guardrails

Sie können Leitplanken aktivieren, um potenziell schädliche oder personenbezogene Inhalte sowohl aus dem Eingabe- als auch aus dem Ausgabetext in Eingabeaufforderungen zu entfernen.

Testen

Erwägen Sie die Einrichtung eines roten Teams, um gegnerische Angriffe zu simulieren.

Wie man Stiftungsmodelle optimiert und verwaltet

Sie können ein foundation model hinsichtlich Genauigkeit, Kosten, Inferenzlatenz und Kontrolle des Modelllebenszyklus optimieren.

Standard-Optimierung

IBM bietet eine Reihe von Basismodellen an, die auf mandantenfähiger Hardware eingesetzt werden. Sie zahlen für das Inferencing pro Token. IBM steuert den Lebenszyklus des Modells durch Aktualisierung und Veraltung der Modelle. Wenn ein Modell veraltet ist, müssen Sie Ihre Lösung aktualisieren, um die neue Version des Modells oder ein anderes Modell zu inferenzieren.

Optimierung von Genauigkeit und Kosten

Wenn Sie die Genauigkeit Ihres Prompts verbessern und die Kosten durch Inferenz eines kleineren foundation model senken möchten, können Sie ein bereitgestelltes foundation model als Prompt abstimmen. Sie stellen ein auf Prompt abgestimmtes Modell auf mandantenfähiger Hardware bereit und zahlen für die Inferenzierung pro Token.

Optimieren Sie für Genauigkeit und Kontrolle

Wenn Sie für Ihren Anwendungsfall ein externes Modell in watsonx.ai trainiert oder abgestimmt haben, können Sie ein benutzerdefiniertes Modell importieren und bereitstellen. Sie stellen das Modell auf dedizierter Hardware bereit. Sie zahlen pro Stunde für das Hosting des Modells und nicht für das Inferencing. Sie kontrollieren den Lebenszyklus des Modells.

Optimierung von Latenz und Kontrolle

Wenn Ihre Lösung eine hohe Anzahl von gleichzeitigen Benutzern unterstützen muss, können Sie ein Deployment-on-Demand-Modell einsetzen, das von IBM auf dedizierter Hardware bereitgestellt wird. Dedizierte Hardware bietet geringere Latenzzeiten als mandantenfähige Hardware. Sie zahlen pro Stunde für das Hosting des Modells und nicht für das Inferencing. Sie kontrollieren den Lebenszyklus des Modells.

Wie Sie Ihre Lösung bereitstellen und pflegen

Sie müssen entscheiden, wie Sie Ihre gen AI-Lösung bereitstellen und ihre kontinuierliche Qualität sicherstellen.

Einsatz Ihrer Lösung

Um ein foundation model zu inferenzieren, stellen Sie einen Endpunkt bereit, den Sie in Ihrer Anwendung aufrufen, um das Modell zu inferenzieren. Je nach Architektur Ihrer KI-Lösung kann sich der Endpunkt in einem Codeschnipsel, einer Python, einem KI-Dienst oder in einem von Ihrem Team entwickelten Code befinden.

ModelOps mit Bereitstellungsräumen verwalten

Sie können einen ModelOps unterstützen, indem Sie separate Bereitstellungsbereiche für Test-, Staging- und Produktionsversionen Ihrer Lösung erstellen. Sie können den Zugriff auf Ihre Produktionslösung verwalten, indem Sie die entsprechenden Mitarbeiter zu jedem Bereich hinzufügen.

Monitoring

Ähnlich wie bei der Bewertung Ihrer Lösung während der Entwicklung können Sie die Leistung und die Risiken der Lösung überwachen, z. B. in Bezug auf Fairness, Qualität und Erklärbarkeit. Sie können Trends im Zeitverlauf anzeigen und Schwellenwerte festlegen, die Sie bei Leistungseinbrüchen alarmieren.

Benutzerfeedback

Überlegen Sie, ob Sie einen Mechanismus für Benutzerfeedback einführen und einen Prozess zur Erfassung dieses Feedbacks und zur Verbesserung Ihrer Lösung einrichten wollen. Wenn Sie zum Beispiel ein RAG-Muster implementieren, können Sie einen Feedback-Mechanismus hinzufügen, mit dem die Benutzer die Antworten auf ihre Fragen bewerten können. Sie können ein Verfahren zur Bewertung falscher und unzureichender Antworten einrichten und entweder das RAG-Muster anpassen oder Ihre Inhalte so umgestalten, dass sie bessere Antworten liefern.

Weitere Informationen

• Vergleich von Tools und Code

Übergeordnetes Thema: Planung einer generativen KI-Lösung