Erste strategische Entscheidungen

Was ist Ihr Anwendungsfall?

Verstehen Sie das Ziel Ihrer Lösung, ob dieses Ziel realisierbar und wertvoll ist, und wie Sie feststellen können, wann Ihre Lösung fertig ist:

AI-Aufgabe

Wozu brauchen Sie das Modell?

Durchführbarkeit

Verstehen Sie die Grenzen der KI, damit Sie beurteilen können, ob Ihr Anwendungsfall realisierbar ist.

Gen AI Sie können z. B. die Benchmark-Ergebnisse des Basismodells für die Art des Anwendungsfalls, den Sie implementieren möchten, überprüfen.

ML Um beispielsweise ein Modell für maschinelles Lernen (ML) zu trainieren, benötigen Sie eine ausreichende Anzahl hochwertiger markierter Daten, damit ein Algorithmus genaue Vorhersagen oder Klassifizierungen vornehmen kann.

Geschäftlicher Nutzen

Überlegen Sie, ob der Nutzen der Lösung größer ist als die Kosten für den Betrieb der Lösung.

Erfolgskriterien

Entscheiden Sie, wie Sie den Erfolg der Lösung messen wollen. Sie können sich zum Beispiel auf Bewertungskennzahlen oder auf das Feedback der Zielnutzer stützen.

Implementierung von Gen AI oder maschinellem Lernen

Die Art der Daten, mit denen Sie zu arbeiten beabsichtigen, und die Art, wie Sie diese Daten nutzen wollen, können Ihnen bei der Entscheidung helfen, ob Sie maschinelles Lernen oder generative KI benötigen.

Datentyp

Ob die Daten, die Sie mit KI verarbeiten wollen, strukturiert oder unstrukturiert sind, gibt oft Aufschluss darüber, welche Art von KI Sie benötigen:

• Strukturiert: Wenn Sie beschriftete Datensätze in Tabellenform haben, benötigen Sie wahrscheinlich maschinelles Lernen.
• Unstrukturiert: Wenn Sie große Mengen an Dokumenten oder andere Arten von unstrukturierten Daten haben, benötigen Sie wahrscheinlich generative KI.

Art des Ziels

Ob Sie Ihre Daten mit mathematischen Algorithmen analysieren oder neue Inhalte generieren wollen, zeigt, welche Art von KI Sie benötigen:

• Analysieren oder klassifizieren Sie Ihre Daten: Wenn Sie mathematische und statistische Gleichungen verwenden wollen, um strukturierte Daten zu analysieren, dann brauchen Sie maschinelles Lernen. Mit maschinellem Lernen können Sie zum Beispiel Vorhersagen treffen, Muster erkennen und Optimierungsprobleme lösen.
• Inhalte generieren: Wenn Sie unstrukturierte Inhalte generieren wollen, dann brauchen Sie generative KI. Mit gen AI können Sie zum Beispiel Text oder Code zusammenfassen, klassifizieren, übersetzen und generieren.

Wer sollte einbezogen werden?

Wenn Sie die entsprechenden Interessengruppen von Anfang an einbeziehen, ist das Risiko geringer, dass Sie die Richtung ändern oder Teile des Prozesses wiederholen müssen. Beziehen Sie zumindest die Beteiligten aus diesen Teams in den Planungsprozess ein:

Personen, die die Prioritäten und Prozesse Ihrer Organisation festlegen

Diese Personen müssen Sie über die Anforderungen und Einschränkungen informieren, die Sie beachten müssen. Möglicherweise müssen Sie bestimmte Informationen über Ihre Lösung dokumentieren, einen Arbeitsablauf einhalten, um eine Vorschrift zu erfüllen, oder ein Basismodell mit einer bestimmten Art von Quelle auswählen. Ihr Unternehmen könnte zum Beispiel verlangen, dass Sie ein Open-Source-Grundlagenmodell wählen.

Menschen, die die Lösung nutzen

Sie brauchen diese Leute, um die Anforderungen an die Lösung zu definieren und um zu testen und zu validieren, dass die Lösung in ihren Prozessen funktioniert.

Menschen, die die Lösung schaffen

Sie müssen diese Personen in gestalterische und operative Entscheidungen einbeziehen. Zu diesem Team von Mitarbeitern könnten Designer, Dateningenieure, KI-Ingenieure, Datenwissenschaftler sowie Risiko- und Compliance-Manager gehören.

Gen AI Wenn Sie beispielsweise eine Lösung zur abruferweiterten Generierung von Dokumentationen implementieren, sollten Sie in Erwägung ziehen, Ihre Inhaltsautoren einzubeziehen, die den Inhalt für KI anpassen können.

ML Wenn Sie beispielsweise eine Lösung für die Beantragung von Hypothekenkrediten einführen, sollten Sie sicherstellen, dass Sie Risiko- und Compliance-Manager einbeziehen.

Risiko- und Compliance-Management

Wenn Sie Ihre Risiken und Compliance-Anforderungen kennen, bevor Sie mit der Entwicklung Ihrer Lösung beginnen, können Sie sich besser auf spätere Audits vorbereiten.

KI-bezogene Risiken

Verstehen Sie die wichtigsten Risikodimensionen wie Reputationsrisiken, regulatorische und operative Risiken. Viele Risiken sind beim Einsatz von generativer KI und maschinellen Lernmodellen gleich, aber einige Risiken werden durch generative KI verstärkt, und andere Risiken sind spezifisch für generative KI.

Gen AI Ein Basismodell könnte zum Beispiel Ausgaben erzeugen, die sachlich ungenaue oder unwahre Inhalte enthalten, was als Halluzinationen bezeichnet wird.

ML Ihr maschinelles Lernmodell könnte zum Beispiel eine Tendenz aufweisen, für eine Gruppe häufiger günstige Ergebnisse zu liefern als für eine andere.

Einhaltung von Recht und Gesetz

Legen Sie fest, welche Gesetze und Vorschriften Sie einhalten müssen, welche Methoden es gibt, um die Einhaltung der Vorschriften zu verfolgen, und welche Methoden die Einhaltung sicherstellen. So könnte Ihr Unternehmen beispielsweise eine formale Risikobewertung oder einen Genehmigungsworkflow für KI-Lösungen verlangen.

Dokumentation des Anwendungsfalls

Erstellen Sie einen KI-Anwendungsfall, um alle Informationen für die Verwaltung eines Modells oder einer Eingabeaufforderungsvorlage von der Anfragephase über die Entwicklung bis hin zur Produktion zu erfassen. Die Dokumentation Ihres Anwendungsfalls bietet eine bequeme Möglichkeit, Ihre Fortschritte zu verfolgen, unabhängig davon, ob Ihr Unternehmen dies aus rechtlichen Gründen verlangt oder nicht.

Wie viel automatisieren statt codieren

Sie und Ihr Entwicklungsteam können zwischen verschiedenen Werkzeugen und Methoden in der watsonx.ai wählen oder vollständig mit Code arbeiten:

Codesprache

Wenn Sie Code schreiben möchten, können Sie zwischen REST-APIs, Python und Node.js wählen. Zu den Faktoren für die Wahl der Sprache gehören die Vorlieben und Fähigkeiten Ihrer Entwickler, die Art und Weise, wie Sie die Lösung bereitstellen möchten, und wie viel Arbeit Ihr Team in seiner interaktiven Entwicklungsumgebung (IDE) im Vergleich zur watsonx.ai erledigen möchte.

Grad der Automatisierung

Sie können wählen, wie viel von Ihrem Lösungscode für Sie generiert werden soll:

• Kein Code: Sie können alle Aufgaben wie Prompt-Engineering, Modellabstimmung, Dokumenteneinbettung und Vektorisierung mit Tools erledigen.
  • Gen AI Sie können zum Beispiel die Suche nach dem besten RAG-Muster mit AutoAI für RAG automatisieren, eine Eingabeaufforderungsvorlage im Prompt Lab erstellen und einen KI-Agenten im Agent Lab entwickeln.
  • ML Sie können beispielsweise die Suche nach den besten Datenalgorithmen, Transformationen und Parametereinstellungen mit AutoAI für maschinelles Lernen automatisieren, um das beste Vorhersagemodell zu erstellen. Mit SPSS Modeler können Sie Vorhersagemodelle auf einer grafischen Leinwand entwickeln.
• Etwas Code: Sie können Python mit vielen Tools erstellen und den Code dann nach Bedarf anpassen.
  • Gen AI Sie können z. B. ein Notizbuch auf der Grundlage einer Eingabeaufforderungsvorlage erstellen, Dokumente einbetten und vektorisieren oder einen KI-Agenten implementieren.
  • ML Sie können zum Beispiel ein Problem der präskriptiven Analyse mit einem Decision Optimization notebook lösen.
• Sämtlicher Code: Sie können Code mit REST-APIs in Ihrer IDE schreiben. Sie können Code mit Python mit dem Notebook-Editor schreiben und ausführen.

Funktionalität

Die meisten Funktionen von watsonx.ai sind sowohl über Tools in der Benutzeroberfläche als auch über Code wie APIs und SDKs verfügbar.

Wie wählt man ein Gründungsmodell für gen AI aus?

Sie müssen sich nicht für ein Basismodell entscheiden, bevor Sie einen Plan für Ihre gen AI-Lösung erstellen. Wenn Sie jedoch wissen, welche Kriterien für Sie und Ihr Unternehmen am wichtigsten sind, können Sie das Risiko der Auswahl eines ungeeigneten Stiftungsmodells verringern.

Task

Die Aufgabe, die das Fundamentmodell erfüllen soll, kann ein einschränkender Faktor bei der Auswahl eines Fundamentmodells sein. Für viele KI-Aufgaben können Sie zwischen verschiedenen Grundmodellen wählen. Für andere KI-Aufgaben, wie z. B. die Übersetzung oder die Beantwortung von Fragen in einer anderen Sprache als Englisch, haben Sie jedoch weniger Auswahlmöglichkeiten.

Kosten

Die Kosten für das Inferencing variieren je nach Gründungsmodell. Wenn es für Sie wichtig ist, die Inferenzkosten niedrig zu halten, wählen Sie ein kostengünstigeres Fundamentmodell, ein kleineres Fundamentmodell, ein quantisiertes Fundamentmodell oder ein Fundamentmodell, das Sie abstimmen können.

Umweltbelastung

Im Allgemeinen haben größere Modelle sowohl beim Training als auch beim Inferencing eine größere Auswirkung auf die Umwelt. Kleinere Fundamentmodelle und quantisierte Fundamentmodelle haben eine geringere Auswirkung auf die Umwelt.

Genauigkeit und andere Ergebnisse

Sie können die Benchmarks der Stiftungsmodelle vergleichen und das Stiftungsmodell auswählen, das in den für Sie wichtigsten Bereichen hohe Punktzahlen aufweist.

Entschädigung und Musterherkunft

Ihr Unternehmen verfügt möglicherweise über Richtlinien zur Auswahl von Stiftungsmodellen, die ihre Schulungsdaten transparent darstellen, Open Source sind oder eine Entschädigung anbieten.

Anpassung

Sie können ein Basismodell für einen bestimmten Bereich anpassen, indem Sie es abstimmen. Sie können einige Stiftungsmodelle abstimmen, die mit watsonx.ai in der Tuning Studio bereitgestellt werden. Alternativ dazu können Sie ein Fundamentmodell in einem externen Tool abstimmen und Ihr benutzerdefiniertes Fundamentmodell in watsonx.ai importieren.

Mit InstructLab können Sie IBM Granite Wissen oder Fähigkeiten hinzufügen.

Wenn Sie Foundation-Modelle in Ihrem eigenen Rechenzentrum einsetzen möchten, können Sie die Software watsonx.ai erwerben und installieren.

Aufbereitung von Daten für Gen AI

Foundation-Modelle werden auf großen Datenmengen trainiert, aber nicht auf Ihren internen Unternehmensdaten. Wenn Sie ein Fundamentmodell benötigen, um Ihre Unternehmensdaten zu kennen, müssen Sie entscheiden, wie Sie Ihre Daten dem Modell zur Verfügung stellen.

Dokumente zur Erdung

Wenn Sie eine Lösung benötigen, die Fragen beantwortet, indem sie das Modell auf die Informationen in Ihren Dokumenten stützt, können Sie ein RAG-Muster (retrieval-augmented generation) einrichten. Bei einem RAG-Muster vektorisieren Sie Ihre Dokumente, um die Passagen, die die Fragen der Benutzer beantworten, effizient abrufen zu können.

Abstimmung und Prüfung von Daten

Wenn Sie die Ausgabe für Aufgaben der natürlichen Sprachverarbeitung wie Klassifizierung, Zusammenfassung und Generierung verbessern oder anpassen möchten, können Sie das Basismodell anpassen. Wenn Sie die Qualität Ihres Prompts testen möchten, können Sie ihn mit generativen KI-Metriken bewerten. Für beide Aufgaben müssen Sie eine Reihe von Beispielen für die validierte Eingabeaufforderung und Ausgabe bereitstellen. Wenn Ihre Daten sensible Informationen enthalten, z. B. personenbezogene Daten (PII), vergewissern Sie sich, dass Sie die Richtlinien Ihres Unternehmens für PII kennen. So kann es beispielsweise erforderlich sein, personenbezogene Daten zu maskieren oder synthetische Daten zu erzeugen, um Ihr Basismodell zu optimieren oder zu testen.

Kenntnisse oder Fähigkeiten

Bereitstellung von Datensätzen, die als Grundlage für das Gründungsmodell dienen. Sie können IntructLab verwenden, um ein vorhandenes Grundmodell mit den für Ihren Anwendungsfall erforderlichen Funktionen zu erweitern. Sie stellen Beispielsätze oder Basisdaten bereit, die die Grundlage für die Generierung synthetischer Daten zur Anpassung des Grundmodells bilden.

Wie man Qualität bewertet und Risiken mindert

Sie müssen entscheiden, wie Sie die Qualität messen und die Sicherheit gewährleisten.

Evaluierung

Sie können die Leistung und die Risiken der Lösung anhand von branchenüblichen Kennzahlen bewerten. Mit Hilfe dieser Kennzahlen können Sie sicherstellen, dass KI-Lösungen frei von Vorurteilen sind, von Geschäftsanwendern leicht erklärt und verstanden werden können und in Geschäftsvorgängen überprüfbar sind.

Gen AI Sie können die Textgenauigkeit, Ähnlichkeit und Qualität der Ausgabe des Stiftungsmodells messen. Sie können auch Fairness, Leistung und Drift der Modellausgabe bewerten. Sie können die Leistung mehrerer Anlagen gleichzeitig bewerten und vergleichende Ergebnisanalysen anzeigen, um die besten Lösungen zu ermitteln.

ML Sie können die Ergebnisse Ihrer Modelle für maschinelles Lernen auf Fairness, Qualität, Drift und Erklärbarkeit überwachen.

Risikobewertung

Sie können potenzielle Risiken ermitteln, indem Sie einen Fragebogen zur Risikobewertung ausfüllen.

Guardrails

Gen AI Sie können Leitplanken aktivieren, um potenziell schädliche Inhalte oder PII-Inhalte sowohl aus dem Eingabe- als auch aus dem Ausgabetext in Eingabeaufforderungen zu entfernen.

Testen

Erwägen Sie die Einrichtung eines roten Teams, um gegnerische Angriffe zu simulieren.

Wie man Stiftungsmodelle optimiert und verwaltet

Sie können ein Fundamentmodell in Bezug auf Genauigkeit, Kosten, Inferenzlatenz und Kontrolle des Modelllebenszyklus optimieren.

Standard-Optimierung

IBM bietet eine Reihe von Basismodellen an, die auf mandantenfähiger Hardware eingesetzt werden. Sie zahlen für das Inferencing pro Token. IBM steuert den Lebenszyklus des Modells durch Aktualisierung und Veraltung der Modelle. Wenn ein Modell veraltet ist, müssen Sie Ihre Lösung aktualisieren, um die neue Version des Modells oder ein anderes Modell zu inferenzieren.

Optimierung von Genauigkeit und Kosten

Wenn Sie die Genauigkeit Ihrer Eingabeaufforderung verbessern und die Kosten senken möchten, indem Sie ein kleineres Fundamentmodell verwenden, können Sie ein mitgeliefertes Fundamentmodell abstimmen. Sie stellen ein abgestimmtes Modell auf mandantenfähiger Hardware bereit und zahlen für das Inferencing pro Token.

Optimieren Sie für Genauigkeit und Kontrolle

Wenn Sie für Ihren Anwendungsfall ein externes Modell in watsonx.ai trainiert oder abgestimmt haben, können Sie ein benutzerdefiniertes Modell importieren und bereitstellen. Sie stellen das Modell auf dedizierter Hardware bereit. Sie zahlen pro Stunde für das Hosting des Modells und nicht für das Inferencing. Sie kontrollieren den Lebenszyklus des Modells.

Optimierung von Latenz und Kontrolle

Wenn Ihre Lösung eine hohe Anzahl von gleichzeitigen Benutzern unterstützen muss, können Sie ein Deployment-on-Demand-Modell einsetzen, das von IBM auf dedizierter Hardware bereitgestellt wird. Dedizierte Hardware bietet geringere Latenzzeiten als mandantenfähige Hardware. Sie zahlen pro Stunde für das Hosting des Modells und nicht für das Inferencing. Sie kontrollieren den Lebenszyklus des Modells.

Wie Sie Ihre Lösung bereitstellen und pflegen

Sie müssen entscheiden, wie Sie Ihre gen AI-Lösung bereitstellen und ihre kontinuierliche Qualität sicherstellen.

Einsatz Ihrer Lösung

Sie stellen Ihr KI-Asset in einem Bereitstellungsbereich bereit und rufen dann den Bereitstellungsendpunkt ab, um Ihre KI-Lösung in Ihrer Anwendung aufzurufen.

Gen AI Bei der Inferenz eines Basismodells kann der Endpunkt für die Inferenz des Modells in einem Codeschnipsel, einer Python Funktion, einem KI-Dienst oder einem von Ihrem Team entwickelten Code liegen.

ML Bei einer Lösung für maschinelles Lernen kann der Endpunkt für ein Modell für maschinelles Lernen, eine Python Funktion, eine R Shiny-Anwendung, ein NLP-Modell oder ein Skript sein.

ModelOps mit Bereitstellungsräumen verwalten

Sie können einen ModelOps unterstützen, indem Sie separate Bereitstellungsbereiche für Test-, Staging- und Produktionsversionen Ihrer Lösung erstellen. Sie können den Zugriff auf Ihre Produktionslösung verwalten, indem Sie die entsprechenden Mitarbeiter zu jedem Bereich hinzufügen.

Orchestrierung von ML-Pipelines

ML Sie können eine Pipeline zum Erstellen, Trainieren, Bereitstellen und Aktualisieren von Modellen für maschinelles Lernen und Python Skripten zusammenstellen und konfigurieren.

Monitoring

Ähnlich wie bei der Bewertung Ihrer Lösung während der Entwicklung können Sie die Leistung und die Risiken der Lösung überwachen, z. B. in Bezug auf Fairness, Qualität und Erklärbarkeit. Sie können Trends im Zeitverlauf anzeigen und Schwellenwerte festlegen, die Sie bei Leistungseinbrüchen alarmieren.

Benutzerfeedback

Überlegen Sie, ob Sie einen Mechanismus für Benutzerfeedback einführen und einen Prozess zur Erfassung dieses Feedbacks und zur Verbesserung Ihrer Lösung einrichten wollen.

Gen AI Wenn Sie z. B. ein RAG-Muster implementieren, können Sie einen Feedback-Mechanismus hinzufügen, mit dem die Benutzer die Antworten auf ihre Fragen bewerten können. Sie können ein Verfahren zur Bewertung falscher und unzureichender Antworten einrichten und entweder das RAG-Muster anpassen oder Ihre Inhalte so umgestalten, dass sie bessere Antworten liefern.

Weitere Informationen

• Vergleich von Tools und Code
• Planung des Implementierungsworkflows für Ihre generative KI-Lösung
• Planung des Implementierungsablaufs für Ihre Lösung für maschinelles Lernen

Übergeordnetes Thema: Planung einer generativen KI-Lösung