Governance-Team aufbauen

Berücksichtigen Sie das Fachwissen, das Sie für Ihr Governance-Team benötigen. Ein typischer Governance-Plan kann die folgenden Rollen enthalten: Manchmal kann dieselbe Person mehrere Rollen ausfüllen. In anderen Fällen kann eine Rolle ein Team von Personen darstellen.

• Modelleigner: Der Eigner erstellt einen KI-Anwendungsfall, um eine Lösung für eine Geschäftsanforderung zu verfolgen. Der Eigner fordert das Modell oder die Eingabeaufforderungsvorlage an, verwaltet den Genehmigungsprozess und verfolgt die Lösung über den KI-Lebenszyklus.
• Modellentwickler oder Data-Scientist: Der Entwickler arbeitet mit den Daten in einem Dataset oder einem LLM (Large Language Model) und erstellt das Modell für maschinelles Lernen oder die LLM-Eingabeaufforderungsvorlage.
• Modellvalidator: Der Validator testet die Lösung, um zu ermitteln, ob sie die im KI-Anwendungsfall angegebenen Ziele erfüllt.
• Risk and Compliance Manager: Der Risikomanager bestimmt die Richtlinien und Konformitätsschwellenwerte für den KI-Anwendungsfall. Der Risikomanager könnte beispielsweise die Regeln festlegen, die zum Testen einer Lösung auf Fairness oder zum Screening der Ausgabe auf hasserfüllte und missbräuchliche Sprache anzuwenden sind.
• MLOps-Entwickler: Der MLOps-Entwickler verschiebt eine Lösung aus einer Vorproduktionsumgebung (Testumgebung) in eine Produktionsumgebung, wenn eine Lösung als vollständig implementiert gilt.
• App-Entwickler: Im Anschluss an die Bereitstellung und der App-Entwickler führt Auswertungen für die Bereitstellung aus, um die Leistung der Lösung anhand des vom Risiko-und Compliance-Eigentümer festgelegten Messgrößenschwellenwerts zu überwachen. Fällt die Leistung unter bestimmte Schwellenwerte, arbeitet der App-Entwickler mit den anderen Beteiligten zusammen, um Probleme zu beheben und das Modell oder die Eingabeaufforderungsvorlage zu aktualisieren.

Governance-Struktur einrichten

Nachdem Sie Rollen identifiziert und ein Team zusammengestellt haben, planen Sie Ihre Governance-Struktur.

1. Erstellen Sie einen Bestand zum Speichern von KI-Anwendungsfällen. In einem Bestand werden KI-Anwendungsfälle und die Factsheets, die den regulierten Assets zugeordnet sind, gespeichert und angezeigt. Speichern Sie je nach Governance-Anforderungen alle Anwendungsfälle in einem einzigen Bestand oder erstellen Sie mehrere Bestände für Ihre Governance-Maßnahmen.
2. Erstellen Sie Projekte für die Zusammenarbeit. Wenn Sie IBM verwenden, erstellen Sie ein watsonx.ai Studio-Projekt. Das Projekt kann die Daten enthalten, die zum Trainieren oder Testen der KI-Lösung erforderlich sind, sowie das regulierte Modell oder die regulierte Eingabeaufforderungsvorlage. Verwenden Sie die Zugriffssteuerung, um den Zugriff auf die genehmigten Mitarbeiter zu beschränken.
3. Erstellen Sie einen Bereitstellungsbereich für die Vorproduktion. Verwenden Sie den Space, um Ihr Modell oder Ihre Eingabeaufforderungsvorlage mithilfe von Testdaten zu testen. Wie ein Projekt bietet ein Space Zugriffssteuerungsfunktionen, sodass Sie die erforderlichen Mitarbeiter einbeziehen können.
4. Konfigurieren Sie Test-und Validierungsbewertungen. Geben Sie die Details des Modells oder der Eingabeaufforderungsvorlage an und konfigurieren Sie eine Gruppe von Bewertungen, um die Leistung Ihrer Lösung zu testen. Sie können beispielsweise ein Modell für maschinelles Lernen auf Dimensionen wie Fairness, Qualität und Drift testen und eine Eingabeaufforderungsvorlage auf Metriken wie Perplexität (wie genau die Ausgabe ist) oder Toxizität (ob die Ausgabe hasserfüllte oder missbräuchliche Sprache enthält) testen. Durch das Testen bekannter (beschrifteter) Daten können Sie die Leistung bewerten, bevor Sie eine Lösung in die Produktion verschieben.
5. Konfigurieren Sie einen Produktionsbereich. Wenn das Modell oder die Eingabeaufforderungsvorlage für die Implementierung in einer Produktionsumgebung bereit ist, verschieben Sie die Lösung und alle Abhängigkeiten in einen Produktionsbereich. Ein Produktionsbereich verfügt normalerweise über eine engere Zugriffssteuerungsliste.
6. Konfigurieren Sie Bewertungen für das bereitgestellte Modell. Geben Sie die Modelldetails an und konfigurieren Sie Auswertungen für die Lösung. Sie können jetzt anstelle von Testdaten Tests für Livedaten durchführen. Es ist wichtig, Ihre Lösung zu überwachen, damit Sie benachrichtigt werden, wenn Schwellenwerte überschritten werden, was auf ein potenzielles Problem mit der implementierten Lösung hinweist.

Collaboration für Governance verwalten

Watsonx.governance basiert auf einer Plattform für die Onlinezusammenarbeit, damit alle genehmigten Teammitglieder zur Lösung von Geschäftsproblemen beitragen können.

Berücksichtigen Sie bei der Planung der Zusammenarbeit, wie Sie den Zugriff auf die Bestände, Projekte und Bereiche verwalten können, die Sie für die Governance verwenden.

Verwenden Sie Rollen zusammen mit Zugriffssteuerungsfunktionen, um sicherzustellen, dass Ihr Team über den entsprechenden Zugriff zum Erreichen der Ziele verfügt.

Kommunikationsplan entwickeln

Ein Teil des Workflows zur Definition eines KI-Anwendungsfalls und zum Verschieben von Assets durch den Lebenszyklus basiert auf effektiver Kommunikation. Entscheiden Sie, wie Ihr Team kommunizieren wird, und legen Sie die Details fest. Beispiel:

• Verwenden Sie E-Mails für die Entscheidungsfindung oder ein Messaging-Tool wie Slack?
• Gibt es einen formalen Prozess zum Hinzufügen von Kommentaren zu einem Asset, wenn es einen Workflow durchläuft?

Erstellen Sie Ihren Kommunikationsplan und teilen Sie ihn mit Ihrem Team.

Implementieren Sie eine einfache Governance-Lösung

Wenn Sie Ihre Governance-Strategie implementieren, beginnen Sie mit einer einfachen Implementierung und überlegen Sie dann, wie Sie schrittweise eine umfassendere Lösung erstellen können. Die einfachste Implementierung erfordert einen KI-Anwendungsfall in einem Bestand, bei dem ein Asset von der Anforderung in die Produktion verschoben wird.

Für die einfachste Implementierung von KI-Governance erstellen Sie einen KI-Anwendungsfall für die Verfolgung von Assets. Ein KI-Anwendungsfall in einem Inventar besteht aus einer Reihe von Datenblättern, die die Herkunft, den Verlauf und andere relevante Informationen über den Lebenszyklus eines Modells enthalten. Fügen Sie Data-Scientists, Datenentwickler und andere Benutzer als Mitarbeiter hinzu.

Die folgende Abbildung zeigt, wie Eigner von KI-Anwendungsfällen Assets anfordern und überwachen:

• Geschäftsbenutzer erstellen KI-Anwendungsfälle im Bestand, um Modelle für maschinelles Lernen oder LLM-Eingabeaufforderungsvorlagen anzufordern.
• Data-Scientists ordnen das trainierte Asset einem KI-Anwendungsfall zu, um Lebenszyklusaktivitäten zu verfolgen.

AI-Factsheets sammeln Informationen zum Modell oder zu Eingabeaufforderungsvorlagen auf folgende Weise:

• Alle Aktionen, die dem überwachten Asset zugeordnet sind, werden automatisch gespeichert, einschließlich Bereitstellungen und Bewertungen.
• Alle Änderungen an Eingabedatenassets werden automatisch gespeichert.
• Data-Scientists können Tags, unterstützende Dokumentation und weitere Informationen hinzufügen.
• Data-Scientists können Challenger-Modelle mit KI-Anwendungsfällen verknüpfen, um die Modellleistung zu vergleichen.

Prüfer und andere Beteiligte prüfen KI-Factsheets, um Compliance sicherzustellen und den Assetfortschritt von der Entwicklung bis zur Produktion zu zertifizieren. Sie können auch Berichte aus den Factsheets generieren, um Details zu drucken, freizugeben oder zu archivieren.

Planung für komplexere Lösungen

Sie können Ihre KI-Governance-Implementierung jederzeit erweitern. Berücksichtigen Sie die folgenden Optionen zur Erweiterung der Governance:

• MLOps-Entwickler können die Modellverfolgung um externe Modelle erweitern, die mit Modellen für maschinelles Lernen anderer Anbieter erstellt wurden.
• MLOps-Entwickler können angepasste Eigenschaften zu Factsheets hinzufügen, um weitere Informationen zu verfolgen.
• Konformitätsanalysten können die Standardberichtsvorlagen anpassen, um angepasste Berichte für das Unternehmen zu generieren.
• Integrieren AI Factsheets mit der Governance-Konsole, um eine Unternehmensansicht der Governance-Aktivitäten zu unterstützen und Workflows zur Unterstützung von Governance-Prozessen zu entwickeln.