Translation not up to date
Watson OpenScale udostępnia wyjaśnienia dotyczące transakcji modelu, które ułatwiają zrozumienie sposobu określania predykcji.
Można analizować lokalne wyjaśnienia, aby zrozumieć wpływ czynników na konkretne transakcje, lub analizować globalne wyjaśnienia, aby zrozumieć ogólne czynniki, które wpływają na wyniki modelu. Typ konfigurowanego modelu określa typ wyjaśnienia, którego można użyć do analizowania transakcji.
System Watson OpenScale obsługuje wyjaśnienia dotyczące ustrukturyzowanych, obrazowych i nieustrukturyzowanych modeli tekstowych. Modele ustrukturyzowane mogą korzystać z problemów z klasyfikacją binarną, wielowartościową lub regresyjną. Modele obrazów lub tekstu nieustrukturyzowanego mogą korzystać z problemów z klasyfikacją binarną lub wieloklasową.
Podczas konfigurowania możliwości wyjaśnienia w systemie Watson OpenScaledo analizy transakcji można użyć lokalnego modelu interpretacyjnego-wyjaśnienia agnostyczne (LIME), wyjaśnień przeciwstawnych lub wyjaśnień dodatkowych Shapley (SHAP).
LIME określa, które funkcje są najważniejsze dla konkretnego punktu danych, analizując do 5000 innych punktów danych. W idealnym ustawieniu funkcje o wysokiej ważności w LIME są cechami, które są najważniejsze dla tego konkretnego punktu danych.
Wyjaśnienia przeciwstawne obliczają, ile wartości należy zmienić, aby zmienić predykcję lub zachować tę samą predykcję. Czynniki, które wymagają maksymalnej zmiany, są uważane za ważniejsze, więc cechy o najwyższej ważności w kontrastujących wyjaśnieniach są cechami, w których model jest najmniej wrażliwy. W celu uzyskania wyjaśnień, które są sprzeczne, system Watson OpenScale wyświetla maksymalną liczbę zmian dla tego samego wyniku i minimalną liczbę zmian dla zmienionego wyniku. Te kategorie są również znane jako istotne wartości dodatnie i istotne wartości ujemne. Te wartości ułatwiają wyjaśnienie zachowania modelu w pobliżu punktu danych, dla którego generowane jest wyjaśnienie.
SHAP to gra-teoretyczne podejście, które wyjaśnia wyniki modeli uczenia maszynowego. Łączy optymalną alokację kredytów z lokalnymi wyjaśnieniami, używając wartości Shapleya i związanych z nimi rozszerzeń. Algorytm SHAP przypisuje każdej funkcji modelu wartość ważności dla konkretnej predykcji, która jest nazywana wartością Shapleya. Wartość Shapleya jest średnim marginalnym udziałem wartości predyktorów we wszystkich możliwych grupach predyktorów. Wartości SHAP funkcji wejściowych są sumami różnicy między wynikami planu bazowego lub oczekiwanego modelu a bieżącym wynikiem modelu dla predykcji, która jest wyjaśniana. Wynik modelu bazowego może być oparty na podsumowaniu danych uczących lub na dowolnym podzbiorze danych, dla których muszą zostać wygenerowane wyjaśnienia. Wartości Shapleya zestawu transakcji można łączyć, aby uzyskać globalne wyjaśnienia, które udostępniają przegląd najważniejszych cech modelu.
System Watson OpenScale obsługuje tylko globalne wyjaśnienia dotyczące subskrypcji elektronicznych. Wyjaśnienia SHAP obsługują tylko dane tabelaryczne.
Analizowanie wyjaśnień lokalnych
System Watson OpenScale udostępnia różne metody wyświetlania lokalnych wyjaśnień.
Podczas przeglądania wyników ocenymożna wybrać odsyłacz Liczba wyjaśnień , aby otworzyć okno Wybierz wyjaśnienie .
W kolumnie Działanie wybierz opcję Wyjaśnij , aby wyświetlić stronę szczegółów Transakcja . Szczegóły transakcji zawierają różne objaśnienia, w zależności od używanych metod i typów modeli.
W przypadku modeli jakościowych na karcie Wyjaśnij strona Szczegóły transakcji udostępnia analizę funkcji, które miały wpływ na wynik transakcji, przy użyciu lokalnej metody wyjaśnienia. W przypadku opcji SHAP można wybrać dane tła, które są używane w menu Dane tła , aby ponownie wygenerować wyjaśnienie.
Na karcie Inspekcja system Watson OpenScale generuje zaawansowane wyjaśnienia przeciwstawne dla binarnych modeli klasyfikacji, których można użyć do eksperymentowania ze składnikami, zmieniając wartości w celu sprawdzenia, czy wynik się zmienia.
Można również wyświetlić różne wyjaśnienia dla następujących typów transakcji:
- Wyjaśnianie transakcji obrazów
- Wyjaśnianie nieustrukturyzowanych transakcji tekstowych
- Wyjaśnianie transakcji tabelarycznych
Wyjaśnianie transakcji obrazów
W przypadku modeli obrazów można sprawdzić, które części obrazu mają pozytywny i negatywny wpływ na przewidywany wynik. W poniższym przykładzie obraz na panelu pozytywnym przedstawia części, które miały pozytywny wpływ na predykcję. Obraz w panelu negatywnym przedstawia części obrazów, które miały negatywny wpływ na wynik.
W celu wygenerowania wyjaśnień dla modeli obrazów można również użyć następujących notatników:
Wyjaśnianie nieustrukturyzowanych transakcji tekstowych
W przypadku nieustrukturyzowanych modeli tekstowych można sprawdzić, które słowa kluczowe miały pozytywny lub negatywny wpływ na predykcję modelu. Modele tekstu nieustrukturyzowanego wyjaśniają ważność słów lub leksemów.
Wyjaśnienie przedstawia również pozycję zidentyfikowanych słów kluczowych w oryginalnym tekście, które zostały wprowadzone jako dane wejściowe do modelu. Aby zmienić język, wybierz inny język z listy. Wyjaśnienie zostanie ponownie uruchomione przy użyciu innej procedury dzielenia na leksemy.
Do wygenerowania wyjaśnień dla nieustrukturyzowanych modeli tekstu można również użyć następującego notatnika:
Objaśnianie transakcji tabelarycznych
W przypadku modeli klasyfikacji tabelarycznej można wyświetlić trzy górne elementy, które pozytywnie wpływają na predykcję modelu, oraz trzy górne elementy, które negatywnie wpływają na predykcję.
Aby wyświetlić lokalne wyjaśnienia, można również wybrać kartę Wyjaśnij transakcję 
w celu otwarcia strony Ostatnie transakcje . Na stronie wyświetlane są wszystkie transakcje, które są przetwarzane przez model.
Analizowanie wyjaśnień globalnych
Jeśli podczas konfigurowania wyjaśnienia zostanie włączona globalna metoda wyjaśniania SHAP, można wyświetlić szczegóły dla metryki globalnej stabilności wyjaśniania na panelu kontrolnym. Globalna metryka objaśnienia oblicza stopień spójności w globalnym wyjaśnieniu w czasie.
Podczas przeglądania wyników oceny pod kątem możliwości wyjaśnienia można wyświetlić następujące szczegóły:
- Wpływ na funkcję: najważniejsze funkcje w porządku malejącym średniej bezwzględnej wartości SHAP
- Rozkład: wartości SHAP dla rozkładu każdej cechy
- Porównanie: Zmiana w wpływie składników między bieżącym globalnym a globalnym wyjaśnieniem planu bazowego.
Scenariusze typu co-jeśli można również przetestować, dopasowując wartości transakcji modelu w celu określenia wpływu różnych zmian na wyniki.
Temat nadrzędny: Przeglądanie transakcji modelu