Podgląd kursu

W tym kursie zostaną wykonane następujące czynności:

• Skonfiguruj wymagania wstępne.
• Czynność 1: Uruchom notatnik, aby skonfigurować monitory.
• Czynność 2: Oceń model.
• Czynność 3: Obserwowanie monitorowania modelu pod kątem jakości.
• Czynność 4: Obserwowanie monitorów modelu pod kątem sprawiedliwości.
• Czynność 5: Obserwowanie monitorów modelu pod kątem możliwości wyjaśnienia.
• Czynność 6: Awansuj model do środowiska przedprodukcyjnego i zatwierdź model.
• Procedura czyszcząca (opcjonalnie)

Obejrzyj ten film wideo, aby wyświetlić podgląd kroków tego kursu.

Ten film wideo zawiera wizualną metodę zapoznawania się z pojęciami i zadaniami opisanymi w tej dokumentacji.

• Wskazówki dotyczące wykonywania tego kursu

  Użyj obrazu wideo

  Wskazówka: Rozpocznij film wideo, a następnie podczas przewijania kursu film wideo przechodzi do trybu obrazowania. Zamknij spis treści wideo, aby uzyskać najlepsze doświadczenia z obrazem. Istnieje możliwość użycia trybu obrazowania w obrazie, dzięki czemu można śledzić film wideo podczas wykonywania zadań w tym kursie. Kliknij znaczniki czasu dla każdego zadania, które ma być wykonywane.

  Poniższy animowany obraz przedstawia sposób korzystania z funkcji obrazków wideo i spisu treści:

  

  Uzyskaj pomoc w społeczności

  Aby uzyskać pomoc dotyczącą tego kursu, można zadać pytanie lub znaleźć odpowiedź na forum dyskusyjnym społeczności Cloud Pak for Data.

  Konfigurowanie okien przeglądarki

  Aby uzyskać optymalne dopasowanie do tego kursu, otwórz stronę Cloud Pak for Data w jednym oknie przeglądarki i pozostaw ten kurs otwarty w innym oknie przeglądarki, aby łatwo przełączać się między dwiema aplikacjami. Rozważ rozmieszczenie dwóch okien przeglądarki obok siebie, aby ułatwić sobie śledzenie.

  

  Wskazówka: Jeśli podczas wykonywania tego kursu w interfejsie użytkownika pojawi się prezentacja z przewodnikiem, kliknij opcję Być może później.

  
  Początek strony
  

• Skonfiguruj wymagania wstępne

  Ukończ kurs Budowanie i wdrażanie modelu .

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo o godzinie 00:47.

  Ukończ kurs Budowanie i wdrażanie modelu , aby utworzyć, promować i wdrożyć model uczenia maszynowego, który jest używany w tym kursie.

  Świadczenie usług

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo rozpoczynający się od strony 01:14.

  Ważne: Opcja Watson OpenScale jest dostępna tylko w regionach Dallas i Frankfurt. Po ukończeniu kursu budowania i wdrażania modelu należy używać regionu Dallas. Jeśli to konieczne, przed kontynuacją przełącz się na region Dallas.

  Oprócz usług wymaganych do ukończenia kursu Budowanie i wdrażanie modelunależy również udostępnić usługę Watson OpenScale . Aby sprawdzić lub udostępnić niezbędne usługi, wykonaj następujące kroki:

  1. W programie Cloud Pak for Datasprawdź, czy jesteś w regionie Dallas. Jeśli nie, kliknij menu rozwijane regionu, a następnie wybierz opcję Dallas.
     

  2. Z Cloud Pak for Data menu nawigacyjnego wybierz opcję Usługi > Instancje usług.

  3. Użyj listy rozwijanej Produkt , aby określić, czy istnieje instancja usługi Watson OpenScale .

  4. Aby utworzyć instancję usługi Watson OpenScale , kliknij opcję Dodaj usługę.

  5. Wybierz opcję Watson OpenScale.

     1. Dla regionu wybierz Dallas.

     2. Wybierz plan Lite .

     3. Kliknij makro Create.

  6. Następujące dodatkowe usługi były wymagane na potrzeby kursu budowania i wdrażania modelu:

     • Watson Studio
     • Watson Machine Learning
     • Watson Knowledge Catalog
     • Cloud Object Storage

  Sprawdź postęp

  Na poniższym obrazku przedstawiono udostępnione instancje usługi. Teraz można przystąpić do tego kursu.
  
  

  

  
  Początek strony
  

• Czynność 1: uruchamianie notatnika w celu skonfigurowania monitorów

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo począwszy od wersji 01:55.

  
  

  Uruchom drugi notatnik dołączony do przykładowego projektu, aby:

  • Pobierz model i wdrożenia.
  • Skonfiguruj Watson OpenScale.
  • Utwórz dostawcę usług i subskrypcję dla usługi uczenia maszynowego.
  • Skonfiguruj monitor jakości.
  • Skonfiguruj monitor jasności.
  • Skonfiguruj możliwość wyjaśnienia.

  Wykonaj następujące kroki, aby uruchomić notatnik dołączony do przykładowego projektu. Ten notatnik konfiguruje monitory dla modelu, które można również skonfigurować za pomocą interfejsu użytkownika. Jednak szybsze i mniej podatne na błędy jest skonfigurowanie ich z notatnikiem. Poświęć trochę czasu na przeczytanie komentarzy w notatniku, które wyjaśniają kod w każdej komórce.

  1. Z Cloud Pak for Data menu nawigacyjnego wybierz opcję Projekty > Wyświetl wszystkie projekty.

  2. Otwórz projekt Zarządzanie sztuczną inteligencją .

     Uwaga: Może zostać wyświetlony przewodnik przedstawiający kursy dołączone do tego przypadku użycia. Odsyłacze w przewodniku otwierają te instrukcje kursu.

  3. Kliknij kartę Zasoby , a następnie przejdź do karty Notebooki.
     

  4. Otwórz notatnik 2-monitor-wml-model-with-watson-openscale .

  5. Ponieważ notatnik jest w trybie tylko do odczytu, kliknij ikonę Edytuj , aby przełączyć notatnik w tryb edycji.

  6. Po zaimportowaniu projektu z galerii pierwsza komórka tego notatnika zawiera znacznik dostępu do projektu. Jeśli ten notatnik nie zawiera pierwszej komórki ze znacznikiem dostępu projektu, aby wygenerować znacznik, z menu Więcej wybierz opcję Wstaw znacznik projektu. To działanie powoduje wstawienie nowej komórki jako pierwszej komórki w notatniku zawierającej znacznik projektu.

  7. W sekcji Wstaw klucz API IBM Cloud wklej klucz API w polu ibmcloud_api_key .

  8. Kliknij opcję Komórka > Uruchom wszystko , aby uruchomić wszystkie komórki w notatniku. Alternatywnie można uruchomić notatnik komórka po komórce, aby eksplorować każdą komórkę i jej dane wyjściowe.

  9. Notatnik trwa od 1 do 3 minut. Komórkę postępu można monitorować, zwracając uwagę na gwiazdkę "In [*]", która zmienia się na liczbę, na przykład "In [1]".

  10. Jeśli podczas działania notatnika wystąpią jakiekolwiek błędy, należy wypróbować następujące wskazówki dotyczące rozwiązywania problemów:

      • Kliknij kolejno opcje Kernel > Restart & Clear Output (Jądro > Restartuj i Wyczyść dane wyjściowe), aby zrestartować jądro, a następnie ponownie uruchom notatnik.

      • Usuń wszystkie istniejące wdrożenia Watson OpenScale i Udostępnij nową instancję usługi.

      • Sprawdź, czy w ramach kursu budowania i wdrażania modelu utworzono przypadek użycia modelu, obszar wdrażania i nazwę wdrożenia, kopiując i wklejając dokładnie określoną nazwę artefaktu bez spacji na początku i na końcu.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono notatnik po zakończeniu wykonywania. W notatniku skonfigurowano monitory dla danego modelu, dzięki czemu można teraz wyświetlać wdrożenie w systemie Watson OpenScale.
  
  

  

  
  Początek strony
  

• Czynność 2: wartościowanie modelu
  
  

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo o godzinie 03:40.

  Wykonaj następujące kroki, aby pobrać dane wstrzymane i użyć tych danych do oceny modelu w systemie Watson OpenScale:

  1. Kliknij projekt Zarządzanie sztuczną inteligencją w ścieżce nawigacyjnej.
     

  2. Na karcie Zasoby kliknij opcję Dane > Zasoby danych.

  3. Kliknij menu Przepełnienie dla zasobu danych GoldenBank_HoldoutData.csv i wybierz opcję Pobierz. Aby sprawdzić, czy model działa zgodnie z wymaganiami, potrzebny jest zestaw danych z etykietami, który został wstrzymany podczas uczenia modelu. Ten plik CSV zawiera dane wstrzymane.

  4. Uruchom program Watson OpenScale. Z menu nawigacyjnego wybierz opcję Usługi > Instancje usług.

  5. Otwórz instancję Watson OpenScale . Jeśli zostanie wyświetlone zapytanie, zaloguj się, używając tych samych danych uwierzytelniających, które zostały użyte do zarejestrowania się w programie Cloud Pak for Data.

  6. Na stronie instancji usługi Watson OpenScale kliknij opcję Uruchom aplikację.

  7. Na panelu kontrolnym Insightskliknij kafel Wdrażanie modelu zatwierdzenia kredytu hipotecznego .

  8. Z menu Czynności wybierz opcję Wartościuj teraz.

  9. Z listy opcji importowania wybierz pozycję z pliku CSV.

  10. Przeciągnij plik danych Golden Bank_HoldoutData.csv pobrany z projektu do panelu bocznego.

  11. Kliknij opcję Prześlij i oceń.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono wynik oceny wdrożonego modelu w systemie Watson OpenScale. Po ocenie modelu można obserwować jego jakość.
  
  

  

  
  Początek strony
  

• Zadanie 3: obserwowanie monitorowania modelu pod kątem jakości
  
  

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo począwszy od wersji 04:44.

  Monitor jakości Watson OpenScale generuje zestaw pomiarów w celu oceny jakości modelu. Tych metryk jakości można użyć do określenia, jak dobrze model przewiduje wyniki. Po zakończeniu oceny, która wykorzystuje dane wstrzymane, wykonaj następujące kroki, aby sprawdzić jakość lub dokładność modelu:

  1. W panelu nawigacyjnym po lewej stronie kliknij ikonę Panel kontrolny produktu Insights .

  2. Znajdź kafel Wdrażanie modelu zatwierdzenia kredytu hipotecznego . Należy zauważyć, że we wdrożeniu nie występują problemy i że testy Jakość i Uczciwość zostały zaliczone, co oznacza, że model spełniał wymagane progi.

  3. Kliknij kafel Wdrażanie modelu zatwierdzania kredytu hipotecznego , aby wyświetlić więcej szczegółów.

  4. W sekcji Jakość kliknij ikonę Konfiguruj . W tym miejscu widać, że próg jakości, który jest skonfigurowany dla tego monitora, wynosi 70%, a pomiar używanej jakości jest obszarem pod krzywą ROC.

  5. Kliknij opcję Przejdź do podsumowania modelu , aby powrócić do ekranu szczegółów modelu.

  6. W sekcji Jakość kliknij ikonę strzałki w prawo , aby wyświetlić szczegółowe wyniki jakości modelu. W tym miejscu wyświetlana jest liczba obliczeń metryk jakości i macierz pomyłek przedstawiająca poprawne decyzje modelu wraz z fałszywymi pozytywami i fałszywymi negatywami. Obszar obliczony pod krzywą ROC wynosi 0.9 lub więcej, co przekracza próg 0.7 , więc model spełnia wymagania dotyczące jakości.

  7. Kliknij opcję Wdrożenie modelu zatwierdzenia kredytu hipotecznego w ścieżce nawigacyjnej, aby powrócić do ekranu szczegółów modelu.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono szczegóły dotyczące jakości w systemie Watson OpenScale. Teraz, gdy zaobserwowałeś jakość modelu, możesz obserwować jego uczciwość.
  
  

  

  
  Początek strony
  

• Zadanie 4: obserwowanie monitorów modelu pod kątem sprawiedliwości
  
  

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo począwszy od wersji 06:01.

  Monitor jasności Watson OpenScale generuje zestaw pomiarów w celu oceny rzetelności modelu. Za pomocą metryk rzetelności można określić, czy model generuje wyniki obciążone. Wykonaj następujące kroki, aby obserwować uczciwość modelu:

  1. W sekcji Uczciwość kliknij ikonę Konfiguruj . W tym miejscu widać, że model jest poddawany przeglądowi, aby zapewnić sprawiedliwe traktowanie kandydatów bez względu na ich płeć. Kobiety są identyfikowane jako grupa monitorowana, dla której mierzy się sprawiedliwość, a próg sprawiedliwości wynosi co najmniej 80%. W celu określenia rzetelności monitor rzetelności stosuje odmienną metodę wpływu. Odmienny wpływ porównuje procent pozytywnych wyników dla monitorowanej grupy z odsetkiem pozytywnych wyników dla grupy referencyjnej.

  2. Kliknij opcję Przejdź do podsumowania modelu , aby powrócić do ekranu szczegółów modelu.

  3. W sekcji Uczciwość kliknij ikonę strzałki w prawo , aby wyświetlić szczegółowe wyniki modelu. W tym miejscu można zobaczyć procent kandydatów płci męskiej i żeńskiej, którzy są automatycznie zatwierdzani, wraz z oceną rzetelności ponad 100%, więc wyniki modelu znacznie przekraczają wymagany próg uczciwości 80%.

  4. Zanotuj zidentyfikowane zestawy danych. Aby zapewnić dokładność pomiarów, system Watson OpenScale używa perturbacji do określenia wyników, w których zmieniane są tylko atrybuty chronione i powiązane dane wejściowe modelu, podczas gdy inne funkcje pozostają takie same. Perturbacja zmienia wartości funkcji z grupy odniesienia na grupę monitorowaną lub odwrotnie. Te dodatkowe barierki są używane do obliczania wartości godziwej, gdy używany jest "zrównoważony" zestaw danych, ale można również wyświetlić wyniki wartości godziwej tylko przy użyciu ładunku lub danych uczących modelu. Ponieważ model zachowuje się sprawiedliwie, nie trzeba zagłębiać się w dodatkowe szczegóły dla tej metryki.

     

  5. Kliknij ścieżkę nawigacji Wdrażanie modelu zatwierdzenia kredytu hipotecznego , aby powrócić do ekranu szczegółów modelu.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono szczegóły rzetelności w systemie Watson OpenScale. Teraz, gdy zaobserwowałeś uczciwość modelu, możesz obserwować możliwość wyjaśnienia modelu.
  
  

  

  
  Początek strony
  

• Czynność 5: obserwowanie monitorowania modelu pod kątem możliwości wyjaśnienia
  
  

  Aby wyświetlić podgląd tego zadania, obejrzyj film wideo rozpoczynający się od strony 07:42.

  Ważne jest również, aby zrozumieć, w jaki sposób model doszedł do swojej decyzji. Zrozumienie to jest wymagane zarówno w celu wyjaśnienia decyzji osobom biorącym udział w zatwierdzeniu pożyczki, jak i w celu zapewnienia właścicielom modeli, że decyzje są poprawne. Aby zrozumieć te decyzje, wykonaj następujące kroki, aby zapoznać się z objaśnialności modelu:

  1. W lewym panelu nawigacyjnym kliknij ikonę Wyjaśnij transakcję .

  2. Wybierz opcję Wdrażanie modelu zatwierdzenia kredytu hipotecznego , aby wyświetlić listę transakcji.

  3. Dla każdej transakcji kliknij opcję Wyjaśnij w kolumnie Działania . W tym miejscu znajduje się szczegółowe wyjaśnienie tej decyzji. Zostaną wyświetlone najważniejsze dane wejściowe modelu oraz informacje o tym, jak ważne były wyniki końcowe. Niebieskie słupki reprezentują dane wejściowe, które zwykle obsługują decyzję modelu, podczas gdy czerwone słupki przedstawiają dane wejściowe, które mogły doprowadzić do innej decyzji. Na przykład wnioskodawca może mieć wystarczające dochody, aby w przeciwnym razie zostać zatwierdzony, ale jego słaba historia kredytowa i wysoki dług razem prowadzić model odrzucić wniosek. Zapoznaj się z tym wyjaśnieniem, aby uzyskać informacje na temat podstawy decyzji modelu.

  4. (Opcjonalnie) Jeśli chcesz zagłębić się w sposób, w jaki model podjął decyzję, kliknij kartę Inspekcja . Funkcja Inspekcja służy do analizowania decyzji w celu znalezienia obszarów czułości, w których niewielkie zmiany w kilku danych wejściowych spowodowałyby zmianę decyzji, a użytkownik może samodzielnie przetestować czułość, nadpisując niektóre z rzeczywistych danych wejściowych alternatywnymi, aby sprawdzić, czy mają one wpływ na wynik.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono możliwości wyjaśnienia transakcji w systemie Watson OpenScale. Ustaliłeś, że model jest dokładny i traktujesz sprawiedliwie wszystkich kandydatów. Teraz można przejść do następnej fazy cyklu życia modelu.
  
  

  

  
  Początek strony
  

• Czynność 6: awansowanie modelu do wersji przedprodukcyjnej i zatwierdzanie modelu
  
  

  Aby wyświetlić podgląd tego zadania, należy obejrzeć film wideo o godzinie 09:21.

  Wykonaj następujące kroki, aby zmienić status przypadku użycia modelu w spisie zasobów modelu i zatwierdzić model:

  1. Wróć do obszaru Cloud Pak for Datai z menu nawigacyjnego wybierz opcję Katalogi > Spis zasobów modelu.

  2. W przypadku Przypadku użycia modelu zatwierdzenia kredytu hipotecznegokliknij opcję Wyświetl szczegóły.

  3. Kliknij kartę Zasób . W obszarze Śledzenie modelumożna zobaczyć, że model znajduje się teraz na etapie Sprawdzanie poprawności .

  4. Kliknij ikonę Edytuj znajdującą się obok opcji Status przypadku użycia modelu, wybierz opcję Awansowane do stanu przedprodukcyjnego, a następnie kliknij opcję Aktualizuj.

  5. Wróć do panelu kontrolnego Watson OpenScale Insights.

  6. Kliknij kafel Wdrażanie modelu zatwierdzenia kredytu hipotecznego .

  7. W menu Działania wybierz opcję Zatwierdź dla środowiska produkcyjnego, a następnie kliknij opcję Zatwierdź. To działanie przekazuje zespołowi operacyjnemu AI, że może teraz wdrożyć model w wyznaczonym obszarze produkcyjnym.

  8. Z Cloud Pak for Data menu nawigacyjnego wybierz opcję Katalogi > Spis zasobów modelu.

  9. W przypadku Przypadku użycia modelu zatwierdzenia kredytu hipotecznegokliknij opcję Wyświetl szczegóły.

  10. Kliknij kartę Zasób . W obszarze Śledzenie modeluprzypadek użycia modelu jest teraz wyświetlany jako oceniony i zatwierdzony na etapie Sprawdzanie poprawności .

  11. Wyświetl Wdrażanie modelu zatwierdzenia kredytu hipotecznego , aby wyświetlić arkusz faktów przechwycony przez system Watson OpenScale.

  12. Zamknij arkusz faktów wdrażania modelu.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono przypadek użycia modelu z modelem w fazie sprawdzania poprawności. Model jest teraz w środowisku produkcyjnym.
  
  

  

  Współużytkuj model

  Aby wyświetlić podgląd tej czynności, należy obejrzeć film wideo o godzinie 10:39.

  Istnieje możliwość wygenerowania raportu z arkusza faktów lub przypadku użycia modelu w formacie PDF, HTML i DOCX, dzięki czemu można współużytkować lub drukować szczegóły dotyczące modelu śledzonego w spisie zasobów modelu.

  1. Na karcie Zasób w przypadku użycia modelu kliknij opcję Eksportuj raport.

  2. W polu Opcje formatuwybierz format.

  3. W polu Szablon raportuwybierz szablon:

     • Pełny raport: zawiera wszystkie dane z raportu podstawowego oraz szczegóły dotyczące modeli i wdrożeń w przypadku użycia modelu.

     • Raport podstawowy: zawiera zestaw faktów widocznych na kartach Przegląd i Zasoby.

  4. Kliknij opcję Eksport. Raport zostanie wyświetlony w nowym oknie.

  Sprawdź postęp

  Na poniższym obrazku przedstawiono pełny raport dotyczący przypadku użycia modelu zatwierdzenia kredytu hipotecznego. Teraz można udostępnić ten raport współpracownikom.
  
  

  

  
  Początek strony
  

Czyszczenie (opcjonalne)

Aby ponownie skorzystać z kursów dotyczących zarządzania sztuczną inteligencją, należy usunąć następujące artefakty.

Następne kroki

• Wypróbuj Orchestrate an AI pipeline with model monitoring tutorial.

• Zarejestruj się, aby skorzystać z innego przypadku użycia struktury danych.

• Wypróbuj więcej kursów dotyczących budowania, wdrażania i ufania modelom.

• Zbuduj model przy użyciu narzędzia AutoAI.

• Zapoznaj się z kompletnymi przykładami akceleratorów branżowych.

• Kursy Szybki start

Więcej inform.

Zobacz, jak używać programu IBM OpenPages do zarządzania modelem za pomocą operacji cyklu życia.

• Notatniki

• Trenowanie i wdrażanie modeli uczenia maszynowego w notatnikach

• Watson OpenScale

• Spis zasobów modelu

• Przegląd produktu Cloud Pak for Data as a Service i struktury danych

Temat nadrzędny: Kursy dotyczące struktury danych