Informacje o jakości danych dla zasobów danych

Wymagania i ograniczenia

Istnieje możliwość wyświetlania informacji o jakości danych dla zasobów w następujących okolicznościach.

Wymagana usługa

Usługa Watson Knowledge Catalog

Opcjonalnie: usługa
IBM Match 360 w celu dopasowania

Dane wyjściowe jakości danych z reguł jakości danych są dostępne tylko w regionach Dallas i Frankfurcie. Więcej informacji na ten temat zawiera sekcja Ograniczenia regionalne dla produktu Cloud Pak for Data as a Service.

Wymagane uprawnienia

Aby wyświetlić stronę Jakość danych , można mieć dowolną rolę współpracownika w obszarze roboczym.

Aby zmienić sposób obliczania wyników lub aby utworzyć nowe sprawdzenia jakości danych, należy mieć rolę Administrator lub Edytujący w projekcie.

Aby wyświetlić tabele wyjściowe reguł jakości danych, można mieć dowolną rolę współpracownika w obszarze roboczym. Dostęp może być zablokowany przez reguły ochrony danych. Patrz sekcja Wymuszanie reguł ochrony danych.

Obszary robocze

Informacje o jakości danych można wyświetlać w następujących obszarach roboczych:

• Projekty
• Katalogi

Typy zasobów

Te typy zasobów zawierają informacje o jakości danych:

• Zasoby danych z relacyjnych lub nierelacyjnych baz danych z połączenia do źródeł danych
• Zasoby danych z partycjonowanych zestawów danych, w których partycjonowany zestaw danych składa się z wielu plików i jest reprezentowany przez jeden folder przesłany z lokalnego systemu plików lub z połączeń opartych na plikach do źródeł danych.
• Zasoby danych z plików przesłanych z lokalnego systemu plików lub z połączeń opartych na plikach do źródeł danych, z następującymi formatami:
  • CSV
  • XLS, XLSM, XLSX (tylko pierwszy arkusz w skoroszycie).
  • TSV
  • Avro
  • OCR
  • Parkiet
• Zasoby danych jednostki IBM Match 360

Na stronie Jakość danych znajdują się informacje na temat jakości zasobu danych:

1. Ogólny wynik jakości danych dla zasobu. Jest to średnia ważona wyników udostępnianych przez jej kolumny. Więcej informacji na ten temat zawiera sekcja Oceny jakości danych.
2. Wyniki dla poszczególnych wymiarów. Dla każdego wymiaru jest to średnia ważona odpowiednich wyników wymiaru, które są udostępniane przez poszczególne sprawdzenia. Predefiniowane sprawdzenia jakości danych, które są uruchamiane jako część wzbogacania metadanych, mają przypisane wymiary domyślne. Patrz sekcja Predefiniowane sprawdzenia jakości danych. W przypadku reguł jakości danych wymiary przypisywane są zgodnie z wymaganiami. Produkt IBM Match 360 udostępnia wymiar Poziom ufności jednostki . Więcej informacji na ten temat zawiera sekcja Wymiary jakości danych i Oceny jakości danych.
3. Informacje o trendach, które pokazują, w jaki sposób ogólna jakość lub wynik jakości dla wymiaru zmieniły się w ciągu 30, 90 lub 180 dni. Więcej informacji na ten temat zawiera sekcja Wyniki analizy jakości danych.
4. Lista sprawdzeń jakości danych, które zostały zastosowane do zasobu i ich wyników. Więcej informacji na ten temat zawiera sekcja Wyniki analizy jakości danych.
5. Informacje o jakości danych dla poszczególnych kolumn. Więcej informacji na ten temat zawiera sekcja Wyniki analizy jakości danych.

Strona Jakość danych w projektach

Strona Jakość danych jest zapełniana po uruchomieniu pierwszego sprawdzenia jakości danych na zasobie danych w jeden z następujących sposobów:

• Analiza jakości danych jest uruchamiana w zasobie jako część wzbogacania metadanych.
• Reguła jakości danych jest uruchamiana dla zasobu.
• Zostanie dodany połączony zasób danych jednostki IBM Match 360 .

Jeśli zasób jest importowany z katalogu, tylko informacje o profilu są kopiowane do projektu. Informacje o jakości danych nie są kopiowane.

Wyniki oceny jakości są obliczane ponownie, a dane na tej stronie są odświeżane w następujących przypadkach:

• Analiza jakości danych jest uruchamiana w kontekście wzbogacania metadanych.
• Reguły jakości danych są uruchamiane dla zasobu.
• Reguła jakości danych, która przyczyniła się do oceny, została usunięta. Wszystkie problemy, które zostały zwrócone przez tę regułę jakości danych, są usuwane.
• Profil zasobu zostanie usunięty ze strony Profil zasobu. Wszystkie problemy, które zostały zwrócone przez predefiniowane sprawdzenia jakości danych, są usuwane.
• Zasób danych jednostki IBM Match 360 jest aktualizowany, na przykład dopasowany algorytm jest dostrojony lub problemy z potencjalnymi zgodnymi z nim są ponownie mediowane.

Wyniki ogólne i oceny wymiarów są również aktualizowane za każdym razem, gdy zmieniany jest ustawienie Kontrybutor na ogólny wynik dla sprawdzenia lub kolumny. Więcej informacji na ten temat zawiera sekcja Oceny jakości danych.

Można natychmiast sprawdzić, kiedy wyniki oceny jakości zostały ostatnio zaktualizowane.

W sekcji sprawdzania jakości danych można wyświetlić następujące informacje:

• Które sprawdzenia były uruchamiane dla zasobu, posortowane według daty z najnowszymi kontrolami na górze
• Do którego wymiaru każda kontrola jest powiązana
• Określa, czy sprawdzenie zostało zastosowane do całego zasobu, czy do kolumn w zasobie aplikowym
• Informacje o liczbie znalezionych problemów
• Jakiego rodzaju kontrola wyrywkowa została zastosowana, jeżeli
• Wynik jakości danych, który został wygenerowany przez sprawdzenie
• Określa, czy ocena jakości danych dla sprawdzenia jest uwzględniana przy obliczaniu ogólnego wyniku zasobu i wyników wymiaru
• Po ostatnim uruchomieniu sprawdzenia

Istnieje możliwość drążenia w dół do wyników każdej kontroli, z wyjątkiem dopasowania IBM Match 360 . Administrator projektu lub edytujący może zmienić dla każdego sprawdzenia, czy przyczynia się on do ogólnego wyniku jakości danych, a także można utworzyć nowe sprawdzenia jakości danych. Więcej informacji na ten temat zawiera sekcja Wyniki analizy jakości danych.

Można przełączać się między widokiem Sprawdzenia a widokiem Kolumny . W sekcji Przegląd kolumn wyświetlane są następujące informacje dla każdej kolumny, która podlegała dowolnej kontroli jakości danych:

• Nazwa kolumny
• Wynik jakości kolumny dla dowolnego z wymiarów, które mają zastosowanie do zasobu
• Liczba sprawdzeń, które zostały uruchomione w kolumnie
• Określa, czy wynik jakości danych kolumny jest uwzględniany przy obliczaniu ogólnego wyniku zasobu i wyników wymiaru.
• Gdy kolumna została ostatnio sprawdzona

Następnie można zejście niżej do szczegółów dotyczących jakości danych dla każdej kolumny. Jako administrator projektu lub edytujący można również zmienić dla każdej kolumny, czy jego wynik jakościowy przyczynia się do ogólnego wyniku jakości danych. Więcej informacji na ten temat zawiera sekcja Wyniki analizy jakości danych.

Strona Jakość danych w katalogach

Strona Jakość danych jest wstępnie zapełniana, gdy zasób danych, który zawiera informacje o jakości danych, jest publikowany w katalogu. Strona jest pusta dla każdego zasobu, który jest bezpośrednio dodawany jako połączony zasób aplikacyjny lub który jest przesyłany z lokalnego systemu plików. W celu wygenerowania informacji o jakości danych dla takich zasobów aplikacyjnych należy dodać je do projektu i uruchomić wzbogacanie metadanych lub reguły jakości danych w zasobach. Następnie opublikuj je w katalogu.

Wyniki oceny jakości są aktualizowane, a dane na tej stronie są odświeżane za każdym razem, gdy zasób aplikacyjny jest publikowany w projekcie z nowymi informacjami o jakości danych.

Można natychmiast sprawdzić, kiedy wyniki oceny jakości zostały ostatnio zaktualizowane.

Sekcje sprawdzania jakości danych i Przegląd kolumn udostępniają te same informacje, co karta Jakość danych w projekcie. Nie można jednak drążyć w dół do szczegółów dotyczących sprawdzania lub kolumn.

Więcej inform.

• Predefiniowane sprawdzenia jakości danych
• Wyniki analizy jakości danych
• Wymiary jakości danych
• Oceny jakości danych

Temat nadrzędny: Typy zasobów i właściwości