0 / 0
Go back to the English version of the documentation
Zarządzanie jakością danych
Last updated: 27 paź 2023
Zarządzanie jakością danych

Zmierz, monitoruj i utrzymuj jakość danych, aby upewnić się, że spełniają Twoje oczekiwania i standardy dotyczące konkretnych przypadków użycia.

Dane dobrej jakości są w stanie, który zwykle można zdefiniować jako odpowiednie do użycia, wolne od defektówlub spełniające oczekiwania i wymagania. Jakość danych jest mierzona względem wymiarów jakości Dokładność, Kompletność, spójność, aktualność, unikalnośći Ważność.

Analiza jakości danych dostarcza odpowiedzi na następujące pytania:

  • Jak dobra jest ogólna jakość zasobu danych?
  • Która z zasobów danych ma lepszą jakość?
  • W jaki sposób jakość zasobu danych zmieniała się w czasie?
Wymagane usługi
Watson Knowledge Catalog
DataStage
Format danych
Tabele z relacyjnych i nierelacyjnych źródeł danych
Tabelaryczne: Avro, CSV, Parquet, ORC:
Więcej informacji na ten temat zawiera sekcja Obsługiwane połączenia.
Wielkość danych
Dowolne:
wymagane uprawnienia
Aby wyświetlić definicje i reguły jakości danych, musisz mieć w projekcie co najmniej rolę Obserwator .
Aby tworzyć, edytować lub usuwać definicje i reguły jakości danych, użytkownik musi mieć w projekcie rolę Administrator lub Edytujący .

Analiza i monitorowanie jakości danych

Analiza i monitorowanie jakości danych umożliwiają ocenę danych w oparciu o konkretne kryteria. Tych kryteriów oceny należy używać wielokrotnie w czasie, aby zobaczyć istotne zmiany w jakości danych, których poprawność jest sprawdzana.

Po zaprojektowaniu kontroli jakości danych dostępne są następujące opcje:

  • Utwórz definicję jakości danych, która definiuje logikę sprawdzania danych niezależnie od źródła danych. Definicja zawiera zmienne logiczne lub odwołania, które są łączone lub wiązane z rzeczywistymi danymi (na przykład źródłem danych, tabelą i kolumną lub łączącymi się tabelami) podczas tworzenia reguły jakości danych, która może zostać wykonana.

    Po utworzeniu reguły jakości danych z wymaganymi powiązaniami w oparciu o wybraną definicję jakości danych można wykonać tę regułę. Reguła generuje odpowiednie statystyki i może wygenerować tabelę wyjściową, w zależności od konfiguracji reguły.

  • Utwórz regułę jakości danych opartą na języku SQL.

Funkcjonalność reguły jakości danych może obejmować zarówno prosty test jednokolumnowy, jak i wartościowanie wielu kolumn w różnych źródłach danych.

Ocena jakości danych

Aby określić, czy dane są dobrej jakości, sprawdź, w jakim stopniu spełniają Twoje oczekiwania i zidentyfikuj anomalie w danych. Ocena jakości danych ułatwia również zrozumienie struktury i treści danych.

Więcej inform.

Temat nadrzędny: Przygotowywanie danych