Translation not up to date
Nadzór nad danymi to proces śledzenia i kontrolowania zasobów danych na podstawie metadanych zasobów. Katalogi to obszary robocze, w których można zapewnić kontrolowany dostęp do zarządzanych zasobów.
- Wymagana usługa
- Watson Knowledge Catalog
Katalog zawiera zasoby aplikacyjne i współpracowników. Współpracownicy to osoby, które dodają zasoby aplikacyjne do katalogu i osoby, które muszą korzystać z zasobów aplikacyjnych. Istnieje możliwość dostosowania nadzoru nad danymi w celu wzbogacenia i kontrolowania zasobów danych w katalogach.
Dowiedz się więcej o nadzorowaniu lub rozpocznij pracę z katalogami i nadzorem:
Metody nadzoru nad danymi
Nadzór nad danymi można skonfigurować w sposób iteracyjny. Można rozpocząć od prostej implementacji nadzoru nad danymi, która opiera się na predefiniowanych artefaktach i funkcjach domyślnych. Następnie, w miarę zmiany potrzeb, można dostosować strukturę nadzoru nad danymi, aby lepiej opisywać i chronić zasoby danych.
Aby wyświetlić narzędzia, których można użyć do zarządzania danymi, należy otworzyć odwzorowanie narzędzi i usług i kliknąć opcję Zarządzanie w sekcji zadań.
Najprostsza implementacja nadzoru nad danymi
Katalog służy do współużytkowania zasobów w organizacji. Katalog może działać jako składnica składników, ponieważ zawiera zestawy danych z kolumnami, które są używane jako składniki (dane wejściowe) w modelach uczenia maszynowego. Administrator systemu Watson Knowledge Catalog musi utworzyć katalog do współużytkowania zasobów i dodać inżynierów danych, analityków danych i analityków biznesowych jako współpracowników. Współpracownicy katalogu mogą pracować z zasobami katalogowymi, kopiując je do projektów i publikując zasoby aplikacyjne, które tworzą w projektach, do katalogu.
Współpracownicy katalogu mogą dodawać zasoby aplikacyjne do katalogu w celu ich współużytkowania z innymi osobami lub znajdować i używać zasobów aplikacyjnych w następujący sposób:
- Inżynierowie danych dodają do katalogu oczyszczone dane, zwirtualizowane dane i zintegrowane dane.
- Inżynierowie danych importują tabele lub pliki ze źródła danych do katalogu.
- Analitycy danych i analitycy biznesowi znajdują zasoby danych w katalogach i dodają je do projektów, aby pracować z danymi.
Zasoby danych gromadzą metadane w czasie w następujący sposób:
- Zasoby danych są profilowane, co powoduje automatyczne przypisanie predefiniowanych klas danych opisujących format danych.
- Współpracownicy katalogu dodają do zasobów znaczniki, predefiniowane terminy biznesowe, klasy danych i klasyfikacje, relacje i oceny.
- Wszystkie działania na zasobach są automatycznie zapisywane w historii zasobu.
Patrz sekcja Tworzenie katalogu.
Opcje dostosowywania nadzoru nad danymi
W dowolnym momencie można dodać lub zaktualizować dowolne opcje niestandardowe do implementacji nadzoru nad danymi. Zespół nadzoru może ustanowić słownik biznesowy, zaimportować i wzbogacić dane przy użyciu słownika, przeanalizować jakość danych, zdefiniować reguły ochrony danych, a następnie opublikować zasoby danych w katalogu, w którym mogą je znaleźć odbiorcy danych. Po zmianie danych można ponownie zaimportować metadane dotyczące tabel lub plików i wzbogacać zasoby danych o słownik biznesowy i analizę jakości danych. Istnieje możliwość tworzenia coraz bardziej precyzyjnych reguł w celu ochrony danych podczas rozszerzania słownika biznesowego. W całym cyklu nadzoru nad danymi analitycy danych i inni użytkownicy danych mogą znaleźć zaufane dane w katalogach. Na poniższej ilustracji przedstawiono, w jaki sposób nadzór nad danymi jest ciągłym cyklem odświeżania metadanych dla zasobów danych w celu odzwierciedlenia zmian w danych i zmianach w słowniku biznesowym.
Ustanawianie słownika biznesowego
- Zespół nadzoru może ustanowić słownik biznesowy opisujący znaczenie danych z terminami biznesowymi oraz format danych z klasami danych. Słownik biznesowy ułatwia użytkownikom biznesowym znalezienie tego, czego szukają, przy użyciu terminów nietechnicznych.
- Zespół może szybko utworzyć słownik biznesowy, importując istniejący słownik biznesowy lub importując Knowledge Accelerators , które udostępniają od kilkudziesięciu do tysięcy artefaktów nadzoru.
- Administrator produktu Watson Knowledge Catalog może dostosować przepływ pracy, organizację, właściwości i relacje między artefaktami nadzoru.
Patrz sekcja Planowanie implementacji struktury zarządzania.
Importowanie i wzbogacanie zasobów danych przy użyciu słownika biznesowego
- Zarządcy danych mogą regularnie uruchamiać zadania importowania i wzbogacania metadanych, które aktualizują katalog o zmiany w tabelach lub plikach ze źródeł danych i automatycznie przypisują odpowiednie terminy biznesowe i klasy danych.
- Gdy zespół dodaje artefakty zarządzania, zadania wzbogacania metadanych sugerują nowe artefakty do nowych lub zaktualizowanych zasobów danych.
- Gdy zarządcy danych potwierdzą lub dopasują przypisania terminów biznesowych podczas wzbogacania metadanych, algorytmy uczenia maszynowego do przypisywania terminów staną się bardziej dokładne w odniesieniu do danych.
- Zarządcy danych mogą skonfigurować importowanie i wzbogacanie metadanych w taki sposób, aby były uruchamiane tylko po wykryciu zmian.
Więcej informacji na ten temat zawiera sekcja Planowanie obsługi zasobów danych do współużytkowania w katalogach.
Analiza jakości danych
- Zarządcy danych mogą analizować jakość danych z ustawieniami domyślnymi podczas wzbogacania metadanych. Analiza jakości danych jest stosowana do każdego zasobu jako całości i do kolumn w tabelach.
- Zarządcy danych mogą tworzyć niestandardowe definicje jakości danych i stosować je w regułach jakości danych lub stosować reguły jakości danych oparte na języku SQL.
Więcej informacji na ten temat zawiera sekcja Planowanie obsługi zasobów danych do współużytkowania w katalogach.
Ochrona danych za pomocą reguł
- Zespół nadzoru może utworzyć plan reguł ochrony danych, pisząc strategie dokumentujące standardy i wytyczne organizacji dotyczące ochrony danych i zarządzania nimi. Na przykład strategia może opisywać konkretny przepis oraz sposób, w jaki reguła ochrony danych zapewnia zgodność z tym przepisem.
- Zespół nadzoru może tworzyć reguły ochrony danych, które definiują sposób zachowania prywatności informacji prywatnych. Reguły ochrony danych są automatycznie wartościowane w celu wymuszenia za każdym razem, gdy użytkownik próbuje uzyskać dostęp do zasobu danych w dowolnym katalogu podlegającym regulacji na platformie. Reguły ochrony danych mogą definiować sposób kontrolowania dostępu do danych, maskowania wartości wrażliwych lub filtrowania wierszy z zasobów danych.
- Zespół może rozpocząć pracę z regułami ochrony danych opartymi na niestandardowych znacznikach, użytkownikach lub predefiniowanych klasach danych, warunkach biznesowych i klasyfikacjach. Gdy zespół nadzoru doda artefakty nadzoru, może zdefiniować reguły ochrony danych na podstawie słownika biznesowego.
- Inżynierowie danych mogą wymuszać stosowanie reguł ochrony danych w przypadku danych zwirtualizowanych.
- Inżynierowie danych mogą trwale maskować dane w zasobach danych za pomocą przepływów maskujących.
Pierwsze kroki z produktem Watson Knowledge Catalog
Zadania, które należy wykonać, aby rozpocząć pracę z produktem Watson Knowledge Catalog , zależą od celu użytkownika. Działania, które można wykonać, są definiowane przez role dostępu usługi Cloud Pak for Data . Niektóre działania mają również wymagania dotyczące roli obszaru roboczego, takie jak praca grupowa w katalogu lub kategorii.
Aby sprawdzić swoje role dostępu do usług, zapoznaj się z sekcją Określanie konta i ról dostępu do usług IBM Cloud. Informacje na temat ról w systemie Watson Knowledge Catalog zawiera sekcja Role i uprawnienia użytkowników.
W poniższej tabeli przedstawiono wspólne cele, wymagane role dostępu do usług Cloud Pak for Data oraz odsyłacze do informacji umożliwiające rozpoczęcie pracy.
| Cel | Wymagana rola dostępu do usługi Cloud Pak for Data | Dodatkowe informacje |
|---|---|---|
| Konfigurowanie i administrowanie produktem Watson Knowledge Catalog | Menedżer | Planowanie wdrożenia nadzoru nad danymi Konfigurowanie produktu Watson Knowledge Catalog Zarządzanie produktem Watson Knowledge Catalog |
| Znajdowanie zasobów lub składników w katalogu | Dowolna rola | Znajdowanie zasobów aplikacyjnych w katalogu Wyszukiwanie zasobów aplikacyjnych w obrębie platformy Dodawanie zasobu aplikacyjnego katalogu do projektu |
| Dane kuratorki | CloudPak Data Steward lub CloudPak Data Engineer |
Curating data Planowanie obsługi danych |
| Zarządzanie jakością danych | CloudPak Data Steward lub CloudPak Data Engineer |
Zarządzanie jakością danych |
| Tworzenie artefaktów zarządzania | CloudPak Data Steward lub CloudPak Data Engineer |
Zarządzanie artefaktami zarządzania Importowanie akceleratorów wiedzy Knowledge Accelerators Planowanie implementacji struktury zarządzania |
| Tworzenie reguł ochrony danych | CloudPak Data Steward lub CloudPak Data Engineer |
Reguły ochrony danych Planowanie ochrony danych za pomocą reguł |
| Uruchom interfejsy API Watson Knowledge Catalog | Ta sama rola dla wykonywania zadania w interfejsie użytkownika. | Interfejsy APIWatson |
| Generowanie raportów dotyczących produktu Watson Knowledge Catalog | Administrator raportowania | Konfigurowanie raportowania |