Skonfiguruj i uruchom wzbogacanie metadanych, aby dodać informacje opisowe do zasobów danych.

Do zasobu danych można dodać kilka warstw metadanych:

• Profilowanie danych w celu sklasyfikowania ich i skompilowania statystyk dotyczących wartości.
• Uruchom predefiniowane kontrole jakości danych dla wstępnej oceny jakości.
• Wzbogacanie zasobów aplikacyjnych o słownik biznesowy, który opisuje znaczenie semantyczne danych dla organizacji.

wymagane uprawnienia

Aby utworzyć i uruchomić wzbogacanie metadanych, użytkownik musi mieć rolę Administrator lub Edytujący w projekcie i musi mieć co najmniej dostęp do wyświetlania kategorii, które mają być używane w wzbogacaniu. Ponadto użytkownik musi mieć uprawnienia dostępu do połączeń ze źródłami danych zasobów danych, które mają zostać wzbogacone.

Zamiast interfejsu użytkownika można również tworzyć wzbogacenia metadanych przy użyciu interfejsów API. Odsyłacze do tych interfejsów API są wymienione w sekcji Dowiedz się więcej .

Aby utworzyć zasób wzbogacania metadanych i zadanie wzbogacania danych:

1. Otwórz projekt i kliknij opcję Nowy zasób aplikacyjny > Wzbogacanie metadanych. Po utworzeniu pierwszego wzbogacania metadanych w ten sposób można dodać nowe zasoby aplikacyjne wzbogacania metadanych ze strony Zasób aplikacyjny projektu.

2. Zdefiniuj szczegóły:

   • Podaj nazwę dla wzbogacania metadanych.
   • Opcjonalnie: podaj opis.
   • Opcjonalnie: wybierz lub utwórz znaczniki, które mają zostać przypisane do zasobu aplikacyjnego wzbogacania metadanych, aby uprościć wyszukiwanie. Nowe znaczniki można utworzyć, wprowadzając nazwę znacznika i naciskając klawisz Enter.

3. Ustaw zasięg danych:

   1. Wybierz zasoby danych, które mają zostać wzbogacona na podstawie zasobów danych.

      Lista zawiera wszystkie zasoby w obsługiwanych formatach. Można wzbogacać zasoby danych relacyjnych i ustrukturyzowanych. Można wybrać pojedyncze zasoby aplikacyjne, ale można również wybrać zasoby aplikacyjne importu metadanych, aby wzbogacić cały zestaw zasobów aplikacyjnych danych z tych importów metadanych. Nie można jednak wybrać zasobów danych ani importów metadanych, które są już uwzględnione w wzbogacaniu metadanych. W przypadku pojedynczych zasobów danych można umieścić wskaźnik myszy nad nazwą zasobu, aby zobaczyć, w którym wzbogaceniu metadanych zasób jest uwzględniany.

      Zasób aplikacyjny importu metadanych jest automatycznie wykluczany z zasięgu wyboru w następujących przypadkach:

      • Jako cel importu ma on katalog.
      • Został on uruchomiony w połączeniu, które nie obsługuje dostępu do rzeczywistych danych.

      Patrz sekcja Importowanie metadanych.

      Pamiętaj: Każdy zasób danych lub import metadanych może być uwzględniony tylko w jednym wzbogacaniu metadanych w projekcie. Jeśli zasób danych ma być wielokrotnie wzbogacany przy użyciu różnych opcji wzbogacania, należy to zrobić w oddzielnych projektach.

   2. Przejrzyj wybrany zasięg. Można bezpośrednio usunąć zasoby aplikacyjne z zasięgu danych lub zmienić cały zasięg, klikając opcję Edytuj zasięg danych.

   3. Po zakończeniu precyzowania zasięgu danych kliknij przycisk Dalej.

   Ten krok można pominąć, aby utworzyć pusty zasób wzbogacania metadanych i ustawić zasięg później.

4. Zdefiniuj cel tego zasobu wzbogacania metadanych:

   1. Określić cel wzbogacania:

      Dane profilu

      Udostępnia podstawowe statystyki dotyczące treści zasobu, przypisuje i proponuje klasy danych.

      Więcej informacji na temat statystyk zawiera sekcja Szczegółowe wyniki profilowania.

      Klasy danych opisują zawartość danych w kolumnie: na przykład miasto, numer konta lub numer karty kredytowej. Klasy danych mogą być używane do maskowania danych za pomocą reguł ochrony danych lub do ograniczania dostępu do zasobów danych za pomocą strategii. Ponadto mogą one przyczynić się do przypisania składnika, jeśli istnieje odpowiednia klasa danych do powiązania składnika.

      Ufność klasy danych to procent wartości innych niż null, które są zgodne z klasą danych. Ocena ufności dla klasy danych, która ma być przypisana lub sugerowana, musi być co najmniej równa ustawionemu progowi. Patrz sekcja Ustawienia przypisania klasy danych. Jeśli próg jest ustawiony bezpośrednio w klasie danych, próg ten ma pierwszeństwo podczas przypisywania klas danych. Nie jest on brany pod uwagę w przypadku sugestii. Oprócz oceny ufności uwzględniany jest priorytet klasy danych. Patrz sekcja Dodawanie dopasowywania danych do klas danych.

      Kilka klas danych jest bardziej ogólnymi identyfikatorami, które są wykrywane i przypisywane na poziomie kolumny. Te klasy danych są przypisywane, gdy nie można zidentyfikować bardziej konkretnej klasy danych na poziomie wartości. Identyfikatory ogólne zawsze mają poziom ufności 100% i zawierają następujące klasy danych: kod, data, identyfikator, wskaźnik, ilość i tekst.

      Uruchom podstawową analizę jakości

      Uruchamia predefiniowane kontrole jakości danych w kolumnach zasobu danych. Stosowany zestaw sprawdzeń jest zdefiniowany w ustawieniach wzbogacania. Patrz sekcja Podstawowe ustawienia analizy jakości i sekcja Predefiniowane sprawdzenia jakości danych. Każda kontrola może mieć wpływ na ogólną ocenę jakości danych zasobu. Ten typ analizy jakości danych można przeprowadzić tylko w połączeniu z profilowaniem. Oznacza to, że opcja Dane profilu jest wybierana automatycznie podczas analizowania jakości danych.

      Można wybrać, czy dane wyjściowe tych sprawdzeń mają być zapisywane w bazie danych. Kliknij opcję Dostosuj i włącz opcję Zapisz dane wyjściowe do bazy danych . Jeśli istnieją ustawienia domyślne, sekcje są odpowiednio zapełniane. Ustawienia można nadpisać. Jeśli nie istnieją żadne ustawienia domyślne, skonfiguruj dane wyjściowe i położenie danych wyjściowych. Informacje o tym, które źródła danych są obsługiwane jako docelowe źródło danych wyjściowych, zawiera kolumna Tabele wyjściowe w sekcji Obsługiwane źródła danych. Nazwy schematów i tabel muszą być zgodne z następującą konwencją:

      • Pierwszy znak nazwy musi być literą.
      • Pozostała część nazwy może składać się ze znaków alfabetycznych, cyfr lub znaków podkreślenia.
      • Nazwa nie może zawierać spacji.

      Jeśli zostanie wybrana opcja zapisu do istniejącej tabeli, należy upewnić się, że ma ona wymagany format. Patrz sekcja Jakość danych wyjściowych.

      Przypisz terminy

      Automatycznie przypisuje terminy biznesowe do kolumn i całych zasobów lub proponuje terminy biznesowe do ręcznego przypisania. Te przypisania lub sugestie są generowane przez zestaw usług. Patrz Automatyczne przypisanie składnika.

      W zależności od tego, które usługi przypisywania terminów są aktywne w projekcie, przypisanie terminów może wymagać profilowania.

   2. Wybierz kategorie, aby określić klasy danych i warunki biznesowe, które mogą być stosowane podczas wzbogacania. Administrator projektu mógł ograniczyć zestaw kategorii do wyboru podczas tworzenia wzbogacenia. To ograniczenie nie ma zastosowania podczas edycji wzbogacania. W każdym przypadku można wybrać tylko te kategorie, w których użytkownik jest współpracownikiem i ma co najmniej rolę Obserwator .

      Ta opcja ma zastosowanie tylko do automatycznych przypisań i sugestii. Podczas ręcznego przypisywania terminów lub klas danych można wybierać spośród wszystkich kategorii, do których użytkownik ma dostęp.

      Zmiany w zestawie kategorii do wyboru lub rzeczywisty wybór kategorii są uwzględniane podczas następnego uruchomienia wzbogacania. Jednak istniejące przypisania pozostają niezmienione.

      Jeśli dostęp do dowolnej z wybranych kategorii zostanie odwołany po uruchomieniu wzbogacania metadanych i nie zostaną wprowadzone żadne zmiany w wzbogacaniu, ponowne uruchomienie nadal będzie uwzględniać wszystkie wybrane kategorie dla klas danych i przypisań terminów.

   3. Wybierz typ próbkowania:

      • Podstawowe: Próbkowanie podstawowe działa z najmniejszą możliwą wielkością próby w celu przyspieszenia procesu: analizowanych jest 1000 wierszy na tabelę, a klasyfikacja jest wykonywana na podstawie najczęstszych 100 wartości na kolumnę.
      • Umiarkowane: Umiarkowane próbkowanie działa ze średnią wielkością próbki, aby uzyskać wystarczająco dokładne wyniki bez nadmiernego czasochłonnego analizowania: analizowanych jest 10 000 wierszy na tabelę, a klasyfikacja jest wykonywana na podstawie najczęstszych 100 wartości na kolumnę.
      • Obszerne: Obszerne próbkowanie działa z dużą wielkością próby, aby uzyskać dokładniejsze wyniki: analizowane jest 100 000 wierszy na tabelę, a klasyfikacja uwzględnia wszystkie wartości na kolumnę. Jednak ta metoda wymaga dużo czasu i zasobów.
      • Niestandardowe: zdefiniuj metodę próbkowania, wielkość próby i podstawę klasyfikacji:

        • Wybór między losowaniem sekwencyjnym a losowym. W przypadku próbkowania sekwencyjnego pierwsze wiersze zestawu danych są wybierane w kolejności sekwencyjnej. W przypadku losowego próbkowania wiersze do uwzględnienia są wybierane losowo. W przypadku obu metod maksymalna liczba wierszy do wybrania jest określana na podstawie zdefiniowanej wielkości próby. Losowe próbkowanie jest dostępne tylko dla zasobów danych ze źródeł danych, które obsługują ten typ próbkowania.

        • Zdefiniuj maksymalną wielkość próby. Można ustawić stałą liczbę wierszy lub określić, ile procent wierszy w zestawie danych ma być analizowanych. Jeśli wielkość próby zostanie zdefiniowana jako wartość procentowa, można opcjonalnie ustawić minimalną i maksymalną liczbę wierszy, które może zawierać próbka. Wartości te można ustawić, gdy nie jest znana wielkość analizowanych zestawów danych. Liczba lub procent wierszy wybranych dla próbki może być tylko przybliżony do określonej wartości.

          Jeśli źródło danych nie obsługuje pobierania rzeczywistej liczby rekordów zestawu danych, dostępny jest tylko podzbiór opcji próbkowania.

        • Wybierz, czy klasa danych ma być przypisywana na podstawie wszystkich wartości w kolumnie, czy na podstawie najczęstszych wartości w kolumnie, gdzie można określić liczbę wartości, które mają być brane pod uwagę.

      Próbkowanie podstawowe, umiarkowane lub kompleksowe jest sekwencyjne i rozpoczyna się w górnej części tabeli. Aby pominąć próbkowanie, należy użyć niestandardowego próbkowania, który jest skonfigurowany z losowym próbkowaniem i wielkością próby 100%.

5. Zdefiniuj, czy mają być uruchamiane zaplanowane zadania wzbogacania. Jeśli harmonogram nie zostanie ustawiony, wzbogacanie będzie uruchamiane podczas zapisywania zasobu wzbogacania metadanych. Wzbogacanie można ponownie uruchomić ręcznie w dowolnym momencie.

   Jeśli zostanie wybrane uruchomienie wzbogacania zgodnie z określonym harmonogramem, należy zdefiniować datę i godzinę uruchomienia zadania. Istnieje możliwość zaplanowania pojedynczych i powtarzających się uruchomień. Jeśli zaplanowano pojedyncze uruchomienie, zadanie zostanie uruchomione dokładnie jeden raz w określonym dniu i o określonej godzinie. W przypadku planowania powtarzających się uruchomień zadanie zostanie uruchomione po raz pierwszy z datownikiem wskazanym w sekcji Powtarzanie.

   Opcjonalnie zmień nazwę zadania wzbogacania. Nazwa domyślna to metadata_enrichment_name .

   Później można uzyskać dostęp do utworzonego zadania wzbogacania na stronie Zadania projektu. Ta strona zapewnia również łatwy dostęp do protokołów zadań. Patrz sekcja Zadania.

   Jeśli zasięg danych obejmuje zasoby importowane metadanych, strona Harmonogram udostępnia również informacje o harmonogramach odpowiednich zadań importowania metadanych. Ta informacja pomaga w koordynowaniu harmonogramu wzbogacania z dowolnymi harmonogramami importowania.

6. Wybierz zasięg danych dla powtórzonych wzbogacania, niezależnie od tego, czy zostało ono zaplanowane, czy uruchomione ręcznie. Zasięg danych może obejmować wszystkie zasoby z wybranego zasięgu danych lub tylko nowe lub zmodyfikowane zasoby. Nowe lub zmodyfikowane zasoby aplikacyjne oznaczają zasoby, które zostały dodane do zasięgu danych, w którym kolumny zostały dodane lub usunięte oraz w których opisy zasobów lub kolumn zostały zmienione po ostatnim uruchomieniu wzbogacania. Wzbogacanie jest zawsze uruchamiane dla całego zasobu danych, niezależnie od tego, czy zasób jest nowy, czy zmodyfikowany.

7. Przejrzyj konfigurację wzbogacania metadanych. Aby wprowadzić zmiany, kliknij ikonę edycji () na kaflu i zaktualizuj ustawienia.

8. Kliknij makro Create. Zasób aplikacyjny wzbogacania metadanych zostanie dodany do projektu i zostanie utworzone zadanie wzbogacania metadanych. Jeśli harmonogram nie został skonfigurowany, wzbogacanie jest uruchamiane natychmiast. Jeśli skonfigurowano harmonogram, wzbogacanie zostanie uruchomione zgodnie ze zdefiniowanym harmonogramem.

Po zakończeniu wzbogacania można uzyskać dostęp do ogólnego przeglądu wyników wzbogacania, wyświetlając zasób wzbogacania metadanych. W tym miejscu można drążyć w dół i pracować z wynikami dla każdego zasobu. Patrz sekcja Praca z wynikami wzbogacania.

Informacje na temat aktualizowania, ponownego uruchamiania i usuwania wzbogacania metadanych zawiera sekcja Zarządzanie istniejącym wzbogacaniem metadanych.