Nadrzędna klasa danych

Nadrzędna klasa danych jest używana do organizowania klasy danych w relacjach nadrzędny/podrzędny. Działa również jako rodzaj "wstępnego filtru", jeśli używana jest metoda automatycznego dopasowywania danych: jeśli nadrzędna klasa danych ma metodę dopasowywania danych, metody dopasowywania danych dla podrzędnych klas danych będą wartościowane tylko wtedy, gdy metoda dopasowywania danych dla nadrzędnej klasy danych zwróciła dodatnią zgodność. Oznacza to, że w przypadku zdefiniowania nadrzędnej klasy danych ma ona wpływ na kryteria używane przez proces klasyfikacji danych w celu określenia, czy klasa danych powinna być przypisana do analizowanego pola danych, czy nie.

Próg

To pole reprezentuje minimalną ufność, jaką kandydat na klasę danych powinien mieć w kolumnie, aby ta klasa danych była rzeczywiście przypisana do kolumny. Na przykład: próg klasy jest zdefiniowany jako 90%. Podczas analizy jedna kolumna jest zgodna z klasą danych z ufnością 95%, a druga z ufnością 89%. Ponieważ próg wynosi 90%, klasa danych zostanie przypisana tylko do pierwszej kolumny.

Obniż próg, jeśli chcesz, aby przypisanie klasy danych miało miejsce, nawet jeśli nie wszystkie dane są zgodne z klasą danych. Można to zrobić, jeśli jakość danych nie jest doskonała, a także w przypadkach, gdy wiadomo, że definicja metody dopasowywania nie obejmuje 100% całej domeny wszystkich możliwych wartości. Dobrym przykładem jest klasyfikator wykrywający nazwy miast. Nie jest praktyczne definiowanie dokładnej listy wartości zawierających wszystkie nazwy miast na świecie, w tym najmniejsze lokalizacje. Bardziej praktycznym podejściem byłoby wprowadzenie listy 100 największych miast i zmniejszenie progu w celu odzwierciedlenia faktu, że nie wszystkie wartości kolumny powinny być jednym z tych 100 największych miast, ale klasyfikacja powinna być dodatnia, nawet jeśli na liście 100 największych miast znajduje się wystarczająca liczba wartości (< 100%).

Ustawienie progu jest opcjonalne. W przypadku wzbogacania metadanych próg zdefiniowany na poziomie projektu jest używany, jeśli nie ustawiono progu bezpośrednio w klasie danych. Próg ustawiony w klasie danych zawsze ma pierwszeństwo przed ustawieniem projektu. Patrz sekcja Ustawienia przypisania klasy danych.

Następujące predefiniowane klasy danych mają domyślny próg ustawiony w definicji klasy danych:

Priorytet

Priorytet klasy danych określa kolejność, w jakiej kandydackie klasy danych powinny stać się klasą danych wywnioskowanych. Przypisane zostaną tylko klasy danych z ufnością powyżej progu ufności. Jeśli dane są zgodne z wieloma klasami danych, zostanie przypisana klasa o najwyższym priorytecie i ufności powyżej progu ufności.

Niektóre predefiniowane klasy danych mają ustawiony priorytet. W przeciwnym razie domyślnym priorytetem jest 10 dla predefiniowanych klas danych o zgodnym zasięgu wartość. Dla klas danych o zgodnym zasięgu kolumnadomyślnym priorytetem jest 0. Aby niestandardowa klasa danych miała pierwszeństwo przed predefiniowaną klasą danych, musi być zdefiniowana z wyższym priorytetem.

Zgodność z listą poprawnych wartości

Podczas dopasowywania danych do listy poprawnych wartości należy utworzyć listę poprawnych wartości, które klasyfikują dane na poziomie wartości kolumny bazy danych. Należy podać wartości pojedynczo ręcznie, dlatego ta metoda jest zalecana dla małego zestawu wartości. W przypadku dłuższych list można użyć metody Dopasuj do danych odniesienia .

W sekcji Dopasuj do listy poprawnych wartości określ listę poprawnych wartości.

Kryteria dopasowania tekstu:

Rozróżnianie wielkości znaków

W przypadku wybrania tej opcji tylko wartości, które mają taką samą wielkość liter jak określone poprawne wartości, zostaną sklasyfikowane jako zgodne z klasą danych. Jeśli ta opcja nie zostanie wybrana, obserwacja zostanie zignorowana.

Dokładna interlinia

W przypadku wybrania tej opcji tylko dokładne dopasowania zostaną sklasyfikowane pozytywnie. Jeśli ta opcja nie zostanie wybrana, wiele białych znaków zostanie zwiniętych w jeden znak przed porównaniem poprawnych wartości z wartościami testowanymi. Na przykład, jeśli poprawna wartość to New York, a testowana wartość to New York, testowana wartość jest klasyfikowana jako zgodna, nawet jeśli w poprawnej wartości występuje wiele białych znaków, na przykład New York. Jeśli jednak testowana wartość to NewYork bez spacji, testowana wartość jest klasyfikowana jako niezgodna .

Całe słowa

W przypadku wybrania tej opcji tylko dokładne dopasowania zostaną sklasyfikowane pozytywnie. Jeśli ta opcja nie zostanie wybrana, wartości znalezione jako podłańcuch również zostaną sklasyfikowane jako zgodne z klasą danych. Na przykład, jeśli poprawną wartością jest Paris, a testowaną wartością jest Parisienne moonlight, testowana wartość jest klasyfikowana jako zgodna.

Następnie określ procent zgodnych wartości danych wymaganych do przypisania tej klasy danych.

Dopasuj do danych odniesienia

Podczas dopasowywania danych do zestawu danych odniesienianależy wybrać zestaw danych odniesienia w celu sklasyfikowania danych na poziomie wartości kolumny bazy danych. Zestaw danych odniesienia składa się co najmniej z następujących kolumn:

• Kod
• Wartość

Należy zauważyć, że ta metoda uzgadniania używa kolumny kodu w zestawie danych odniesienia do określenia klasy danych.

Przykładowy plik CSV z przykładowym kodem kraju:

code,value
"AND","Andorra"
"ARE","United Arab Emirates"
"AFG","Afghanistan"
"ATG","Antigua And Barbuda"
"AIA","Anguilla"
"ALB","Albania"
"ARM","Armenia"
...

Do określenia klasy danych można użyć kodów w tym przykładzie, takich jak AND, ARE, AFG.

Zgodność z kryteriami w wyrażeniu regularnym

Wyrażenie regularne jest używane do określenia, czy każda wartość kolumny bazy danych należy do klasy danych.

W przypadku dopasowania do kryteriów w wyrażeniu regularnym tworzone jest wyrażenie regularne, które klasyfikuje dane na poziomie wartości kolumny bazy danych. Wyrażenie regularne musi mieć format JavaScript .

Wyrażenie regularne ma zastosowanie do zasobów danych o przejrzystej strukturze, na przykład baz danych, tabel lub kolumn.

Do pola Kryteria nazwy kolumnymożna skopiować i wkleić dowolny z następujących przykładów wyrażeń regularnych. Następnie należy określić nazwę kolumny w celu przetestowania wyrażenia regularnego. Można również wybrać typ danych i długość wartości danych.

[0-9]{3}-[0-9]{2}-[0-9]{4}

\(?[0-9]{3}\)?[-. ]?[0-9]{3}[-. ]?[0-9]{4}

<tns:DataClass id="DOB" name="%DOB.name" description="%DOB.description" provider="IBM" example="12-30-2015">
            <tns:JavaClassifier
                className="com.ibm.infosphere.classification.impl.DOBClassifier" />:
<tns:ColumnNameFilter>
                <tns:ColumnNameRegularExpression><![CDATA[dob$|birth(day)?|geburtsdatum|na(issance|cimiento|scita)|urodzenia|(生ま(れた日)?|誕生日)|出生(年月)?]]></tns:ColumnNameRegularExpression>
            </tns:ColumnNameFilter>
</tns:DataClass>

Inne kryteria zgodności

Zgodność jest oparta na kryteriach dotyczących nazwy, typu danych kolumny lub obu tych elementów. Nie ma dodatkowych kryteriów do oceny wartości kolumny. To kryterium jest stosowane do początkowo wybranej metody dopasowywania.

Istnieje możliwość określenia wyrażenia regularnego w celu zdefiniowania zgodnych nazw kolumn i udostępnienia przykładowej nazwy kolumny na potrzeby testu. Typ danych kolumny może mieć dowolny typ, wartość boolowską, datę lub liczbę. Można również zdefiniować minimalną i maksymalną długość wartości danych.

^Order$

Więcej inform.

• Szczegóły predefiniowanych klas danych
• Profile zasobów

Temat nadrzędny: Klasy danych