Standardisierer

Wie der Name vermuten lässt, legen Standardisierer fest, wie Daten standardisiert werden. Die Standardisierung ermöglicht dem Abgleichalgorithmus, die Werte verschiedener Attribute in eine standardisierte Darstellung umzuwandeln, die von der Matching-Engine verarbeitet werden kann.

Der Abgleichalgorithmus verwendet mehrere Standardisierer. Jeder Standardisierer ist für die Verarbeitung bestimmter Attributtypen konzipiert, die in Datensatzdaten enthalten sind.

Standardisierer werden durch JSON-Objekte definiert. Die Definition des JSON-Objekts für jeden Standardisierer enthält drei Elemente:

• label - Eine Bezeichnung, die diesen Standardisierer identifiziert.

• inputs - Die Liste inputs enthält ein einzelnes Element, bei dem es sich um ein JSON-Objekt handelt. Dieses JSON-Objekt enthält die beiden Elemente fields und attributes:

  • fields - Die Liste der Felder, die für die Standardisierung verwendet werden sollen.
  • attributes - Die Liste der Attribute, die für die Standardisierung verwendet werden sollen.

• standardizer_recipe - Eine Liste mit JSON-Objekten. Dabei stellt jedes Objekt einen Schritt dar, der im Standardisierungsprozess des zugehörigen Standardisierers ausgeführt werden soll. Jedes Objekt in der Liste standardizer_recipe besteht aus vier Hauptelementen:

  • label - Eine Bezeichnung, die diesen Schritt im Konzept des Standardisierers identifiziert.
  • method - Die verwendete interne Methode. Dieses Element dient nur zu Referenzzwecken und darf nicht bearbeitet werden.
  • inputs -Ein einzelnes Element der Liste inputs , das eine Ebene höher definiert ist.
  • fields - Eine Liste der Felder, die für diesen Schritt verwendet werden sollen. Dies ist im Allgemeinen eine Untergruppe aller Felder, die in der Liste inputs eine Ebene höher definiert sind. Nicht in jedem Schritt müssen alle Felder aus inputs verarbeitet werden.
  • set_resource - Der Name einer anpassbaren Ressource des Typs set, die für diesen Schritt verwendet wird.
  • map_resource - Der Name einer anpassbaren Ressource des Typs map, die für diesen Schritt verwendet wird.

  Je nach Ausführungsverhalten eines Schritts können weitere Konfigurationselemente vorhanden sein, die für das jeweilige JSON-Objekt erforderlich sind.

Entitätstypen (Bucketing)

In einem einzelnen Abgleichalgorithmus kann jeder Datensatztyp über mehrere Entitätstypdefinitionen (JSON-Objekte des Typs entity_type) verfügen. Beispiel: In einem Algorithmus, der für einen Datensatztyp 'Person' definiert ist, müssen Sie möglicherweise mehr als eine Entitätstypdefinition erstellen (z. B. die Entitäten 'Person', 'Haushalt', 'Standort' und andere).

Jeder Entitätstyp kann verwendet werden, um Datensätze auf verschiedene Arten abzugleichen und zu verknüpfen. Ein Entitätstyp definiert, wie Datensätze beim Abgleichen gruppiert und verglichen werden.

Jede Entitätstypdefinition (entity_type) im Abgleichalgorithmus hat mehrere JSON-Elemente:

• clerical_review_threshold - Datensätze, deren Vergleichsscore unter dem Schwellenwert für manuelle Überprüfung liegt, werden als Nichtübereinstimmungen eingestuft.

• auto_link_threshold - Datensätze, deren Vergleichsscore über dem Schwellenwert für automatische Verknüpfung (autolink) liegt, werden als starke Übereinstimmungen eingestuft und automatisch abgeglichen.

• bucket_generators - Dieser Abschnitt enthält die Definition der für einen Entitätstyp konfigurierten Bucketgeneratoren. Es gibt zwei Typen von Bucketgeneratoren: Buckets und Bucketgruppen.

  • Buckets sind Gruppierungsklassen für ein einzelnes Attribut. Jede bucket-Definition enthält vier Elemente:

    • label - Eine Bezeichnung, die den Bucketgenerator identifiziert.
    • maximum_bucket_size - Ein Wert, der die Größe für umfangreiche Buckets definiert. Jeder Bucket-Hash mit einer Bucketgröße, die diesen Wert überschreitet, wird bei der Auswahl der Kandidaten für den Abgleich nicht berücksichtigt.
    • inputs - Für Buckets enthält die Liste inputs nur ein einzelnes Element, das ein JSON-Objekt ist. Dieses JSON-Objekt enthält die beiden Elemente fields und attributes:
      • fields - Die Liste der Felder, die für das Bucketing verwendet werden sollen.
      • attributes - Die Liste der Attribute, die für das Bucketing verwendet werden sollen.
    • bucket_recipe -Eine Bucketkonzeptliste definiert die Schritte, die der Bucketgenerator während des Bucketing-Prozesses ausführen muss. Jede bucket_recipe-Liste enthält eine Reihe von Unterelementen:
      • label - Eine Bezeichnung, die das Bucketkonzeptelement identifiziert.
      • method - Die verwendete interne Methode. Dieses Element dient nur zu Referenzzwecken und darf nicht bearbeitet werden.
      • inputs -Ein einzelnes Element der Liste inputs , das eine Ebene höher definiert ist.
      • fields - Eine Liste der Felder, die für dieses Bucket verwendet werden sollen. Dies ist im Allgemeinen eine Untergruppe aller Felder, die in der Liste inputs eine Ebene höher definiert sind.
      • min_tokens - Die Mindestanzahl der Tokens, die verwendet werden sollen, wenn das Konzept einen Bucket-Hash bildet.
      • max_tokens - Die maximale Anzahl der Tokens, die zusammen verwendet werden sollen, wenn das Konzept einen Bucket-Hash bildet.
      • count - Ein Grenzwert für die Anzahl der Bucket-Hash-Elemente für einen einzelnen Datensatz, die aus einem Bucketgenerator generiert werden. Wenn ein Datensatz zahlreiche Bucket-Hash-Elemente generiert, wird nur die von diesem Element festgelegte Hash-Anzahl berücksichtigt.
      • bucket_group - Die Folgenummer für eine Bucketgruppe, die einen Bucket-Hash erzeugt. Zwischenschritten oder -konzepten wird keine Folgenummer zugewiesen.
      • order - Gibt an, ob die Tokens in lexikografischer Reihenfolge sortiert werden, wenn mehrere Tokens zu einem Bucket-Hash kombiniert werden.
      • maximum_bucket_size - Ein Wert, der die Größe für umfangreiche Buckets definiert. Dieses Element entspricht dem auf der Ebene des Bucketgenerators definierten Element. Durch das Vorhandensein dieses Elements auch auf der Bucketkonzeptebene können Sie umfangreiche einzelne Buckets differenzierter steuern.

  • Bucketgruppen ermöglichen das Bucketing für mehr als ein Attribut. Jede bucket_group-Definition enthält fünf Elemente:

    • label - Eine Bezeichnung, die den Bucketgenerator identifiziert.
    • maximum_bucket_size - Ein Wert, der die Größe für umfangreiche Buckets definiert. Jeder Bucket-Hash mit einer Bucketgröße, die diesen Wert überschreitet, wird bei der Auswahl der Kandidaten für den Abgleich nicht berücksichtigt.
    • inputs - Die Liste inputs für Bucketgruppen enthält mehr als ein JSON-Objektelement. Die JSON-Objekte verfügen jeweils die beiden Elemente fields und attributes:
      • fields - Die Liste der Felder, die für das Bucketing verwendet werden sollen.
      • attributes - Die Liste der Attribute, die für das Bucketing verwendet werden sollen.
    • bucket_recipe -Eine Bucketkonzeptliste definiert die Schritte, die der Bucketgenerator während des Bucketing-Prozesses ausführen muss. Jede bucket_recipe-Liste enthält eine Reihe von Unterelementen:
      • label - Eine Bezeichnung, die das Bucketkonzeptelement identifiziert.
      • method - Die verwendete interne Methode. Dieses Element dient nur zu Referenzzwecken und darf nicht bearbeitet werden.
      • inputs -Ein einzelnes Element der Liste inputs , das eine Ebene höher definiert ist.
      • fields - Eine Liste der Felder, die für dieses Bucket verwendet werden sollen. Dies ist im Allgemeinen eine Untergruppe aller Felder, die in der inputs -Liste eine Ebene höher definiert sind.
      • min_tokens - Die Mindestanzahl der Tokens, die verwendet werden sollen, wenn das Konzept einen Bucket-Hash bildet.
      • max_tokens - Die maximale Anzahl der Tokens, die zusammen verwendet werden sollen, wenn das Konzept einen Bucket-Hash bildet.
      • count - Ein Grenzwert für die Anzahl der Bucket-Hash-Elemente für einen einzelnen Datensatz, die aus einem Bucketgenerator generiert werden. Wenn ein Datensatz zahlreiche Bucket-Hash-Elemente generiert, wird nur die von diesem Element festgelegte Hash-Anzahl berücksichtigt.
      • bucket_group - Die Folgenummer für eine Bucketgruppe, die einen Bucket-Hash erzeugt. Zwischenschritten oder -konzepten wird keine Folgenummer zugewiesen.
      • order - Gibt an, ob die Tokens in lexikografischer Reihenfolge sortiert werden, wenn mehrere Tokens zu einem Bucket-Hash kombiniert werden.
      • maximum_bucket_size - Ein Wert, der die Größe für umfangreiche Buckets definiert. Dieses Element entspricht dem Element, das auf der Ebene des Bucketgenerators definiert ist. Durch die Möglichkeit, dieses Element auf der Ebene des Bucketkonzepts zu definieren, können Sie umfangreiche einzelne Buckets differenzierter steuern.
      • set_resource - Der Name einer Ressource des Typs set, die für ein Bucketkonzept verwendet wird.
      • map_resource - Der Name einer Ressource des Typs map, die für ein Bucketkonzept verwendet wird.
      • output_fields - Wenn das Konzept nach dem Anwenden der Bucketing-Funktionen auf die Eingabefelder neue Felder erzeugt, enthält dieses Element eine Liste mit den Namen der generierten Felder.
    • bucket_group_recipe - Ein Abschnitt in einem Bucketgruppenkonzept wird normalerweise zum Definieren von Buckets verwendet, die aus mehr als einem Attribut bestehen. Jedes Element in einer Liste bucket_group_recipe ist ein JSON-Objekt, in dem das Konstrukt für eine einzelne Bucketgruppe definiert wird.
      • Die Liste inputs in bucket_group_recipe enthält mehr als ein Element, d. h., sie verweist auf mehr als ein Attribut, das im inputs -Array eine Ebene höher definiert ist.
      • Das Element fields ist eine Auflistung der Listen. Jede innere Feldliste ist der entsprechenden Liste attributes zugeordnet.
      • Die Listen min_tokens und max_tokens enthalten mehrere Elemente. Dabei entspricht jedes dieser Elemente der jeweiligen Liste attributes.
    Hinweis:

    In einigen Definitionen für Bucketing-Rezepte gibt es eine Eigenschaft mit dem Namen search_only. Der Standardwert ist false. Wenn diese Eigenschaft auf truegesetzt ist, gibt sie an, dass ein Bucket oder eine Bucketgruppe nur für Szenarios mit probabilistischer Suche und nicht für Szenarios mit Entitätsauflösung (Abgleich) verwendet wird.

• compare_methods - Definitionen der für einen Entitätstyp konfigurierten Vergleichsmethoden. Jedes JSON-Objekt compare_methods besteht aus Definitionen für verschiedene compare-Methoden. Der Abgleichalgorithmus addiert die Scores aus jeder compare-Methodendefinition, um den finalen Vergleichsscore zu berechnen. Das JSON-Objekt für jede compare-Methode enthält drei Elemente:

  • label - Eine Bezeichnung, die die compare-Methode angibt.
  • methods - Eine Liste der Vergleichsoperatoren, die eine Vergleichsgruppe bilden. Jedes Element in diesem Array stellt einen Vergleichsoperator dar, der für einen Abgleichattributtyp bestimmt ist. Der Abgleichalgorithmus stuft den Maximalwert der Scores aus allen Vergleichsoperatoren in einer Liste methods als den finalen Score dieser Vergleichsgruppe ein. Jede Vergleichsoperatordefinition enthält zwei Elemente:
    • inputs -Für Vergleichsoperatoren enthält die Liste inputs nur ein einzelnes Element, das ein JSON-Objekt ist. Dieses JSON-Objekt enthält die beiden Elemente fields und attributes:
      • fields - Die Liste der Felder, die für den Vergleich verwendet werden sollen.
      • attributes - Die Liste der Attribute, die für den Vergleich verwendet werden sollen.
    • compare_recipe - Diese Liste wird hauptsächlich zum Definieren der Vergleichsschritte verwendet. Dieses Array enthält in der Regel nur ein einzelnes JSON-Element, das nur einen einzigen zum Ausführen des Vergleichs darstellt. Dieser Schritt besteht aus fünf Elementen:
      • label - Eine Bezeichnung, die den Vergleichsschritt identifiziert.
      • method - Die verwendete interne Methode. Dieses Element dient nur zu Referenzzwecken und darf nicht bearbeitet werden.
      • inputs -Ein einzelnes Element der Liste inputs , das eine Ebene höher definiert ist.
      • fields -Die Felder, die für diesen Vergleich verwendet werden sollen, aus allen Feldern, die in der inputs -Liste eine Ebene höher definiert sind.
      • comparison_resource - Der Name einer anpassbaren Vergleichsressource, die für diesen Vergleichsschritt verwendet wird.
  • weights - Jeder von einem Vergleichsoperator durchgeführte Vergleich, ergibt einen Zahlenwert von 0 bis 10. Diese Zahl wird als Distanz- oder Unähnlichkeitsmaß bezeichnet. Der Distanzwert 0 bedeutet, dass die verglichenen Werte genau gleich sind. Der Distanzwert 10 bedeutet, dass sie vollständig verschieden sind. Entsprechend den 11 verschiedenen Werten (0 - 10), werden für jeden Vergleichsoperator 11 Gewichtungen definiert. Nach dem Berechnen des Distanzwerts ermittelt die Vergleichsmethode den entsprechenden Gewichtungswert aus der Liste der Gewichtungen und damit den Gesamtvergleichsscore. Datenentwickler können die Gewichtungen nach Bedarf anpassen, basierend auf Datenqualität, Verteilung oder anderen Faktoren.

• record_filter -Das Datensatzfilterelement ermöglicht es der Abgleichsfunktion, Datensätze für den Abgleich auf der Basis ihrer Entitätstypen auszuwählen. Jede Datensatzfilterdefinition enthält ein Element:

  • criteria -Schließt Datensätze auf der Basis bestimmter Bedingungen von der Berücksichtigung ein oder aus. Dieses Element enthält ein JSON-Objekt mit einem Schlüssel/Wert-Paar.

    Der Schlüssel des JSON-Objekts criteria ist ein Attributname. Es kann sich um eine der folgenden handeln:

    • Das Systemattribut record_source .
    • Ein benutzerdefiniertes angepasstes Attribut eines einfachen Attributtyps (Zeichenfolge)

  Der Wert des JSON-Objekts criteria ist ein weiteres JSON-Objekt, das ein Element enthält. Folgende Elemente sind möglich:

  • allowed -Ein Array von Zeichenfolgewerten. Datensätze, die einen dieser Werte enthalten, werden beim Abgleich berücksichtigt.
  • disallowed -Ein Array von Zeichenfolgewerten. Datensätze, die einen dieser Werte enthalten, werden beim Abgleich nicht berücksichtigt.

• source_level_thresholds -Schwellenwerte auf Quellenebene ermöglichen es Ihnen, Schwellenwerte für automatische und manuelle Überprüfung auf der Basis von Quelle zu Quelle zu definieren. Schwellenwerte auf Quellenebene überschreiben die globalen Standardschwellenwerte. Jede Schwellenwertkonfiguration auf Quellenebene enthält eine Sammlung von Quellen mit optionalen quellenspezifischen Standardschwellenwerten oder eine Sammlung von Quellen-Quellen-Schwellenwertpaaren, mit denen Sie unterschiedliche Schwellenwerte für jede Quelle definieren können. Weitere Informationen finden Sie unter Quellenspezifische übereinstimmende Schwellenwerte konfigurieren im Abschnitt Erweiterte Abgleichalgorithmusoptimierung .

Vergleichsfunktionen

Vergleichsfunktionen, manchmal auch als Vergleichsoperatorenbezeichnet, sind eine der Schlüsselkomponenten des Abgleichalgorithmus. Vergleichsfunktionen werden von der Abgleichengine verwendet, um Datensatzdaten während des Abgleichprozesses zu vergleichen. Der Datensatzabgleich umfasst im Wesentlichen den Vergleich verschiedener Attributtypen zwischen den Daten verschiedener Datensätze.

Für viele der häufig verwendeten Attributtypen in Personen-, Organisations-und Standortdomänen enthält die IBM Match 360 -Abgleichsengine vorkonfigurierte Vergleichsmethoden.

In IBM Match 360verwenden Vergleichsfunktionen einen Ansatz zum Vergleich, der als Featurevektorenbezeichnet wird. Es gibt verschiedene anpassbare Featuredefinitionen in IBM Match 360 , die für verschiedene Vergleichsfunktionen verwendet werden. Jeder Vergleich ergibt ein Distanzmaß (einen Vektor), das zeigt, wie unterschiedlich zwei gegebene Attributwerte sind.

Im Abgleichalgorithmus erhält jeder diskrete Abstandswert eine Gewichtung, die bestimmt, wie stark dieser Wert berücksichtigt werden soll. Die Gewichtung wird mit der Entfernung kombiniert, um eine Vergleichsbewertung zu erzeugen. Der Abgleichalgorithmus addiert alle Vergleichsscores, um eine endgültige Vergleichsbewertung für den Gesamtvergleich von Datensatz zu Datensatz zu erhalten.

Bearbeitungsabstand

Die Matching-Engine von IBM Match 360 berechnet den Bearbeitungsabstand als eine der internen Funktionen beim Vergleich und Abgleich verschiedener Attribute. Der Bearbeitungsabstand ist ein Maß dafür, wie unähnlich zwei Zeichenfolgen voneinander sind. Beim Berechnen dieses Werts wird ermittelt, wie viele Änderungen erforderlich sind, um eine Zeichenfolge in die andere umzuwandeln.

Es gibt verschiedene Verfahren, den Bearbeitungsabstand mithilfe verschiedener Gruppen von Zeichenfolgeoperationen zu definieren. In IBM Match 360 wird eine Standardfunktion für den Bearbeitungsabstand verwendet, die in der Literatur öffentlich zugänglich ist. Alternativ können Sie eine spezielle IBM Match 360-Funktion für den Bearbeitungsabstand verwenden.

• Standardfunktion für den Bearbeitungsabstand ermöglicht eine bessere Leistung der Matching-Engine. Darum wird diese Standardvergleichskonfiguration für alle Attribute verwendet (mit Ausnahme des Attributtyps für Telefonnummern).

• Spezialisierte Funktion für den Bearbeitungsabstand wurde für Anwendungsfälle entwickelt, die eine besonders hohe Genauigkeit erfordern. Diese Option berücksichtigt Schreibfehler oder ähnlich aussehende Zeichen wie 8 und B, 0 und O, 5 und S oder 1 und I. Wenn bei zwei verglichenen Werten eine Abweichung durch ähnlich aussehende Zeichen auftritt, ist das zugewiesene Unähnlichkeitsmaß kleiner als bei einer Standardfunktion für den Bearbeitungsabstand. Abweichungen dieser Art werden von der spezialisierten Funktion weniger stark abgewertet.

  Wichtig: Die spezialisierte Funktion für den Bearbeitungsabstand umfasst einige komplexe Berechnungen. Dies hat zur Folge, dass sich die Verwendung dieser Option beim Abgleichsprozess auf die Systemleistung auswirkt.

Informationen zum Anpassen Ihres Abgleichsalgorithmus, einschließlich der Verwendung der API zum Anpassen der Bearbeitungsdistanz, finden Sie unter Abgleichsalgorithmus anpassen und stärken.