Standardizzatori

Come suggerisce il nome, gli standardizzatori definiscono il modo in cui i dati vengono standardizzati. La standardizzazione consente all'algoritmo di corrispondenza di convertire i valori di attributi differenti in una rappresentazione standardizzata che può essere elaborata dal motore corrispondente.

L'algoritmo di corrispondenza utilizza più standardizzatori. Ogni standardizzatore è adatto per elaborare tipi di attributi specifici trovati nei dati dei record.

I standardizzatori sono definiti da oggetti JSON. Ogni definizione di oggetto JSON del programma di standardizzazione contiene tre elementi:

• label - Un'etichetta che identifica questo programma di standardizzazione.

• inputs - L'elenco inputs ha un elemento, che è un oggetto JSON. Tale oggetto JSON ha due elementi: fields e attributes:

  • fields - L'elenco di campi da utilizzare per la normalizzazione.
  • attributes - L'elenco di attributi da utilizzare per la standardizzazione.

• standardizer_recipe - Un elenco di oggetti JSON in cui ciascun oggetto rappresenta un passo da eseguire durante il processo di normalizzazione del programma di standardizzazione associato. Ciascun oggetto nell'elenco standardizer_recipe è costituito da quattro elementi principali:

  • label - Un'etichetta che identifica questo passo nella ricetta del standardizzatore.
  • method - Il metodo interno utilizzato. Questo elemento è solo per riferimento e non deve essere modificato.
  • inputs - Un singolo elemento dell'elenco inputs definito un livello superiore.
  • fields - Un elenco dei campi da utilizzare per questo passo. Si tratta generalmente di un sottoinsieme di tutti i campi definiti all'interno dell'elenco inputs di un livello superiore. Non tutti i passi devono elaborare tutti i campi inputs .
  • set_resource - Il nome di una risorsa personalizzabile di tipo set utilizzata per questo passo.
  • map_resource - Il nome di una risorsa personalizzabile di tipo map utilizzata per questo passo.

  A seconda del funzionamento di un passo, potrebbero essere richiesti più elementi di configurazione nell'oggetto JSON corrispondente.

Tipi di entit ... (bucketing)

All'interno di un singolo algoritmo corrispondente, ogni tipo di record può avere più definizioni di tipi di entità (oggetti JSONentity_type ). Ad esempio, in un algoritmo definito per un tipo di record persona, potrebbe essere necessario creare più di una definizione di tipo entità, ad esempio entità persona, entità nucleo familiare, entità ubicazione e altri.

Ogni tipo di entità può essere utilizzato per associare e collegare i record in modi diversi. Un tipo di entità definisce il modo in cui i record vengono intascati e confrontati durante il processo di corrispondenza.

Ogni definizione di tipo di entità (entity_type) nell'algoritmo corrispondente ha diversi elementi JSON:

• clerical_review_threshold - I record che hanno un punteggio di confronto inferiore alla soglia di revisione di base vengono considerati come non corrispondenze.

• auto_link_threshold - I record che hanno un punteggio di confronto superiore alla soglia di collegamento automatico sono considerati abbastanza forti da corrispondere automaticamente.

• bucket_generators - Questa sezione contiene la definizione dei generatori bucket configurati per un tipo entità. Esistono due tipi di generatori di bucket: bucket e gruppi di bucket.

  • I bucket implicano il bucketing solo per un attributo. Ogni bucket definizione include quattro elementi:

    • label - Un'etichetta che identifica il generatore di bucket.
    • maximum_bucket_size - Un valore che definisce la dimensione dei bucket grandi. Qualsiasi hash del bucket con una dimensione del bucket maggiore di questo valore non viene considerato per la selezione del candidato durante la corrispondenza.
    • inputs - Per i bucket, l'elenco inputs ha solo un elemento, che è un oggetto JSON. Tale oggetto JSON ha due elementi: fields e attributes:
      • fields - L'elenco di campi da utilizzare per il bucketing.
      • attributes - L'elenco di attributi da utilizzare per il bucketing.
    • bucket_recipe - Un elenco di ricette bucket definisce la procedura per il completamento del generatore di bucket durante il processo di creazione del bucket. Ogni elenco bucket_recipe ha un numero di elementi secondari:
      • label - Un'etichetta che identifica l'elemento ricetta del bucket.
      • method - Il metodo interno utilizzato. Questo elemento è solo per riferimento e non deve essere modificato.
      • inputs - Un singolo elemento dell'elenco inputs definito un livello superiore.
      • fields - Un elenco dei campi da utilizzare per questo bucket. Si tratta generalmente di un sottoinsieme di tutti i campi definiti all'interno dell'elenco inputs di un livello superiore.
      • min_tokens - Il numero minimo di token da utilizzare quando la ricetta sta formando un hash bucket.
      • max_tokens - Il numero massimo di token da utilizzare insieme quando la ricetta sta formando un hash bucket.
      • count - Un limite sul numero di hash del bucket per un singolo record generato da un generatore di bucket. Se un record genera un sacco di hash bucket, solo il numero di hash impostato da questo elemento viene raccolto.
      • bucket_group - Il numero di sequenza per un gruppo di bucket che produce un hash bucket. Ai passi intermedi o alle ricette non verrà assegnato un numero di sequenza.
      • order - Specifica se i token sono ordinati in ordine lessicografico quando più token sono combinati per formare un hash bucket.
      • maximum_bucket_size - Un valore che definisce la dimensione dei bucket grandi. Questo elemento è lo stesso di quello definito a livello del generatore di bucket; anche averlo a livello della ricetta del bucket ti dà un controllo più preciso su singoli bucket di grandi dimensioni.

  • I gruppi di bucket implicano il bucketing per più di un attributo. Ogni bucket_group definizione include cinque elementi:

    • label - Un'etichetta che identifica il generatore di bucket.
    • maximum_bucket_size - Un valore che definisce la dimensione dei bucket grandi. Qualsiasi hash del bucket con una dimensione del bucket maggiore di questo valore non viene considerato per la selezione del candidato durante la corrispondenza.
    • inputs - Per i gruppi di bucket, l'elenco inputs ha più di un elemento oggetto JSON. Gli oggetti JSON hanno ognuno due elementi: fields e attributes:
      • fields - L'elenco di campi da utilizzare per il bucketing.
      • attributes - L'elenco di attributi da utilizzare per il bucketing.
    • bucket_recipe - Un elenco di ricette bucket definisce la procedura per il completamento del generatore di bucket durante il processo di creazione del bucket. Ogni elenco bucket_recipe ha un numero di elementi secondari:
      • label - Un'etichetta che identifica l'elemento ricetta del bucket.
      • method - Il metodo interno utilizzato. Questo elemento è solo per riferimento e non deve essere modificato.
      • inputs - Un singolo elemento dell'elenco inputs definito un livello superiore.
      • fields - Un elenco dei campi da utilizzare per questo bucket. Si tratta generalmente di un sottoinsieme di tutti i campi definiti all'interno dell'elenco inputs di un livello superiore.
      • min_tokens - Il numero minimo di token da utilizzare quando la ricetta sta formando un hash bucket.
      • max_tokens - Il numero massimo di token da utilizzare insieme quando la ricetta sta formando un hash bucket.
      • count - Un limite sul numero di hash del bucket per un singolo record generato da un generatore di bucket. Se un record genera molti hash bucket, solo il numero di hash impostato da questo elemento viene raccolto.
      • bucket_group - Il numero di sequenza per un gruppo di bucket che produce un hash bucket. Ai passi intermedi o alle ricette non verrà assegnato un numero di sequenza.
      • order - Specifica se i token sono ordinati in ordine lessicografico quando più token sono combinati per formare un hash bucket.
      • maximum_bucket_size - Un valore che definisce la dimensione dei bucket grandi. Questo elemento è uguale a quello definito a livello di generatore bucket. Essere in grado di definirlo a livello di ricetta del secchio ti dà un controllo più fine su grandi secchi individuali.
      • set_resource - Il nome di una risorsa di tipo set utilizzata per una ricetta del bucket.
      • map_resource - Il nome di una risorsa di tipo map utilizzata per una ricetta del bucket.
      • output_fields - Se questa ricetta produce nuovi campi dopo che ha completato le funzioni di bucketing sui campi di input, questo elemento contiene un elenco dei nomi dei campi generati.
    • bucket_group_recipe - Una sezione della ricetta del gruppo di bucket viene generalmente utilizzata per definire i bucket costituiti da più di un attributo. Ogni elemento di un elenco bucket_group_recipe è un oggetto JSON che definisce il costrutto per un singolo gruppo di bucket.
      • L'elenco inputs in bucket_group_recipe ha più di un elemento, il che significa che fa riferimento a più di un attributo definito nell'array inputs di un livello superiore.
      • L'elemento fields è un elenco di elenchi. Ogni elenco interno di campi è associato al rispettivo elenco attributes .
      • Gli elenchi min_tokens e max_tokens hanno più di un elemento, con ciascun elemento corrispondente al rispettivo elenco attributes .
    Nota:

    In alcune definizioni di ricetta di bucketing, è presente una proprietà denominata search_only. Per impostazione predefinita, il valore è false. Se impostata su true, questa proprietà indica che un bucket o un gruppo di bucket viene utilizzato solo per gli scenari di ricerca probabilistici e non viene utilizzato per gli scenari di risoluzione entità (corrispondenti).

• compare_methods - Definizioni dei metodi di confronto configurati per un tipo entità. Ogni oggetto JSON compare_methods è formato da definizioni di vari metodi compare . L'algoritmo di corrispondenza somma i punteggi di ogni definizione del metodo compare per ottenere il punteggio di confronto finale. Ogni oggetto JSON del metodo compare contiene tre elementi:

  • label - Un'etichetta che identifica il metodo compare .
  • methods - Un elenco di comparatori che formano un gruppo di confronto. Ogni elemento in questo array rappresenta un comparatore, inteso per un tipo di attributo corrispondente. L'algoritmo di corrispondenza considera il massimo dei punteggi di tutti i comparatori in un elenco methods come punteggio finale di questo gruppo di confronto. Ciascuna definizione del comparatore include due elementi:
    • inputs - Per i comparatori, l'elenco inputs contiene solo un elemento, che è un oggetto JSON. Tale oggetto JSON ha due elementi: fields e attributes:
      • fields - L'elenco dei campi da utilizzare per il confronto.
      • attributes - L'elenco di attributi da utilizzare per il confronto.
    • compare_recipe - Questo elenco viene utilizzato principalmente per definire le fasi di confronto. In genere, c'è solo un elemento JSON in questo array, che rappresenta solo un passo per eseguire il confronto. Questa fase ha cinque elementi:
      • label - Un'etichetta che identifica il passo di confronto.
      • method - Il metodo interno utilizzato. Questo elemento è solo per riferimento e non deve essere modificato.
      • inputs - Un singolo elemento dell'elenco inputs definito un livello superiore.
      • fields - I campi da utilizzare per questo confronto rispetto a tutti i campi definiti nell'elenco inputs di un livello superiore.
      • comparison_resource - Il nome di una risorsa di confronto personalizzabile utilizzata per questo passo di confronto.
  • weights - Ogni confronto eseguito da un comparatore risulta in un punteggio numerico compreso tra 0 e 10. Questo numero è chiamato misura di distanza o di dissimilarità. Una distanza di 0 indica che i valori confrontati sono esattamente gli stessi. Una distanza di 10 indica che sono completamente diversi. Corrispondenti agli 11 valori distinti (0 - 10), per ciascun comparatore vengono definiti 11 pesi. Dopo il calcolo della distanza, il metodo di confronto determina il valore di peso corrispondente dall'elenco dei pesi, ottenendo il punteggio di confronto totale. Gli ingegneri dei dati possono personalizzare i pesi in base alle esigenze, in base alla qualità dei dati, alla distribuzione o ad altri fattori.

• record_filter - L'elemento di filtro dei record consente al motore di corrispondenza di selezionare i record per la corrispondenza in base al tipo di entità. Ogni definizione di filtro di record contiene un elemento:

  • criteria - Include o esclude i record dalla considerazione di corrispondenza in base a specifiche condizioni. Questo elemento contiene un oggetto JSON con una coppia chiave - valore.

    La chiave dell'oggetto JSON di criteria è un nome attributo. Può essere uno dei seguenti:

    • L'attributo di sistema record_source .
    • Un attributo personalizzato definito dall'utente di un tipo di attributo semplice (stringa).

  Il valore dell'oggetto JSON di criteria è un altro oggetto JSON che contiene un elemento, che può essere uno dei seguenti:

  • allowed - Un array di valori stringa. I record che includono uno di questi valori verranno considerati durante la corrispondenza.
  • disallowed - Un array di valori stringa. I record che includono uno di questi valori non verranno considerati durante la corrispondenza.

• source_level_thresholds - Le soglie di livello origine consentono di definire le soglie di revisione di base e di collegamento automatico su una base origine - origine. Le soglie del livello di origine sovrascrivono i valori di soglia globali predefiniti. Ogni configurazione di soglia a livello di origine contiene una raccolta di origini con soglie predefinite facoltative specifiche per l'origine o una raccolta di coppie di soglie origine - origine che consentono di definire soglie differenti per ciascuna origine. Per ulteriori informazioni, consultare Configurazione delle soglie di corrispondenza specifiche dell'origine nell'argomento Ottimizzazione algoritmo di corrispondenza avanzata .

funzioni di confronto

Le funzioni di confronto, talvolta denominate comparatori, sono uno dei principali componenti dell'algoritmo di corrispondenza. Le funzioni di confronto vengono utilizzate dal motore di corrispondenza per confrontare i dati dei record durante il processo di corrispondenza. Essenzialmente, la corrispondenza dei record implica il confronto di diversi tipi di attributi tra dati di record differenti.

Per molti dei tipi di attributo comunemente utilizzati nei domini di persona, organizzazione e ubicazione, il motore di corrispondenza IBM Match 360 include metodi di confronto preconfigurati.

In IBM Match 360, le funzioni di confronto utilizzano un approccio al confronto noto come vettori di funzioni. Esistono diverse definizioni di funzioni personalizzabili in IBM Match 360 utilizzate per diverse funzioni di confronto. Ogni confronto risulta in una misura di distanza (un vettore) che mostra quanto siano dissimili due valori di attributo dati.

Nell'algoritmo di corrispondenza, a ciascun valore di distanza discreto viene assegnato un peso che determina la forza con cui considerare tale valore. Il peso si combina con la distanza per produrre un punteggio di confronto. L'algoritmo di corrispondenza aggiunge tutti i punteggi di confronto insieme per ottenere un punteggio di confronto finale per il confronto record - a - record complessivo.

Modifica distanza

Il motore di corrispondenza IBM Match 360 calcola la modifica della distanza come una delle funzioni interne durante il confronto e la corrispondenza di vari attributi. La distanza di modifica è una misurazione del modo in cui due stringhe sono diverse l'una dall'altra. Viene calcolato contando il numero di modifiche richieste per trasformare una stringa in un'altra.

Esistono diversi modi per definire la distanza di modifica utilizzando diverse serie di operazioni di stringa. Per impostazione predefinita, IBM Match 360 utilizza una funzione di modifica della distanza standard disponibile pubblicamente in letteratura. In alternativa, è possibile scegliere di utilizzare una funzione di modifica della distanza IBM Match 360 .

• La funzione di modifica della distanza standard fornisce migliori prestazioni del motore corrispondente. Per questo motivo, è la configurazione di comparazione predefinita per tutti gli attributi ad eccezione del tipo di attributo Telefono.

• La funzione di modifica della distanza specializzata viene creata per i casi di utilizzo con precisione elevata. Questa opzione prende in considerazione errori di battitura o caratteri simili, come 8 e B, 0 e O, 5 e S o 1 e I. Quando vi è una mancata corrispondenza in due valori confrontati basati su caratteri simili, la misura di dissimilarità assegnata è inferiore a quella assegnata da una funzione di modifica della distanza standard. Di conseguenza, questi tipi di mancate corrispondenze non sono penalizzati così fortemente dalla funzione specializzata.

  Importante: la funzione di modifica della distanza include alcuni calcoli complessi. Di conseguenza, la scelta di questa opzione influisce sulle prestazioni del sistema durante il processo di corrispondenza.

Per informazioni sulla personalizzazione dell'algoritmo di corrispondenza, incluso l'utilizzo dell'API per personalizzare la distanza di modifica, consultare Personalizzazione e rafforzamento dell'algoritmo di corrispondenza.