Creazione di un filtro di confronto multidimensionale

Per generare un filtro di confronto multidimensionale nell'algoritmo di corrispondenza, aggiornare la configurazione del motore di corrispondenza utilizzando i comandi API REST:

1. Accedere e autenticarsi all'interfaccia API IBM Match 360 .

2. Specificare un payload POST /mdm/v1/algorithms/{record_type} che definisce un filtro, come nel seguente esempio:

   {"person_entity":{"auto_link_threshold":0.4,"matching_attributes":[{"attributes":["legal_name"], "post_filter_methods": ["false_positive_filter"]},{"attributes":["primary_residence"], "post_filter_methods": ["false_positive_filter"]}, {"attributes":["mobile_telephone"]},
   {"attributes":["birth_date"], "post_filter_methods": ["false_positive_filter"]}, {"attributes":["gender"]}, {"attributes":["personal_email"]}]}}
   

   Nel payload di esempio, false_positive_filter è il nome del filtro personalizzato. Si applica a ciascun attributo nel payload che include il nome del filtro.

Il payload API di esempio genererà un algoritmo contenente un false_positive_filter in cui i pesi e le penalità sono il valore predefinito, che è 0.

Facoltativamente, puoi personalizzare i pesi e le penalità per soddisfare i requisiti della tua organizzazione e quindi distribuire il tuo algoritmo aggiornato utilizzando l'API PUT /mdm/v1/algorithms/{record_type} .

Comprensione dei parametri che definiscono i filtri

Per comprendere i parametri di configurazione che definiscono i filtri di confronto multidimensionale, considerare l'esempio di false_positive_filter creato nella sezione precedente.

Richiamare l'algoritmo corrente utilizzando il comando API GET /mdm/v1/algorithms/{record_type}.

Dopo aver inoltrato la richiesta POST nella precedente sezione, con il payload di esempio corrispondente, è stata generata la seguente sezione nella configurazione dell'algoritmo:

{
  "false_positive_filter": {
    "filter_recipe": [
      {
        "method": "FilterMethod.MultiDimFilter",
        "inputs": [1,2,3],
        "label": "Multi-Dim filter",
        "weights": [
          {
            "distances": [0,0],
            "values": [0,0,0,0,0,0]
          }
        ]
      }
    ],
    "inputs": [
      {"compare_method": "address_compare"},
      {"compare_method": "date_compare"},
      {"compare_method": "pername_compare"}
    ],
    "label": "false_positive_filter"
  }
}

La sezione false_positive_filter di esempio include i parametri standard che definiscono i filtri di confronto multidimensionale:

• filter_recipe - Questa sezione contiene un array di parametri che forniscono la ricetta necessaria per definire i pesi corrispondenti per ogni input.

  • inputs. La sezione filter_recipe.inputs contiene un indice degli input a cui si applica questa ricetta del filtro. Si tratta di valori numerici che corrispondono all'ordine dei metodi di confronto elencati nella sezione inputs . Ad esempio, nell'esempio, 1 corrisponde al metodo address_compare , 2 corrisponde al metodo date_compare e 3 corrisponde al metodo pername_compare .
  • weights - La sezione weights è un array di elementi che definiscono il modo in cui ciascun input viene pesato per il confronto tridimensionale. La sezione weights include le definizioni distances e values per gli input. Il peso predefinito è 0 per qualsiasi input non definito.

• inputs - Questa sezione contiene i metodi di confronto per gli attributi corrispondenti. Questi metodi utilizzeranno le distanze e i pesi definiti nella sezione filter_recipe .

• max_distance - Facoltativo (non visualizzato). Questo parametro definisce la distanza massima. La distanza massima predefinita è 5, che indica che il parametro filter_recipe.weights.values può includere 6 elementi ("values":[0,1,2,3,4,5]).

Configurazione di filtri personalizzati

Per personalizzare i metodi di confronto esistenti da utilizzare con un filtro di confronto multidimensionale:

1. Richiamare l'algoritmo corrente:

   GET /mdm/v1/algorithms/{record_type}
   

2. Aggiornare l'algoritmo come necessario. Ad esempio, puoi:

   • Aggiungere o aggiornare gli elementi nella sezione weights per personalizzare i pesi per gli input elencati.
   • Definire la distanza massima aggiungendo un parametro max_distance .
   • Aggiungere metodi di confronto come input che utilizzeranno questo filtro invece dei pesi corrispondenti predefiniti.

3. Sovrascrivere l'algoritmo di corrispondenza con la versione aggiornata:

   PUT /mdm/v1/algorithms/{record_type}
   

Esempio 1: utilizzare il seguente payload di esempio se si desidera impostare la distanza massima su 9 e specificare pesi e penalità personalizzati per diverse combinazioni di input e distanze come segue: -input1 distance=0, input2 distance=0, input3 distance = [ 0,1,3,4,5,6,7,8, 9]. In questo caso, la combinazione di distanza [ 0,0, 3] fornisce un punteggio di 15.

• input1 distance=1, input2 distance=0, input3 distance = [ 0,1,3,4,5,6,7,8, 9]. In questo caso, la combinazione di distanza [ 1,0, 9] dà un punteggio penalizzato di -30.

{
  "false_positive_filter": {
    "filter_recipe": [
      {
        "method": "FilterMethod.MultiDimFilter",
        "max_distance": 9,
        "inputs": [1,2,3],
        "label": "Multi-Dim filter",
        "weights": [
          {
            "distances": [0,0],
            "values": [0,-5,-10,-15,-20,-25,-30,-30,-30,-30]
          },
          {
            "distances": [1,0],
            "values": [0,-5,-10,-15,-20,-25,-30,-30,-30,-30]
          }
        ]
      }
    ],
    "inputs": [
      {"compare_method": "address_compare"},
      {"compare_method": "date_compare"},
      {"compare_method": "pername_compare"}
    ],
    "label": "false_positive_filter"
  }
}

Esempio 2: è possibile aggiungere i propri metodi di confronto personalizzati e configurarli in modo che siano esclusi dal contributo al punteggio di corrispondenza generale, come nel seguente payload di esempio. In questo caso, i metodi personalizzati vengono utilizzati solo dal filtro di confronto multidimensionale.

Nel seguente esempio, il filtro given_name_only_compare imposta overall_score_contribution su false.

{
  "given_name_only_compare": {
    "methods": [
      {
        "inputs": [
          {
            "attributes": [
              "legal_name"
            ],
            "fields": [
              "given_name"
            ]
          }
        ],
        "compare_recipe": [
          {
            "comparison_resource": "person_person_entity_person_compare_spec_name",
            "method": "CompareMethod.NameCompare",
            "inputs": [
              1
            ],
            "label": "Given Name Only Match",
            "fields": [
              "given_name"
            ]
          } 
        ]
      }
    ],
    "overall_score_contribution" : false,
    "label": "Given Name Only Compare",
    "weights": [1,0,0,0,0,0,0,0,0,0,0]
  }
}

Oggetto JSON di esempio per le soglie a livello di origine

Nel seguente esempio JSON, puoi visualizzare un frammenti del file di configurazione dell'algoritmo corrispondente che definisce le soglie del livello di origine per l'entità Person.

"person_entity":{

  "auto_link_threshold":150,

  "clerical_review_threshold":120,

  "source_level_thresholds": {

       "src0": {

            "default":[165, 150],

            “srcxsrc” : {

                  "src0": [null, null],    

                  "src1": [160, 130], 

                  "src2": [123, 111], 

                  "src3": [null, null]

           }

       },

       "src1": {

            “srcxsrc” : {

                  "src1": [160, 130], 

                  "src2": [123, 111], 

                  "src3": [136, 120], 

                  "src4": [120, null]

           }

       }

    }

}

Nell'esempio precedente:

• La soglia di collegamento automatico globale predefinita è 150.
• La soglia di revisione di base globale predefinita è 120.
• src0, src1, src2, src3e src4 sono esempi di nomi origine.
• All'interno dell'oggetto source_level_thresholds , le soglie origine per origine sono definite per due origini: src0 e src1.

Guida generale:

• In ogni origine nell'oggetto source_level_thresholds , è possibile sovrascrivere le soglie di corrispondenza globali predefinite per tale origine utilizzando il parametro default .
• In ciascuna origine, è possibile definire un array di soglie di corrispondenza origine - origine nella proprietà srcxsrc . Queste soglie sono utilizzate quando si confrontano i record dalle origini elencate.
• All'interno dell'array, i valori forniti tra parentesi quadre sono nel seguente formato: [autolink-threshold, clerical-threshold]. Quindi, [136, 120] indica che per il confronto origine - origine fornito, la soglia di collegamento automatico è 136 e la soglia di revisione di base è 120.
• Quando vengono forniti entrambi i valori, la soglia di collegamento automatico deve essere sempre superiore alla soglia di revisione di base.
• Se un valore viene fornito come null, tale soglia è disabilitata.
• Se entrambi i valori in una coppia sono forniti come null, la corrispondenza e il collegamento tra le due origini sono disabilitati.
• Quando entrambi i valori sono null e le due origini fornite sono uguali, l'origine viene considerata solo origine di riferimento . Ad esempio, src0 è l'origine di riferimento per src0 nel JSON di esempio precedente. Qualsiasi entità che dispone solo di record provenienti da origini di riferimento non è utilizzabile.

Valutazione dei risultati della soglia a livello di origine

Se hai configurato le soglie del livello di origine nel tuo algoritmo di corrispondenza personalizzato, utilizza il seguente metodo API REST per ottenere i dettagli del punteggio.

POST /v1/compare/?details=debug&crn={CRN}&entity_type={entity_type}&record_type={record_type}

Utilizzare le informazioni restituite da questo metodo per valutare i risultati e, se necessario, ottimizzare la configurazione della soglia del livello di origine.

Soglie a livello di origine e revisioni di coppie

Le soglie a livello di origine possono essere sovrascritte se si accettano i suggerimenti di ottimizzazione generati dalle revisioni delle coppie. Se la propria organizzazione utilizza o intende utilizzare la funzionalità di revisione della coppia IBM Match 360 per generare suggerimenti per l'ottimizzazione intelligente, è preferibile completare le attività di revisione della coppia prima di definire le soglie del livello di origine.

Se sono già state definite soglie del livello di origine negli algoritmi di corrispondenza personalizzati, disabilitare la funzione di soglia del livello di origine modificando IBM Match 360 CR (mdm-cr). Utilizzare il seguente comando per disabilitare le soglie del livello di origine nella CR:

oc patch mdm mdm-cr --type=merge -p '{"spec": {"mdm_matching": {"features": {"source_level_thresholds": {"enabled": false}}}}}' 

Dopo aver effettuato una modifica, la CR può impiegare 20-30 minuti per riconciliarsi. Anche i pod del servizio mdm-matching devono essere riavviati per applicare la configurazione aggiornata. Se necessario, questi pod devono essere riavviati manualmente.

Per riabilitare le soglie del livello di origine, eseguire il seguente comando:

oc patch mdm mdm-cr --type=merge -p '{"spec": {"mdm_matching": {"features": {"source_level_thresholds": {"enabled": true}}}}}'