Standartlaştırıcılar

Adından da anlaşılacağı gibi, standartlaştırıcılar verilerin nasıl standartlaştırılacağını tanımlar. Standartlaştırma, eşleşen algoritmanın farklı özniteliklerin değerlerini, eşleşen motor tarafından işlenebilecek standartlaştırılmış bir gösterimine dönüştürmesini sağlar.

Eşleşen algoritma birden çok standartlaştırıcı kullanıyor. Her standartlaştırıcı, kayıt verilerinde bulunan belirli öznitelik tiplerini işlemek için uygundur.

Standartlaştırıcılar JSON nesneleri tarafından tanımlanır. Her bir standartlaştırıcının JSON nesne tanımlaması üç öğe içerir:

• label -Bu standartlaştırıcıyı tanımlayan bir etiket.

• inputs - inputs listesinde JSON nesnesi olan bir öğe var. Bu JSON nesnesinin iki öğesi vardır: fields ve attributes:

  • fields -Standartlaştırma için kullanılacak alanların listesi.
  • attributes -Standartlaştırma için kullanılacak özniteliklerin listesi.

• standardizer_recipe -Her nesnenin, ilişkili standartlaştırıcının standartlaştırma işlemi sırasında çalıştırılacak bir adımı temsil ettiği JSON nesnelerinin listesi. standardizer_recipe listesindeki her nesne dört ana öğeden oluşur:

  • label -Bu adımı standartlaştırıcı tarifinde tanımlayan bir etiket.
  • method -Kullanılan iç yöntem. Bu öğe yalnızca başvuru içindir ve düzenlenmemelidir.
  • inputs - inputs listesinin tek bir öğesi bir düzey daha yukarıda tanımlandı.
  • fields -Bu adım için kullanılacak alanların listesi. Bu, genellikle inputs listesinde bir düzey daha yukarıda tanımlanan tüm alanların bir alt kümesidir. Her adımın tüm inputs alanlarını işlemesi gerekli değildir.
  • set_resource -Bu adım için kullanılan set tipi özelleştirilebilir kaynağın adı.
  • map_resource -Bu adım için kullanılan map tipi özelleştirilebilir kaynağın adı.

  Bir adımın davranışına bağlı olarak, ilgili JSON nesnesinde gerekli olan daha fazla yapılandırma öğesi olabilir.

Varlık tipleri (bucketing)

Tek bir eşleşen algoritma içinde, her kayıt tipinin birden çok varlık tipi tanımlaması (entity_type JSON nesneleri) olabilir. Örneğin, bir kişi kaydı tipi için tanımlanan bir algoritmada, kişi varlığı, ev varlığı, konum varlığı ve diğerleri gibi birden fazla varlık tipi tanımı oluşturmanız gerekebilir.

Her varlık tipi, kayıtları farklı şekillerde eşleştirmek ve bağlamak için kullanılabilir. Varlık tipi, eşleşen süreç sırasında kayıtların nasıl işleneceğini ve karşılaştırılacağını tanımlar.

Eşleşen algoritmada her varlık tipi tanımlaması (entity_type) birkaç JSON öğesi içerir:

• clerical_review_threshold -Karşılaştırma puanı, maddi gözden geçirme eşiğinden düşük olan kayıtlar, eşleşmeyen kayıtlar olarak kabul edilir.

• auto_link_threshold -Karşılaştırma puanı otomatik bağlantı eşiğinden yüksek olan kayıtlar, otomatik olarak eşleştirilecek kadar güçlü eşleşmeler olarak kabul edilir.

• bucket_generators -Bu bölüm, bir varlık tipi için yapılandırılmış saklama kabı oluşturucuları tanımlamasını içerir. İki tip kova jeneratörü vardır: saklama kabı ve saklama kabı grupları.

  • Demetler yalnızca bir öznitelik için bucketing 'i içerir. Her bucket tanımlaması dört öğe içerir:

    • label -Saklama kabı oluşturucusunu tanıtan bir etiket.
    • maximum_bucket_size -Büyük saklama kaplarının büyüklüğünü tanımlayan bir değer. Saklama kabı büyüklüğü bu değerden büyük olan herhangi bir saklama kabı karması, eşleştirme sırasında aday seçimi için dikkate alınmaz.
    • inputs -Yuvalar için, inputs listesinde JSON nesnesi olan tek bir öğe vardır. Bu JSON nesnesinin iki öğesi vardır: fields ve attributes:
      • fields -Bucketing için kullanılacak alanların listesi.
      • attributes -Bucketing kullanımı için kullanılacak özniteliklerin listesi.
    • bucket_recipe -Saklama kabı tarifi listesi, saklama kabı oluşturma işlemi sırasında tamamlanacak saklama kabı oluşturucusunu tanımlar. Her bucket_recipe listesinin bir dizi alt öğeleri vardır:
      • label -Saklama kabı tarifi öğesini tanımlayan bir etiket.
      • method -Kullanılan iç yöntem. Bu öğe yalnızca başvuru içindir ve düzenlenmemelidir.
      • inputs - inputs listesinin tek bir öğesi bir düzey daha yukarıda tanımlandı.
      • fields -Bu saklama kabı için kullanılacak alanların listesi. Bu, genellikle inputs listesinde bir düzey daha yukarıda tanımlanan tüm alanların bir alt kümesidir.
      • min_tokens -Tarife bir saklama kabı karması oluştururken kullanılacak simge sayısı alt sınırı.
      • max_tokens -Yemek tarifi bir saklama kabı karması oluştururken birlikte kullanılacak simge sayısı üst sınırı.
      • count -Bir saklama kabı oluşturucusundan oluşturulan tek bir kayda ilişkin saklama kabı hash sayısı sınırı. Bir kayıt çok sayıda saklama kabı hash 'i oluşturursa, yalnızca bu öğe tarafından ayarlanan hash sayısı toplanmış olur.
      • bucket_group -Saklama kabı hash değeri üreten bir saklama kabı grubunun sıra numarası. Aracı adımlara veya tariflere bir sıra numarası atanmaz.
      • order -Bir saklama kabı karması oluşturmak için birden çok simge birleştirildiğinde simgelerin sözlük sırasına göre sıralanıp sıralanmayacağını belirtir.
      • maximum_bucket_size -Büyük saklama kaplarının büyüklüğünü tanımlayan bir değer. Bu element, kova jeneratörü düzeyinde tanımlananla aynıdır; ayrıca kova tarifinde olması, büyük bireysel kovaların üzerinde daha iyi kontrol sağlar.

  • Saklama kabı grupları , birden çok öznitelik için bucketing işlemini içerir. Her bir bucket_group tanımlaması beş öğe içerir:

    • label -Saklama kabı oluşturucusunu tanıtan bir etiket.
    • maximum_bucket_size -Büyük saklama kaplarının büyüklüğünü tanımlayan bir değer. Saklama kabı büyüklüğü bu değerden büyük olan herhangi bir saklama kabı karması, eşleştirme sırasında aday seçimi için dikkate alınmaz.
    • inputs -Saklama kabı grupları için inputs listesinde birden çok JSON nesnesi öğesi var. JSON nesnelerinin her birinin iki öğesi vardır: fields ve attributes:
      • fields -Bucketing için kullanılacak alanların listesi.
      • attributes -Bucketing kullanımı için kullanılacak özniteliklerin listesi.
    • bucket_recipe -Saklama kabı tarifi listesi, saklama kabı oluşturma işlemi sırasında tamamlanacak saklama kabı oluşturucusunu tanımlar. Her bucket_recipe listesinin bir dizi alt öğeleri vardır:
      • label -Saklama kabı tarifi öğesini tanımlayan bir etiket.
      • method -Kullanılan iç yöntem. Bu öğe yalnızca başvuru içindir ve düzenlenmemelidir.
      • inputs - inputs listesinin tek bir öğesi bir düzey daha yukarıda tanımlandı.
      • fields -Bu saklama kabı için kullanılacak alanların listesi. Bu genellikle, inputs listesinde bir düzey daha yukarıda tanımlanan tüm alanların bir alt kümesidir.
      • min_tokens -Tarife bir saklama kabı karması oluştururken kullanılacak simge sayısı alt sınırı.
      • max_tokens -Yemek tarifi bir saklama kabı karması oluştururken birlikte kullanılacak simge sayısı üst sınırı.
      • count -Bir saklama kabı oluşturucusundan oluşturulan tek bir kayda ilişkin saklama kabı hash sayısı sınırı. Bir kayıt çok sayıda saklama kabı hash değeri oluşturursa, yalnızca bu öğe tarafından ayarlanan hash sayısı toplanmış olur.
      • bucket_group -Saklama kabı hash değeri üreten bir saklama kabı grubunun sıra numarası. Aracı adımlara veya tariflere bir sıra numarası atanmaz.
      • order -Bir saklama kabı karması oluşturmak için birden çok simge birleştirildiğinde simgelerin sözlük sırasına göre sıralanıp sıralanmayacağını belirtir.
      • maximum_bucket_size -Büyük saklama kaplarının büyüklüğünü tanımlayan bir değer. Bu öğe, saklama kabı oluşturucu düzeyinde tanımlananla aynı. Bunu kova tarif seviyesinde tanımlayabilmek size büyük bireysel kovaların üzerinde daha iyi bir denetim sağlar.
      • set_resource -Saklama kabı tarifi için kullanılan set tipi bir kaynağın adı.
      • map_resource -Saklama kabı tarifi için kullanılan map tipi bir kaynağın adı.
      • output_fields -Bu tarif, giriş alanlarında bucketing işlevleri tamamlandıktan sonra yeni alanlar üretirse, bu öğe oluşturulan alanların adlarının bir listesini içerir.
    • bucket_group_recipe -Bir saklama kabı grubu tarifi bölümü genellikle birden fazla öznitelikten oluşan saklama kaplarının tanımlanması için kullanılır. bucket_group_recipe listesinin her öğesi, tek bir saklama kabı grubu için yapıyı tanımlayan bir JSON nesnesidir.
      • bucket_group_recipe içindeki inputs listesinde birden çok öğe var; bu, bir düzey daha yüksek inputs dizisinde tanımlanan birden çok özniteliğe gönderme yaptığı anlamına gelir.
      • fields öğesi bir liste listesidir. Her iç alan listesi, ilgili attributes listesiyle ilişkilendirilir.
      • min_tokens ve max_tokens listelerinde, her öğe ilgili attributes listesine karşılık gelen birden çok öğe vardır.
    Not:

    Bazı bucketing tarif tanımlarında search_onlyadlı bir özellik vardır. Varsayılan değer falsedeğeridir. trueolarak ayarlanırsa bu özellik, bir saklama kabı ya da saklama kabı grubunun yalnızca olasılıklı arama senaryoları için kullanıldığını ve varlık çözme (eşleştirme) senaryoları için kullanılmadığını gösterir.

• compare_methods -Bir varlık tipi için yapılandırılan karşılaştırma yöntemlerinin tanımlamaları. Her compare_methods JSON nesnesi, çeşitli compare yöntemlerinin tanımlamalarından oluşur. Eşleşen algoritma, son karşılaştırma puanını almak için her compare yöntem tanımından puanları toplar. Her compare yönteminin JSON nesnesi üç öğe içerir:

  • label - compare yöntemini tanımlayan bir etiket.
  • methods -Karşılaştırma grubu oluşturan karşılaştırıcıların listesi. Bu dizideki her öğe, bir tip eşleşen öznitelik için bir karşılaştırıcıyı temsil eder. Eşleştirme algoritması, methods listesindeki tüm karşılaştırıcılardan alınan puanların üst sınırını bu karşılaştırma grubunun son puanı olarak kabul eder. Her karşılaştırıcı tanımlaması iki öğe içerir:
    • inputs -Karşılaştırıcılar için, inputs listesinde JSON nesnesi olan tek bir öğe vardır. Bu JSON nesnesinin iki öğesi vardır: fields ve attributes:
      • fields -Karşılaştırma için kullanılacak alanların listesi.
      • attributes -Karşılaştırma için kullanılacak özniteliklerin listesi.
    • compare_recipe -Bu liste temel olarak karşılaştırma adımlarını tanımlamak için kullanılır. Genellikle, bu dizide karşılaştırma için yalnızca bir adımı gösteren tek bir JSON öğesi vardır. Bu adımın beş öğesi vardır:
      • label -Karşılaştırma adımını tanımlayan bir etiket.
      • method -Kullanılan iç yöntem. Bu öğe yalnızca başvuru içindir ve düzenlenmemelidir.
      • inputs - inputs listesinin tek bir öğesi bir düzey daha yukarıda tanımlandı.
      • fields -Bu karşılaştırmada kullanılacak alanlar, inputs listesinde bir düzey yukarıda tanımlanan alanların tümünden çıkar.
      • comparison_resource -Bu karşılaştırma adımı için kullanılan özelleştirilebilir karşılaştırma kaynağının adı.
  • weights -Bir karşılaştırıcı tarafından yapılan her bir karşılaştırma, 0 ile 10 arasında bir sayı puanına neden olur. Bu sayıya mesafe veya benzerlik ölçüsü denir. 0 uzaklığı, karşılaştırılmakta olan değerlerin tam olarak aynı olduğunu gösterir. 10 'luk bir mesafe, tamamen farklı olduklarını gösterir. 11 ayrı değere karşılık gelen (0-10), her karşılaştırıcı için 11 ağırlık tanımlanır. Uzaklığı hesapladıktan sonra karşılaştırma yöntemi, ağırlıklar listesinden karşılık gelen ağırlık değerini belirler ve toplam karşılaştırma puanına neden olur. Veri mühendisleri, veri kalitesine, dağıtımına ya da diğer etkenlere göre ağırlıkları gerektiği gibi özelleştirebilirler.

• record_filter -Kayıt süzme öğesi, eşleşen motorun varlık tiplerine dayalı olarak eşleştirme için kayıt seçmesini sağlar. Her kayıt süzgeci tanımlaması bir öğe içerir:

  • criteria -Belirli koşullara dayalı olarak kayıtları eşleştirme değerlendirmesini içerir ya da içermez. Bu öğe, anahtar-değer çifti olan bir JSON nesnesi içeriyor.

    criteria JSON nesnesinin anahtarı bir öznitelik adıdır. Aşağıdakilerden biri olabilir:

    • record_source sistem özniteliği.
    • Basit bir öznitelik tipinin (dizgi) kullanıcı tanımlı özel özniteliği.

  criteria JSON nesnesinin değeri, bir öğe içeren başka bir JSON nesnesidir; bu nesne aşağıdakilerden biri olabilir:

  • allowed -Dizgi değerleri dizisi. Bu değerlerden herhangi birini içeren kayıtlar, eşleştirme sırasında dikkate alınır.
  • disallowed -Dizgi değerleri dizisi. Bu değerlerden herhangi birini içeren kayıtlar, eşleştirme sırasında dikkate alınmaz.

Karşılaştırma işlevleri

Karşılaştırma işlevleri (bazen karşılaştırıcılarolarak da adlandırılır), eşleşen algoritmanın anahtar bileşenlerinden biridir. Karşılaştırma işlevleri, eşleşen işlemci tarafından eşleşen işlem sırasında kayıt verilerini karşılaştırmak için kullanılır. Temel olarak, kayıt eşleştirme, farklı kayıt verileri arasında farklı öznitelik tiplerinin karşılaştırılmasını içerir.

Kişi, kuruluş ve konum etki alanlarında yaygın olarak kullanılan öznitelik tiplerinin çoğu için, IBM Match 360 eşleşen motoru önceden yapılandırılmış karşılaştırma yöntemlerini içerir.

IBM Match 360' da, karşılaştırma işlevleri özellik vektörleriolarak bilinen karşılaştırmaya bir yaklaşım kullanır. IBM Match 360 içinde farklı karşılaştırma işlevleri için kullanılan farklı özelleştirilebilir özellik tanımları vardır. Her karşılaştırma, verilen iki öznitelik değerinin ne kadar farklı olduğunu gösteren bir uzaklık ölçüsüyle (bir vektör) sonuçlanır.

Eşleştirme algoritmasında, her ayrık uzaklık değerine, bu değerin ne kadar güçlü dikkate alınması gerektiğini belirleyen bir ağırlık verilir. Ağırlık, bir karşılaştırma puanı üretmek için uzaklıkla birleşir. Eşleşen algoritma, genel kayıt-kayıt karşılaştırması için son karşılaştırma puanına ulaşmak üzere tüm karşılaştırma puanlarını bir araya ekler.

Değişim uzaklığı

IBM Match 360 eşleşen motoru, çeşitli özniteliklerin karşılaştırılması ve eşleştirilmesi sırasında iç işlevlerden biri olarak düzenleme uzaklığını hesaplar. Düzenleme uzaklığı, iki dizenin birbirinden ne kadar farklı olduğunu ölçen bir ölçüdür. Bir dizgiyi diğerine dönüştürmek için gereken değişiklik sayısı sayılarak hesaplanır.

Farklı dizgi işlemleri kümelerini kullanarak düzenleme uzaklığını tanımlamanın farklı yolları vardır. Varsayılan olarak IBM Match 360 , literatürde genel kullanıma açık standart bir düzenleme uzaklığı işlevini kullanır. Alternatif olarak, özel bir IBM Match 360 uzaklık işlevini kullanmayı seçebilirsiniz.

• Standart uzaklık düzenleme işlevi , eşleşen motorun daha iyi performans göstermesini sağlar. Bu nedenle, Telefon özniteliği tipi dışındaki tüm öznitelikler için varsayılan karşılaştırma yapılandırmasıdır.

• Özel düzenleme uzaklığı işlevi , hiper duyarlıklı kullanım senaryoları için oluşturulmuştur. Bu seçenek, 8 ve B, 0 ve O, 5 ve S ya da 1 ve I gibi yazım hatalarını ya da benzer görünümlü karakterleri dikkate alır. Benzer görünümlü karakterlere dayalı olarak karşılaştırılan iki değerde bir uyumsuzluk olduğunda, atanan benzersizlik ölçüsü, standart bir düzenleme uzaklığı işlevi tarafından atanandan daha azdır. Sonuç olarak, bu tür uyumsuzluklar, özelleştirilmiş işlev tarafından güçlü bir şekilde cezalandırılmaz.

  Önemli: Özel uzaklık düzenleme işlevi bazı karmaşık hesaplamalar içerir. Sonuç olarak, bu seçeneğin belirlenmesi, eşleştirme işlemi sırasında sistem başarımını etkiler.

Düzenleme uzaklığını özelleştirmek için API ' yi kullanma da dahil olmak üzere, eşleşen algoritmanızı özelleştirme hakkında bilgi için bkz. Eşleştirme algoritmanızı özelleştirme ve güçlendirme.