Translation not up to date
Bir projedeki veri kalitesini analiz etmek ve izlemek için veri kalitesi varlıkları tasarlayın.
Projenizde aşağıdaki veri kalitesi varlıkları olabilir:
Veri kalitesi tanımlamaları ve kuralları yaratmaya başlamadan önce aşağıdaki konuları düşünmeniz gerekir:
- Neyi analiz etmek ve izlemek istiyorsunuz?
- Hangi öğeleri değerlendirmeniz gerekiyor?
- Analizin amacı nedir, eksiksizliği, geçerliliği vb. kontrol etmek gibi?
Veri kalitesi tanımlamaları
Veri kalitesi tanımı, bir veri kalitesi kuralının genel bir biçimini temsil eder. Herhangi bir gerçek veriye bağlı olmayan mantıksal değişkenleri kullanarak kural değerlendirmesini ya da koşulunu açıklar. Bu nedenle, istediğiniz sayıda veri kalitesi kuralındakullanılabilir. Veri kalitesi tanımlamasını değiştirirseniz, tanımlamadan türetilen tüm kurallar için geçerlilik denetimi mantığını da değiştirirsiniz.
Projelerde veri kalitesi tanımlamaları yaratabilir ve bunları yönetebilirsiniz. Bir veri kalitesi tanımlamasını diğer projelerde yeniden kullanılabilir kılmak için, bir katalogda yayınlayabilirsiniz.
Veri kalitesi kuralları
Bir veri kalitesi kuralı, değerlendirme için mantıksal değişkenleri gerçek verilere bağlar . Belirli koşulları değerlendirerek ve doğrulayarak verilerinizin kalitesini değerlendirmek için fiziksel verilere karşı bir kural çalıştırılır. Her kural çalıştırması, kuralın çıkış çizelgesi için tanımlanan olası kural dışı durumlarla ilgili istatistik ve bilgi sağlar.
Projelerde veri kalitesi kuralları oluşturur, yönetir ve çalıştırır.
Bir ya da daha çok veri kalitesi tanımından kurallar yaratabilir ya da SQL deyimleriyle veri kalitesi kuralları yaratabilirsiniz. Veri kalitesi tanımlamalarından oluşturulan kurallar, hangi sütunların kural koşullarına uyup uymadığını yakalar. SQL tabanlı kurallar, uyumsuz kayıtları denetlemek için daha uygundur.
Örneğin, vergi tanıtıcılarını doğrulamak istiyorsunuz. Bu nedenle kavramlarınız TaxID var ve TaxIDolabilir.
Şimdi, şu seçenekleriniz var:
Veri kalitesi tanımlarından kurallar oluşturun. Her iki kavram için de,
tax_id
mantıksal değişkenine ilişkin değerlendirme mantığıyla bir veri kalitesi tanımlaması yaratabilirsiniz. İlk koşul, vergi tanıtıcısının (ya da TaxID) var olması ve ikinci koşul, vergi tanıtıcısının tanımlı bir biçimi karşılaması gerekliğidir.Veri kalitesi tanımlaması TaxID var:
tax_id exists
Veri kalitesi tanımlaması Doğrula TaxID:tax_id matches_format 'AA99-A999-9999'
Daha sonra, aşağıdaki seçeneklerden birini belirleyin:
- Doğrulanacak bir vergi tanıtıcısı içeren her sütun için iki veri kalitesi kuralı tanımlayın. İlk kural, kolona
tax_id
TaxID tanımlamasının mantıksal değişkenini bağlar. İkinci kural, TaxID tanımlamasınıntax_id
mantıksal değişkenini kolona bağlar. - Doğrulanacak bir vergi tanıtıcısı içeren her bir sütun için, bir veri kalitesi kuralı tanımlayın ve bu kuralda her iki veri kalitesi tanımını kullanın. TaxID var ve TaxID geçerliliğini denetle tanımlamasındaki
tax_id
mantıksal değişkenini kolona bağlayın. - Bir veri kalitesi kuralı tanımlayın ve o kuralda her iki veri kalitesi tanımlamasını kullanın.
tax_id
mantıksal değişkenini TaxID exists and Validate TaxID to a parameter set of it Parameter from column. Bu parametre kümesine doğrulanacak bir vergi tanıtıcısı içeren tüm sütunları ekleyin.
- Doğrulanacak bir vergi tanıtıcısı içeren her sütun için iki veri kalitesi kuralı tanımlayın. İlk kural, kolona
SQL tabanlı kural yarat:
select tax_id from taxschema.taxtable where tax_id is null or not regexp_like(tax_id, '^[a-zA-Z]{2}[0-9]{2}-[a-zA-Z][0-9]{3}-[0-9]{4}$')
Daha fazla bilgi
Üst konu: Veri kalitesinin yönetilmesi