Translation not up to date
Verilerinizin iyi kalite olup olmadığını belirlemek için, verilerin beklentilerinize ne kadar uzak olduğunu kontrol edin ve verilerdeki anormallikleri belirleyin. Verilerinizin kalite için değerlendirilmesi, verilerinizin yapısını ve içeriğini anlamanıza da yardımcı olur.
Tanımlı koşullara dayalı verileri değerlendirmek için veri kalitesi kurallarını çalıştırın. Bu kuralın tipi, verilerin nereden gelebileceğini belirler.
Veri kalitesi tanımlarından oluşturulan kurallar
DataStagetarafından desteklenen herhangi bir bağlayıcıdan, veri varlıklarında dışarıdan yönetilen bağlamalarla karmaşık kurallar çalıştırabilirsiniz. Bkz. DataStage bağlayıcıları.
Verileri doğrudan bağladığınız basit kurallar için, Veri kalitesi kuralları için desteklenen bağlayıcılar ' nda listelenen bağlantılar desteklenir.
Ayrıca, yerel dosya sisteminden ya da dosya tabanlı bağlantılardan veri kaynaklarına karşıya yüklenen CSV biçimindeki dosyalardan veri varlıklarıyla çalışabilirsiniz.
SQL tabanlı kurallar
Desteklenen veritabanı tipleri için, Veri kalitesi kuralları için desteklenen bağlayıcılarbaşlıklı konuya bakın.
- Gerekli izinler
- Veri kalitesi kurallarını çalıştırmak için, projede Admin ya da Düzenleyici rolü bulunmalıdır. Ayrıca, denetlenecek veri varlıklarının veri kaynaklarına yönelik bağlantılara erişim yetkisine de sahip olmanız gerekir.
Kullanıcı arabirimi yerine API ' lerle aşağıdaki görevleri de tamamlayabilirsiniz. Bu API ' lere yönelik bağlantılar Daha fazla bilgi bölümünde listelenir.
Veri kalitesi kurallarının çalıştırılması
Veri kalitesi kuralının çalıştırılması için bir DataStage akışı ve daha sonra bir DataStage işi gereklidir. Varsayılan iş ayarlarıyla yapılan iş, bu kuralı varlık içinden ilk kez çalıştırdığınızda otomatik olarak yaratılır. Varsayılan adı DataStage flow of data rule <rulename>.DataStage job olan bir DataStage işi projeye eklenir.
İlk çalıştırmadan sonra, iş ayarlarını gerektiği şekilde değiştirebilirsiniz; örneğin, zamanlanmış çalıştırmaları ayarlamak için. Ya da, iş sona ermeden önce kabul edilebilir uyarı sayısını ayarlamak isteyebilirsiniz; bu, varsayılan değer olarak 100 değerini içerir. İş ayarlarını değiştirmek için, iş ayrıntıları sayfasına gidin ve araç çubuğundaki kalem simgesini tıklatın. İşin ayrıntı sayfasına, kuralın çalıştırma geçmişindeki iş adını ya da projenin İşler sayfasını tıklatarak ulaşabilirsiniz.
Kuralınız için, projeden kuralın taşma menüsünden ya da varlığı açtığınızda, varlık adının yanındaki taşma menüsünden el ile ek DataStage işleri de yaratabilirsiniz. Bkz. Veri kalitesi kurallarını çalıştırmak için iş yaratılması.
Aşağıdaki yollardan birini kullanarak bir kural çalıştırabilirsiniz:
- Veri kalitesi kuralını açın ve Kuralı çalıştır' ı tıklatın. İlişkili DataStage işini yaratmak için kuralın ilk çalışması için bu seçeneği kullanın.
- Projenin İşler sekmesine gidin, iş ayrıntılarını açın ve işlem çubuğundaki
öğesini tıklatarak işi çalıştırın.
Ayrıca, bir kuralı çalıştırmak için yinelenen zamanlamaya sahip işleri ayarlayarak kalite denetimlerini otomatikleştirebilirsiniz.
Kurallar, IBM Cloud kimlik bilgileri ile çalıştırılır. Genellikle, kişisel IBM Cloud API anahtarınız, kesintiye uğramadan bu tür uzun süre çalışan işlemleri yürütmek için kullanılır. İş oluşturduğunuzda kimlik bilgileri kullanılamıyorsa, bir API anahtarı oluşturmanız istenir. O zaman API anahtarı, görev kimlik bilgileriniz olarak kaydedilir.
Çalıştırma geçmişinin denetlenmesi
Bir veri kuralı çalıştırdığınızda, bir çalıştırma kaydı oluşturulur. Bu çalıştırma kayıtları, bir kuralın çalıştırma geçmişinde listelenir; böylece, her bir çalıştırmanın sonuçlarını nasıl değiştirdiğinizi görebilirsiniz. Çalıştırma kayıtlarını görüntülemek için, veri kalitesi kuralını açın ve Çalıştırma geçmişi sekmesine gidin. Her çalıştırma kaydı bu bilgileri sağlar:
- Kuralın başlangıç saati, metin bağlantısı olarak çalıştırılıyor. İş çalıştırma dinlemelerine erişmek için bağlantıyı tıklatın.
- Karşılık gelen DataStage işinin adı metin bağlantısı olarak. İş ayrıntılarına erişmek için bağlantıyı tıklatın.
- Çalıştırmanın durumu.
- Veri kalitesi tanımlarından oluşturulan kurallar için:
- Test edilen kayıtların sayısı.
- Kuralla karşılaşan kayıtların sayısı ve test edilen kayıtların yüzdesi.
- Kuralı karşılamayan kayıt sayısı ve test edilen kayıtların yüzdesi.
- SQL tabanlı kurallar için:
- The number of records returned by the select statement in the Kural karşılanmadı column.
Kural çıkışı çizelgesi denetleniyor
Kural için bir çıkış çizelgesi tanımlandıysa, kural çıkışı yapılandırılmış olarak bir veritabanı çizelgesine yazılır. See the step for configuring output settings in Veri kalitesi tanımlarından kural yaratılması or SQL tabanlı kurallar yaratılması.
Çıkış tablosu, projeye bir veri varlığı olarak da eklenir. Çıkış çizelgesine aşağıdaki yöntemlerden birini kullanarak erişebilirsiniz:
- Kuralın çalıştırma geçmişine gidin ve Çıkış tablosunu görüntüle' yi tıklatın. Kural çıkışını bir CSV dosyası olarak (örneğin, çok sayıda kayıt içeren bir çıktıyı aramak ya da süzmek istiyorsanız, bir elektronik sayfa programında kullanmak için) karşıdan yükleyebilirsiniz. Ayrıca, çıkış sayfası projeden ilgili veri varlığına bir bağlantı da sağlar.
- Projeden çıkış çizelgesini açın. Kuralda tanımlı çıkış çizelgesiyle aynı adı taşıyan bir veri varlığı arayın.
- Yerel veritabanı sorgularını kullanarak, veritabanına çizelgeye erişin.
Ek bilgi
- Veri kalitesi kurallarını çalıştırmak için iş yaratılması
- Veri kalitesi tanımlarından kural yaratılması
- SQL tabanlı kurallar yaratılması
- Watson Veri API 'si: Veri kalitesi kuralını çalıştırma
- Watson Data API: Tüm veri kalitesi kuralı çalıştırma sonuçlarını ya da bunların bir alt kümesini listele
- Watson Veri API: Veri kalitesi kuralını çalıştırma
Üst konu: Veri kalitesinin yönetilmesi