Veri bütünleştirmesi kullanım senaryosu
Birimlerin akınına ve farklı veri kaynaklarının üstesinden gelebilmek için, kuruluşların veri bütünleştirme süreçlerine otomasyon ve istihbarat oluşturmaları gerekir. Cloud Pak for Data as a Service , veri tüketicilerine yönelik anında kullanılabilir bilgi sağlayan yüksek performanslı bir ağ oluşturmak üzere, dağıtılmış bir yatay ortamda verileri dinamik ve akıllı bir şekilde koordine etmek için platform ve araçlar sağlar.
Veri yöneltme yapısı kullanım senaryosını görmek için bu videoyu izleyin. Veri yöneltme yapısı kullanım senaryosu, Cloud Pak for Dataiçinde bir Veri bütünleştirme çözümü uygulanmasına neden olur.
Bu video, bu belgelerdeki yazılı adımların izlenmesine alternatif olarak bir görsel yöntem sağlar.
Zorluklar
Veri tipleri ve birimler büyüdükçe, işletmeler aşağıdaki veri bütünleştirme zorluklarına karşı karşılar:
- İşletmeden veri almak için veri alınması
- Verilerin şirket içinde, bulutta ya da bir karma ortamda bulunup bulunmamasından bağımsız olarak, süreçlerin herhangi bir uygulamadan veya sistemden veri akıtma işlemi yapabilmeleri gerekir.
- Birden çok kaynaktan alınan verilerin bütünleştirilmesi
- Veri mühendisleri, birden çok veri kaynağındaki verileri, tek bir veri kümesinden bir dosya ya da sanal tablo olarak birleştirebilmelidir.
- Verilerin kullanıcılar için kullanılabilir kılınması
- Veri mühendislerinin her bir tümleşik veri kümesini tek bir katalogda yayınlayabilmesi ve veri tüketmesi gereken tüm kullanıcıların, kendi kendine hizmet erişimine sahip olması gerekir.
Bu zorlukları çözebilir ve Cloud Pak for Data as a Service(Hizmet Olarak Veri İçin Bulut Pak) olanağını kullanarak verilerinizi bütünleştirebilirsiniz.
Örnek: Altın Bankasının zorlukları
Veri mühendisliği ekibi Veri bütünleştirmesini uyguladıkça Altın Bankası 'nın öykülerini takip edin. Altın Bankası, üç harici veri kaynağında depolanmış büyük miktarda müşteri ve ipotek veriye sahiptir. Kredi verenler, bu bilgileri ipotek başvurularını onaylayıp onaylamamaları ya da reddetmeleri konusunda karar vermelerine yardımcı olmak için kullanır. Banka, verileri farklı kaynaklardan entegre etmek ve sonra dönüştürülen verileri paylaşılabilen tek bir çıkış dosyasına teslim etmek istiyor.
Süreç
İşletmeniz için bir Veri bütünleştirme çözümü uygulamak üzere kuruluşunuz bu süreci takip edebilir:
Cloud Pak for Data as a Service içindeki DataStage, Watson Query, Data Replicationve Watson Knowledge Catalog hizmetleri, kuruluşunuzun bir Veri bütünleştirme çözümünü uygulamak için gereksinim duyduğu tüm araçları ve süreçleri sağlar.
1. Verileri bütünleştirin
Veri mühendisleri, Cloud Pak for Data as a Servicekullanan bir veri yöneltme yapısı mimarisiyle, verileri verimli bir şekilde erişebilmek ve verilerle çalışmak ve sanallaştırılmış verileri farklı kaynaklardan, tiplerden ve bulutlardan tek bir veri kaynağından kaynaklandığı gibi birleştirmek için iş yüklerini ve veri ilkelerini kullanarak veri bütünleştirmesini en iyi duruma getirebilirler. Sürecin bu adımında işlenmemiş veriler çıkarılır, sindirilir, sanallaştırılır ve tüketilebilir, yüksek kaliteli veriler haline dönüştürülebilir ve yapay zeka yaşam çevriminizde daha sonra düzenlenecektir.
| Kullanabileniniz | Yapabildiğiniz şey | Aşağıdaki durumlarda kullanmak için en iyi |
|---|---|---|
| Watson Query | Birçok veri kaynağını bir sorgu olarak sorgulayın. Veri mühendisleri, çeşitli ilişkisel veri kaynaklarındaki verileri birleştirebilen, birleştirebilen ya da süzgeçten geçirebilen sanal veri tabloları oluşturabilir. Data mühendisleri daha sonra, elde edilen birleştirilmiş verileri kataloglarda veri varlıkları olarak kullanılabilir kılabilir. Örneğin, verilerin araştırılabilmesi için gösterge panolarını, defterleri ve akışları beslemek için birleştirilmiş verileri kullanabilirsiniz. |
Görünümler oluşturmak için verileri birden çok kaynaktan birleştirmeniz gerekir. Bir katalogdaki veri varlıkları olarak birleştirilmiş verileri kullanılabilir hale getirmeniz gerekir. |
| DataStage | Veri mühendisleri, verileri taşıyıp dönüştüren karmaşık ETL veri boru hatlarını tasarlayabilir ve çalıştırabilir. | Karmaşık veri akışlarının tasarlanması ve çalıştırılması gerekir. Akışlar, büyük hacimlerdeki verileri işlemeli ve çok çeşitli veri kaynakları arasında bağlantı kurmalı, verileri bütünleştirmeli ve dönüştürmeli ve toplu ya da gerçek zamanlı olarak hedef sisteminize teslim etmelidir. |
| Data Refinery | Çeşitli veri kaynağı bağlantılarından veri erişimi ve verileri daraltır. Sonuçtaki veri kümelerini, veri bilimcilerin analiz etmesi ve keşfetmesini sağlamak amacıyla verileri birleştirecek, birleştirebilir, süzebilir ya da maskeleyebilir. Sonuçtaki veri kümelerini kataloglarda kullanılabilir hale getirin. |
Verileri şekillendirmek ya da temizlemek istediğinizde görselleştirmeniz gerekir. Çözümlemek üzere çok miktarda işlenmemiş veri hazırlama işlemini basitleştirmek istiyorsunuz. |
| Data Replication | Bir veri bütünleştirme iş yükünü birden çok siteye dağıtın. Sürekli veri kullanılabilirliği sağlayın. |
Verileriniz birden çok yere dağıtıldı. Verilerinizi sürekli olarak kullanılabilir. |
Örnek: Golden Bank 'ın veri bütünleştirmesi
Altın Bankadaki risk analistleri, her bir kredi puan aralığı için borçlulara önerdikleri günlük faiz oranını hesaplıyor. Veri mühendisleri, anonim konut kredisi başvuru verilerini ipotek başvuranların kişisel olarak tanımlanabilen bilgileri ile toplamak için DataStage ' i kullanır. DataStage , her bir başvuru sahibinin, başvuru sahibinin toplam borcunun ve faiz oranı arama tablosunun da dahil olduğu kredi puan bilgileri dahil olmak üzere bu bilgileri bütünleştirir. Daha sonra veri mühendisleri verileri bir katalogda yayınlanabilen ve kredi verenler ve analistler tarafından kullanılmak üzere paylaşılabilen bir hedef çıkış .csv dosyasına yükler.
Veri yaşam çevrimini otomatikleştirme
Ekibiniz, Watson Pipelinesile veri yaşam çevrimini otomatikleştirebilir ve basitleştirebilir.
| Kullanabileniniz | Yapabildiğiniz şey | Aşağıdaki durumlarda kullanmak için en iyi |
|---|---|---|
| Watson Pipelines | Veri alma ve bütünleştirmeyi otomatikleştiren yinelenebilir ve zamanlanan akışları oluşturmak için boru hatlarını kullanın. | Bir veri bütünleştirme akışındaki adımların bazılarını ya da tümünü otomatikleştirmek istiyorsunuz. |
Örnek: Altın Bankasının otomatik veri yaşam çevrimi
Altın Bankadaki veri bilimcileri veri entegrasyonu yaşam çevrimini otomatikleştirmek için boru hatlarını kullanarak veri akımını mevcut hale getirebilirler.
Veri bütünleştirmesi için eğitmenler
| Eğitici Program | Tanım | Eğitmen için uzmanlık |
|---|---|---|
| Verileri bütünleştirme | Verilerinizi çıkarın, süzer, birleştirin ve dönüştürün. | Verileri dönüştürmek için DataStage sürükleme ve bırakma arabirimini kullanın. |
| Dış verileri sanallaştır | Dış kaynaklardaki veri tablolarını sanallaştırır ve birleştirin. | Verileri sanallaştırmak için Watson Query arabirimini kullanın. |
| Verileri eşle | Kaynak ve hedef veritabanları arasında gerçek zamanlıya yakın bir şekilde ve sürekli eşleme ayarlayın. | Verileri eşlemek için Data Replication aracını kullanın. |
| Veri Bütünleştirmesi ile birlikte orkestra ve yapay zeka boru hattı | Verileri hazırlayan ve model olan uçtan uca bir ardışık düzen oluşturun. | Bir ardışık düzen oluşturmak için Watson Pipelines sürükle ve bırak arabirimini kullanın. |