Translation not up to date
Birimlerin ve ayrı veri kaynaklarının akını ile başa çıkmak için kuruluşların veri bütünleştirme süreçlerinde otomasyon ve istihbarat oluşturmaları gerekir. Cloud Pak for Data as a Service , veri tüketicileri için anında kullanılabilir yüksek performanslı bir bilgi ağı oluşturmak üzere dağıtık bir ortamda verileri dinamik ve akıllı bir şekilde düzenlemek için platform ve araçlar sağlar.
Cloud Pak for Dataiçinde bir Veri bütünleştirme çözümü uygulanmasına ilişkin veri yöneltme yapısı kullanım senaryosuna bakmak için bu videoyu izleyin.
Bu video, bu belgedeki kavramları ve görevleri öğrenmek için görsel bir yöntem sağlar.
Yaşanan Zorluklar
Veri tipleri ve hacimleri büyüdükçe kuruluşlar aşağıdaki veri bütünleştirme zorluklarıyla karşı karşıya:
- Kuruluş genelinde verilerin toplanması
- Süreçlerin, verilerin şirket içinde, bulutta ya da hibrit bir ortamda bulunmasından bağımsız olarak herhangi bir uygulamadan ya da sistemden veri alabilmesi gerekir.
- Birden çok kaynaktan verileri bütünleştirme
- Veri mühendisleri, birden çok veri kaynağından alınan verileri bir dosya ya da sanal tablo olarak tek bir veri kümesinde birleştirebilmelidir.
- Verilerin kullanıcılar için kullanılabilir kılınması
- Veri mühendislerinin her bir tümleşik veri kümesini tek bir katalogda yayınlayabilmeleri gerekir ve verileri tüketmesi gereken tüm kullanıcıların bu veri için self servis erişime sahip olması gerekir.
Cloud Pak for Data as a Serviceolanağını kullanarak bu zorlukları çözebilir ve verilerinizi bütünleştirebilirsiniz.
Örnek: Golden Bank 'ın zorlukları
Veri mühendisliği ekibi Veri bütünleştirmesini uygularken Golden Bank 'ın öyküsünü izleyin. Golden Bank, üç harici veri kaynağında depolanan büyük miktarda müşteri ve ipotek verilerine sahiptir. Kredi verenler bu bilgileri, konut kredisi başvurularını onaylamaları mı yoksa reddetmeleri mi gerektiğine karar vermelerine yardımcı olmak için kullanırlar. Banka, farklı kaynaklardan gelen verileri bütünleştirmek ve daha sonra bu dönüştürülen verileri paylaşılabilen tek bir çıktı dosyasına teslim etmek istiyor.
Süreç
Kuruluşunuz için bir Veri bütünleştirme çözümü uygulamak üzere kuruluşunuz bu süreci izleyebilir:
Cloud Pak for Data as a Service içindeki DataStage, Watson Query, Data Replicationve Watson Knowledge Catalog hizmetleri, kuruluşunuzun bir Veri bütünleştirme çözümü uygulamak için gereksinim duyduğu tüm araçları ve süreçleri sağlar.
1. Verileri bütünleştirin
Cloud Pak for Data as a Serviceolanağını kullanan bir veri yöneltme yapısı mimarisi sayesinde veri mühendisleri, verilere verimli bir şekilde erişmek ve verilerle çalışmak ve farklı kaynaklardan, tiplerden ve bulutlardan alınan sanallaştırılmış verileri tek bir veri kaynağından gelmiş gibi birleştirmek için iş yüklerini ve veri ilkelerini kullanarak veri bütünleştirmeyi optimize edebilir. Sürecin bu adımında, işlenmemiş veriler çıkarılır, sindirilir, sanallaştırılır ve keşfedilmeye ve daha sonra yapay zeka yaşam çevriminizde düzenlenmeye hazır, tüketilebilir, yüksek kaliteli verilere dönüştürülür.
| Nelerin kullanılabileceğini | Neler yapabilirsiniz? | En iyi kullanım zamanı |
|---|---|---|
| Watson Query | Birçok veri kaynağını tek bir veri kaynağı olarak sorgulayın. Veri mühendisleri, çeşitli ilişkisel veri kaynaklarındaki verileri birleştirebilen, birleştirebilen ya da süzgeçten geçirebilen sanal veri tabloları oluşturabilir. Veri mühendisleri, sonuçta ortaya çıkan birleşik verileri kataloglarda veri varlıkları olarak kullanılabilir hale getirebilir. Örneğin, verilerin keşfedilebilmesini sağlamak üzere gösterge panolarını, not defterlerini ve akışları beslemek için birleşik verileri kullanabilirsiniz. |
Görünüm oluşturmak için birden çok kaynaktan verileri birleştirmeniz gerekir. Bir katalogdaki veri varlıkları olarak birleştirilmiş verileri kullanılabilir kılmanız gerekir. |
| DataStage | Veri mühendisleri, verileri hareket ettiren ve dönüştüren karmaşık ETL veri hatlarını tasarlayabilir ve çalıştırabilir. | Karmaşık veri akışlarını tasarlamanız ve çalıştırmanız gerekir. Akışlar, büyük hacimli verileri işlemeli ve çok çeşitli veri kaynaklarına bağlanmalı, verileri bütünleştirmeli ve dönüştürmeli ve hedef sisteminize toplu olarak ya da gerçek zamanlı olarak teslim edilmelidir. |
| Data Refinery | Çeşitli veri kaynağı bağlantılarındaki verilere erişin ve verileri iyileştirin. Sonuç veri kümelerini, veri bilimcilerin analiz etmesi ve incelemesi için kullanılabilir hale getirmek üzere verileri birleştirebilecek, birleştirebilecek, süzebilecek ya da maskeleyebilecek anlık görüntüler olarak oluşturun. Sonuçtaki veri kümelerini kataloglarda kullanılabilir hale getirin. |
Verileri biçimlendirmek ya da temizlemek istediğinizde görselleştirmeniz gerekir. Büyük miktardaki işlenmemiş verileri analiz için hazırlama sürecini basitleştirmek istiyorsunuz. |
| Data Replication | Bir veri bütünleştirme iş yükünü birden çok siteye dağıtın. Sürekli veri kullanılabilirliği sağlayın. |
Verileriniz birden çok siteye dağıtılır. Verinizin sürekli olarak kullanılabilir olması gerekir. |
Örnek: Golden Bank 'ın veri bütünleştirmesi
Golden Bank 'taki risk analistleri, her kredi puanı aralığı için borçlulara sunmayı önerdikleri günlük faiz oranını hesaplar. Veri mühendisleri, anonim ipotek uygulaması verilerini ipotek başvuranlardan kişisel olarak tanımlanabilecek bilgilerle birleştirmek için DataStage ' i kullanır. DataStage , her başvuru sahibi için kredi puanı bilgileri, başvuru sahibinin toplam borcu ve faiz oranı arama tablosu da dahil olmak üzere bu bilgileri bütünleştirir. Daha sonra veri mühendisleri, verileri bir katalogda yayınlanabilen ve kredi verenler ve analistler tarafından kullanılmak üzere paylaşılabilen bir hedef çıktı .csv dosyasına yükler.
Veri yaşam çevrimini otomatikleştirin
Ekibiniz, Watson Pipelinesile veri yaşam çevrimini otomatikleştirebilir ve basitleştirebilir.
| Nelerin kullanılabileceğini | Neler yapabilirsiniz? | En iyi kullanım zamanı |
|---|---|---|
| Watson Pipelines | Veri alımı ve bütünleştirmenizi otomatikleştiren yinelenebilir ve zamanlanmış akışlar oluşturmak için ardışık işlemlerden yararlanın. | Bir veri bütünleştirme akışındaki adımların bazılarını ya da tümünü otomatikleştirmek istiyorsunuz. |
Örnek: Golden Bank 'ın otomatikleştirilmiş veri yaşam çevrimi
Golden Bank veri bilimcileri, verileri güncel tutmak için veri bütünleştirme yaşam çevrimini otomatikleştirmek için boru hatlarını kullanabilirler.
Veri bütünleştirmesi için öğretici programlar
| Eğitici Program | Açıklama | Öğretici program için uzmanlık |
|---|---|---|
| Verileri bütünleştirin | Verilerinizi çıkarın, süzün, birleştirin ve dönüştürün. | Verileri dönüştürmek için DataStage sürükle ve bırak arabirimini kullanın. |
| Dış verileri sanallaştırın | Dış kaynaklardan veri tablolarını sanallaştırın ve birleştirin. | Verileri sanallaştırmak için Watson Query arabirimini kullanın. |
| Verileri eşle | Kaynak ve hedef veritabanları arasında gerçek zamanlıya yakın ve sürekli eşlemeyi ayarlayın. | Verileri eşlemek için Data Replication aracını kullanın. |
| Veri bütünleştirmesiyle yapay zeka boru hattını düzenleyin | Verileri hazırlayan ve bir model yetiştiren uçtan uca bir boru hattı oluşturun. | Bir ardışık düzen oluşturmak için Watson Pipelines sürükle ve bırak arabirimini kullanın. |