Ders 1: Data Warehouse'a Giriş

Datawarehouse Nedir:

• İş karar destek sistemi faliyetlerini gerçekleştirmek için tasarlanmış bir veritabanıdır. 
• Kullanıcılarını anlamak ve kendi kuruluşlarının performansını geliştirmek için vardır. 
• Transaction(Insert, Update, Delete) işlemler içinde değil sorgu ve çözümleme için tasarlanmıştır. 
• Verileri bilgiye dönüştürme süreci ve bir fark yaratmak için kullanıcılara zamanında yeterince erişilebilir olmasını sağlama
• Veriambarı,
• Subject-oriented(konu odaklı): Organizasyondaki belli bir iş alanı  konu alır Örneğin; Satış, Pazarlama,  
• Integrated(entegre):Bir çok kaynaktan veriyi birleştirir.
• Time-variant(değişken zaman): Veriamabarında data historical olarak tutulur.
• Nonvolatile(Geçici olmayan): Veriambarına yeni kayıt eklendiğinde önceki data silinmez 

Datawarehouse temel amacı şirketin üst yöneticilerine şirketin geleceği hakkında karar vermeleri için raporlar sunmaktadır. Bu raporlar, datawarehouse'taki tablolardan beslenir. Datawarehouse'taki tablolar aslında OLTP'deki tabloların transformasyona uğramış halidir. Datawarehouse'u bir veritabanı veya veritabanından bir schema olarak düşünebilirsiniz  

• Data warehouse birden çok yerde depolanan veriyi tek bir yerde topladığımız merkezi bir alandır,
• End user'lar, ihtiyacı olan bazı bilgilere ulaşmak için data warehouse'lara erişebilir
• Data warehouse, her yeni veri geldiğinde load olmaz. Firma tarafında belirlenen belirli zaman aralıkları vardır bu zaman aralıkları günlük, aylık ve yılda bir kezdir.

Neden Datawarehouse'a ihtiyaç vardır

Şirketin geleceğine yön vermek için şirket verilerinin anlamlı bir şekilde rapor halinde şirket yöneticilerine sunmak gerekir, şirket verilerinin anlamlı hale gelmesi için şirketin ham verisinin bazı transformasyonlardan geçirtilerek tutulması gereken bir alana ihtiyac vardır  işte bu alan datawarehouse'tur.

Raporlar neden oltp tablolardan beslenmez
Çünkü

• End User'lara raporun anlamlı olması için ham veriyi transformasyondan geçirmek gerekir . Transformasyona örnek vermek gerekirse, filtre vermek, group by, sum gibi işlemler
• End User'lara sunulan raporları oltp'deki tabloardan verildiğini düşünürsek yani sürekli insert, delete ve update işlemlerinin yapıldığı veritabanından  bide milyarlık verilerin select edilmesini eklersek vertabanın performansı düşer
• Son olarak OLTP tablolarındaki verilerin, veri kalitesinden geçmesi gerekir.

Şimdi örnek bir veri ambarı süreçinden bahsedelim

1-İlk aşama olarak ham veri,OLTP'den herhangi bir etl tool'u ile ods alanımıza aktarılır bu aktarım esnasında genellikle ham veri aynen ods sistemine aktarılır bazende çok az transformasyonla aktarılabilir.

ETL Tool'ları

• Oracle Data Integrator
• IBM Data Manager,
• Informatica

ETL Tipler

• Truncate-Load(Full)
• Incremental
• SCD(SlowlyChanging Dimension)

Yukardaki etl tipleridaha önce anlatıldığından tekrar bahsetmiyorum

Genel ETL hataları

• Kaynak Sistemdeki dosyaya erişeme
• Kaynak sisemdeki tablonun unusable olması
• Yetersiz yer planma
• Veri tipi uyumsuzluğu
• Zayıf ve yetersiz analiz
• Kaynak sistemdeki yapısal değişikler
• Yetersiz metadata

2-Ods teki veri birden fazla konu bazlı gruplandırılarak ihtiyaca göre datawarehouse sistemlere yine etl tool'ları ile aktarılır. Yani datawarehouse tarafında ihtiyaca göre fact  ve dimension tablolar oluşturulur.

3-Datawarehouse'ta birden fazla konu bazlı gruplandırılan tablolar, departmanların ihtiyacına göre

daha küçük yapılara ayrılabilir bu yapılar datamartlar olarak adlandırılır.

4-Hazırlanan datawarehouse'taki verilerin end user'lara sunmak için son olarak raporlama tool'larına ihtiyac vardır raporlama tool'ları ile end user'ların görmek istediği formatta raporlar hazırlanarak end user'lara rapor'lar sunulur

Raporlama Tool'ları

• IBM Cognos
• Oracle BI
• Qlikview