Ders 2: Datawarehouse Kavramları

• OLTP(OnLine Transactional Processing):Sürekli insert, delete ve update işlemlerinin yapıldığı bir veritabanı olarak düşünebilirsiniz.Örnek olarak sürekli verilerin girildiği bir banka veritabanı düşünebilirsiniz.

• ETL(Extract-Transform-Load):Bir veri entegre sürecidir. Verinin source'dan  extract edilip transform'a uğratılarak target'a load etmektir

       

• ODS(Operational Data Store):OLTP deki verinin yani ham verinin neredeyse az bir değişiklikle tutulduğu alandır(Tasarladığınız datawarehouse mimarisine göre veritabanı veya schema, olarak düşünebilirsiniz)

• STAGE:Kaynak sistemlerden gelen verileri geçici bir alanda tutulur.Bu alanda tutulan veriler daha sonra veri ambarlarına aktarılır. Kaynak sistemlerden gelen verilerin direk veri ambarlarına aktarılması, veri aktarılırken olabilecek hatalar sonucunda veri ambarının yapısının bozulmasının neden olur hemde performans açısında iyi değildir

• DATAWAREHOUSE:Kaynak sistemdeki verilerin raporlama için anlamlı hale getirilip tutulduğu sanal bir depodur

• DATAMART:Datawarehouse'un  alt kümleridir. Datawahouse veriler üzerinde genel bir bakış sağlarken, datamart'lar sadece belirli bir kısma bakış sağlar. Datamart'lara belirli birimlerin ihtiyac duyduğu verilere bağlı olarak analiz yapmaya imkan sağlar ve datawarehouse'daki  tüm karmaşıklık ile uğraşmadan ilgili datamart'lar sayesinde daha kolay analiz yaparlar

 DATAMART  VS  DATAWAREHOUSE

          -Datawarehouse genelde bir çok veri kaynağında beslenir, datamart ise genelde tek bir veri                    kaynağında beslenir

          -Datawarehouse bir çok konu üzerinde analiz yapılması içi veriler bir araya getirilir, datamart'ta            ise tek bir konu analizi için veriler bir araya getirilir

          -Datawarehouse kurumsal kullanılır, datamart ise departmansal olarak kullanılır

          -Datawarehouse veri hacmi büyüktür, datamart'ın  ise veri hacmi küçüktür.

• METADATA:Bir tablonun özetine denir yani bir tablonun kolon adları, her kolonun data tipi, tablo adı gibi bilgiler bir tablonun metada bilgisidir.
• SCD(Slowly Changing Dimension):Kaynak sistemden elde edilen veriler, tarihsel olarak saklanarak hiç bir veri silinmez.
• TRUCATE-LOAD:Kaynak sistemden elde edilen verilerin tümünün silinerek yeniden yapılandırılması
• FACT TABLE:İş birimlerinin kullanacağı nümerik metrik değerleri içerir. Büyük miktarda veri içerir, genellikle dimension tablolar ile foreign key ilişkilidir, genellikle ekleme yapılır, çabuk büyür ve çok hızlı genişler
• DIMENSION TABLE:İş birimlerinin görmek istediği metin tipindeki verileri içerir. boyutları küçüktür,  Truncate-Load mekanizmasına uygundur, genellikle statik veri içerir.

Ders 1: Data Warehouse'a Giriş

Datawarehouse Nedir:

• İş karar destek sistemi faliyetlerini gerçekleştirmek için tasarlanmış bir veritabanıdır. 
• Kullanıcılarını anlamak ve kendi kuruluşlarının performansını geliştirmek için vardır. 
• Transaction(Insert, Update, Delete) işlemler içinde değil sorgu ve çözümleme için tasarlanmıştır. 
• Verileri bilgiye dönüştürme süreci ve bir fark yaratmak için kullanıcılara zamanında yeterince erişilebilir olmasını sağlama
• Veriambarı,
• Subject-oriented(konu odaklı): Organizasyondaki belli bir iş alanı  konu alır Örneğin; Satış, Pazarlama,  
• Integrated(entegre):Bir çok kaynaktan veriyi birleştirir.
• Time-variant(değişken zaman): Veriamabarında data historical olarak tutulur.
• Nonvolatile(Geçici olmayan): Veriambarına yeni kayıt eklendiğinde önceki data silinmez 

Datawarehouse temel amacı şirketin üst yöneticilerine şirketin geleceği hakkında karar vermeleri için raporlar sunmaktadır. Bu raporlar, datawarehouse'taki tablolardan beslenir. Datawarehouse'taki tablolar aslında OLTP'deki tabloların transformasyona uğramış halidir. Datawarehouse'u bir veritabanı veya veritabanından bir schema olarak düşünebilirsiniz  

• Data warehouse birden çok yerde depolanan veriyi tek bir yerde topladığımız merkezi bir alandır,
• End user'lar, ihtiyacı olan bazı bilgilere ulaşmak için data warehouse'lara erişebilir
• Data warehouse, her yeni veri geldiğinde load olmaz. Firma tarafında belirlenen belirli zaman aralıkları vardır bu zaman aralıkları günlük, aylık ve yılda bir kezdir.

Neden Datawarehouse'a ihtiyaç vardır

Şirketin geleceğine yön vermek için şirket verilerinin anlamlı bir şekilde rapor halinde şirket yöneticilerine sunmak gerekir, şirket verilerinin anlamlı hale gelmesi için şirketin ham verisinin bazı transformasyonlardan geçirtilerek tutulması gereken bir alana ihtiyac vardır  işte bu alan datawarehouse'tur.

Raporlar neden oltp tablolardan beslenmez
Çünkü

• End User'lara raporun anlamlı olması için ham veriyi transformasyondan geçirmek gerekir . Transformasyona örnek vermek gerekirse, filtre vermek, group by, sum gibi işlemler
• End User'lara sunulan raporları oltp'deki tabloardan verildiğini düşünürsek yani sürekli insert, delete ve update işlemlerinin yapıldığı veritabanından  bide milyarlık verilerin select edilmesini eklersek vertabanın performansı düşer
• Son olarak OLTP tablolarındaki verilerin, veri kalitesinden geçmesi gerekir.

Şimdi örnek bir veri ambarı süreçinden bahsedelim

1-İlk aşama olarak ham veri,OLTP'den herhangi bir etl tool'u ile ods alanımıza aktarılır bu aktarım esnasında genellikle ham veri aynen ods sistemine aktarılır bazende çok az transformasyonla aktarılabilir.

ETL Tool'ları

• Oracle Data Integrator
• IBM Data Manager,
• Informatica

ETL Tipler

• Truncate-Load(Full)
• Incremental
• SCD(SlowlyChanging Dimension)

Yukardaki etl tipleridaha önce anlatıldığından tekrar bahsetmiyorum

Genel ETL hataları

• Kaynak Sistemdeki dosyaya erişeme
• Kaynak sisemdeki tablonun unusable olması
• Yetersiz yer planma
• Veri tipi uyumsuzluğu
• Zayıf ve yetersiz analiz
• Kaynak sistemdeki yapısal değişikler
• Yetersiz metadata

2-Ods teki veri birden fazla konu bazlı gruplandırılarak ihtiyaca göre datawarehouse sistemlere yine etl tool'ları ile aktarılır. Yani datawarehouse tarafında ihtiyaca göre fact  ve dimension tablolar oluşturulur.

3-Datawarehouse'ta birden fazla konu bazlı gruplandırılan tablolar, departmanların ihtiyacına göre

daha küçük yapılara ayrılabilir bu yapılar datamartlar olarak adlandırılır.

4-Hazırlanan datawarehouse'taki verilerin end user'lara sunmak için son olarak raporlama tool'larına ihtiyac vardır raporlama tool'ları ile end user'ların görmek istediği formatta raporlar hazırlanarak end user'lara rapor'lar sunulur

Raporlama Tool'ları

• IBM Cognos
• Oracle BI
• Qlikview