ODI etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster
ODI etiketine sahip kayıtlar gösteriliyor. Tüm kayıtları göster

29 Ocak 2017 Pazar

Oracle Data Integrator(ODI) Kavramları


Soru    1 :ODI(Oracle Data Integrator) Nedir.
Cevap 1 :Farklı sistemler arasında yüksek hızda veri taşımak için kullanılan ELT(Extract, Load ve Tranform) mimarisine sahip oracle tool'dur.




Soru   2  :ODI'da model ne anlama gelmektedir.
Cevap 2 :Data model, data server'da store edilmiş tablo veri yapısı grubuna karşılık gelmektedir. ODI topology sekmesinde tanımlanmış mantıksal bir şemaya dayanmaktadır ve sadece metadata bilgisini içermektedir.





Soru   3 :ODI'daki repository tipleri nelerdir
Cevap 3 :ODI'da 2 tip repository mevcuttur.

  • Master repository: Kurum yada kuruluşlar hakkında bilgilerinin tutulduğu  repository'dir. Şirketin IT kaynakları, güvenlik bildirimleri, veri modeli ve versiyonlama bilgileri tutulur.
  • Work Repository: Data model ve project'ler üzerinde bulunana bilgileri içeren bir veri yapısıdır. Repository ilişkisel bir veritabanı üzerinde depolanır. Bir master repository üzerinde birden fazla work repository oluşturulabilir ama bir work repository birden fazla master repository ile ilişkili olamaz. 
Repository'i oracle veritabanı düşündüğümüzde aslında bir şemadır. Bu şema altında ODI repository'leri kurulduğunda kendisinin kayıt atacağı tabloları oluşturur.



Soru     4 : ODI'da kaç tip variable var?
Cevap  4 : Global ve project olmak üzere 2 tip variable vardır.

   Variable, ODI'da tek bir değeri depolayan bir object'dir. Bu değer string, number ve date olabilir. Bu variable, değeri  bir mantıksal şema üzerinde çalıştırılan sorgu sonucuna göre update olabilir. Örnek olarak database'den mevcut tarihi ve saati alabilir. Bir variable global olarak veya project içinde oluşturulabilir. Global variable tüm proje'lerde kullanılabilir ama project variable sadece oluşturulduğu projede kullanılabilir.


Soru    5 :Variable'lar nerde kullanılır?
Cevap 5 :Variable'lar tüm oracle data integrator expression'larında kullanılabilir. 
  • Mapping
  • Filters
  • Joins
  • Constraint
Soru    6 :Oracle Data Integrator'da package nedir?
Cevap 6 : Package, ODI'daki en büyük execution unit'tir yani bir package ile birden fazla işi tek seferde execute edilebilir Örnek olarak birden fazla mapping'i tek bir package'te aynı anda execut etme.


Soru    7 : Load Plan nedir ve kaç tip load plan vardır?
Cevap 7 : Load plan,  oluşturduğun scenario'ların execution'larını sırayla, paralel veya koşula bağlı olarak bir çok scenario'yu execute etmek veya çalıştırmak için bir process'tir.



Soru     8 : ODI'da log level tipleri nelerdir ?
Cevap  8 : Notification, error, warning, trace vb. 

Soru     9 : ODI'da I$,  E$,  J$  ve C$ tabloları nedir?
Cevap  9 : 
  • E$: ODI tarafından oluşturulan geçici bir hata tablosudur. Check Knowledge Module(CKM), tarafında oluşturulur. CKM'e takılan kayıtlar bu tabloya insert edilir.
  • J$: Tüm değişikliklerin kaydedildiği tablodur. Değişilik tipi(insert,update,delete) ile beraber değiştirilen kayıtları tutar Journalizing Knowledge Module tarafında oluşturulur. 
  • I$: Integration Knowledge Module(IKM) tarafında oluturulur. LKM,veriyi C$ tablosuna yükledikten sonra IKM, I$ tablosuna yükler.
  • C$:Loading Knowledge Module(LKM) tarafında staging area'da oluşturulur. Source'dan yüklenecek verileri geçici olarak tutar. 

Soru    10 :Knowledge Module tipleri nelerdir?
Cevap 10 : 
  • Reverse Enginering Knowledge Module (RKM):Bu modül, Source database'den tablo ve diğer objelerin metada bilgilerini okumak için kullanılır. 

  • Loading Knowledge Module (LKM): Source database'deki verileri,  staging area'ya yüklemek için kullanılır.
  • Integration(Load) Knowlege Module (IKM): Staging area'daki verileri target tablolara yüklemek için kullanılır.
  • Check Knowledge Module (CKM): Veri tutarlılığını kontrol etmek için kullanılır. 

  • Journalizing Knowledge Module (JKM):Değişikliği takip etmek için source database'den  veri değişikliklerinin(update, delete,insert) günlüğünü oluşturmak için kullanılır.


Soru     11 : ODI Console nedir?
Cevap  11 : Browser üzerinde designer, operator ve topology component'lerine erişmek için kullanılan web tabanlı bir navigator.


Soru    12: ODI'daki component'ler nelerdir ve ne için kullanılır
Cevap 12:

  • Designer  :Development
  • Operator  :Monitoring
  • Topology :Configuring
  • Security   :Provide security

Soru    13 : Physical Schema, Logical Schema ve Context arasındaki ilişki nedir.
Cevap 13 : Bu 3 kavramdan biri olmadan diğeri olmaz.




Data Server: Database bağlantısını tanımlayan object'tir. Database instance'ı için user, password ve ip bilgisini depolar.

Physcial Schema: 2 database schema'sı(Oracle tanımında) tanımlanır. Bu schema'lardan biri data'yı diğeri ise ODI işleri(I$ ve C$ tablolarının bulundüğu çalışma alanı) okumak için.

Context : Bir enviroment(örnek prod, dev, test gibi) tanımlar. Kodu execute etmek için özel bir alan.

Logical Schema: Logical bir yapı için bir alias'tır.



Soru    14 : ODI'da scenario nedir?
Cevap 14 : Bir package, mapping, variable veya procedure component'i bittiği zaman bir scenario'da derlenir.  Scenario, production için execution etme birimidir. scenario schedule edilebilir.

12 Mart 2016 Cumartesi

Oracle Data Integrator 12c Mimarisi

Giriş

Oracle Data Integrator (ODI) 12c,  merkezi bir metadata repository etrafında birlikte çalışan çeşitli bileşenler üzerine inşa edilmiştir. 
Bu bileşenler;
  • Graphical modules
  • Runtime agents:Tasarım zamanında, developerlar tasarlamış oldukları iş kurallarından senaryolar üretir. Bu senaryoların kodu, run-Time Agent ile repository'den aınır. bu agent sonra veri server'ına bağlanır ve server üzerindeki kod execution'ları yönetir..
  • Web-based interfaces

Mimariye Genel Bakış

   Oracle Data Integrator Mimarisi, modüler repository etrafında organize edilmiştir. Modüler repository'e client-server modunda componentler(bileşenler) ile  erişilebilir.örneğin  tamamen Java ile kodlanmış ODI Studio ve execution Agents ile erişilebilir. 

    Mimari, ayrıca web tabanlı bileşenler(componentler) de içerir. Örneğin Management Pack for Oracle Data Integrator.  Management Pack for Oracle Data Integrator,  Oracle Enterprise Manager Cloud Control altyapısı veya the ODI Console ile entegre edilebilir. ki bu bir web interface üzerinden kullanıcıların, metadata bilgilerini erişimesini sağlar.

ODI Studio 

ODI Studio,  ODI  yönetmek için 4 grafiksel navigator sağlar: Designer, Operator, Topology ve Security. ODI Studio, graphical user interface'lerini kullanmak için kolaylık sunar ve çeşitli platformlar üzerine kurulabilir örneğin windows veya Linux.
ODI Studio Navigator'leri aşağıda belirtilmiştir
  • Designer: Veri bütünlüğü ve veri dönüşümü için bildirime dayalı kuralları tanımlar. Geliştirilen tüm projeler  bu modüllde yer alır. Designer modülü, veritabanı ve metadata uygulamalarının import edildiği ve tanımlandığı yerdir. Designer modülü, ürün için load planı veya veri bütünlüğünü senaryolarını üretmek için metadata ve kurallarını kullanır. Bu modül, metadata yöneticileri ve developer'lar için çekirdek modüldür.  
  • Operator: Production'da  veri bütünlüğü süreçlerini görüntüler ve yönetir. Operator'ler için tasarlanmıştır ve hata sayıları ile execution log'larını gösterir.
  • Topology: Topoloji, altyapının fiziksel ve mantıksal mimarisini tanımlar. 
  • Security: Kullanıcı profillerini, rollerini ve izinlerini yönetir. Security ayrıca nesnelere ve özelliklere erişim yetkisi atayabilir. Security yöneticileri genellikle bu modülü kullanır

Runtime Components: The Agents  

Çalışma zamanında, Agent 
  • ODI session'larının execution'larının koordine eder. 
  • ODI repository de depolanan kodu alır.
  • Çeşitli kaynak ve hedef kaynaklara bağlanır. 
  • Genel veri entegrasyon sürecini yönetir. 
Oracle Data Integrator 12 c  agent'ların 3 tipi vardır.
  • Standalone Agents: Hedef ve kaynak sistemlere yüklenebilir ve bir Java Virtual Machine. gereklidir.
  • Colocated Standalone Agents: Hedef ve kaynak sistemlere yüklenebilir . Oracle Enterprise Manager kullanılarak yönetilebilir ve bir Oracle WebLogic domain ile yapılandırılmalıdır. Oracle WebLogic Administration Server'dan ayrı bir makinede  çalıştırılabilir.
  • Java Enterprise Edition (Java EE) Agents  Oracle WebLogic Server üzerinde dağıtılabilir.  Application server katman özelliklerindende yararlanabilir.
Extract-Load Transform (E-LT) mimarisi ile Agent nadiren herhangi bir dönüşümü gerçekleştirir. ODI Repository'den basitçe kodu alır ve bu kodu yürütmek için veritabanı sunucuları, işletim sistemleri, ya da script motorları  talep eder. Execution tamamlandığı zaman, Agent  execution log'larını repository'de update eder ve hata mesajlarını, execution  istatistiklerini  raporlar. Kullanıcılar  Operator Navigator'ünden  execution log'larını görebilir.




Repositories

Repository ,  bir veya birden fazla master repository  ve tipik olarak birkaç work repository 'den oluşabilir. Bu repository 'ler ilişkisel veritabanı sistemlerinde depolanan tabloların kümesidir. örnek olarak  Oracle, Microsoft SQL Server, IBM DB2 or MySQL.

Master Repository, security bilgileri (user profiles, roles and privileges), topoloji bilgisi(definitions of technologies and servers), ve tüm ODI objelerinin tüm versiyonlarıni içerir.

























Projenin tüm nesneleri work repository'de  depolanır. Work repository'de depolanan bilgiler
  • Models (i.e. metadata):Veri depoları, sütunları, veri bütünlüğü, constraint'ler, etki analizi içerir.
  • Project:Mappings, packages, procedures, folders, knowledge modules ve variable'ları içerir. 
  • Runtime information:Scenarios, load plans, scheduling bilgisi and execution log'ları içerir.
User'lar,  ODI Studio'da Designer ve Operator Navigator'ler ile work repository'nin içeriğini yönetebilir. Çalışma anında agent'da work repository erişebilir. Work Repository sadece  execution information bilgilerini tutmak için kullanılıyorsa bu repository'e  execution repository denir. Bir execution repository'e çalışma anında Operator Navigator, Agents ve  Oracle Enterprise Manager tarafından da  erişilebilir. 

Note: Her bir work repository, her zaman bir ve sadece bir master repository'e bağlıdır.