Hadoop HDFS

HDFS'e Giriş

Hadoop Distributed File System(HDFS), sıradan sunucular üzerinde çalıştırılmak için tasarlanmış dağıtık dosya sistemidir. HDFS'de master and slave mimarisi mevcuttur.

• Master:File System metadata'sını yönetmek için tek bir NameNode'tur.
• Slave:Data'yı depolamak için birden fazla DataNode'tur.

Cluster üzerinde depolanmadan önce, HDFS'deki file'lar block(chunk)'lara ayrılır. Block boyutu varsayılan olarak 64MB veya 128 MB'tır. Bir file'a ait block  farklı node üzerinde store edilir.

Hadoop Daemon

Hesaplama terimlerinde daemon, arkaplanda çalışan process'tir. Hadoop'ta 5 tane vardır.
Bunlar;

• NameNode
• Bir block'u DataNode'a eşler.
• File'a okuma/yazma erişimini kontrol eder.
• Block'lar için replication(kopyalama) engine'i yönetir.
• Client, DataNode ve SecondaryNameNode ile etkileşim halindedir.
• File System Meta'sını yönetir.

NameNode'ta, Fsimage ve Editlog olmak üzere 2 tip dosya vardır. Fsimage, NameNode başlatıldığında dosya sisteminin o anki durumunu içerir. Editlog,NameNode başladıktan sonra dosya sisteminde oluşan değişikliklerdir.

• SecondaryNameNode:Fsimage ve Editlog dosyasını periyodik olarak güncellemektedir. Bu sayede editlog dosyasının boyutu yönetilebilir boyut limitlerini geçmemektedir.
• DataNode
• Okuma, yazma isteklerinde(block oluşturma, silme ve kopyalama) sorumludur.
• Data block'ları store(depolamak)  eder.
• Client'tan gelen block'ları alır.
• 
  
• JobTracker(Resource Manager)
• Kullanıcıdan gelen MapReduce task'ları kabul eder.
• Gelen task'ı, taskTracker'a assing(atamak) eder ve status'ünü görüntüler.
• TaskTracker(Node Manager)
• MapReduce task'ları çalıştırır.
• Hearbeat'i, JobTracker'e gönderir.
• Job(İş) resource(kaynağını) HDFS'ten alır.

Her bir daemon, kendi sunucusu üzerinde bulunan JVM'te ayrı olarak çalışır.

Yazma

Okuma

HDFS Mimarisi