linux işletim sistemine hadoop kurulumu

Herkese merhaba, bu yazımda sizlere linux makineye hadoop kurulumunu anlatacağım. Kurulumu shell komutlarıyla terminal üzerinden yapacağım. Aşağıdaki adımları takip ederek ubuntu(linux) sistemlere hadoop'un nasıl kurulacağını görebilirsiniz.

# ilk olarak sistemi güncelleyin 

$ sudo apt-get update && sudo apt-get upgrade

# Hadoop java iler geliştirildiği için çalıştırılması için javayı kurun 

$ sudo apt-get install openjdk-8-jdk

# Eğer local repositorylerin içinde java yoksa aşağıdaki komutla java yı local repository'e ekleyin. 

$ sudo add-apt-repository ppa:openjdk-r/ppa

# güncel repository ile sistemi tekrar güncelleyin 

$ sudo apt-get update

# ve tekrar javayı kurun 

$ sudo apt-get install openjdk-8-jdk

# Java kurulumunun başarılı olup olmadığını anlamak için versiyon bilgisine bakın 

$ java -version

# Hadoop'u /home/Downloads dizinine indirin 

$ wget http://apache.mirrors.tds.net/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz -P ~/Downloads

# tar olarak indirdiğiniz haddop dosyasını açın ve /user/local dizinine kopyalayın 

$ sudo tar zxvf ~/Downloads/hadoop-3.0.0.tar.gz  -C /usr/local $ sudo mv /usr/local/hadoop-* /usr/local/hadoop

# Java ve Hadoop pathlerini ~/.bash_profile dosyasına ekleyin 

echo " export JAVA_HOME=$(readlink -f $(which java)) export PATH=\$PATH:\$JAVA_HOME/bin export HADOOP_HOME=/usr/local/hadoop export PATH=\$PATH:\$HADOOP_HOME/bin export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop " >> ~/.bash_profile

# bu işlemden sonra .bash_profile dosyasının içeriğine bakın 

$ cat ~/.bash_profile

# içerik aşağıdaki gibi olmalıdır: 

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/ export PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

# Değişikliklerin aktif olabilmesi için ~/.bash_profile dosyasını yeniden yükleyin 

source ~/.bash_profile

# Versiyon bilgisini sorgulayarak hadoop kurulumunu kontrol edin 

$ hadoop version

# Çıktı aşağıdaki gibi olmalıdır : 

Hadoop 3.0.0 Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r c25427ceca461ee979d30edd7a4b0f50718e6533 Compiled by andrew on 2017-12-08T19:16Z Compiled with protoc 2.5.0 From source with checksum 397832cb5529187dc8cd74ad54ff22 This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.0.0.jar