[Hadoop] Centos7에 하둡 설치하기

1. open jdk 설치(root권한상태)

$yum install java-1.8.0-openjdk-devel.x86_64

java -version으로 설치 확인

2. ssh keygen 생성(root권한상태)

$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$chmod 0600 ~/.ssh/authorized_keys

$ssh localhost
$exit

3. hadoop설치(버전 3.1.2)(root권한상태)

$wget "http://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz"

4.  hadoop파일 이동 및 hadoop 설치할 계정으로 전환(root권한상태)

$chown "사용할계정명":"사용할계정명" hadoop-3.1.2.tar.gz
$mv hadoop-3.1.2.tar.gz /home/"사용할계정명"
$su "사용할 계정명"

5. 해당 계정 home 디렉토리에서 압축해제 및 폴더명 hadoop으로 변경

$cd ~
$tar -xvf hadoop-3.1.2.tar.gz
$mv hadoop-3.1.2.tar.gz hadoop

6. 환경변수에 Hadoop관련 설정 등록

$vi .bash_profile

 로 bash_profile 편집화면을 오픈 

export HADOOP_HOME=/home/"사용할계정명"/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

위의 내용 추가

:wq!를 입력해 빠져나온 후

$source .bash_profile

설정 적용

7. Hadoop 옵션에 Java Home 등록

$cd /home/"사용할계정명"/hadoop/etc/hadoop
$vi hadoop-env.sh

hadoop-env 파일 안에

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

위의 내용 추가

8. 기타 Hadoop 설정들

8-1.

$vi core-site.xml

<configuration>
<property>
  <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>
</configuration>

추가후 :wq!

8-2.

$vi hdfs-site.xml

<configuration>
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
  <name>dfs.name.dir</name>
    <value>file:///home/"사용할계정"/hadoopdata/hdfs/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
    <value>file:///home/"사용할계정"/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

추가 후 :wq!

8-3.

$vi mapred-site.xml

<configuration>
 <property>
  <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
</configuration>

추가 후 :wq!

8-4.

$vi yarn-site.xml

<configuration>
 <property>
  <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
</configuration>

추가 후 :wq!

9. Hadoop 초기화 및 실행

$hadoop namenode -format

만약 Y/N입력하라고 나오면 무조건 대문자 Y를 입력

$cd /home/"사용할계정"/hadoop/sbin
$./start-all.sh

10. Hadoop 설치 확인 및 실행확인

$hadoop version

$jps

11.Web page 접속확인(8042 , 9870 포트 오픈필요)

11-1 http://자신 ip:8042 접속

11-2 http://자신 ip:9870 접속