[Spark] Centos7에 Apache Spark 설치하기(+zeppelin)

1. open jdk 설치(root권한상태)

$ yum install java-1.8.0-openjdk-devel.x86_64

java -version으로 설치 확인

 

2. Scala 설치 (root권한상태)

2-1 scala 2.12.12 다운로드 

$ wget https://downloads.lightbend.com/scala/2.12.12/scala-2.12.12.tgz

 

2-2 파일이동

$ mv scala-2.12.12.tgz /home/"사용할 계정"/

 

2-3 압축해제

$ tar -xvzf scala-2.12.12.tgz

 

2-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv scala-2.12.12.tgz scala
$ chown -R "사용할계정":"사용할계정" scala

 

2-5 환경변수등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/scala/bin

추가 후 :wq! 입력

$ source .bashrc

적용

scala -version

설치확인

3. Apache Spark 설치 (root권한상태)

3-1 spark 3.0.1 다운로드

다시 root로 전환

wget https://downloads.apache.org/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

 

3-2 파일이동

$ mv spark-3.0.1-bin-hadoop2.7.tgz /home/"사용할 계정"/

 

3-3 압축해제

$ tar -xvzf spark-3.0.1-bin-hadoop2.7.tgz

 

3-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv spark-3.0.1-bin-hadoop2.7 spark
$ chown -R "사용할계정":"사용할계정" spark

 

3-5 환경변수 등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/spark/bin

추가 후 :wq! 입력

$ source .bashrc

적용

$ spark -shell

설치확인

4. Zeppelin 설치 (root권한상태)

4-1 Zeppelin 다운로드

wget https://downloads.apache.org/zeppelin/zeppelin-0.9.0-preview2/zeppelin-0.9.0-preview2-bin-all.tgz

 

4-2 파일이동

$ mv zeppelin-0.9.0-preview2-bin-all.tgz /home/"사용할 계정"/

 

4-3 압축해제

$ tar -xvzf zeppelin-0.9.0-preview2-bin-all.tgz

 

4-4 폴더명,권한 변경

$ cd /home/"사용할계정"
$ mv zeppelin-0.9.0-preview2-bin-all zeppelin
$ chown -R "사용할계정":"사용할계정" zeppelin

 

4-5 환경변수등록

root에서 "사용할계정"으로 계정전환

$ vi .bashrc

export PATH = $PATH:/home/"사용할계정"/zeppelin/bin

추가 후 :wq! 입력

$ source .bashrc

적용

4-6 환경설정

$ cd /home/"사용할계정"/zeppelin/conf

4-6-1 템플릿 설정파일(zeppelin-env.sh.template) 복사

$ cp zeppelin-env.sh.template zeppelin-env.sh
$ vi zeppelin-env.sh

설정 추가

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export SPARK_HOME=/home/"사용할계정"/spark

4-6-2 템플릿 설정파일(zeppelin-site.xml.template) 복사

$ cp zeppelin-site.xml.template zeppelin-site.xml
$ vi zeppelin-site.xml

vi편집기를 열어서 zeppelin.server.addr에 

<value>127.0.0.1</value>를   <value>0.0.0.0</value>로 변경해 준다

(클라우드환경의 경우 localhost로 접속이안되므로 변경)

<property>
  <name>zeppelin.server.addr</name>
  <value>0.0.0.0</value>
  <description>Server binding address</description>
</property>

5.기동 및 확인

$ zeppelin-daemon.sh start

http://자신ip:8080 접속

웹페이지 호출 완료되면 성공