13. 클러스터 실행 스크립트 생성

- 지금까지 설정한 Hadoop, Yarn, Spark, Zookeeper 를 모두 start, stop, restart 할 수 있는 스크립트를 생성한다.

 

1. cluster-start-all.sh

- Hadoop, Yarn, Spark, Zookeeper 를 모두 실행 시키는 쉘 스크립트를 생성한다.

# 쉘 스크립트 편집
vim cluster-start-all.sh

# 아래 내용 추가 후 저장
# nn1 zookeeper run
sudo /usr/local/zookeeper/bin/zkServer.sh start
# nn2 zookeeper run
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"
# dn1 zookeeper run
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh start"
# Hadoop run
$HADOOP_HOME/sbin/start-all.sh
# JopHistory run
mapred --daemon start historyserver
# Spark run 
$SPARK_HOME/sbin/start-all.sh

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-start-all.sh

 

2. cluster-stop-all.sh

- Hadoop, Yarn, Spark, Zookeeper 를 모두 중단 시키는 쉘 스크립트를 생성한다.

# 쉘 스크립트 편집
vim cluster-stop-all.sh

# 아래 내용 추가 후 저장
# Spark stop
$SPARK_HOME/sbin/stop-all.sh
# JopHistory stop
mapred --daemon stop historyserver
# Hadoop stop
$HADOOP_HOME/sbin/stop-all.sh

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-stop-all.sh

 

3. cluster-restart-all.sh

- Hadoop, Yarn, Spark, Zookeeper 를 모두 재실행 시키는 쉘 스크립트를 생성한다.

# 쉘 스크립트 편집
vim cluster-restart-all.sh

# 아래 내용 추가 후 저장
# Spark stop
$SPARK_HOME/sbin/stop-all.sh
# JopHistory stop
mapred --daemon stop historyserver
# Hadoop stop
$HADOOP_HOME/sbin/stop-all.sh


# nn1 zookeeper run
sudo /usr/local/zookeeper/bin/zkServer.sh start
# nn2 zookeeper run
ssh nn2 "sudo /usr/local/zookeeper/bin/zkServer.sh start"
# dn1 zookeeper run
ssh dn1 "sudo /usr/local/zookeeper/bin/zkServer.sh start"
# Hadoop run 
$HADOOP_HOME/sbin/start-all.sh
# JopHistory run 
mapred --daemon start historyserver
# Spark run
$SPARK_HOME/sbin/start-all.sh

# 쉡 스크립트 접근 권한 설정
sudo chmod 777 cluster-restart-all.sh