08. Zookeeper 클러스터 실행

- 주키퍼 클러스터 설정 후 실행 테스트를 진행한다.

 

1. Zookeeper myid 파일 편집

- nn1, nn2, dn1 서버에서 myid를 각각 1, 2, 3으로 편집한다. nn1 서버는 이미 지정했기 때문에 nn2, dn1에서 진행하면 된다.

# nn2 서버로 이동
ssh nn2
sudo vim /usr/local/zookeeper/data/myid
# 아래 내용으로 수정 후 저장
2
# nn1으로 이동
exit

# dn1 서버로 이동
ssh dn1
sudo vim /usr/local/zookeeper/data/myid
# 아래 내용으로 수정 후 저장
3
# nn1으로 이동
exit

 

2. Zookeeper 실행 (nn1, nn2, dn1 서버에서 각각 실행)

# nn1 zookeeper 시작
sudo /usr/local/zookeeper/bin/zkServer.sh start

# nn2 zookeeper 시작
ssh nn2
sudo /usr/local/zookeeper/bin/zkServer.sh start
exit

# dn1 zookeeper 시작
ssh dn1
sudo /usr/local/zookeeper/bin/zkServer.sh start
exit

 

3. Zookeeper 상태 확인 (nn1, nn2, dn1 서버에서 각각 실행)

# nn1 zookeeper 시작
sudo /usr/local/zookeeper/bin/zkServer.sh status

# nn2 zookeeper 시작
ssh nn2
sudo /usr/local/zookeeper/bin/zkServer.sh status
exit

# dn1 zookeeper 시작
ssh dn1
sudo /usr/local/zookeeper/bin/zkServer.sh status
exit

- 출력 결과에서 leader, follower는 결정 알고리즘에 따라 결정되며, nameNode, dataNode와 무관하다. (결론: 신경쓰지말것)

- 실패한 경우, 확인할 것

• 모든 노드의 vpc가 동일
• 모든 노드의 보안 그룹이 동일
• 보안그룹이 inbound 규칙이 내부에는 모두 열어두었는지 확인 (동일 vpc의 지정 보안그룹)
• private ip 입력 확인

 

4. HDFS ZKFC 초기화 (nn1만!)

# zkfc 초기화
hdfs zkfc -formatZK

 

5. HDFS ZKFC 초기화 확인 (nn1만!)

# zkCli 실행
cd /usr/local/zookeeper
./bin/zkCli.sh

# 이하는 Zookper 프롬프트에서  실행
# Hadoop 클러스터 확인
[zk: localhost:2181(CONNECTED) 0]  ls /hadoop-ha

# [my-hadoop-cluster] 확인 후 quit 명령으로 종료

# 종료
quit

 

6. Journalnode 실행 (nn1, nn2, dn1 에서 실행)

# nn1에서 실행
hdfs --daemon start journalnode

# nn2에서 실행
ssh nn2
hdfs --daemon start journalnode
exit

# dn1에서 실행
ssh dn1
hdfs --daemon start journalnode
exit