빅데이터 분석 환경 구축19 09. Hadoop, Yarn 클러스터 실행 - 각 서버에서 Hadoop, Yarn 클러스터 설정 및 실행 테스트 한다. 1. NameNode 초기화 (nn1만!) # hdfs namenode 포맷 hdfs namenode -format 2. NameNode 실행 (nn1만!) # hdfs namenode 실행 hdfs --daemon start namenode 3. Standby NameNode 실행 (nn2만!) # hdfs standby namenode 실행 ssh nn2 hdfs namenode -bootstrapStandby 4. start-dfs.sh 실행 (nn1만!) [Hadoop 실행] - “DFSZKFailoverController” 프로세스가 실행 된다. start-dfs.sh # 확인 jps 5. start-yarn.sh 실행.. 2022. 4. 25. 08. Zookeeper 클러스터 실행 - 주키퍼 클러스터 설정 후 실행 테스트를 진행한다. 1. Zookeeper myid 파일 편집 - nn1, nn2, dn1 서버에서 myid를 각각 1, 2, 3으로 편집한다. nn1 서버는 이미 지정했기 때문에 nn2, dn1에서 진행하면 된다. # nn2 서버로 이동 ssh nn2 sudo vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 2 # nn1으로 이동 exit # dn1 서버로 이동 ssh dn1 sudo vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 3 # nn1으로 이동 exit 2. Zookeeper 실행 (nn1, nn2, dn1 서버에서 각각 실행) # nn1 zookeeper 시작 su.. 2022. 4. 25. 07. ssh에서 ssh 접속 1. nn1 서버 hosts 파일 편집 (nn1에서만 실행) - nn1 서버로 접속해서 hosts 파일에 각 서버의 Private IP와 hostname을 등록한다. ssh nn1 # hosts 파일 편집 sudo vim /etc/hosts # 아래 내용으로 추가 후 저장 (!!!!!PRIVATE IP!!!!!) 172.31.41.239 nn1 172.31.47.45 nn2 172.31.46.222 dn1 172.31.35.24 dn2 172.31.32.75 dn3 2. 각 인스턴스 서버의 호스트 이름 설정 sudo hostnamectl set-hostname nn1 # ssh 접속 ssh nn2 sudo hostnamectl set-hostname nn2 exit ssh dn1 sudo hostname.. 2022. 4. 25. 06. AMI 생성 및 인스턴스 복제 - 앞 단계까지 설정한 인스턴스를 AMI로 생성하고 클러스터에 필요한만큼 인스턴스를 복제한다. 1. AMI 생성 2. 인스턴스 복제 3. 보안그룹 인바운드 규칙 편집 2022. 4. 25. 이전 1 2 3 4 5 다음
