본문 바로가기

전체 글86

07. ssh에서 ssh 접속 1. nn1 서버 hosts 파일 편집 (nn1에서만 실행) - nn1 서버로 접속해서 hosts 파일에 각 서버의 Private IP와 hostname을 등록한다. ssh nn1 # hosts 파일 편집 sudo vim /etc/hosts # 아래 내용으로 추가 후 저장 (!!!!!PRIVATE IP!!!!!) 172.31.41.239 nn1 172.31.47.45 nn2 172.31.46.222 dn1 172.31.35.24 dn2 172.31.32.75 dn3 2. 각 인스턴스 서버의 호스트 이름 설정 sudo hostnamectl set-hostname nn1 # ssh 접속 ssh nn2 sudo hostnamectl set-hostname nn2 exit ssh dn1 sudo hostname.. 2022. 4. 25.
06. AMI 생성 및 인스턴스 복제 - 앞 단계까지 설정한 인스턴스를 AMI로 생성하고 클러스터에 필요한만큼 인스턴스를 복제한다. 1. AMI 생성 2. 인스턴스 복제 3. 보안그룹 인바운드 규칙 편집 2022. 4. 25.
05. Ubuntu에서 Zookeeper 설치 및 환경설정 - Apache Zookeeper 3.8.0를 설치하고 환경설정을 진행한다. - 주키퍼 클러스터를 사용하기 위해서는 zoo.cfg, myid를 편집하면 된다. 1. Apache Zookeeper 3.8.0 설치 및 압축 해제 # 설치 관리용 디렉토리 이동 cd /install_dir # Zookeeper 3.8.0 설치 sudo wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz # Zookeeper 3.8.0 압축 해제 sudo tar -xzvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local # Zookeeper 디렉토리 이름 변경 sudo mv /usr/.. 2022. 4. 25.
04. Ubuntu에서 Spark 설치 및 환경설정 - Apache Spark 3.2.1를 설치하고 환경설정을 진행한다. - 스파크 클러스터를 사용하기 위해서는 spark-env.sh, spark-defaults.conf, workers 를 편집하면 된다. 1. Apache Spark 3.2.1 설치 및 압축 해제 # 설치 관리용 디렉토리 이동 cd /install_dir # Spark 3.2.1 설치 sudo wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz # Spark 3.2.1 압축 해제 sudo tar -xzvf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local # Spark 디렉토리 이름 변경 sudo mv /usr/local/.. 2022. 4. 25.

티스토리툴바