본문 바로가기

전체 글86

11. 보안그룹 편집 및 WEB UI 확인 - AWS EC2 의 보안그룹을 편집하고 Hadoop, Yarn, Spark WEB UI를 확인한다. 1. 인바운드 규칙 편집 2. Spark WEB UI 확인 : http://[nn1서버 Public IP]:18080 - 4강에서 /usr/local/spark/conf/worker 편집할때, dn1, dn2, dn3로 지정하여 spark 3개 워커의 주소가 dn1, dn2, dn3의 private ip 주소로 설정되어 있음 - 10강의 예제2 다시 실행후 웹UI확인 3. Yarn WEB UI 확인 : http://[nn1서버 Public IP]:8088 4. Hadoop WEB UI 확인(Active) : http://[nn1서버 Public IP]:50070 - 메뉴 > DataNode 5. Hado.. 2022. 4. 25.
10. Spark 클러스터 실행 및 PySpark 예제 실행 - Spark 클러스터를 실행하고 WordCount 예제를 실행한다. 1. start-all.sh 실행 (nn1만!) [Spark 클러스터 실행] $SPARK_HOME/sbin/start-all.sh 2. Spark Word Count 예제 테스트 (nn1만!) spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 512m --executor-memory 512m --executor-cores 1 $SPARK_HOME/examples/jars/spark-examples_2.12-3.2.1.jar 5 3. 예제 1 실행 (nn1만!) [PySpark 실행] # 스크립트 .. 2022. 4. 25.
09. Hadoop, Yarn 클러스터 실행 - 각 서버에서 Hadoop, Yarn 클러스터 설정 및 실행 테스트 한다. 1. NameNode 초기화 (nn1만!) # hdfs namenode 포맷 hdfs namenode -format 2. NameNode 실행 (nn1만!) # hdfs namenode 실행 hdfs --daemon start namenode 3. Standby NameNode 실행 (nn2만!) # hdfs standby namenode 실행 ssh nn2 hdfs namenode -bootstrapStandby 4. start-dfs.sh 실행 (nn1만!) [Hadoop 실행] - “DFSZKFailoverController” 프로세스가 실행 된다. start-dfs.sh # 확인 jps 5. start-yarn.sh 실행.. 2022. 4. 25.
08. Zookeeper 클러스터 실행 - 주키퍼 클러스터 설정 후 실행 테스트를 진행한다. 1. Zookeeper myid 파일 편집 - nn1, nn2, dn1 서버에서 myid를 각각 1, 2, 3으로 편집한다. nn1 서버는 이미 지정했기 때문에 nn2, dn1에서 진행하면 된다. # nn2 서버로 이동 ssh nn2 sudo vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 2 # nn1으로 이동 exit # dn1 서버로 이동 ssh dn1 sudo vim /usr/local/zookeeper/data/myid # 아래 내용으로 수정 후 저장 3 # nn1으로 이동 exit 2. Zookeeper 실행 (nn1, nn2, dn1 서버에서 각각 실행) # nn1 zookeeper 시작 su.. 2022. 4. 25.

티스토리툴바