빅데이터 분석 환경 구축19 05. Ubuntu에서 Zookeeper 설치 및 환경설정 - Apache Zookeeper 3.8.0를 설치하고 환경설정을 진행한다. - 주키퍼 클러스터를 사용하기 위해서는 zoo.cfg, myid를 편집하면 된다. 1. Apache Zookeeper 3.8.0 설치 및 압축 해제 # 설치 관리용 디렉토리 이동 cd /install_dir # Zookeeper 3.8.0 설치 sudo wget https://dlcdn.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz # Zookeeper 3.8.0 압축 해제 sudo tar -xzvf apache-zookeeper-3.8.0-bin.tar.gz -C /usr/local # Zookeeper 디렉토리 이름 변경 sudo mv /usr/.. 2022. 4. 25. 04. Ubuntu에서 Spark 설치 및 환경설정 - Apache Spark 3.2.1를 설치하고 환경설정을 진행한다. - 스파크 클러스터를 사용하기 위해서는 spark-env.sh, spark-defaults.conf, workers 를 편집하면 된다. 1. Apache Spark 3.2.1 설치 및 압축 해제 # 설치 관리용 디렉토리 이동 cd /install_dir # Spark 3.2.1 설치 sudo wget https://dlcdn.apache.org/spark/spark-3.2.1/spark-3.2.1-bin-hadoop3.2.tgz # Spark 3.2.1 압축 해제 sudo tar -xzvf spark-3.2.1-bin-hadoop3.2.tgz -C /usr/local # Spark 디렉토리 이름 변경 sudo mv /usr/local/.. 2022. 4. 25. 03. Ubuntu에서 Hadoop 설치 및 환경설정 - Apache Hadoop 3.2.3를 설치하고 환경설정을 진행한다. - 하둡 클러스터를 사용하기 위해서 hdfs-site.xml, hdfs-site.xml, core-site.xml, yarn-site.xml, mapred-site.xml, hadoop-env.sh, workers, masters를 편집한다. 1. Apache Hadoop 3.2.3 설치 및 압축 해제 # 설치파일 관리용 디렉토리 생성 sudo mkdir /install_dir && cd /install_dir # Hadoop 3.2.2 설치 sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz # Hadoop 3.2.2 압축 해제 sudo .. 2022. 4. 25. 02. Ubuntu에서 Java 설치 및 환경 설정 - 앞으로 사용할 Hadoop, Yarn, Spark, Zookeeper는 JVM에서 동작하므로 Java가 필수적으로 설치되어야 한다. 1. apt-get 라이브러리 설치 # 업데이트 목록 갱신 sudo apt-get -y update # 현재 패키지 업그레이드 sudo apt-get -y upgrade # 신규 업데이트 설치 sudo apt-get -y dist-upgrade # 필요 라이브러리 설치 sudo apt-get install -y vim wget unzip ssh openssh-* net-tools 2. Java 8 설치 # Java 8 설치 sudo apt-get install -y openjdk-8-jdk # Java 버전 확인 java -version # Java 경로 확인 sudo .. 2022. 4. 25. 이전 1 2 3 4 5 다음
