본문 바로가기

전체 글86

03. Ubuntu에서 Hadoop 설치 및 환경설정 - Apache Hadoop 3.2.3를 설치하고 환경설정을 진행한다. - 하둡 클러스터를 사용하기 위해서 hdfs-site.xml, hdfs-site.xml, core-site.xml, yarn-site.xml, mapred-site.xml, hadoop-env.sh, workers, masters를 편집한다. 1. Apache Hadoop 3.2.3 설치 및 압축 해제 # 설치파일 관리용 디렉토리 생성 sudo mkdir /install_dir && cd /install_dir # Hadoop 3.2.2 설치 sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz # Hadoop 3.2.2 압축 해제 sudo .. 2022. 4. 25.
02. Ubuntu에서 Java 설치 및 환경 설정 - 앞으로 사용할 Hadoop, Yarn, Spark, Zookeeper는 JVM에서 동작하므로 Java가 필수적으로 설치되어야 한다. 1. apt-get 라이브러리 설치 # 업데이트 목록 갱신 sudo apt-get -y update # 현재 패키지 업그레이드 sudo apt-get -y upgrade # 신규 업데이트 설치 sudo apt-get -y dist-upgrade # 필요 라이브러리 설치 sudo apt-get install -y vim wget unzip ssh openssh-* net-tools 2. Java 8 설치 # Java 8 설치 sudo apt-get install -y openjdk-8-jdk # Java 버전 확인 java -version # Java 경로 확인 sudo .. 2022. 4. 25.
01-2. Local에서 EC2 인스턴스 접속 0. 공통 - ssh - i “pem file path” ubuntu@ec2_ipaddress (ubuntu 이미지사용) - ssh - i “pem file path” ec2-user@ec2_ipaddress (아마존 이미지 사용) 1. Window - SSH Config 설정 (~/.ssh/config 파일 편집) - 1. 윈도우 '사용자' 홈디렉토리 아래에 .ssh 폴더 아래에 config 파일 생성 (ex. C:/Users/CHM/.ssh/config) - 2. 다음과 같이 입력 Host nn1 HostName 3.37.62.0 User ubuntu IdentityFile ~/.ssh/hadoop_eco_system.pem Host nn2 HostName 3.39.9.193 User ubuntu I.. 2022. 4. 25.
01-1. AWS Instance 만들기 - AWS의 EC2에서 여러개의 인스턴스로 빅데이터 분석을 위한 클러스터 환경을 구성하기 위해 먼저 한 개의 인스턴스를 배포하고 설치 등의 작업 후, 클러스터를 위한 기본 AMI를 생성하기 위한 작업을 진행한다. 1. 인스턴스 시작 - 좌측 인스턴스 메뉴에서 “인스턴스” 클릭 후 우측 상단의 “인스턴스 시작”을 클릭한다. 2. Amazon Machine Image(AMI) 선택 3. 인스턴스 유형 선택 - 아래 사진처럼 t2.xlarge 하지말고 그냥 프리티어 지원해주는 t2.micro로 하자. 4. 인스턴스 세부 정보 구성 - 퍼블릿 IP 자동 할당을 활성화 해줘야한다!!!! 가끔 디폴트로 설정 안되어 있는 경우 있는데 그럼 다시 만들어야하니까.. 신경써주자... 5. 스토리지 추가 - 자기가 원하는 .. 2022. 4. 25.

티스토리툴바