빅데이터 분석 환경 구축19 01-2. Local에서 EC2 인스턴스 접속 0. 공통 - ssh - i “pem file path” ubuntu@ec2_ipaddress (ubuntu 이미지사용) - ssh - i “pem file path” ec2-user@ec2_ipaddress (아마존 이미지 사용) 1. Window - SSH Config 설정 (~/.ssh/config 파일 편집) - 1. 윈도우 '사용자' 홈디렉토리 아래에 .ssh 폴더 아래에 config 파일 생성 (ex. C:/Users/CHM/.ssh/config) - 2. 다음과 같이 입력 Host nn1 HostName 3.37.62.0 User ubuntu IdentityFile ~/.ssh/hadoop_eco_system.pem Host nn2 HostName 3.39.9.193 User ubuntu I.. 2022. 4. 25. 01-1. AWS Instance 만들기 - AWS의 EC2에서 여러개의 인스턴스로 빅데이터 분석을 위한 클러스터 환경을 구성하기 위해 먼저 한 개의 인스턴스를 배포하고 설치 등의 작업 후, 클러스터를 위한 기본 AMI를 생성하기 위한 작업을 진행한다. 1. 인스턴스 시작 - 좌측 인스턴스 메뉴에서 “인스턴스” 클릭 후 우측 상단의 “인스턴스 시작”을 클릭한다. 2. Amazon Machine Image(AMI) 선택 3. 인스턴스 유형 선택 - 아래 사진처럼 t2.xlarge 하지말고 그냥 프리티어 지원해주는 t2.micro로 하자. 4. 인스턴스 세부 정보 구성 - 퍼블릿 IP 자동 할당을 활성화 해줘야한다!!!! 가끔 디폴트로 설정 안되어 있는 경우 있는데 그럼 다시 만들어야하니까.. 신경써주자... 5. 스토리지 추가 - 자기가 원하는 .. 2022. 4. 25. Intro. Hadoop 기반 HA 시스템의 구조 컴퓨터공학부 4학년 빅데이터 수업에서 Hadoop 기반 HA 시스템의 구조를 구축하는 실습을 하였습니다. AWS EC2, AMI를 이용하여 구축합니다. 구축 프로세스를 시험에 내신다고 해서 정리겸 기록을 해보겠습니다. 1. 기본 구조를 다음과 같이 구성해보겠습니다. - 총 NameNode 2개, DataNode 3개인 환경을 구축합니다. NameNode : nn1, nn2 DataNode : dn1, dn2, dn3 - 초기 실행 시점에 nn1은 Active, nn2는 Stanby 상태입니다. (jps 명령어로 확인 가능) 만약 nn1에서 에러가 발생하여 죽는다면, 이를 감지하여 nn2가 Active 상태로 전환해 nn1의 일을 대신 수행합니다. 2. 기본 구조에서 확장된 HA 구조입니다. - DataN.. 2022. 4. 25. 이전 1 2 3 4 5 다음
