Oracle BDC 인스턴스 생성: OCIC(작성)
Oracle Cloud는 빅데이터 서비스로 Oracle Big Data Cloud(이하 Oracle BDC)를 제공합니다. Oracle BDC는 Oracle Cloud의 OCI와 OCI-Classic에서 모두 만들 수 있습니다. 이 문서에서는 OCI-Classic에서 Oracle BDC의 클러스터 인스턴스를 생성하는 절차를 소개합니다.
이 문서는 Oracle BDC의 18.4.2.1-20을 기준으로 2018년 12월 15일에 작성되었습니다.
Oracle BDC 프로비저닝 준비사항
Oracle Cloud BDC 인스턴스를 생성하기 위해서는 Oracle Cloud 계정이 필요합니다. 현재 사용 가능한 Oracle Cloud 계정이 없다면 Oracle Cloud Trial 계정을 만드시기 바랍니다.
추가로 Oracle BDC 인스턴스를 OCI-Classic에 프로비저닝 하기 위해서는 다음과 같은 작업이 선행되어야 합니다.
- Oracle Cloud Account 확보
- OCI Object Storage Classic에 Oracle BDC가 접근할 Container 생성
- OCI Object Storage Classic의 Rest Endpoint 주소 확인
Oracle BDC 인스턴스 만들기
이제 Oracle BDC 인스턴스를 다음과 같은 사양으로 만들어 보겠습니다.
- BDC 인스턴스명: bdc001OnOCIC
- 인프라스트럭처: OCI-Classic
- 데이터 센터: US-Central
- 노드 수: 5
- Spark 버전: 2.1
Oracle BDC 인스턴스를 만드는 절차는 다음과 같습니다.
- Oracle Cloud 로그인
- OCI-Classic의 Object Storage 컨테이너 생성
- OCI-Classic의 Object Storage 주소 확인
- Oracle Cloud BDC 인스턴스 정보 설정 및 생성
- Oracle Cloud BDC 인스턴스 상태 확인
오라클 클라우드 로그인
활성화된 Oracle Cloud 계정을 확보한 상태라면, 다음과 같이 로그인을 합니다.
- Oracle cloud의 로그인
로그인은 두 단계로 진행됩니다. 로그인 1단계는 Oracle Cloud Account 명을 입력합니다.
- Oracle cloud 로그인 1단계: Oracle Cloud Account 명 입력
Oracle Cloud Account에는 여러 사용자가 등록됩니다. 로그인 2단계는 현자 사용할 사용자 명과 패스워드로 인증을 완료합니다.
- Oracle cloud 로그인 2단계: 사용자 명과 패스워드로 인증
인증이 완료되면 Oracle Cloud의 대시보드가 출력됩니다.
Object Storage의 컨테이너 만들기
Oracle Cloud의 BDC 인스턴스를 생성하기 위해서는, 인스턴스가 사용할 Object Storage의 컨테이너를 만들어야 합니다. 대시보드 페이지의 오른쪽 상단 메뉴를 이용하여 “Storage Classic” 서비스 콘솔로 이동할 수 있습니다. “Storage Classic” 서비스 콘솔로 이동하기 위해서, 우선 My Home 페이지로 이동해야 합니다.
- My Home으로 이동
My Home 페이지에는 현재 로그인 사용자가 접근 가능한 모든 서비스가 출력됩니다. “Object Storage Classic“을 검색하고, 검색된 결과로 “Storage Classic” 서비스 콘솔로 이동합니다.
- Object Storage Classic 이동
“Storage Classic” 서비스 콘솔에서 “컨테이너 생성” 버튼을 클릭하여 컨테이너를 생성합니다.
- Big Data Cloud 클러스터가 사용할 컨테이너 생성
이름이 “bdc001OnOCIC”인 컨테이너를 생성합니다. 이 컨테이너는 앞으로 BDC 인스턴스과 Object Storage가 통합되는 기본 위치가 됩니다.
- Big Data Cloud 클러스터가 사용할 컨테이너 생성 및 확인
컨테이너가 생성되면 위와 같이 “Storage Classic” 서비스 콘솔에 컨테이너 목록이 출력됩니다.
Object Storage Classic의 리전 확인
현재 Oracle Cloud Account의 Object Storage Classic 서비스가 위치하는 데이터 센터(리전, region)을 확인합니다. “Storage Classic” 서비스 콘솔의 “계정” 텝에서 리전 정보를 확인할 수 있습니다. 다음 그림과 같이 갤럭시 URL에서 Oracle Cloud의 리전 명을 확인할 수 있습니다. 데모로 사용하는 계정의 리전은 “us-central-1”입니다.
OS Classic의 Rest Endpoint 정보 확인
이제 Object Storage의 Rest Endpoint 주소를 확인해야 합니다. Object Storage의 상세 정보 페이지로 이동합니다. Object Storage의 상세 정보 페이지는 Oracle Cloud의 대시보드에서 이동할 수 있습니다. 왼쪽으 메뉴를 이용하여 Oracle Cloud의 대시보드로 이동합니다.
- 대시보드 페이지 이동
Object Storage의 상세 정보 페이지로 이동하기 위해서는 대시보드에 “Storage Classic” 위젯이 나타나 있어야 합니다. 위젯이 없다면 대시보드에서 다음 이미지와 같이 “Storage Classic” 위젯을 활성화 합니다.
- 대시 보드의 구성 확인: Storage Classic 활성화
“Storage Classic” 위젯의 메뉴를 통해서 “View Details” 페이지로 이동합니다. 그리고 “View Details” 페이지에서 “REST Endpoint”의 정보를 기록합니다.
- Storage Classic의 상세 페이지 이동 및 Rest Endpoint 주소 기록
BDC 인스턴스 생성
이제 BDC 인스턴스를 생성할 차례입니다. BDC 인스턴스르 생성하기 위해서 대시보드 페이지에서 “My Home”으로 이동하고, bdc를 검색한 후, 그 결과를 이용하여 Oracle BDC 서비스 페이지로 이동합니다.
- My Home으로 이동 후 Big Data Cloud 서비스로 이동
Oracle BDC 서비스 페이지에서, “인스턴스 생성” 버튼을 클릭하고 인스턴스 생성을 시작합니다.
- 클러스터 생성 시작
BDC 인스턴스 생성 절차는 3 단계로 구성됩니다. 1단계와 2단계에서 구성 정보를 입력하고, 3단계에서는 입력 정보를 확인하면, 인스턴스 생성은 시작됩니다. 1단계에서는 인스턴스명, 리전 위치를 선택합니다. 리전은 Object Storage가 위치하는 곳을 선택합니다. 현재 선택 가능한 리전은 4곳입니다.
| 리전 이름 | 리전 타입 |
|---|---|
| uscom-central-1 | OCI Classic |
| uscom-east-1 | OCI Classic |
| us-ashburn-1 | Oracle Cloud Infrastucture |
| us-phoenix-1 | Oracle Cloud Infrastucture |
현재 사용중인 Oracle Cloud Account의 Object Storage가 “uscom-central-1”에 위치하므로, Region을 uscom-central-1로 선택합니다. 현재 데모에서는 네트워크 설정을 생략합니다. 따라서 IP Network은 별도 설정 없이 기본값을 그대로 사용합니다. 설정을 마쳤으면 오른쪽 상단의 “다음” 버튼을 클릭합니다.
- BDC 인스턴스 생성: 1단계 - 인스턴스 기본 정보 입력
BDC 인스턴스 생성 2 단계에서는 5개 영역의 세부 정보를 입력합니다. 첫 영역은 “클러스터 구성“정보입니다. 다음 테이블은 다음 항목에 대한 설명과 설정 값의 요약입니다.
| 입력항목 | 입력 데이터 | 비고 | 실습 입력 값 |
|---|---|---|---|
| Deployment Profile, 배치 프로파일 |
Full(전체), Basic(기본) 중 선택 | 클러스터 설치 유형을 선택합니다. Full을 선택하면 Spark, MapReduce, Zeppelin, Hive, Spark Thrift, Big Data File System이 설치됩니다. Basic을 선택하면 Spark, MapReduce 그리고 Zeppelin만 설치됩니다. |
Full(전체) |
| Number of Nodes, 노드 수 |
클러스터 노드 수 | 클러스터 구성 노드 수의 설정입니다. 최소 구성은 1개 노드입니다. HA 구성을 위해서는 최소 3개 노드 이상으로 설정해야 합니다. 기본 설정값은 “3“입니다. |
5 |
| Nodes designated as Compute Only Slaves, 컴퓨트 전용 슬레이브로 지정된 노드 |
컴퓨트 전용 노드 수 | 클러스터 노드를 5개 이상 설정할 경우에 출력되는 항목입니다. 이 항목은 클러스터 노드 중 HDFS를 설치하지 않는 순수 연산 컴퓨터 노드 수를 입력하는 항목입니다. 기본값은 “0”입니다. | 0 |
| Compute Shape, 컴퓨트 구성 |
VM의 Shape 선택 | 클러스터 각 노드의 VM 자원 할당 유형을 지정합니다. 2017년 7월 현재 다음과 같은 shape이 제공됩니다. - OC2m - 2.0 OCPU, 30GB RAM - OC3m - 4.0 OCPU, 60GB RAM - OC4m - 8.0 OCPU, 120GB RAM - OC5m - 16.0 OCPU, 240GB RAM 기본 설정값은 OC2m 입니다. |
OC2m |
| Queue Profile, 대기열 프라파일 |
Job 대기열 프로파일 지정 | Job을 실행하는 프로파일을 지정합니다. 선택 가능한 값은 Preemption On/Preemption Off 두 가지입니다. 이 설정은 클러스터 관리 UI에서 변경 가능합니다. 기본값은 Preemption On입니다. | Preemption On(선점 설정) |
| Spark Version, Spark 버전 |
1.6, 2.1 중 선택 | 클러스터에 설치될 Spark 버전을 설정합니다. | 2.1 |
위 테이블의 클러스터 구성 영역의 설정은 다음 그림과 같이 설정됩니다.
- BDC 인스턴스 생성: 2단계 - 클러스터 상세 정보 입력
BDC 인스턴스 생성 2 단계의 두 번째 영역은 인증서 관련 설정입니다. 이 영역에서는 SSH 공개키, 사용자 이름 및 패스워드 설정이 진행됩니다. 기존에 사용하던 ssh 공개키 파일을 등록할 수 있고, 공개키 값을 직접 등록할 수 있습니다. 또한 ssh 공개키와 비밀키 생성을 요청할 수 있습니다. 다음 그림은 “create a new key” 옵션을 사용하여 ssh 키 파일 생성을 요청하는 과정을 소개합니다.
- 클러스터 상세 정보 입력: 인증서 생성
SSH 키가 생성되면 key 파일을 다운로드하는 팝업이 출력됩니다. zip 파일 평태로 공개키와 비밀키를 제공합니다.
- 인증서 생성 및 다운로드
SSH Public Key 설정이 완료되면, 이제 사용자 이름과 비밀번호를 설정합니다. 사용자 이름과 패스워드는 “Big Data Cluster Console”과 Ambari를 로그인할 때 사용합니다. 사용자 명의 기본값은 “bdcsce_admin”입니다. 사용자 명은 변경 가능하며, 패스워드에는 영문 대문자, 특수문자, 숫자가 각각 1개 이상 포함 8자 이상 50자 미만으로 설정합니다. (패스워드 예시: Welcome1!)
“연관” 영역에서는 BDC 서비스와 통합되는 Oracle Cloud를 지정합니다. 현재 연동할 서비스가 없으므로 지금은 별도 설정 없이 넘어 갑니다.
- 클러스터 상세 정보 입력: 인증서 정보 입력
“클라우드 스토리지 인증서”에서는 Object Storage 관련 설정이 진행됩니다. BDC 서비스가 Object Storage Classic에 접속하기 위한 설정입니다.
| 항목 | 입력값 | 비고 | 실습 입력 값 |
|---|---|---|---|
| Cloud Storage Container | 컨테이너 주소 입력 | Oracle BDCSCE와 Oracle Storage CS를 연동하기 위한 컨테이너 주서가 입력됩니다. 기본 형식은 “ |
아래 참조 |
| Username | 로그인ID | Oracle Cloud Account의 로그인 아이디를 입력합니다. | 계정 아이디 입력 |
| Password | 패스워드 | Oracle Cloud Account의 로그인 아이디 패스워드를 입력합니다. | 계정 패스워드 입력 |
| Create Cloud Storage Container | 옵션 | 지정한 컨테어너가 없으면 Oracle Storage에 생성할 것인가를 설정하는 옵션입니다. | 체크 |
현재 사용할 Cloud Storage Container 주소는 다음과 같습니다.
- 현재 Object Storage의 주소: https://c171764.us.storage.oraclecloud.com/v1/Storage-c171764
- BDC 서비스를 위한 켄터이너: bdc001OnOCIC
- Cloud Storage Container 주소
- 클러스터 상세 정보 입력: 클러스터 스토리지 인증서 정보 입력
마지막으로 블록 스코리지 설정은 기본 값을 그대로 유지합니다. 각 항목은 다음과 같이 정리할 수 있습니다.
| 항목 | 입력값 | 비고 | 실습 입력 값 |
|---|---|---|---|
| 고성능 스토리지 | 체크박스 | HDFS의 성능을 높이기 위해서 HDD대신에 SSD를 사용할 것인지 선택하는 옵션입니다. | 사용하지 않음 |
| 사용 가능한 HDFS 스토리지 | GB | 사용 가능한 HDFS 스토리지(GB 단위의 값)입니다. 실제 할당된 스토리지 용량은 지정된 값의 두 배에 추가 5%(중간 로그용)를 더한 값입니다.1 |
50 |
| 사용 가능한 BDFS 스토리지 | GB | 사용 가능한 캐시(GB 단위의 값)입니다. 실제 할당된 스토리지 용량은 지정된 값에 추가 5%(중간 로그용)를 더한 값이 됩니다. 50~74000 사이의 값을 입력할 수 있습니다. |
50 |
- 클러스터 상세 정보 입력: 상세 정보 입력 완료 후 다음 단계로 이동
이제 모든 설정이 완료되었습니다. 위 그림은 설정이 완료된 상태이 모습입니다. 설정이 완료되면 오른쪽 상단이 “다음” 버튼을 클릭합니다. 이제 마지막 단계인 입력 정보 확인 단계로 이동합니다. 모든 정보가 맞다면 오른쪽 상단에 위치하는 “생성” 버튼을 클릭합니다.
- 클러스터 정보 확인 및 생성 요청
클러스터 생성이 시작되면 “Oracle Big Data Cloud” 서비스 페이지로 이동하고, 앞에서 생성을 요청한 클러스터가 “Creating Service..” 상태에 있는 것을 확인할 수 있습니다. 서비스 생성까지 약 15분 정도가 소요됩니다.
- 클러스터 인스턴스 생성 시작
BDC 인스턴스 생성 확인
클러스터 생성이 완료는 “Oracle Big Data Cloud” 서비스 페이지에서 확인할 수 있습니다. 클러스터 이름을 클릭하여 클러스터 상세 페이지로 이동할 수있습니다.
- 클러스터 인스턴스 생성 완료
클러스터 상세 페이지에서 클러스터 노드의 상세 정보를 확인할 수 있습니다.
- 클러스터 인스턴스 상세 페이 지
BDC 인스턴스 관리 메뉴
클러스터 상세 페이지에서 각 클러스터 노드를 정지하거나 시작할 수 있습니다.
- 클러스터 인스턴스 상세 페이 에서 서버 별 상태 관리 메뉴
“Oracle Big Data Cloud” 서비스 페이지 클러스터 전체를 시작, 정지 및 삭제할 수 있습니다.
- 클러스터 인스턴스 관리 메뉴
요약
“Oracle Big Data Cloud” 서비스의 인스턴스를 OCI Classic에 만드는 과정을 살펴 보았습니다. OCI Classic에 배포된 BDC 서비스 인스턴스는 Object Storage Classic와 연동합니다. “Oracle Big Data Cloud” 서비스 페이지에서는 인스턴스를 생성하는 웹 UI를 제공합니다. 이 Web UI는 3단계로 구성됩니다. 하둡 클러스터의 노드 수와 Shape 및 계정 정보를 입력하면 15분 안에 클러스터를 생성할 수 있습니다.
관련 문서
- 설정된 스토리지의 2배가 할당됩니다. Hadoop의 기본 복제 계수가 3인것을 고려하면 2배인 이유가 궁금할 것입니다. BDC에 사용되는 블록 스토리지는 내부적으로 미러링되어 있습니다. 따라서 미러링과 복제 계수 2를 고려해 보면 복제 계수 3과 같은 효과를 냅니다. 디스크의 특성을 반영한 설정입니다. [return]