오라클 Big Data Lite 설치
오라클에서는 빅데이터 플랫폼의 테스트와 학습을 효과적으로 지원하는 것을 목표로 Oracle Big Data Lite를 제공합니다. Oracle Big Data Lite는 Cloudera의 최신 CDH와 오라클 연계 솔루션을 하나의 VitrualBox 이미지에 담고 있습니다. 오라클 Big Data Lite는 빅데이터 소프트웨어에 대한 모든 설치와 구성이 완성된 상태로 배포되기 때문에, 하둡이 익숙하지 않은 엔지니어가 Hadoop Eco를 학습하기에 가장 이상적인 시작점입니다.
오라클 Big Data Lite의 메인 페이지의 URL은 다음과 같습니다.
오라클 Big Data Lite 버전과 구성 컴포넌트
2016년 2월 현재 오라클 Big Data Lite의 최신 버전은 4.4.0 입니다. 오라클 Big Data Lite는 VirtualBox 이미지 입니다. 이 가상 이미지에는 다음과 같은 소프트웨어가 포함되어 있습니다.
- Oracle Enterprise Linux 6.7
- Cloudera CDH 5.5.1
- Oracle Database 12c Release 1 Enterprise Edition (12.1.0.2)
- 옵션
- Oracle Big Data SQL
- Oracle Multitenant
- Advanced Analytics
- OLAP
- Oracle Partitioning
- Oracle Spatial and Graph
- Cloudera Manager (5.5.1)
- Oracle Big Data Spatial and Graph 1.1.2
- Oracle Big Data Discovery 1.1.1
- Oracle Big Data Connectors 4.4
- Oracle SQL Connector for HDFS 3.4.0
- Oracle Loader for Hadoop 3.5.0
- Oracle Data Integrator 12c
- Oracle R Advanced Analytics for Hadoop 2.5.1
- Oracle XQuery for Hadoop 4.2.1
- Oracle NoSQL Database Enterprise Edition 12cR1 (3.5.2)
- Oracle JDeveloper 12c (12.1.3)
- Oracle SQL Developer and Data Modeler 4.1.3
- Oracle Data Integrator 12cR1 (12.2.1)
- Oracle GoldenGate 12c
- Oracle R Distribution 3.2.0
- Oracle Perfect Balance 2.6.0
Big Data Lite 설치
Big Data Lite를 설치하기 위해서는 다음과 같은 사전 준비가 필요합니다.
Big Data Lite를 위한 사전 준비사항
소프트웨어
VirtualBox를 운영 할 호스트 머신에는 다음과 같은 소프트웨어가 사전에 설치되어 있어야 합니다.
- VirtualBox와 VirtualBox Extension Pack
- 7zip
- http://www.7-zip.org/download.html
- Big Data Lite는 오라클 Big Data Lite메인 페이지에서 13개의 7zip 분할 파일로 제공
하드웨어
Big Data Lite 가상 인스턴스를 운영 할 호스트 머신에는 디스크, 메모리, CPU에 대하여 다음과 같은 조건을 충족해야 합니다.
디스크
최소 50 GB, 최대 80GB
- 7zip 분할 파일: 13개, 26Gb - OVA 생성 후 삭제 가능
- OVA 파일 - 7zip 분할 파일로 부터 생성된 파일, 30GB (VirtalBox 임포트 후 삭제 가능)
- VirtualBox 인스턴스 파일 - OVA를 임포트한 결과, 30GB
CPU
4 core 이상
2 core를 VirtualBox 인스턴스에 할당
VirtualBox는 CPU의 하드웨어 가상화 기술을 사용합니다. 따라서 CPU 별로 다음과 같은 항목이 BIOS에서 활성화 되어 있어야 합니다.
- Intel CPU의 활성화 항목
- Intel VT-d
- Intel Virtualization Tehcnology
AMD CPU의 활성화 항목
- Secure Virtual Machine
- Secure Virtual Machine
Memory
Host의 Memory: 최소 8GB 이상
인스턴스 할당 최소 메모리 사이즈: 5GB
가상 인스턴스에 할당하는 메모리의 경우 메모리 할당 사이즈에 따라서 다음과 같은 컴포넌트를 추가로 사용할 수 있습니다.
- 10GB 이상: Cloudera Manager 활성화 가능
- 12GB 이상: BDD (Big Data Discovery) 활성화
- BDD 활성화 시 Cloudera Manager는 비 활성화 됩니다.
Big Data Lite 다운로드
Big Data Lite 메인 페이지에서 7zip으로 분할된 파일 13개를 다운로드 받습니다. 파일을 다운로드 받기 위해서는 oracle.com에 대한 계정 인증 절차를 거쳐야 합니다.
가상 이미지 설치
13개로 분할된 파일을 7zip을 지원하는 툴로 압축을 풀어고 설치를 진행합니다. 13개의 분할 파일의 압축을 풀면 30기가짜리 OVA 파일이 하나 생성됩니다.
7Zip을 지원하는 툴로 BigDataLite440.7z.001 파일을 선택하고 압축 풀면 27.9GB의 BigDataLite440.ova파일이 하나 생성됩니다.
이렇게 만들어진 ova를 임포트하기 위해서 “파일”->“가상 시스템 가져오기”를 실행합니다.
앞에서 만든 OVA파일을 선택하고 “계속”을 클립합니다.
OVA에 사전에 설치된 가상 이미지의 속성 값을 확인하고 “가져오기”를 선택합니다.
마지막으로 라이센스 동의를 클릭합니다.
이제 VirtualBox의 가상 이미지 임포트 작업이 시작됩니다.
가상 이미지가 임포트 된 후 메모리 설정을 변경하기 위하여 “설정” 메뉴를 실행합니다.
“시스템”텝에서 5기가 이상의 메모리를 설정합니다. Cloudera Manager를 사용하고자 한다면 10 기가 이상의 메모리를 설정해야 합니다.
“시작”메뉴를 선택하여 가상 이미지를 시작합니다.
“Big Data Lite” 가상 이미지의 기본 계정은 oracle있니다.
로그인하기 위한 계정 정보는 다음과 같습니다.
- Account: oracle
- Password: welcome1
Big Data Lite 서비스 관리
서비스 접속 정보
- Linux
- root/welcome1
- oracle/welcome1
- Oracle Database 12c
- service: orcl
- port: 1521
- account: moviedemo/welcome1
- 기타 모든 패스워드: welcome1
- Oracle Data Integrator
- ODI User: SUPERVISOR
- ODI Password: welcome1
- Oracle Big Data Discovery
- http://{BDL_IP}:9003/bdd/web/hoe/index
- user: admin@oracle.com
- password: welcome1
- Oracle NoSQL
- Administraion Page: http://{BDL_IP}:5001
- Hive Metastore (MySQL)
- user: hive
- password: welcome1
- Weblogic
- http://{BDL_IP}:7001/console
- user: weblogic
- password: welcome1
- RStudio
- http://{BDL_IP}:8787
- user: oracle
- password: welcome1
- Cloudera Manager
- http://{BDL_IP}:7180
- user: admin
- password: admin
- Oracle MoviePlex Demo - Sample
- http://{BDL_IP}:7001/movieplex/index.jsp
- user: guest1
- password: welcome1
서비스 시작하기
Big Data Lite는 다수의 서비스가 설치되어 있습니다. 각 서비스는 바탕화면의 “start/stop Services” 아이콘과 Cloudera Manager로 관리됩니다. 두 방법은 상호 배타적입니다.
기본 서비스 관리 방법은 “start/stop Services”를 이용한 방법입니다. Cloudera를 사용하고자 한다면 우선 메모리 설정을 10GB 이상을 할당하고 “start/stop Services”을 시작한 후 모든 서비스를 off하고 리눅스를 재시작합니다. 재시작 이후에 “start/stop Services” 실행하면 “Cloudera Manager 서비스”가 나타나는 것을 확인 할 수 있습니다.
기본 서비스 관리
“start/stop Services”를 더블 클릭하면 GUI 형태의 터미널을 볼 수 있습니다. 사용하고자 하는 서비스를 마우스로 선택하고
Cloudera Manager로 관리
바탕화면의 “start/stop Services”를 실행한 후 모든 서비스를 체크를 해제한 후 
재시작 후에 “start/stop Services”를 시작해 보면 가장 아래에 Cludera Manager가 나타난 것을 확인 할 수 있습니다.
Cloudera Manager가 시작되면 다음과이 Cloudera Manager URL을 통해서 접근 가능합니다.
로그인 정보는 다음과 같습니다.
* user: admin
* password: admin
이제 부터는 Cloudera Manager로 구성 서비스를 시작 할 수 있습니다.
리부팅 후 다시 “start/stop Services”를 시작해 보면 Cloudera Manager와 Oracle, NoSQL만을 제외한 다른 서비스는 사라진 것을 확인 할 수 있습니다.
네트웍 설정
http://taewan.kim/blog/2016/01/31/virtualvox_network_config/ 의 내용을 참조하여 Host에서 VM에 접근 가능한 네트웍 설정을 할 수 있습니다.
네트웍 설정을 마치고 가상 머신을 재시작하면 eth2가 설정된 것을 가상 머신에서 확인할 수 있습니다.
호스트에서 이 IP을 이용하여 가상 머신의 서버스에 접근 가능합니다.
다음같이 ssh 접근도 가능합니다.
taewan@demo $ssh oracle@192.168.56.101
oracle@192.168.56.101's password:
[oracle@bigdatalite ~]$ uname -a
Linux bigdatalite.localdomain 2.6.39-400.264.5.el6uek.x86_64 #1 SMP Tue Nov 3 18:37:52 PST 2015 x86_64 x86_64 x86_64 GNU/Linux
[oracle@bigdatalite ~]$
Host와 VM의 공유 디렉터리 설정
테스트를 효과적으로 진행하기 위하여 Host와 가상 머신 간의 공유 디렉터리를 설정하면 효과적입니다.
VirtualBox의 Big Data Lite 가상 인스턴스를 선택하고 “설정” 메뉴를 실행합니다.
“공유폴더” 텝에서 설정을 추가합니다.
호스트와 가상머신의 공유 폴더를 지정합니다.
설정이 완료되면 다음과 같은 결과를 볼 수 있습니다.
공유 폴더 설정 확인
가상 인스턴스를 재시작하면 가상 머신에서 /media/sf_share가 마운트 되어 있는 것을 확인 할 수 있습니다. 테스트를 위해 test파일을 하나 추가합니다.
호스트에서 지정한 폴더에서 가상 머신에서 추가한 파일을 확인 할 수 있습니다.
요약
지금까지 Oracle Big Data Lite의 설치 절차에 대하여 정리해 보았습니다. Big data Lite에는 Hadoop, Spark, Hive, Pig, Impala, Hue, 등 빅데이터 에코의 대부분의 최신버전 소프트웨어가 포함되어 있습니다. 추가 예제로 MoviePlex가 포함되어 있고 Big Data Lite의 메인 페이지에는 오라클이 제공하는 다수의 강좌 파일이 올라가 있습니다. 이를 활용하여 초기 빅데이터 학습 및 테스트 환경으로 사용할 경우 상당한 효용성을 볼 수 있습니다.
