taewan.kim 블로그

OCI Data Science란? OCI Data Science는 Oracle Cloud에서 제공하는 전문 머신러닝 서비스입니다. 사용자는 Data Science를 이용하여 완전한 파이썬 기반 머신러닝 개발 환경을 필요한 시점에 만들고 바로 사용할 수 있습니다. 향후 OCI의 모든 데이터 서비스는 Data Science에 통합될 계획에 있습니다. Data Science는 다음과 같은 기능을 제공합니다. 파이썬 전문 개발 환경 제공(Jupyte ......

oci spark hdfs connector jupyter apache toree

스칼라에서 map과 flatMap의 차이점을 파악하고 이해하는 것은 쉽지 않은것 같습니다. 이상 데이터 처리는 두 함수를 차아점을 구분하는 예제로 적합하다고 생가합니다. 이상 데이터 처리 예젤로 두 함수의 의미를 정리하겠습니다. 스칼라에서 컬렉션을 map함수로 변환시킬 때 어떤 것을 걸러 내야 할 때가 있습니다. val x = List("taewan 45", "minsu 6", "sunny 40&qu ......

spark flatMap Collection 김태완

Oracle Big Data Cloud Service Compute-Edition(이하 Oracle BDCSCE)은 PaaS 형태로 제공되는 Oracle Pubic Cloud의 빅데이터 서비스입니다. 본 문서에서는 Oracle BDCSCE 서비스를 이용하여 하둡 클러스터를 생성하는 절차를 소개합니다. 본 문서는 오라클 클라우드 트라이얼 계정을 사용하여 진행하겠습니다. Oracle BDCSCE 서비스를 이용하여 하둡 클러스터를 생성하기 위해서는 ......

big data hadoop spark bdcsce 김태완

빅데이터 기술을 사용하면서 가장 어려운 부분은 오픈소스로 구성된 빅데이터 에코 기술을 설치하고 관리하는 부분입니다. 빅데이터 에코 기술들은 여러 오픈소스 프로젝트로 구성되어 있고, 각 오픈소스 프로젝트는 특정 오픈소스 프로젝트의 버전에 의존성을 갖고 있습니다. 또한, 각 오픈소스는 개별적인 업그레이드 주기를 갖습니다. 여러 오픈소스 프로젝트가 상호 버전 의존성을 갖고 있고, 개별적인 업그레이드 주기를 갖는 기술들로 빅데이터 환경을 구성하고 관리 ......

bigdata spark bdc