taewan.kim 블로그

파이썬으로 데이터를 분석하고 머신러닝을 수행하기 위해서 필요한 환경을 Docker 이미지 ‘pyml‘을 만들어 운영하고 있습니다. 컴퓨터에 Docker가 설치되어 있다면 바로 Docker 이미지를 다운받아 사용할 수 있습니다. ‘pyml’ 더커 이미지는 주기적으로 업데이트되며 docker hub 레파지토리에서 운영됩니다. https://hub.docker.com/r/taewanme/pyml/ 이 문 ......

docker python 기계학습 machine learning Deep Learning 김태완

머신러닝을 공부하면서 굉장히 생소하게 느껴졌던 용어가 몇 개 있습니다. 그 중에서 가장 어색했던 용어는 데이터셋의 개별 데이터를 표현하는 용어였습니다. 일반적으로 머신러닝 데이터셋의 개별 데이터를 다음과 같은 용어로 표현합니다. Example Sample Instance Data Point 문서를 번역하거나 정리하는 과정에서 위 용어를 어떻게 처리해야 할지가 항상 고민이었습니다. 개별 데이터를 왜 이렇게 표현하는지 제 개인적인 느낌을 정리해 ......

glossory 용어 기계학습 machine learning 김태완

파이썬을 기반으로 머신러닝이나 딥러닝 작업을 진행할 때 가장 귀찮고 꺼려지는 작업은 기본 환경을 준비하는 과정입니다. 파이썬 기본 환경을 효과적으로 관리하기 위해서 Docker Image 형태로 PYML을 만들었습니다. PYML은 텐서플로우, 파이토치, 케라스 및 Scikit-Learn을 활용하여 데이터를 분석할 수 있는 환경이며 UI로 IPython을 사용합니다. taewanme/pyml 컨테이너 이미지 pyml 더커 이미지는 docker h ......

docker python 기계학습 machine learning Deep Learning 김태완

오라클 Event Hub Service의 패치 절차를 소개합니다. Event Hub Service는 오라클 클라우드에서 제공하는 Kafka 관리형 서비스입니다. Event Hub Service 패치의 특징은 다음과 같습니다. 오라클 클라우드 “Event Hub - Dedicated”의 서비스 콘솔에서 수행 패치 요청 인터페이스: WebUI, PSM(PaaS Service Manager), REST API Precheck ......

patch Oracle Event Hub 김태완

오라클 클라우드는 IaaS로 OCI Classic과 OCI를 제공합니다. OCI Classic은 오라클 클라우드의 1세대 IaaS 기술이고 OCI(Oracle Cloud Infrastructure)는 오라클 클라우드의 2세대 기술입니다. 초기 Oracle Platform Services는 OCI Classic을 기준으로 발표되었고 현재 OCI으로 확장되고 있습니다. 2018년 5월 기준으로 OCI를 지원하는 Oracle Platform Serv ......

oracle oci paas cloud 김태완

오라클 클라우드는 IaaS로 OCI(Oracle Cloud Infrastructure)와 OCI Classic(Oracle Cloud Infrastructure Classic) 서비스를 제공합니다. 오라클 클라우드를 처음 접할 때, 왜 두 개의 IaaS가 존재하는지 그리고 다른점이 뭔지 혼란스러운 것이 사실입니다. 이와 관련하여 OCI Classic과 OCI란 무엇이고 어떻게 다른지 간략하게 정리해 보겠습니다. 이 문서에서 다루는 내용은 작성자 ......

oracle oci oci-classic C@C iaas 김태완

오라클 클라우드 트라이얼이란? 오라클 클라우드 트라이얼은 사용자에게 30일간 300불 크래딧을 무료로 제공하는 프로그램입니다. 사용자는 이 기간 동안 할당된 크래딧을 제약 없이 사용할 수 있습니다. 이 프로그램에서 자원 사용량은 시간 단위로 계산되고, 300불 크래딧에서 차감됩니다. 300불 크래딧이 모두 소진되면 오라클 클라우드 트라이얼 프로그램은 종료됩니다. 오라클 클라우드 트라이얼 신청 시 신용카드를 입력해야 합니다. 이 부분은 사용자 확 ......

oracle cloud trial 김태완

OCI Classic: Compute 서비스, VM 생성 문서를 참고하여 VM을 생성하면 Public IP가 할당됩니다. 이 Public IP를 이용하여 외부에서 VM에 접근이 가능합니다. 그러나 이렇게 VM을 만들면, VM을 재시작할 때마다 <그림 1>과 같이 Public IP가 변경됩니다. Public IP가 자주 변경되면, 여러 서버를 구성 할 때 관리가 복잡해집니다. 그림 1: OCI-Classic VM의 Public IP ......

oracle oci-c vm pubic ip 김태완

오라클은 클라우드 IaaS로 Oracle Cloud Infrastructure(OCI)와 Oracle Cloud Infrastructure Classic(OCI Classic) 두 가지를 제공하고 있습니다. 오라클은 Public Cloud IaaS로 OPC(Oracle Public Cloud)를 2014년 OOW(Oracle Open World)에서 공개하였고, OOW 2017에서 OCI Classic으로 서비스 브랜드 명을 변경하였습니다. O ......

oracle oci-c vm hostname 김태완

최근에 Kotlin을 익히고 있습니다. 안드로이드 개발을 목적으로 하기 보다는 서버사이드 개발언어, Micoroservice 구현언어로 Kotlin을 살펴보고 있습니다. Kotlin을 잘 지원하는 IntelliJ라는 개발툴이 있기는 하지만, 새로운 언어를 익힐때 빠른 실험과 결과 확인이 편리한 REPL 환경을 더 선호합니다. Kotlin은 자체적으로 REPL을 지원하기는 하지만 터미널에서 CLI 형태로 사용하기 때문에, 편집이 불편합니다. 또한 ......

Kotlin Jupyter BeakerX 김태완

세상에는 수많은 동명이인이 존재합니다. 대한민국에 김태완이라는 사람이 약 500명 정도는 있을 것 같습니다. 상단 이미지는 구글링으로 확인한 대한민국의 김태완입니다. 지난 몇 년간 고객사에서 제 이름 때문에 생겼던 웃지 못할 경험을 했고, 이 에피소드는 현재도 진행 중입니다. 이 에피소드는 2018년 1월 24일 페이스북에 올려 100명의 페친으로 부터 공감을 얻은 사건이 있었습니다. 그림 1: Facebook 원문: https://www.f ......

개인정보보호법 동명이인 PK 테이블 키 디자인 보안위반 김태완

Flume에 대한 전체적인 개요를 정리한 문서입니다. Flume을 아직 잘 모르시는 분들에게 전체적인 Flume 이미지를 제공하는 목적으로 작성하였습니다. Flume이란? Apache Flume은 오픈소스 프로젝트로 개발된 로그 데이터를 수집 기술입니다. 여러 서버에서 생산된 대용량 로그 데이터를 효과적으로 수집하여, HDFS과 같은 원격 목적지에 데이터를 전송하는 기능을 제공합니다. 구조가 단순하고 유연하여 다양한 유형의 스트리밍 데이터 플로 ......

flume log 통나무 김태완

자기를 처음 소개를 할 때 직접 운영하는 홈페이지를 소개하는 것이 가장 효과적인 표현 수단이라고 생각합니다. 자기소개를 할 때 제 홈페이지는 taewan.kim 입니다. 라고 말하면 대부분 사람이 도메인 때문에 굉장히 신기해합니다. “kim“이라는 도메인이 있다는 것 자체를 신기하게 받아들입니다. 블로그를 자기 이름과 같은 도메인으로 운영하면 자기 홍보와 PR 측면에서 효과는 극대화됩니다. 여러분들은 kim 이라는 최상 ......

Domain URL kim Family Name 김태완

스칼라에서 map과 flatMap의 차이점을 파악하고 이해하는 것은 쉽지 않은것 같습니다. 이상 데이터 처리는 두 함수를 차아점을 구분하는 예제로 적합하다고 생가합니다. 이상 데이터 처리 예젤로 두 함수의 의미를 정리하겠습니다. 스칼라에서 컬렉션을 map함수로 변환시킬 때 어떤 것을 걸러 내야 할 때가 있습니다. val x = List("taewan 45", "minsu 6", "sunny 40&qu ......

spark flatMap Collection 김태완

오늘 ‘그날, 바다‘를 관람했습니다. 제 경우, 그날, 바다를 보기 위해서 극장에 들어가는 과정이 정말 어려웠습니다. 빨리 보고 싶다는 마음과 두려움이 함께 했습니다. ‘그날, 바다‘는 저에게 꼭 봐야 할 것 같은 영화지만, 두렵고 용기가 필요한 영화였습니다. 저와 같이 세월호에 대한 무게감에 영화 관람이 꺼려지시는 분들을 위해서 ‘그날, 바다’ 관람 후기를 작성합니다. 여러분들이 ......

세월호 다큐멘터리 김지영 김어준 김태완