위 포스팅은 위키피디아, 일반통계학 서적 등을 참고하여 정리한 글임을 서두에 밝힙니다. 머신러닝, 딥러닝 모델은 기존의 알고리즘과는 다르게 본질적으로 불확실한 요소들을 가지고 있습니다. 주어진 입력값을 통해 결과를 잘 '예측' 하는 것이 딥러닝 모델의 주 목표이기 때문에, 딥러닝 모델이 취하는 관점은 '확률과 통계'에 기반하게 됩니다. 이번 포스팅에서는 딥러닝 모델과 확률의 관계에 관한 몇 가지 인사이트를 살펴보도록 하겠습니다. Probability Conceps for Deep Learning 딥러닝 모델을 설계하다 보면, 딥러닝 모델 자체에 내재한 불확실성과 딥러닝 모델이 다루는 일상생활의 데이터에 대한 불확실성, 그리고 모델링 하려는 대상의 속성 자체에 내재된 여러 불확실성을 발견할 수 있습니다. ..

본 포스팅은 cs231n의 강좌를 정리한 글임을 서두에 밝힙니다. 캡쳐된 일부 강의 자료들은 CS231n에서 제공하는 PPT 슬라이드를 참조하였습니다. Definition GAN은 'Generative Adversarial Network' 의 줄임말로, 궁극적으로 실제 이미지와 유사한 가짜 이미지를 생성해 내기 위해 제안된 네트워크 모델입니다. 이 모델은 Ian Goodfellow가 2014년에 논문에서 제시한 모델로, 딥러닝 분야에서 최근 10년간 가장 혁신적인 아이디어로 평가받고 있습니다. "Generative" 라는 용어에서 확인하실 수 있듯이, GAN은 '생성 모델'입니다. 생성모델이란, 그럴듯한 가짜 이미지를 생성해 내는 모델이라는 의미로, 실제로는 존재하지 않으나 그럴듯해 보이는 사람 얼굴 이..

Image Style Transfer Using Convolutional Neural Networks, Gatys et al. 논문을 참조하여 정리한 글임을 서두에 밝힙니다. Style Transfer Abstract 신경망을 이용한 스타일 전이(Neural Style Transfer)는 2015년 이 논문('Image Style Transfer Using Convolutional Neural Networks')에 소개된 방법으로, 원본 이미지 (natural image)에서 Style과 Content를 분리해내고 이들을 재조합하여 새로운 이미지를 만들어내는 것에 대한 아이디어를 소개하고 있습니다. 위 사진에서 확인할 수 있는 것처럼 하나의 이미지(호숫가와 집이 있는 그림)에서 Content를 추출하고 ..

*본 포스팅은 Stanford CS231n 강의를 참조하였음을 미리 밝힙니다. *캡쳐된 일부 강의 자료들은 CS231n에서 제공하는 PPT 슬라이드를 참조하였습니다. 현대 딥러닝의 아쉬운 점 중 하나는 딥러닝의 학습 과정을 딥러닝 코드를 작성한 사람조차 알기가 어렵다는 점입니다. 모델 학습이 성공했다면 왜 성공했는지, 실패했다면 왜 실패했는지를 해석하기가 어려운데, 그 이유는 기본적으로 딥러닝 모델은 많은 데이터를 한꺼번에 처리하며, 여러 겹의 레이어를 학습시키는 과정에서 적어도 수만 가지의 파라미터를 다루어야 하기 때문입니다. 따라서 VIsualize(시각화)를 통해 각각의 레이어에서 무슨 일이 일어나고 있는지, 더 나아가서 학습 전반적이 과정에서 무슨 일이 일어나고 있는지를 연구하려는 여러 시도들이 ..

*첨부된 자료의 모든 저작권은 COURSERA에 있음을 미리 밝힙니다. Anomaly Detection 이번 시간에는 Anomaly Detection의 개념과 Detection Algorithm을 살펴보려고 한다.Anomaly Detection이란 번역하면 '이상감지' 혹은 '이상징후감지' 라는 의미를 가지고 있다. 수많은 데이터들을 바탕으로 기존의 데이터들이 가지고 있는 특징들, 즉 '보편적'인 특징들을 갖지 않는 데이터들을 'Anomaly' 한 데이터라고 하는데, 바로 이러한 데이터들을 찾아내는 것이 Anomaly Detection 이라고 할 수 있다. 위의 그림의 경우 기존의 데이터들 (빨간색으로 표시된 부분)에 대해서 보편적으로 함께 분류되기가 어려운 데이터를 'Anomaly'한 데이터라고 한다...

* 첨부된 자료의 모든 저작권은 COURSERA에 있음을 미리 밝힙니다. Learning Curves 이번 시간에는 머신 러닝 알고리즘이 데이터를 가지고 학습을 할 때에 얼마만큼의 에러를 발생시키는지를 알아보는 Learning Curve(학습 곡선)에 대해 알아보려고 한다. 머신 러닝 알고리즘을 적은 개수의 데이터로 훈련시키게 되면, (예를 들어 1개, 2개, 3개)Training Set의 데이터에 대해서 알고리즘은 Error 값이 0 인 Quadratic Curve h를 예측해 낼 수 있다.하지만 이 에러는 Training Set에만 해당되는 값이므로 Test Set이나 Cross-Validation Set의데이터에 대해서는 굉장히 큰 오류를 일으킬 수 있다. 같은 원리로, Training Set의 크..