*첨부자료의 모든 저작권은 Coursera에 있음을 미리 밝힙니다. Neural Networks(3)- Cost Function & BackPropagation 이번 시간에는 Neural Networks의 Cost Function에 대해 살펴보고 저번 포스팅에서 살펴보았던 Forward Propagation에 이어 error 를 최소화하기 위한 하나의 방법인Back Propagation Algorithm에 대해서 간략하게 살펴보고자 한다. Cost Function의 식은 Logistic Regression의 식과 굉장히 비슷하다. 아니 사실상 동일하다고 봐도 무방하다. 한 가지 차이점은, h(theta) 함수, 즉 가설함수의 개수(Neural Network의 경우 k개, Logistic Regressio..

Programming Exercise 3: Multi-class Classification & Neural Networks 이번 프로그래밍 과제에서는 hand-written digit들의 픽셀정보를 저장한 data matrix를 기반으로각 digit들이 0~9 사이의 어떤 수를 나타내는지를 판단하는One vs all Multi-class Classification model을 구현하였다. 두 번째 과제로는 간단한 Layer 3의 Neural Networks를 구현하도록 하였다. 구현해야 하는 파일은 다음과 같았다. ex3.m - Octave/MATLAB script that steps you through part 1 ex3 nn.m - Octave/MATLAB script that steps you t..

*첨부자료의 모든 저작권은 COURSERA에 있음을 미리 밝힙니다. Neural Networks(2)- Examples and Intuition, Multi-Class classification 이번 시간에는 Abstract 하게 살펴보았던 Neural Network의 기본적인 로직의 구현을 통해조금 더 실질적인 인공신경망의 구현을 살펴보고, 또 이를 바탕으로 Output의 결과가 하나가 아닌 Multi-Class Classification모델도 간단하게 살펴보고자 한다. 저번 포스팅에서 간단하게 살펴보았던 인공 신경망의 기본적인 구조이다. 여기서 Input Layer인 Layer 1과 Output Layer인 Layer 3를 제외한 중간의 모든 Layer들은 겉으로 드러나지 않는 Hidden Layer..

Programming Exercise 2 : Logistic Regression 이번 프로그래밍 과제에서는 Octave를 이용하여 Logistic Regression을 모델링하고실제 데이터를 이용해서 결과를 분석해야 했다. 구현해야 할 함수들은 다음과 같았다. ex2.m - Octave/MATLAB script that steps you through the exercise ex2 reg.m - Octave/MATLAB script for the later parts of the exercise ex2data1.txt - Training set for the first half of the exercise ex2data2.txt - Training set for the second half of the ..

Machine Learning - The Problem of OverFitting 지금까지 Machine Learning을 학습하면서 배운 알고리즘들을 간단하게 복습해보자.우선, 기계학습이라는 것은 컴퓨터에게 무엇을 어떻게 하라고 명확하게 지시하지 않은 상태에서 데이터와 결과 Set을 제공하면, 컴퓨터가 그에 따른 분석모델을 적용해서 가설 함수를 세우고, 새로운 데이터가 제공되었을 때 가설 함수를 바탕으로 결과를 예측하여 출력하는 것을 의미한다. 이 가설 함수는 데이터와 결과 Set이 제공될 때마다 전체 오차가 적어지는 방향으로 정확성을 높여간다. 데이터와 결과 Set을 분석하는 방법은 학습한 바로는 크게 두 가지가 있었다.Linear Regression 모델과 Classification 모델이었다. L..

Machine Learning - Classification(3)MultiClass Classification : One - vs - All 지금까지 Classification에서는 One vs One 모델을 주로 다루었다. Linear Regression 모델과는 다르게 결과값이 연속적인 값이 아니라 이산적인 값으로 분포하기 때문에, 기계학습을 통해 Decision Boundary를 구하고, 그 Boundary를 기준으로 y = 0 인지, 1인지를 판단하는 과정을 거쳤다. 하지만 실생활에서는 One vs One 모델 보다는 One vs All 모델을 통해서 결정해야 하는 경우가 더 많다. One - vs - All 모델은 위의 그림처럼 y = 0 ~ n 까지의 값을 가진다. y값을 결정하는 기본적인 아..