MachineLearning - Classification(2)

Machine Learning - Classification(2)

<Cost Function & Gradient Descent>

앞서 Classification에서 사용하는 가설함수 h의 식이 Linear Regression Model에서 사용하는 가설함수의 식과는 다르기 때문에 비용함수도 조금은 수정을 가할 필요가 있다. 기존의 Linear Regression Model에서 사용하는 비용함수의 식을 그대로 사용하게 되면 "Non - Convex" 한 함수가 도출될 가능성이 높아지게 되는데, 

이 "Non - Convex" 한 함수란, 볼록함수와는 달리 극점이 굉장히 많을 수 있는 함수(아래 그림 참조) 이기 때문에, Gradient Descent를 통해 구한 최솟값이 Local Minimum일 뿐, Global Minimum값은 아닐 수 있는 가능성이 생긴다. 

따라서 Cost Function 에 수정이 필요하며 위에 첨부된 그림과 같은 식으로 Cost Function을 수정하게 된다.

도출된 함수는 아래와 같은 개형의 그래프를 가지게 된다. 

위에서 정의했던 Classification을 위한 비용함수는 y의 값이 0인 경우와 1인 경우에 따라 다른 함수의 모양을 가졌다.

하지만, 함수의 식을 조금만 변형하면 y의 값에 따라 다른 함수의 모양을 가질 필요가 없는데,

이렇게 수정된 함수의 식은 아래와 같다.

식은 굉장히 단순한 선형대수학적 표현의 일종이라고 볼 수 있는데,

보기에는 복잡해 보이지만, 식에 각각 y = 0, y = 1을 대입해보면

기존과 완전히 동일한 모형임을 알 수 있다.