MachineLearning - LinearRegression(1)

* 자료의 모든 저작권은 COSERA에 있음을 미리 밝힙니다.

Machine Learning - Linear Regression(1)

<Linear Regression with one Variable>

Linear Regression with One Variable - 변수가 하나인 선형 회귀모델을 의미한다. 

선형 회귀모델이란, 통계학 용어로써 종속변수 Y와 하나 이상의 독립변수 X의 상관관계를 모델링하여

Y값을 알지 못하는 X값이 주어졌을 때, Y값을 예측하기 위해 사용하는 방법이다. 

회귀를 의미하는 단어가 "Regression" 이었고, 저번 포스팅에서 "Regression"은

연속적인 결과를 모델링하는 함수와 관련이 있음을 살펴본 바 있다.

따라서 변수가 하나인 선형 회귀모델은 하나의 인풋 X를 가지고 결과값 Y를 예측해내는 모델을 의미하며, 기계학습에서는 이를 "Supervised Learning", 즉 지도학습을 통해 수행할 것이다.

가설함수 ("Hypothesis Function")은 모델링 하려는 함수가 선형 함수임을 감안한다면 일차함수의 꼴로 나타내져야 할 것이다. 

통계학적인 관점에서 컴퓨터가 학습해야 할 여러가지 데이터들이 주어졌을 때, 그 데이터들의 분포에 가장 가까운 일차함수가 모델링되도록 일차항과 상수항의 계수를 정하는 과정이 필요할 것이고, 이 과정에서 비용함수("Cost Function")의 최솟값을 구해야 할 것이다.

비용 함수의 값은 모델링 된 선형회귀함수와 실제 데이터 사이의 차이를 제곱한뒤 모두 더해 평균 낸 값으로, 비용함수의 값이 작으면 작을 수록 오차가 적은 즉, 정확히 예측된 모델임을 알려주는 지표라고 할 수 있다.

따라서 이 비용함수의 값을 최소화시키는 일차항의 계수와 상수항을 구하는데에 그 목적이 있다고도 말할 수 있다.

알파값을 구하는 것이 선형 회귀 모형을 설정하는 데 중요한 역할을 차지하는데, 이 알파값이 너무 작게 되면 시간이 너무 오래걸리고

알파값이 너무 크게 되면 계수 값이 지역적 최솟값으로 수렴하는 것이 아니라 무한대로 발산해버릴수도 있기 때문에

적당한 알파값을 대입하여 구하는 것이 좋다.