[Linear model]선형회귀(최소제곱법)

books.google.co.kr/books?id=tPaTDwAAQBAJ&lpg=PP1&dq=%ED%8C%8C%EC%9D%B4%EC%8D%AC%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D&hl=ko&pg=PA1#v=onepage&q=%ED%8C%8C%EC%9D%B4%EC%8D%AC%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D&f=false

파이썬 라이브러리를 활용한 머신러닝(번역개정판)

 

- 회귀 선형 모델

 

회귀의 선형 모델을 위한 예측 함수는 다음과 같다.

예측 함수

x[0] ~ x[p]까지는 하나의 데이터 포인트에 대한 특성(특성의 개수는 p+1)

w[0] ~ w[p]와 b는 모델이 학습할 파라미터이다.

이때, 모델이 학습할 파라미터는 모델 파라미터, 파라미터 또는 계수라 부르고, 모델이 학습할 수 없어서 사람이 직접 설정해 주는 파라미터를 하이퍼파라미터라 부른다.

wave 데이터셋에 대한 선형모델

 

wave데이터의 경우 특성이 한개 이므로, 직선을 그린다. 특성이 두개면 평면, 더 높은 차원에서는 초평면(n차원)을 그린다.

 

 

 

- 선형 회귀

 

선형 회귀(Linear Regression) 또는 최소제곱법(OLS, Ordinary Least Squares) : 가장 오래된 회귀 선형 알고리즘

예측과 훈련 세트에 있는 타깃y 사이의 평균제곱오차를 최소화하는 파라미터 w와 b를 찾는다.

평균제곱오차(MSE, mean squared error) : 추측 값에 대한 정확성 측정 방법, 오차의 제곱에 대한 평균 값, 작을 수록 정확하다. 

n은 샘플 개수

선형 회귀는 매개변수가 없는 것이 장점이지만, 매개변수가 없어 모델의 복잡도를 제어할 수 없다.

 

 

 

- 선형 회귀(wave데이터)

 

wave데이터 셋

wave데이터는 특성이 하나인 단순한 모델로, 훈련 세트와 테스트 세트의 점수 모두 작게 나온 것을 보아 과소적합됬음을 알 수 있다.

 

 

 

- 선형 회귀(boston데이터)

 

boston데이터 셋은 104개의 특성을 가진 506개의 데이터 포인트이다.

boston 데이터 셋

lr.coef를 출력해보면, 104개의 특성에 대한 가중치 104개가 출력됨을 볼 수 있다.

random_state값을 변화시키면서 여러 케이스를 출력해볼때, 훈련세트 점수는 높게 나오는 반면, 대체적으로 테스트 세트 점수가 낮훈련 세트 점수보다 낮은 것을 보아 모델이 과대 적합됬음을 알 수 있다.

많은 특성을 좋은 선형 모델의 성능을 높히지만, 과대적합 될 수 있다.