[Linear model for classification]이진 분류

books.google.co.kr/books?id=tPaTDwAAQBAJ&lpg=PP1&dq=%ED%8C%8C%EC%9D%B4%EC%8D%AC%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D&hl=ko&pg=PA1#v=onepage&q=%ED%8C%8C%EC%9D%B4%EC%8D%AC%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC%EB%A5%BC%20%ED%99%9C%EC%9A%A9%ED%95%9C%20%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D&f=false

파이썬 라이브러리를 활용한 머신러닝(번역개정판)

 

- 이진 분류, Binary Classification

 

선형 회귀에서 쓰던 위 방적식을 분류용 선형 모델에서도 사용한다.

특성들의 가중치 합을 임계치 0과 비교하여, 0보다 작거나 큰지에 따른 예측한다. (타겟 값이 임계치보다 큰지 작은지)

 

가장 널리 쓰는 두개의 선형 분류 알고리즘으로 아래 두개가 있다.

 

1. logistic regression

2. support vector machine

 

---

위 선형 분류 알고리즘에서는 C값이 규제의 강도를 결정한다.

매개변수 C값이 높아지면 규제가 감소하고, 반대로 C값이 작아지면 규제가 커져 모델의 계수가 0에 가까워지도록 만든다.

 

C값이 커진다. → 과대적합의 가능성이 있다.
C값이 작아진다. → 과소적합의 가능성이 있다.

 

 

 

- forge데이터 셋

from sklearn.linear_model import LogisticRegression
from sklearn.svm import LinearSVC
import matplotlib.pyplot as plt
import numpy as np
import mglearn
X, y = mglearn.datasets.make_forge()
#print(X, y)

c=100 # 매개변수 C 값 (100, 10, 1, 0.1. 0.001 등등)
fig, axes = plt.subplots(1, 2, figsize=(10, 3))
for model, ax in zip([LinearSVC(max_iter=5000, C=c), LogisticRegression(C=c)], axes):
    clf = model.fit(X, y)
    mglearn.plots.plot_2d_separator(clf, X, fill=True, eps=0.5, ax=ax, alpha=.7)
    mglearn.discrete_scatter(X[:, 0], X[:, 1], y, ax=ax)
    ax.set_title(clf.__class__.__name__)
    ax.set_xlabel("feature0")
    ax.set_ylabel("feature1")
axes[0].legend()

 

C = 100

C = 10

C = 1

C = 0.1

C = 0.01

 

 

 

- breast_cancer데이터 셋 

C = 100

 

C = 1

C = 0.01

C = 0.00001

 

C값이 작아질수록 일반화가 높아짐을 볼 수 있다.