[ML] Logistic Classification

▶ Review(Linear Regression)

Linear Regression : X값들을 이용하여 Y값을 예측하는 한 함수를 찾는 것. / Hypothesis : X(데이터) * W(가중치) / Cost 함수를 통해 손실을 최소화 하는 지점을 찾음(손실 최소화 = 실제값과 예측값의 차이 최소화) / 손실이 최소화 되는 지점을 찾기 위한 알고리즘 : Gradient Decent Algorithm

- Linear Regression : X값들을 이용하여 Y값을 예측하는 한 함수를 찾는 것.

- Hypothesis : X(데이터) * W(가중치)

- Cost 함수를 통해 손실을 최소화 하는 지점을 찾음(손실 최소화 = 실제값과 예측값의 차이 최소화)

- 손실이 최소화 되는 지점을 찾기 위한 알고리즘 : Gradient Decent Algorithm, 학습률(Learning Rate)를 지정하여 경사를 이동해가는 폭을 조정.

 

▶ Classification(분류)

- ex) 스팸 이메일 분류 : 스팸 or 햄, 페이스북 피드 분류 : 보여주기 or 숨기기, 신용카드 사용자 분류 : 진짜 사용자 or 가짜 사용자.

- 분류하고자 하는 것들을 0, 1같은 숫자로 나타내어 분류.

- sigmoid 함수로 가설함수를 정의!!★★★★

Sigmoid 함수 : x축(z)의 값이 커질수록 1에 가까워지고, z값이 작아질수록 0에 가까워짐.

- Logistic Hypothesis(sigmoid함수 대입) : sigmoid 함수에 H(x) = WX 식 대입.

▶ Logistic Classification의 cost 함수

- New cost function

cost 함수는 전체 오차의 평균. y=1일때와 y=0일때를 구분.

H(x)는 sigmoid함수 때문에 1/1+e^-2의 형태를 가지는데 매끈한 선을 만드는데 방해가 됨.  그렇기 때문에 이와 반대인 log함수를 씌움.

​- 위의 cost함수는 if문이 있기 때문에 코드에서 구현시 어려움이 있을수 있기 때문에 아래와 같은 식으로 변형.

y=1, c = -1 * log(H(x))

y=0, c = -1 * log(1-(H(x)), 가 되기 때문에 위의 식과 같음.