Research Notes

▶ Learning Rate(학습률) - Learning Rate란? 학습의 속도를 조정하는 값 - Gradient Descent 알고리즘에서 사용 - Learning rate가 큰 경우 ; OverShooting : 학습률을 지정했는데 손실이 줄어들지 않고 발산할 경우. - Learning rate가 작은 경우 ; 시간이 너무 오래걸리고, Local minimum(국소해)에 머물러 버릴 위험. : 값의 변화가 너무 작음. - Learning Rate을 지정할 때 답은 없고 최적의 값을 시도해 보아야 함.(대부분 0.01로 지정) ▶ Overfitting : 머신러닝이 학습을 통해서 모델을 만들때, 학습 데이터에만 잘 맞는 모델을 만드는 경우. 학습 데이터 이외의 값을 집어넣으면 예측이 잘 안되는 문제...

▶ Multinomial Classification(다중 분류) - softmax 함수 기반 : 함수 이후의 값이 0~1사이의 값이고, 전체 값의 합이 1이 되는 함수 : y값에서 softmax함수에 대입해 나온 값들 중 제일 큰 값을 제외하고 1로 만들수 있음, 이를 참조하여 최종 선택을 결정. == One-Hot Encoding ​ ▶ Cost Function : Cross-entropy - Logistic cost VS cross entropy(위와 아래 식이 동일) - Cross-entropy cost function

▶ Review(Linear Regression) - Linear Regression : X값들을 이용하여 Y값을 예측하는 한 함수를 찾는 것. - Hypothesis : X(데이터) * W(가중치) - Cost 함수를 통해 손실을 최소화 하는 지점을 찾음(손실 최소화 = 실제값과 예측값의 차이 최소화) - 손실이 최소화 되는 지점을 찾기 위한 알고리즘 : Gradient Decent Algorithm, 학습률(Learning Rate)를 지정하여 경사를 이동해가는 폭을 조정. ▶ Classification(분류) - ex) 스팸 이메일 분류 : 스팸 or 햄, 페이스북 피드 분류 : 보여주기 or 숨기기, 신용카드 사용자 분류 : 진짜 사용자 or 가짜 사용자. - 분류하고자 하는 것들을 0, 1같은 ..

#1 Concept of Linear Regression ▶ Linear Regression(선형 회귀)의 개념 이 데이터를 가지고 학습을 하여 모델을 생성하여 학습을 하는 것이 Linear Regression이다. Regression은 학습된 데이터를 기반으로 새로운 데이터를 예측한다.(공부 시간 데이터들을 학습하여 성적을 예측) ​- Regression Data(X값, Y값): X값(예측을 하기 위한 자료), Y(정답 값) ​ ▶ (Linear) Hypothesis(가설) : 직선의 가설을 세우는 것이 Linear Hypothesis, 어떤 데이터가 존재한다면 그에 맞는 선(함수)을 찾는 것. H(x)는 W, b에 따라 값이 달라짐. 어떤 가설이 좋은지 판별할 수 있는 것 == 손실(실제값과 예측값의..

1. 머신러닝의 개념과 용어 ▶ Machine Learning(머신러닝, 기계학습) : 개발자가 일일히 지정하지 않고 프로그램 자체가 학습하는 프로그래밍 ​ ▶ 머신러닝의 종류(학습의 방법에 따라 다름) 1. Supervised Learning(지도학습) : 정답(labeling)이 있는 데이터들을 이용하여 학습. - ex) 이미지 분류, 스팸 메일 필터링, 스팸 메일 필터링 - Training Data set(X, Y값 ; X는 데이터, Y는 정답) - supervised learning의 종류 · regression(회귀) : 시험 성적을 예측하는 경우 · binary classification(이진 분류) : 시험 성적의 pass/non-pass를 나누는 경우 · multi-label classif..

Permutation Invariant Adjacency matrix의 순서가 바뀌더라도 그 output이 바뀌지 않는 함수의 특성 A: Adjacency matrix, P: 행/열의 순서를 바꾸는 permutation matrix 아래의 식을 통해, adjacency matrix 내 순서가 바뀌어도 함수의 결과가 바뀌지 않는다는 것을 확인할 수 있음 Permutation Equivaraince Adjacency matrix의 순서가 바뀌는 대로 output의 순서도 바뀌는 함수의 특성