[Supervised Learning] 지도 학습

🧑🏻‍💻용어 정리

Supervised Learning

지도 학습

• 특징 : 이미 측정된 데이터의 속성 사이의 관계
• "이미 측정된"

 

• 여러 숫자를 모아 행으로 나타내어 ndarray 형태로 데이터의 배치 batch를 만들어 모델에 입력.
• 각 관찰에 대한 예측 결과가 담긴 행으로 구성된 ndarray 객체를 반환.
• 행의 길이는 데이터의 특징, 즉 feature의 개수이다.
• feature는 category에 따라 나누어 분류한다.
• 어떤 문제를 해결해야 하는가 - target

 

 

지도 학습 모델

• 지도 학습의 목적은 ndarray 객체를 입력받아 또 다른 ndarray 객체를 출력하는 형태를 가진 함수를 찾는 것이다.
• 이 함수는 우리가 정의한 특징값을 담은 ndarray객체를 입력 받고, 목표 속성의 특징과 가까운 값을 담음 ndarray 객체를 반환하는 형태로 관찰의 속성값을 목표 속성과 대응시킬 수 있어야 한다.

 

 

선형회귀 (linear regression)

출처 : https://www.wallstreetmojo.com/regression-formula/

 

linear combination과 예측값을 기준선을 조정하는 항으로 목표삾을 계산할 수 있다는 아이디어를 나타낸 것.

 

 

X와 W의 행렬곱 연산.

출처 : https://github.com/flourscent/DLFS_code/blob/master/02_fundamentals/math.ipynb

위와 같이 여러 관찰이 담긴 배치에 대한 예측값도 마찬가지로 행렬곱 연산 한 번으로 계산할 수 있다.

 

 

이렇게 행렬곱 연산을 통해 여러 관측에 대해 선형회귀 모형을 따르는 예측값을 한 번에 계산할 수 있다.

 

 

 

선형회귀 모델 학습하기

 

• 모델을 학습한다는 건, 추상적으로 보면 모델은 데이터를 입력받아 파라미터 parameter를 이용해 이 데이터를 모종의 방법으로 취합하여 예측값을 계산한다.
• 선형회귀 모형은 데이터 X와 파라미터 W를 입력받아 행렬곱 연산을 통해 예측값 P를 계산한다.
• 모델 학습을 위해 모델이 계싼한 예측값이 정확한지에 대한 정보가 더 필요하다.
• 이를 위해, Xbatch의 각 관찰에 대응하는 옳은 예측값을 모은 새로운 벡터 Ybatch를 도입한다.
• 그리고 Ybatch와 Pbatch에 의해 결정되는 또 다른 값을 계산한다.
• 이 값은 모델의 예측이 얼마나 정확했는지를 따져 그 정확도에 따라 모델에 부여되는 '벌점'역할을 한다.
• 이 벌점을 계산하는 방법으로 MSE (Mean Squared Error, 평균제곱오차)가 적당하다.
• 평균제곱오차는 각 관찰의 예측값과 정답의 오차의 제곱을 평균 낸 값이다.
• 이 값을 통해 W의 각 요소에 대한 이 값의 기울기를 알 수 있다.

출처 : https://github.com/flourscent/DLFS_code/blob/master/02_fundamentals/math.ipynb

 

위 과정에 편향 b까지 더해주면 위와 같은 수식이 완성된다.

 

위 과정을 코드로 살펴보자.

 

def forward_linear_regression(X_batch: ndarray,
                              y_batch: ndarray,
                              weights: Dict[str, ndarray]
                              )-> Tuple[float, Dict[str, ndarray]]:
    '''
    선형회귀의 순방향 계산 과정
    '''
    # X와 y의 배치 크기가 같은지 확인
    assert X_batch.shape[0] == y_batch.shape[0]

    # 행렬곱 계산이 가능한지 확인
    assert X_batch.shape[1] == weights['W'].shape[0]

    # B의 모양이 1x1인지 확인
    assert weights['B'].shape[0] == weights['B'].shape[1] == 1

    # 순방향 계산 수행
    N = np.dot(X_batch, weights['W'])

    P = N + weights['B']

    loss = np.mean(np.power(y_batch - P, 2))

    # 순방향 계산 과정의 중간값 저장
    forward_info: Dict[str, ndarray] = {}
    forward_info['X'] = X_batch
    forward_info['N'] = N
    forward_info['P'] = P
    forward_info['y'] = y_batch

    return loss, forward_info