[Machine Learning] 신경망 기초 1

🧑🏻‍💻용어 정리

합성함수 - composite function
합성함수의 도함수 - derivative
연쇄 - chain

신경망의 동작 원리를 이해하는 데 필요한 기초적인 멘탈 모델을 설명할 수 있다.

신경망의 기본적인 구성 요소

• 수식
• 코드
• 다이어그램

 

함수

 - 프랑스의 철학자 르네 데카르트가 처음 제안한 방법. 좌표에 나타내기.

 

 

1. 수식

 

 

2. 다이어그램

 

함수 나타내기 방법 1)

 

함수 나타내기 방법 2)

 

 

 

3. 코드

 

python의 Numpy 라이브러리이다.

 

신경망에서 다룰 데이터는 모두 다차원 배열에 담긴다.

 

import numpy as np
print("파이썬 리스트를 이용한 연산")
a = [1, 2, 3]
b = [4, 5, 6]

print("a+b:", a+b)
try:
    print(a*b)
except TypeError:
    print("a*b 파이썬 리스트에 대해 a*b와 같은 연산을 할 수 없음")
print()
print("넘파이 배열을 사용한 연산")
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
print("a+b:",a+b)
print("a*b:",a*b)

ndarray class를 통해 여러 가지 연산이 가능하다.

import numpy as np
a = [[1, 2],[3, 4]]
print("a:")
a = np.array(a)
print(a)
print('a.sum(axis=0):', a.sum(axis=0))
print('a.sum(axis=1):', a.sum(axis=1))

 

a = np.array([[1,2,3],[4,5,6]])
b = np.array([10,20,30])
print("a+b:")
print(a+b)

 

 

넘파이를 사용해 간단한 함수를 다음과 같이 구현할 수 있다.

 

def square(x:ndarray) -> ndarray:
    '''
    인자로 받은 ndarray 배열의 각 요솟값을 제곱한다.
    '''
    
    return np.power(x,2)
def leaky_relu(x:ndarray) -> ndarray:
    '''
    ndarray 배열의 각 요소에 'Leaky ReLU' 함수를 적용한다.
    '''
    return np.maximum(0.2 * x, x)

 

 

 

 

 

도함수

-> 함숫값의 변화율

 

 

1. 수식

 

도함수 변화율

 

2. 다이어그램

도함수 다이어그램

 

3. 코드

from typing import Callable

def deriv(func : Callable[[ndarray], ndarray],
         input_:ndarray,
         delta: float = 0.001) -> ndarray:
    '''
    배열 input의 각 요소에 대해 함수 func의 도함숫값 계산
    '''
    return (func(input_ + delta) - func(input_ - delta)) / (2 * delta)

 

 

합성함수

-> 함수가 다른 함수를 안는다.

 

1. 다이어그램

 

합성함수 다이어그램

2. 수식

 

합성함수 수식

3. 코드

from typing import List

# ndarray를 인자로 받고 ndarray를 반환하는 함수
Array_Function = Callable[[ndarray], ndarray]

# Chain은 함수의 리스트다.
Chain = List[Array_Function]

 

 

def chain_length_2(chain: Chain,
                  a: ndarray) -> ndarray:
    '''
    두 함수를 연쇄(chain)적으로 평가
    '''
    assert len(chain) == 2, \
    "인자 chain의 길이는 2여야 함"
    
    f1 = chain[0]
    f2 = chain[1]
    
    return f2(f1(x))

 

 

 

출처 : 해당 포스팅은 [Deep Learning from Scratch] 처음 시작하는 딥러닝의 책 내용을 바탕으로 만들어졌습니다.