[Deep Learning] Generating two classification models for MNIST dataset with Keras sequential/functional API

🧑🏻‍💻용어 정리

Neural Networks
Keras
Layer
MNIST

 

 

Generating two classification models for MNIST dataset with Keras sequential/functional API

 

 

 

MNIST 필요한 library를 import 합니다.

 

MNIST는 손글씨 숫자 이미지 데이터셋으로, 28x28 픽셀 이미지에 0부터 9까지의 숫자가 적혀있는 70,000개의 이미지와 레이블로 이루어져 있습니다.

 

위 코드는 scikit-learn 라이브러리의 fetch_openml 함수를 이용해 MNIST 데이터셋을 가져와 출력하는 코드입니다.

 

그리고, 위와 같이 위 코드는 MNIST 데이터셋을 불러와서 데이터와 레이블을 각각 x_data와 y_data에 저장하고, 이들의 shape을 출력하는 코드입니다.

 

MNIST 데이터셋은 손으로 쓴 숫자 이미지 데이터셋으로, x_data에는 이미지의 픽셀 값이 들어가 있고 y_data에는 해당 이미지가 나타내는 숫자 레이블이 들어가 있습니다.

 

출력 결과를 보면, x_data는 70,000개의 이미지 데이터가 각각 784개의 픽셀로 구성된 것을 알 수 있으며, y_data는 70,000개의 이미지 데이터에 대한 레이블 값이 들어가 있는 것을 알 수 있습니다.

 

위 코드는 MNIST 데이터를 학습 데이터와 테스트 데이터로 분할하는 과정입니다.

 

model_selection.train_test_split() 함수를 사용하여 입력 데이터 x_data와 출력 데이터 y_data를 8:2 비율로 무작위로 나눠서 학습 데이터 x_train, y_train과 테스트 데이터 x_test, y_test로 생성합니다.

 

test_size 매개변수로 전체 데이터 중 20%를 테스트 데이터로 사용하도록 지정합니다.

 

MinMaxScaler는 feature scaling을 위한 함수 중 하나입니다.

이 함수를 사용하면 데이터의 범위를 0에서 1사이의 값으로 스케일링할 수 있습니다.

따라서, x_train_scaled와 x_test_scaled는 각각 0과 1 사이의 값으로 변환된 특성 데이터입니다.출력된 np.max와 np.min 값은 각각 x_train_scaled와 x_test_scaled의 최댓값과 최솟값입니다.

 

이 코드는 sklearn의 LabelBinarizer class를 사용하여 one-hot encoding을 수행합니다.

y_train과 y_test의 각 클래스에 대해 이진 벡터로 변환됩니다. 이진 벡터의 크기는 class 수와 같으며, 해당 class에 해당하는 원소는 1이고 나머지 원소는 0으로 설정됩니다.

위 코드는 scikit-learn의 MLPClassifier를 사용하여 다중 클래스 분류 문제를 해결하는 예제입니다.

• MLPClassifier: 다층 퍼셉트론(MLP) 모델을 구현한 클래스입니다. 인자로는 hidden_layer_sizes, activation, solver 등의 hyperparameter를 설정할 수 있습니다.
• hidden_layer_sizes: 은닉층의 뉴런 수를 지정하는 파라미터입니다. 여기서는 하나의 은닉층을 사용하고, 그 안에 50개의 뉴런(units)이 있도록 설정되었습니다.
• fit: MLP 모델을 학습시키는 메소드입니다. x_train_scaled와 y_train_onehot 데이터를 입력으로 받습니다.
• predict: 학습된 MLP 모델을 사용하여 x_test_scaled 데이터를 예측하는 메소드입니다. 예측된 결과는 y_test_hat에 저장됩니다.

위 코드에서는 MLP 모델을 이용하여 MNIST 숫자 이미지 분류 문제를 해결하고 있습니다. 분류의 정확도를 측정하기 위해 sklearn.metrics 모듈에서 제공하는 accuracy_score 함수를 이용할 수 있습니다.

clf의 loss curve와 y_test_onehot과 y_test_hat의 accuracy score를 출력한 코드입니다.

clf.loss_curve_는 MLPClassifier에서 학습 시에 loss function이 어떻게 감소했는지를 나타내는 속성이며, 학습 중에 발생한 손실을 나타냅니다.

 

metrics.accuracy_score는 sklearn.metrics 패키지에서 제공하는 함수로, 예측한 결과와 실제 정답을 비교하여 정확도를 계산해주는 함수입니다. 이를 통해 MLPClassifier 모델의 예측 성능을 평가할 수 있습니다.

 

따라서 위의 코드는 MLPClassifier 모델의 학습 과정에서의 loss function의 변화와 테스트 데이터에 대한 예측 정확도를 출력하는 코드입니다.

 

이것은 입력 데이터의 형태를 출력하는 것으로, x_train_scaled의 열 수를 입력 차원으로 사용합니다.

즉, MNIST 이미지 데이터는 28x28 = 784 개의 픽셀로 구성되므로, input_shape는 (784, )로 정의됩니다.

 

이는 케라스(Keras)를 사용하여 다층 퍼셉트론(MLP) 모델을 만드는 것입니다.

• input_shape: 입력 데이터의 크기를 나타냅니다. 이 경우 x_train_scaled의 특성 개수를 나타내는 (784,)입니다.
• clf_model_seq: 케라스의 Sequential 모델을 생성합니다.
• add(): 모델에 층(Layer)을 추가합니다. 첫 번째 층은 input_shape으로 입력 크기를 지정하고, 두 번째 층은 이전 층의 출력 크기를 알고 있기 때문에 입력 크기를 지정하지 않습니다.
• units: 출력 공간의 차원수를 나타냅니다.
• activation: 활성화 함수를 지정합니다. 이 모델은 ReLU(Rectified Linear Unit) 활성화 함수와 Softmax 활성화 함수를 사용합니다.
• compile(): 모델의 손실 함수(loss)와 최적화 알고리즘(optimizer), 평가 지표(metrics)를 설정합니다. 이 경우, 다중 분류(Multi-Class Classification) 문제를 다루기 때문에 categorical_crossentropy 손실 함수를 사용합니다.
• summary(): 모델의 구조를 출력합니다.

이 코드는 Sequential 모델을 사용하여 MLP(Multilayer Perceptron) 분류 모델을 구성하고, 훈련 데이터를 학습시키는 코드입니다.

• clf_model_seq : Sequential 모델 객체를 생성합니다.
• add() : Sequential 모델 객체에 층을 추가합니다. 첫 번째 층은 입력 데이터의 형태를 지정해야 합니다. 두 번째 층부터는 입력 데이터의 형태를 추정할 수 있으므로 입력 데이터의 형태를 지정할 필요가 없습니다.
• compile() : 모델 학습에 필요한 optimizer와 loss를 지정합니다. 여기서는 categorical_crossentropy를 사용합니다.
• summary() : 모델의 구성 요약 정보를 출력합니다.
• fit() : 모델을 학습시킵니다. x_train_scaled은 입력 데이터, y_train_onehot은 타깃 데이터입니다. batch_size는 한 번에 학습시킬 데이터의 수입니다. epochs는 학습을 반복할 횟수입니다. validation_data는 검증 데이터를 지정합니다.

 

 

위 코드는 모델의 학습(history) 과정에서 train set과 test set의 정확도(accuracy)를 시각화한 그래프입니다. 이를 통해 모델이 학습됨에 따라 train set과 test set 모두에서 정확도가 점차적으로 상승하는지, overfitting이 발생하는지 등을 파악할 수 있습니다.

 

 

 

 

이 코드는 훈련 과정에서 모델의 손실 함수 값의 변화를 시각화하는 것입니다. x축은 epoch 수를 나타내고, y축은 손실 함수의 값입니다. history.history 딕셔너리에 저장된 ‘loss’와 ‘val_loss’를 이용하여, 훈련 데이터와 검증 데이터에 대한 손실 함수 값의 변화를 나란히 시각화합니다.

 

 

위 코드는 케라스에서 functional API를 이용하여 MLP 모델을 생성하는 코드입니다.

• layers.Input()을 이용하여 입력 레이어를 정의합니다. 이 때 input_shape를 통해 입력의 형태를 지정할 수 있습니다.
• layers.Dense()를 이용하여 은닉 레이어를 추가합니다. 첫 번째 은닉 레이어에서는 입력 레이어를 이용하기 때문에, input을 인자로 사용합니다.
• models.Model()을 이용하여 모델을 정의합니다. 이 때 input과 output을 인자로 사용합니다.
• model.compile()을 이용하여 손실 함수와 평가 지표를 지정합니다.

위 코드를 통해 생성된 모델의 구조는 model.summary()를 통해 확인할 수 있습니다.

 

 

 

이 코드는 Keras로 MLP 모델을 정의하고 학습시키는 코드입니다.

 

clf_model_func는 Keras의 Model 클래스로 정의된 모델입니다. 이 모델은 입력층, 은닉층, 출력층으로 구성되어 있으며, layers 모듈에서 제공하는 Input, Dense 클래스를 사용하여 각각의 층을 정의합니다.

 

clf_model_func.compile() 메서드를 사용하여 손실함수와 평가지표를 설정하고, clf_model_func.summary() 메서드를 사용하여 모델 구조를 출력합니다.

 

clf_model_func.fit() 메서드를 사용하여 모델을 학습시키고, validation_data 인자를 통해 검증 데이터를 지정합니다. batch_size와 epochs 인자를 통해 배치 크기와 전체 학습 에폭 수를 설정합니다. 학습한 모델의 결과는 history 객체에 저장되며, 그래프로 시각화할 수 있습니다.

 

이 코드는 학습 과정에서 train 데이터와 validation 데이터에 대한 분류 정확도 변화를 시각화하는 코드입니다.

 

history.history['accuracy']는 train 데이터에 대한 분류 정확도가 epoch마다 기록된 리스트를 의미하고, history.history['val_accuracy']는 validation 데이터에 대한 분류 정확도가 epoch마다 기록된 리스트를 의미합니다.

 

그리고 각 epoch마다의 train 데이터와 validation 데이터의 분류 정확도 변화를 각각 파란색과 주황색으로 그래프로 시각화하여 보여주고 있습니다. 따라서 이 그래프는 학습 과정에서 train 데이터와 validation 데이터의 분류 정확도를 모니터링하여, overfitting 등의 문제가 발생하는 경우를 파악하고 해결하기 위해 사용됩니다.

 

 

 

이상적으로는 훈련 손실(train loss)과 검증 손실(validation loss)은 낮아지는 것이 좋습니다.

 

그러나, 그래프를 통해 확인해보니, 이전에 사용한 MLPClassifier 모델보다 keras 모델이 더 좋은 결과를 보이고 있습니다.

 

검증 손실은 일정 수준 이하로 줄어들지 않는 경향이 있으므로, 더 오랜 시간 동안 모델을 학습시켜 볼 필요가 있을 것입니다.