[Deep Learning] Generating regression model for California housing dataset with Keras functional API

🧑🏻‍💻용어 정리

Neural Networks
Keras
Layer
California housing dataset

 

Generating regression model for California housing dataset with keras functional API.

 

 

 

 

위와 같이 여러 필요 모듈들을 import 합니다.

matplotlib.pyplot, tensorflow, keras, fetch_california_housing

 

그리고, housing 변수에 dataset을 할당합니다.

그런 뒤, print 문을 사용하여, 인자로, housing, housings.keys(), housing.feature_names를 넣어 각각 dataset의 내용, dataset의 키, dataset의 특성 이름을 출력합니다.

 

 

 

 

 

 

위 내용으로, x_data에는 housing.,data를 사용하여 dataset의 특성 값을 할당하고,

y_data에는 housing.target을 사용하여 데이터셋의 target 값을 할당합니다.

그리고 각각의 shape을 위와 같이 출력합니다.

 

 

 

캘리포니아 주택 가격 dataset은 20640개의 샘플과 8개의 특성으로 구성된 dataset입니다.

이 dataset은 주택의 지리적 위치, 인구 특성, 소득 등과 같은 여러 가지 특성을 기반으로 주택의 중간 가격을 예측하는 문제를 다루기 위한 것으로, 각 샘플은 캘리포니아의 어떤 지역에서 측정된 data이며, 주택의 중간 가격은 dataset의 target 값입니다.

 

그렇다면, x_data.shape은 dataset이 20640개의 샘플과 8개의 특성으로 이루어졌다는 것을 의미하는 2차원 배열이며, y_data.shape은 20640개의 샘플에 대한 target 값 하나씩으로 이루어져 있다는 것을 의미하며, 1차원 배열입니다.

 

 

위 내용으로 보면, model_selection 모듈로부터 불러온 train_test_split 함수를 사용하여 전체 dataset을 학습 dataset과 테스트 dataset으로 분리합니다. x_data는 입력 특성값, y_data는 출력 target 값입니다.

 

분리된 학습 dataset과 테스트 dataset을 각각 x_train, x_test, y_train, y_test 변수에 할당합니다.

 

그리고 print 함수를 통해서 x_train, x_test, y_train, y_test 의 값들의 형태를 출력합니다.

 

train_test_split 함수는 dataset을 학습 dataset과 테스트 dataset으로 무작위 분리합니다. test_size 인자를 통해서 dataset의 크기를 결정할 수 있습니다.

 

위 코드에서 0.2로 설정되어 있으므로, 전체 dataset에서 20%를 테스트 dataset으로 활용하고, 나머지 80%를 학습 dataset으로 활용한다는 것입니다.

 

 

여기서는, sklearn library의 StandardScaler class를 사용하여 데이터를 표준화합니다.

 

1. StandardScaler() 로 scaler 객체를 생성합니다.

 

2. sclaer의 fit_transform() 메소드를 사용하여 x_train 데이터를 표준화 작업을 거칩니다.

fit_transform()의 내부 과정은, 두 단계로 입력된 데이터의 평균과 표준편차를 계산하여 내부적으로 저장한 뒤, 저장된 평균과 표준편차를 사용하여 입력된 데이터를 표준화합니다.

fit_transform() 메소드는 입력된 데이터를 반환한 결과를 반환합니다.

 

3. x_test도 똑같은 방법으로 표준화합니다.

 

 

그리고,

 

x_train_scaled와 x_test_scaled 각각  첫 번째와 두 번째 feature만 선택하여 x_train_selected와 x_test_selected를 만드는 과정입니다.

[:,0:2]에서 첫 번째 축에선 모두, 두 번째 축에선 0과 1의 인덱스만 선택합니다.

 

그래서 결과도 (# of n_samples,2)로 나오게 되었습니다.

 

그리고, test data에 대해서는 fit_transform이 아닌, transform()을 사용하였습니다.

그렇게 해야,

 

 

위 코드는 sklearn 라이브러리의 MLPRegressor 클래스를 사용하여 MLP(다층 퍼셉트론) 모델을 학습하고 예측하는 과정입니다.

 

1. MLPRegressor 클래스로 regr 객체를 생성합니다. 이때, hidden_layer_sizes=(4,)는 은닉층의 노드 수를 4로 설정한다는 의미입니다. activation='relu'는 활성화 함수로 ReLU 함수를 사용한다는 의미입니다.

 

2. fit() 메소드를 사용하여 x_train_selected와 y_train 데이터로 모델을 학습합니다.

 

3. predict() 메소드를 사용하여 x_test_selected 데이터로 예측값 y_test_hat을 계산합니다.

 

MLPRegressor 클래스는 다층 퍼셉트론 모델을 구성하는 기본적인 파라미터들을 제공하며, hidden_layer_sizes는 은닉층의 노드 수를 지정하는 파라미터입니다.

 

activation은 은닉층에서 사용할 activation function을 지정합니다.

 

fit() 메소드는 지정된 데이터셋을 사용하여 모델을 학습시키며, predict() 메소드는 학습된 모델을 사용하여 입력된 데이터에 대한 예측값을 계산합니다.

 

 

그리고 밑 print문을 이용하여, regr 객체의 정보를 출력하고, 학습 과정에서 나타난 손실값을 확인하며, 학습된 모델의 성능을 평가합니다.

 

1. print(regr)은 학습된 모델인 regr의 구성 정보를 출력합니다. 출력 내용에는 입력층, 은닉층, 출력층의 노드 수와 활성화 함수 등이 포함됩니다.

2. print(regr.loss_curve_)는 학습 과정에서 나타난 손실값을 출력합니다. 손실값은 모델이 예측한 출력값과 실제 출력값의 차이를 나타내며, 이 값을 최소화하는 것이 모델 학습의 목적입니다. loss_curve_는 모델 학습 과정에서 계산된 손실값들을 시간 순서대로 저장하고 있습니다.

3. print(regr.score(x_test_selected, y_test))는 x_test_selected, y_test 데이터를 입력으로 사용하여 모델을 평가한 결과를 출력합니다. score() 메소드는 모델이 예측한 출력값과 실제 출력값의 차이를 계산하여 정확도를 측정합니다. 반환값은 0과 1사이의 값으로, 1에 가까울수록 모델의 예측이 정확하다는 의미입니다.

 

위는 y_test와 y_test_hat의 데이터 분포를 히스토그램을 시각화하는 코드입니다.

 

 

plt.hist() 함수를 사용하여 두 데이터의 분포를 그려줍니다.

첫 번째 인자로는 데이터를 입력하고, 두 번째 인자로는 데이터를 몇 개의 구간으로 나눌 것인지 설정합니다. color 인자로는 색상을, alpha 인자로는 투명도를 설정할 수 있습니다. plt.title() 함수는 그래프의 제목을 지정하고, plt.legend() 함수는 그래프에 범례를 추가합니다.

 

이렇게 시각화된 히스토그램을 통해, 모델이 예측한 y_test_hat 데이터가 실제 y_test 데이터와 얼마나 일치하는지, 그 분포가 어떤지 확인할 수 있습니다.

 

 

그리고, 위와 같이 hidden_layer_sizes가 (4,)인 MLPRegressor 모델을 다시 만들어, 전체 feature에 대해 학습시키고 테스트 데이터에 대한 예측값을 계산하는 코드입니다.

 

이전에 선택한 2개의 feature 대신 전체 feature를 사용하여 model을 학습시킨 결과, 예측값의 정확도가 더 높아졌습니다. 이는 더 많은 feature를 사용하면 더 복잡한 패턴을 학습할 수 있기 때문입니다.

 

print(regr2)는 모델의 구성과 hyperparameter를 출력합니다.

 

print(regr2.loss_curve_)는 model 학습 중 기록된 loss 값을 출력합니다.

 

그리고, print(regr2.score(x_test_scaled, y_test))는 모델의 test set에 대한 정확도를 측정합니다. 1에 가까울수록 정확하다는 것입니다.

 

 

그리고 histogram으로 위 결과보다 더 많은 feature를 사용하여 결과가 더 잘 나온 것을 살펴볼 수 있습니다.

 

 

위 코드는 LinearRegression 모델을 사용하여 전체 feature에 대해 학습시키고 테스트 데이터에 대한 예측값을 계산하는 코드입니다.

 

print(regr3)는 모델의 구성과 하이퍼파라미터를 출력합니다.

 

print(regr3.score(x_test_scaled, y_test))는 모델의 테스트셋에 대한 R^2 (결정계수) 값을 출력합니다.

 

Linear Regression 모델은 MLPRegressor와 다르게 선형 모델이기 때문에 모델 구조나 하이퍼파라미터가 MLPRegressor와는 다릅니다.

또한, MLPRegressor보다 성능이 떨어질 수 있지만, feature가 적은 경우에는 Linear Regression 모델이 더 간단하고 효과적일 수 있습니다.

 

 

 

 

 

위 코드는 LinearRegression model로 학습시킨 후 예측한 결과를 시각화한 코드입니다.

plt.hist(y_test, 30, color=’red’, alpha=0.3)는 test set의 실제 target y_test를 30개 구간으로 나눠서 히스토그램으로 시각화합니다.

plt.hist(y_test_hat, 30, color=’b;ue’, alpap = 0.3)은 LinearRegresssion 모델로 예측한 target y_test_hat을 30개의 구간으로 나누어서 히스토그램으로 시각화합니다.

제목과 범례를 추가하여 마무리합니다.

위 코드에서 input_shape는 x_train_scaled의 shape에서 feature의 수만 추출한 것입니다. 즉, x_train_scaled는 2차원 배열로, 행은 샘플의 수, 열은 feature의 수입니다.

 

x_train_scaled.shape[1]은 feature의 수를 반환하며, input_shape는 (# of n_features,)의 튜플 형태로 정의됩니다.

이 튜플은 모델의 첫 번째 층인 layers.Dense의 input_shape 매개변수로 사용됩니다. 이렇게 모델의 첫 번째 층에 input_shape을 지정해줘야 모델이 입력 데이터의 크기를 올바르게 처리할 수 있습니다.

 

그리고 그 다음 내용은, Keras를 사용하여 회귀 모델을 구성하는 과정입니다.

아래는 각 줄의 역할에 대한 설명입니다.

• models.Sequential() : 층(layer)을 순서대로 쌓아 모델을 생성하는 함수입니다.
• add() : 순차적으로 층을 추가하는 함수입니다.
• layers.Dense(units=4, activation='relu',input_shape = input_shape) : fully connected layer를 추가하는 함수입니다. units는 이 층의 출력 뉴런 수, activation은 활성화 함수로 ReLU를 사용하고, input_shape은 입력 데이터의 shape입니다. 첫 번째 층에서만 input_shape를 지정해주면 됩니다.
• layers.Dense(units=2, activation='relu') : fully connected layer를 추가하는 함수입니다. 뉴런 수를 2개로 설정하고, 활성화 함수로 ReLU를 사용합니다.
• layers.Dense(units=1, activation='linear') : fully connected layer를 추가하는 함수입니다. 뉴런 수를 1개로 설정하고, 활성화 함수로 선형 함수를 사용합니다.
• compile() : 모델을 컴파일합니다. 이때 loss 매개변수로 손실 함수를 지정합니다. 이 예제에서는 평균 제곱 오차(MSE)를 사용합니다.
• summary() : 모델의 구성을 요약하여 출력합니다.

위 과정을 정리해봅시다.

 

Keras를 사용하여 다층 퍼셉트론(MLP)을 학습시키는 과정입니다.

 

regr_model이라는 이름의 모델을 정의하고, 이 모델은 3개의 Dense layer로 구성됩니다. 각 layer는 Dense 클래스로 정의하며, units는 해당 layer에서 사용할 노드의 개수를 의미합니다.

activation은 해당 layer에서 사용할 활성화 함수를 정의합니다. input_shape는 첫번째 layer에서만 정의하며, 입력값의 차원을 정의합니다.

모델이 정의되었으면 compile() 함수를 통해 학습을 위한 환경을 설정합니다. 이번에는 손실함수로 'mean_squared_error'를 사용하였습니다.

 

마지막으로 fit() 함수를 통해 학습을 진행합니다. x_train_scaled, y_train 데이터를 학습하며, validation_data 인자를 통해 검증 데이터를 설정합니다. epochs는 학습할 에폭 횟수를 설정합니다.

 

학습이 끝나면 손실함수의 값이 어떻게 변화했는지 확인하기 위해 그래프를 그려볼 수 있습니다.

 

이 코드 목적은 MLP 모델의 학습 과정에서 train 데이터셋과 test 데이터셋에 대한 평균 제곱 오차(Mean Squared Error, MSE) 값을 확인입니다.

 

history = regr_model.fit(x_train_scaled, y_train, validation_data=[x_test_scaled, y_test], epochs=100)는 MLP 모델을 학습시키는 과정을 나타냅니다.

 

이때, train 데이터셋(x_train_scaled, y_train)을 이용해 학습을 진행하고, x_test_scaled와 y_test를 validation 데이터셋으로 이용해 성능을 평가합니다. epochs는 모델을 학습시키는 epoch의 수를 나타냅니다.

 

plt.plot(history.history['loss'])는 train 데이터셋에 대한 MSE 값의 변화를 그래프로 나타냅니다.

plt.plot(history.history['val_loss'])는 validation 데이터셋에 대한 MSE 값의 변화를 그래프로 나타냅니다.

 

그래프를 통해 MSE 값이 어떻게 변화하는지 확인할 수 있습니다. 그래프의 y축은 MSE 값이며, x축은 epoch 수입니다. plt.title, plt.ylabel, plt.xlabel, plt.legend는 각각 그래프의 제목, y축 라벨, x축 라벨, 범례를 나타냅니다. plt.show()는 그래프를 화면에 출력합니다.