[Deep Learning] Deep Generative Models(2) - GAN

🧑🏻‍💻용어 정리
Deep Generative Models
Generative Model
Generative Adversarial Nets (GAN)

 

 

이번 시간에는 GAN에 대해 다루겠습니다.

 

Generative Adversarial Nets (GAN)

 

이 GAN은 번역하면 적대적 생성 신경망 모델로 직역을 합니다.

 

2014년 정도에 나왔습니다.

 

우선 두 명의 플레이어가 있다고 봅시다.

 

탐정, 위조범.

 

그리고 2개의 데이터가 있습니다.

 

미술품과 모조품.

 

탐정은 미술품인지 모조품인지 분간해냅니다.

 

반대로 위조범은 탐정을 속입니다. 위조범은 모조품을 진품인 것처럼 평가받아야합니다.

 

 

처음에는 학습이 잘 되지 않아, 둘 다 멍청합니다.

 

그런데, 계속해서 모조품을 잘 찾아내기 위해, 더 잘 속이기 위해 둘 다 공부를 열심히 합니다.

 

서로를 이기기 위해서 서로 열심히 공부를 해서,

 

처음에는 1점짜리 탐정과 위조범은, 나중에 99점 짜리 탐정과 위조범이 됩니다.

 

99점짜리 탐정을 속이기 위한 위조범의 모조품은 진짜와 구분하기 힘들 정도일 것입니다.

 

우리가 원하는 것은 그 정도의 모조품입니다.

 

 

 

이 GAN이라는 모델은 적대적인 2개의 모델이 존재합니다.

 

두 플레이어죠.

 

그리고 G라는 generator model이 있습니다.

 

이 generator의 역할은 모조품을 생성해내는 것입니다.

 

이것은 결국 data의 true distribution을 캡쳐해내는 것이 됩니다.

 

진짜 데이터가 어떤 distribution에서 나왔는지 안다면 sampling을 통해 계속해서 data를 만들 수 있겠죠.

 

그래서 이 G는 최대한 실제 데이터의 분포를 잘 캡쳐해내는 것이 목적입니다.

 

 

그리고 diiscriminative model D는 discriminator라고 부르며 판별자라고 부릅니다.

 

이것은 실제 데이터와 G가 generating해서 주는 데이터와 잘 구분하는 게 목적입니다.

 

실제인 training data, real data라고 부르는 게 오면 높은 확률 값을 주고,

 

generated data G, fake data라고 부르는 게 오면 낮은 확률 값을 줍니다.

 

 

 

위 설명과 같이 실제 논문에 나온 구절입니다.

 

G는 위조 지폐를 만들어 fake cuurency를 생성합니다.

 

D는 경찰로, 실제 화폐와 G가 만든 fake currency를 구분해냅니다.

 

 

이렇게 서로 이기기 위해 엄청나게 학습을 하고,

 

굉장히 훌륭한 G가 만들어지게 되면, 이로부터 우리가 좋은 데이터를 생성해낼 수 있게 됩니다.

 

 



 

우리가 앞에서 다룬 Generative Model은 확률 분포를 추정하였습니다.

 

이 분포 추정은 어렵고 복잡하고 시간이 많이 걸립니다.

 

그래서 VAE, DBN은 사용하기 어렵다고 알려졌죠.

 

 

그런데,

 

이 GAN이라는 모델은 우리가 기존에 잘 알고 있는 MLP를 사용하면 해결됩니다.

 

우리가 잘 아는 NN을 사용하면 됩니다.

 

 

그 얘기는,

 

우리가 잘 사용하는 Standard Backpropagation으로 학습이 된다는 이야기죠.

 

그래서 approximate inference 나 Markov process가 필요 없습니다.

 

 

 

 

그래서 실제 모델이 이와 같이 생겼습니다.

 

 

G model, D model이 보이고,

 

위 prior은 noise를 의미합니다. 이 noise라는 것은 random이라는 이야기죠.

 

이 random 값을 받아서, MLP나 CNN 등 다른 NN을 쭉 통과시켜서 어떤 data를 generation하는 게 목적입니다.

 

그리고 이 generated data는 real data를 닮으려고 하는 게 목적이기 때문에, 이것과 dimension을 맞춰주면 됩니다.

 

 

G에서 어떤 random noise를 받아서 MLP를 돌린 후 최종적으로 real 과 같은 dimension이 나오게 합니다.

 

이 과정이 generation, 그리고 이 generated data와 real data를 D라는 모델에 넣어서 1인지 0인지 구분하는 것입니다.

 

결국 G는 완전 random noise vector 를 받아서, real data와 똑같은 dimension을 가지는 output을 출력하는 것입니다.

 

이 output은 최대한 real data와 유사하게 하는 것이 목적입니다.

 

 

 

만일,

 

데이터가 100개가 들어온다고 하면,

 

이것에 대해 real인지 fake인지에 대한 label을 붙입니다.

 

그래서 이 과정에서 binary classification을 하기 때문에 위 sigmoid func.이 들어갑니다.

 

training data == real data : 50개	real, ... , real
generated data == fake data : 50개	fake , ... , fake

 

의 구성입니다.

 

그래서 output은 1 or 0이 나옵니다.

 

그래서 이것을 학습시키는데,

 

D는 real data x가 들어오면 1을 출력하고, fake data z (noise)가 들어오면 0을 출력합니다.

 

그래서 데이터는 x : real data / G(z) = fake data 로 묶입니다. 그리고 z는 noise로 입력입니다.

 

그래서 D의 목적은 D(x) = 1, D(G(z)) = 0입니다.

 

그리고 G의 목적은 D(G(z)) 의 값이 1에 가까워지는 것이 목적이 되겠습니다.

 

 

수식을 보면,

 

log ( 1 - D(G(z)))의 값에서 D(G(z))의 값이 1에 가까워질 수록 G의 목적을 충족시키는 것이죠.

 

그럼 log ( 1 - D(G(z)))의 값은 작을 수록 좋은 게 됩니다.

 

 

 

이제 GAN이 아래와 같은 Loss func.을 만족시키는 학습을 한다고 보시면 되겠습니다.

자 우선 min max가 보입니다.

 

그리고 log는 monotomic하여 계산의 편의를 위해 나왔다고 보시면 됩니다.

 

위 D(x)와 D(G(z))가 보입니다.

 

위에서 D의 입장에서 생각해보면, x가 들어왔을 때, 확률값이 크면 클수록 좋습니다. D(x)의 값이 크면 클수록 좋죠.

 

그리고 fake data가 들어왔을 때, 확률값 D(G(z)) 값이 작으면 작을수록 좋고, 여기서 이것을 1에서 뺐으니 역으로 크면 클수록 좋습니다.

 

 

즉, Discrimininator는 maximize 문제를 풉니다. 즉, Loss term에 대해서 maximize하는 문제를 풉니다.

 

앞 수식은 real data, 뒷 수식은 fake data에 대한 것이라고 보시면 됩니다.

 

 

 

이번엔 Generator를 봅시다.

 

G의 입장에서 앞 수식에 대해, x에 대한 수식으로 이루어져 있고,

 

이 real data가 discriminator에 들어갈 때 Generator는 아무런 영향도 미치지 않습니다.

 

그래서 이 앞에 term은 generator 입장에서 관여하지 않는 term입니다.

 

그리고 뒷 term을 보면,

 

G는 D(G(z))의 값이 커지길 바랍니다.

 

이 값 또한 1에서 빼니, 이 1 - D(G(z))의 값이 작아지길 바랍니다.

 

 

결국 D 입장에서는 똑같은 loss func.을 가지고 maximize 문제를 풀고,

 

generator 입장에서는 똑같은 loss func.을 가지고 minimize 문제를 풉니다.

 

단, 앞 term은 영향을 끼치지 않습니다.

 

 

 

이것에 대한 알고리즘을 잠시 살펴봅시다.

 

hyperparameter 인 k = 1이 등장합니다.

 

일단 큰 for loop는 epoch을 의미합니다.

 

그리고 작은 for loop가 max D이고, 이 작은 loop를 나온 부분이 min G라고 보시면 됩니다.

 

 

k번 먼저 maximization을 한다는 것은, k번 먼저 D를 똑똑하게 만든다는 것을 의미합니다.

 

여기선 k를 1이라 했으니 D, G가 똑같이 학습됩니다.

 

 

그리고 먼저 minibatch noise samples을 뽑습니다. 이것은 fake data를 만들기 위한 재료입니다.

 

그리고 그 minibatch 똑같은 size의 real data sample m개를 뽑습니다.

 

 

위는 fake data, 아래는 real data.

 

이것을 가지고 아래 loss func.에 D의 maximize 시켜준다.

 

그리고 fake의 재료를 가지고, G에 대해 minimize합니다.

 

그리고 loss func. 중 앞 term은 generation에 영향을 주지 않으니 뒷 term 가지고만 minimize합니다.

 

 

그리고 나머지는 standard gradient descent (standard gradient-based learning)을 사용합니다.

 

잘 아시는 Adam optimization하면 되겠죠.

 

 

순서를 보니,

 

탐정 한 번 똑똑하게 만든 뒤, 위조범 똑똑하게 만드는 것을 합니다.

 

이렇게 번갈아가면서 똑똑하게 학습시킵니다.

 

한편, k가 1이 아닌 상수라면,

 

만일 2라면,

 

max -> max -> min -> max -> max -> min -> ... 과 같이 할 수 있을 것입니다.

 

이 이유는,

 

Discriminator와 Generator가 비등비등해야합니다.

 

그 이유는 서로 급이 안 맞아버리면 둘 다 발전을 못하기에 그렇습니다.

 

그래서 한 쪽에 쏠리지 않고 둘 다 비등비등한 상태에서 경쟁을 해야 발전이 더 생깁니다.

 

그런데, 논문에서는 Generator 한 번 똑똑하게 학습시킬 때, Discriminator를 몇 번 더 학습시켜야 따라오기에 그렇게 한 것이라고 합니다.

 

어떻게 보면 D에게 조금 더 학습할 weight를 준 것입니다.

 

어째튼 밸런스가 중요하다는 것입니다.

 

 

 



 

위 그림에서 보시면,

 

연두색이 fake data의 분포라고 보시면 됩니다.

 

그리고 p는 real, D는 탐정입니다.

 

generator와 discriminator를 보면 둘 다 잘 생성하고 탐지해내지 못하는 모습이 (a)에서 보입니다.

 

epoch을 진행하다보면,

 

real과 fake를 구분하기 위한 확률 값이 D입니다.

 

After updating D이기 때문에, 그 값이 위 (b)에서는 잘 구분합니다.

 

 

그 다음 이런 탐정도 속일 수 있는 G를 upgrade시킵니다.

 

After updating, fake가 조금 더 real에 갖다 붙게 됩니다.

 

이것을 무수히 반복시키다보면 real과 fake가 같아지는, 즉, 위 Discriminator 입장에서는 real과 fake가 같아지는,

 

p_g == p_data == 0.5인 수준이 됩니다.

 

 

아래 그림을 봅시다.

 

GAN으로 만들어낸 sample입니다.

 

정말 입력으로 random gaussian noise를 넣고, network를 넣고 학습시켰더니 위와 같은 것들이 나왔다는 것입니다.

 

학습을 위 과정과 같이 시키고,

 

random gaussian noise를 주면 위와 같은 그림을 생성해낸다는 것입니다.

 

이것의 궁극적인 목적은, 좋은 generator를 만들어내는 것이라고 볼 수 있습니다.

 

 

이것은 아무런 random vector만 주면, 우리가 원하는 어떠한 것도 만들어낼 수 있습니다.

 

그래서 GAN으로 정말 많은 것을 해낼 수 있습니다.

우선 우리가 일반적으로 알고 있는, MLP, CNN. Backpropagation과 같은 이러한 technique이 쓰일 수 있다는 것입니다.

 

그대로 가져다 쓰죠.

 

그러한 것들을 가져다 쓰다보니,, 가정, 분포, 근사와 같은 것들이 필요없어집니다.

 

분포 추정 시 어려운 점들이 발생하지 않습니다.

 

그리고 수식도 정말 좋습니다.

 

 

여기서 시사하는 점은, 우리가 알고 있는 MLP 몇 개 갖다 붙여서, 우리의 목적에 맞게 loss만 잘 만들면, 학습은 Backpropgation이 알아서 잘 해주니, 정말 엄청난 활용도를 가지고 있는 것이 Neural Network라는 것을 다시 한 번 일깨워 준 것입니다.

 

 

그런데 단점은 G와 D의 밸런스를 잘 맞춰야 학습이 잘 되므로, 굉장히 sensitive합니다.

 

어느 하나가 더 파워풀해지면 안 됩니다.

 

똑똑한 녀석끼리 계속해서 서로를 속이며 강해져야합니다.

 

그래야 학습이 잘 이루어지는 것이라고 볼 수 있습니다.

 

 

Model collapse라는 것은, 너무 속이기 쉬운 데이터만 만들어낸다든지, 전체 데이터 영역을 보지 않고 한 부분에 꽂혀버리는 것입니다.

 

골고루 되지 않고 다른 model들이 다 무너지며 몇 개만 살아남게 되는 구조가 될 수가 있습니다.

 

결과적으로 G는 D만 잘 속이면 되는 문제이기 때문에,

 

D가 특정 부분에만 꽂히면 G도 그 부분에서만 속이게 되겠죠.

 

그런식으로, 이미지가 있다면 이미지 전체에 대해 판단해야하는데, 국소적인 영역만 가지고 D가 좋다거나 G가 좋다고 판단해버리는 것입니다.

 

이런식으로 모델이 이상하게 수렴되는 것을 model collapse라고 합니다.

 

그래서 단점은 학습시키기가 어렵다는 게 되겠습니다.

 

 

 

이렇게 Generative models을 살펴보았습니다.

 

이제 저자들이 practical method라고 하여 저자들이 딥러닝 모델을 쓸 때 단계를 아래와 같이 정리한 게 있습니다.

 

 

3가지 단계가 있습니다.

 

1. 성능지표와 관련된 목표를 세워라.

 

2. 하나로 다 할 수 있는 시스템을 만들어라.

 

3. 데이터에 기반해서 잘 개선해 나가라.

 

 

 

 

 

정확도에 따라 나눌 수도 있습니다.

 

 

 

그리고 위와 같이 문제에 따른 metric을 골라야 한다는 것입니다.

 

 

 

그리고 위와 같은 end-to-end system을 만드는 법도 나와있습니다.

 

SOTA를 사용하는 게 좋습니다.

 

 

MLP

 

CNN

RNN

 

그리고 RNN의 경우 activation func.을 tanh를 쓰는 게 좋겠죠.

그리고 training error가 높다면 위와 같은 것들을 검사해볼 수 있습니다.

 

그리고 test error가 높다면 위와 같은 것들을 검사해볼 수 있습니다.

 

이 딥러닝을 최종적으로 정리해보겠습니다.