[Self-Supervised Learning and Large-Scale Pre-Trained Models] Part 6

🧑🏻‍💻용어 정리
 
BERT

 

Self-Supervised Learning

• 사람이 직접 일일이 해줘야 하는 그런 labeling 과정이 없이도 원시 data만으로 어떤 머신러닝 model을 학습시킬 수 없을지에 대한 아이디어 model입니다.
• 입력 data만으로 입력 data의 일부를 가려놓고, 가려진 입력 data를 주었을 때, 가려진 부분을 잘 복원 혹은 예측하도록 하는, 그래서 주어진 입력 data의 일부를 출력 혹은 예측의 대상으로 삼아 Model을 학습하는 task가 되겠습니다.
• 이는 Computer vision 상에서 inpainting task를 예로 들 수 있습니다.
• 이 model은 특정 물체의 특징들을 잘 알고 있어야만 이 task를 잘 수행할 수가 있게 됩니다.
• 이러한 대규모 Data로 자가 학습된 Model은 우리가 원하는 특정 Task를 풀기 위한 Transfer learning 형태로 활용될 수 있습니다.
• 앞 쪽에서는 학습시키고자 하는 data들을 추출하도록 학습 되었을 것이고, 뒤로 갈 수록 직접적으로 주어진 특정 task들, inpainting이나 직소 퍼즐 task에 직접적으로 관련이 되는 그런 정보들을 위주로 학습이 될 것입니다.
• 자연어처리 쪽에서 많이 성공을 거두었습니다.

 

BERT (Pre-training of Deep Bidrectional Transformers for Language Understanding)

• transformer model을 기반으로, bidrectional이라는 말은 Language modeling task에서의 masked language modeling에 해당하는 의미를 갖고 있고, 추가적인 자가 지도 학습 task로서, Next sentence prediction task라는 두 가지 task로 자가 지도 학습을 수행하게 됩니다.
• transformer model에서의 encoder라고 생각하면 됩니다.
• 이 BERT model을 self-supervised learning이라는 task의 형태로 학습시키기 위해서 대규모 Text data를 학습 Data로 사용합니다.
• 입력 문장을 BERT model의 입력 sequence로 제공해 주되, self-supervised learning에서의 기본 개념인 입력 data의 일부를 가려주고 그걸 예측하도록 하는 그런 관점에서, 입력 문장의 일부 단어들을 mask라는 특별한 Special token으로 대체해줍니다.
• 원래 어떤 단어가 들어가야하는지 맞추는 그런 task로 학습하게 됩니다.
• 또, 여러 문장이 주어졌을 때, fine-tuning에서 활용할 수 있도록, self-supervised learning하는 pre-training 단계에서도 두 문장이 의미 관계가 밀접하게 주어져 있는 그런 문장인지 혹은 그렇지 않은지 Next sentence prediction을 수행하게 됩니다.
• 두 문장 사이의 special token인 separator token을 추가해주고, 문장 마지막에도 추가하여 문장간의 구분과 끝을 model에게 알려줄 수 있도록 하고, CLS라는 classification token을 가장 첫 time step에 추가해서 BERT model에 입력 sequence로 주게 됩니다.
• 전체 sequence를 잘 반영해서 필요한 정보들을 잘 encoding한 Hidden state vector 들을 각 단어별로 만들어주게 되고, CLS가 encoding된 Vector가 있고, 나머지 mask에 해당하는 단어도 나름대로 encoding된 vector가 주어질 것입니다.
• 이 연속된 문장이 관련있을 법한 문장인지 아닌지를 binary classification을 하는 그러한 목적으로 CLS라는 token이 잘 encoding된 vector를 next sentence prediction이 Output layer에 입력으로 줘서 binary classification을 수행해 줍니다.
• mask로 감춰진 혹은 대체된 단어가 encoding된 Hidden state vector를 또 이제 Output layer에 입력으로 줘서 원래 단어를 맞추도록 하는 task로 학습이 진행됩니다.

 

두 가지의 BERT에 대한 과정은 다음과 같습니다.

 

 

Masked Language Model (MLM)

• 대상 단어 중 80%만 mask token으로 바꿔 입력 sequence로 바꿉니다.
• 15%개는 문제로 출제합니다.
• 결과적으로 encoding한 hidden state vector를 가지고 그 자리에 들어갈 단어가 무엇인지를 예측하도록 했을 때는 이것이 Mask로 대체된 단어 뿐만 아니라 다른 단어들도 최대한 유용한 정보를 잘 Encoding 하도록 model이 학습될 것입니다.
• 또 10% 정도는 단어를 그대로 두고 또 다른 단어가 들어올 수 있는지 맞추게 하는 식으로 학습을 진행하게 됩니다.
• 물어봄으로써 지금 주어진 것은 답이 아니겠구나라는 잘못된 패턴을 Deep Learning model이 배우지 않도록 그것을 방지하는 차원에서 원래 단어와 그대로 유지된 단어도 원래 단어가 맞다고 예측할 수 있도록 하는 masked language model을 설계했습니다.
• 15%의 비율로 실제 문제 출제 단어로 사용합니다.
  • 이것이 너무 적게 되면 학습 과정이 비효율적이게 될 수도 있기 때문에, 너무 크다면 빠르게 학습이 되지만 너무 많은 단어를 가리면 실제 정보가 부족하기 때문에 15%로 잡았습니다.
• 80% mask token, 10%는 random word, 10%는 그대로 둡니다.
  • 두 개의 문장을 SEP로 구분하여 주게 됩니다.

 

Next Sentence Prediction (NSP)

• CLS token이 특정한 encoding된 Hidden state vector로 나왔을 때, 이것을 Output layer에 통과해서 주어진 문장 두 개가 실제 original 문서에서 연속되게 등장했던 진짜 그 두 문장이었는지, 그렇다면 이 실제 두 문장이 next sentence 관계에 있다라고 할 것이고, 여러 document로부터 뽑아온 각각의 문장이라면 문맥이 잘 맞지 않을 것입니다.
• 두 개 문장 간의 문맥이나 관계를 잘 보고, CLS token으로부터 encoding된 Hidden state vector의 next sentence prediction task의 binary classification 결과가 next sentence인지 아닌지 예측하도록 학습이 진행됩니다.
• CLS는 필요로 하는 그 정보들을 주어진 입력 sequence 내에 self-attention module을 통해 정보들을 잘 추출해 오도록 이러한 방식으로 학습이 진행됩니다.

 

Details of BERT

• Model Architecture
  • BERT BASE      // 깊은 Layer를 가짐
  • BERT LARGE
•  input representation
  • WordPiece embeddings
  • Learned positional embedding
  • CLS
  • Packed sentence embedding
  • Segment Embedding // positioning을 줌으로써 몇 번째 문장인지 구별 vector를 준다.
• Pre-training Tasks
  • Masked LM
  • Next Sentence Prediction
• Classificaiton의 카테고리들은 해당 단어의 품사를 예측하도록 하는 이런 word level의 classification task의 fine-tuning 형태로 BERT model을 활용할 수가 있게 됩니다.
• 문장 level에서 긍정 또는 부정의 classification을 수행하는 경우에, CLS token의 encoding된 값을 입력으로 주어 추가적인 fully-connected layer 하나를 달아서 긍정인지 부정인지 예측하도록 하는 fine-tuning task를 수행합니다.
• 다수의 문장을 보고 예측하는 Target task도 존재할 수 있습니다.
  • netural language inference task 
    • MultiNLI
  • CoLa
• 기계 독해
  • 질문과 답을 포함하는 paragraph 주어집니다.
  • 지문내에서 특정 단어들을 추출해야합니다.
    • scalar 값들을 logit 값으로 활용해서 softmax에 입력으로 주고 거기서 주어진 지문 단어들을 대상으로 classification을 수행하게 됩니다.

 

 

GPT (Generatvie Pre-Training Transformer task)

• GPT model의 경우도 Transformer를 사용하였다.
• Transformer에서 decoder model을 사용합니다.
  • decoder model 의 가장 큰 특징은 masked self-attention이라는 것이 있습니다.
  • 기본적으로 auto-regressive한 주어진 입력 sequence에 대해서 현재 time step에서 다음 time step에 나타날 단어를 예측하는 task를 수행합니다.
• work level의 language modeling task를 학습하는 것이 GPT model의 핵심 idea가 됩니다.

 

• GPT-2 : Language Models are Unsupervised Multi-task Learners
  • transformers에서의 self-attention block을 굉장히 깊이 쌓아서 model size를 굉장히 키웠습니다.
  • model 학습에 있어 굉장히 많은 양의 text data를 사용했습니다.
  • 양질의 Data를 최대한 사용했을 때 다음 단어 예측이 더 유의미한 것을 사용할 것이라는 것을 통해, 어떤 커뮤니티에서 질문의 답을 통해 최소한 3개 이상의 좋아요를 받은 것에 대해 링크가 포함되어 있을 때, 링크를 타고 들어가, 링크 내의 문서를 실제 학습 data로 수집해서 이 data를 대상으로 language modeling task를 학습했습니다.
  • zero-shot setting에서의 down-stream task 에 바로 적용할 수 있는 능력을 보여주었습니다.
    • TLDR (Too Long Didn't Read)를 보고 뒤를 요약해야한다는 판단을 합니다.
    • 학습 데이터를 쓰지 않았음에도 summarization task를 하여 zero-shot이라는 이름이 불리게 되었습니다.
• GPT-3
  • decoder 그대로 계승하고 학습 data는 훨씬 커졌고, 이전보다 엄청나게 많은 layer 수를 가지고 약 1,750억개의 Parameter를 가지는 그러한 transformer decoder model을 학습한 것입니다.
  • 이 model은 zero-shot과 더불어 Few-shot learning의 사례로 보여줄 수 있는 능력을 보여줍니다.
  • 다음에 나타날 단어를 불어로 번역해줘와 같은 지시가 가능. 이런 것이 zero-shot learning입니다.
  • GPT-2에서도 가능하지만 학습데이터 없이는 제한적이기 때문에,  GPT-3에서 글의 일부를 제공해줌으로써 language modeling task 자체를 바로 task에 활용하는 사례입니다.
    • zero-shot에 비해 학습 데이터를 하나 주어서 수행하면 one-shot learning task이고 몇 개 더 준다면 few-shot learning이 됩니다.
    • few-shot learning의 성능이 꽤 좋다고합니다.
    • 이 예시를 몇 개를 주어서 이 GPT-3라는 고정적인 Model이 가장 잘 학습되는지에 대한 task를 prompt tuning이라고 합니다.
• GPT model의 language modeling 능력을 활용해서
  • 글의 뒷 부분을 창작하는 용도로 활용할 수가 있습니다.
  • Copilot
    • GPT-3 model을 가져와서 프로그램 Data에 집중하여 GPT-3 model을 fine-tuning한 프로그램의 자동완성 task를 잘 구현하도록 하였습니다.
  • 한글 data에도 많은 시도가 있습니다.
    • HyperCLOVA model

 

Model의 size는 점점 커지고 요구 data도 점점커집니다.

 

GPU 사용량도 점점 커지고 있습니다.

 

하나의 Model이 여러 용도로 바로 사용될 수 있는 model이 늘어남에 따라, 범용 인공지능으로서 한 Model이 여러 task들을 잘 할 수 있는 유용한 형태로 기술이 발달하고 있습니다.