[NLP] Introduction to NLP

🧑🏻‍💻 주요 정리
 
NLP
The history of NLP
The field of NLP
Ambiguous
Sparsity
Variation

 

 

배경 지식

NLP란 무엇일까요?

 

https://google.com

 

구글에 검색해보면 위와 같은 결과를 얻을 수 있습니다.

 

영어로 보자면,

 

NLP(Natural Language Processing) is a field of computer science and artificial intelligence concerned with enabling computers to understand, interpret, and generate human language.

 

이렇습니다.

 

NLP의 목표?

 

목표하는 바는, 분석가능하고, 이해가능하며, human language를 구현할 수 있는 시스템을 만드는 것입니다.

 

NLP의 역사?

 

위와 같은 역사를 가지고 있습니다.

 

여기서 Statistical models이 있습니다.

 

이는 확률에 기반한 모델입니다.

 

 

 

그리고, 이곳에서 우리는 최근의 역사를 살펴볼 수 있습니다.

 

현재 OpenAI에서 개발한 ChatGPT라는 chat bot이 지금에서야 각광받는 이유는 무엇일까요?

 

사실 CNN, RNN의 이론들은 예전부터 존재했습니다.

 

그러나 최근 2013년부터 GPU를 이용한 병렬 연산이 가능해져, 이전에 이론상 CPU로는 연산할 수 없었던 것들이 가능해졌습니다.

 

그래서 지금에서야 generative mode인 Seq2Seq model이나, Attention, Pretrained Models, GPT-4와 같은 것들이 강력한 힘을 갖게 되었습니다.

 

 

NLP의 사용?

 

분야는 다음과 같습니다.

 

• Sentiment / Emotion analysis
• Machine translation
• Vision and language
• Chatbot, Conversational AI
• Question answering
• Text Summarization
• Code generation
• Story generation

 

 

위 분야들은, NLP 분야에서 자주 사용되며 연구 중입니다.

 

위 분야는 Classification NLP와 Generation NLP로 나눌 수 있습니다.

 

문장을 생성하는 Seq2Seq 같은 것이 Generation model이고, Classification model은 어떤 data에서 원하는 값을 가져오는 것입니다.

 

 

NLP를 이용한 APP?

 

위 분야에 대한 여러 가지 Application은 다음과 같습니다.

 

 

• DeepMoji
• Google Neural Machine Translation
• SQuAD
• Visual Question Answering
• Microsoft DialoGPT
• Google Meena
• Google PEGASUS
• Facebook AI Research TransCoder
• Github Copilot
• OpenAI GPT-4
• OpenAI Jukebox
• Protein folding problem
• OpenAI DALL-E2
• Google IMAGEN

 

 

 

NLP의 어려움?

 

NLP에는 어떠한 어려움이 존재할까요?

 

하나씩 살펴봅시다.

 

 

Ambiguous

 

Words have many meanings.

 

단어에는 많은 뜻이 있습니다.

 

 

 

우리가 먹는 밤도 존재하고,

 

 

 

 

 

 

 

 

 

밤하늘을 뜻할 때 쓰는 밤도 존재합니다.

 

 

 

 

 

 

 

 

 

 

이러한 의미의 모호성 속에서 NLP는 어떻게 발전할 수 있을까요?

 

 

 

 

 

Sparsity

 

 

우리는 문장을 구성할 때,

 

가장 많이 쓰는 단어가 있습니다.

 

이를 테면, "은,는,이,가", 등등..

 

영어에서는 "is", "the", "a" , etc..

 

그렇다면 통계학적으로 다음 단어를 예측함에 있어 우리는 위와 같은 단어들을 고를 수 밖에 없습니다.

 

이러한 Sparsity를 해결하기 위해, NLP에서는 어떤 방식을 사용했을까요?

 

 

 

Variation

 

우리는 생각을 거쳐서 말을 합니다.

 

그러나, 어떤 것이 더 좋은 문장일까를 항상 생각하지는 않죠.

 

격식을 차려야 하는 자리에서 우리는 어떤 것이 더 잘 쓴 문장일지를 생각합니다.

 

혹은 논문을 쓸 때도 그렇죠.

 

그렇다면, NLP에서는 어떻게 이를 해결할까요?

 

 

 

 

 

 

 

 

계속해서 알아봅시다.