[Computer Vision] Quantization & Pruning

🧑🏻‍💻용어 정리

Computer vision
Quantization
Pruning

 

 

Quantization & Pruning

 

출처 : https://nni.readthedocs.io/en/stable/compression/overview.html

 

이 Quantization이 왜 필요할까요?

 

결국 나오게 된 이유는,

 

computation과 memory를 조금만 사용하면서 비슷한 accuracy를 내고싶다는 것입니다.

 

이것이 가장 큰 욕망이죠.

 

 

한편,

 

CNN이 MLP 보다 우수한 이유는,

 

MLP는 edge 개수만큼의 parameter의 개수가 요구되지만,

 

CNN은 일부의 parameter sharing 등의 성질로 인하여 memory를 조금 사용합니다.

 

그리고 spare connection을 통해 조금의 weighted summation을 한다는 것입니다.

있습니다. 따라서, 이러한 기법을 사용할 때는 항상 세심한 주의를 기울여야 합니다.

이것이 핵심이죠.

 

여기서 CNN과 MLP를 비교한 이유가 무엇일까요?

 

 

결국 위에서 언급한 parameter sharing과 spare connection의 성질을 통해 CNN은 MLP보다 computation도 더 적게하고, memory도 조금 소모한다는 것이죠.

 

그런데 성능은 더 좋습니다.

 

그 이유는 Regularization 효과도 있고, 이미지 처리에 있어 전체를 보는 것이 아닌 local 부분의 것들을 살피는 것이 더 좋은 접근법이라는 것이 밝혀진 부분입니다.

 

 

 

 

 

 

 

 

 

"Quantization(양자화)"과 "Pruning(가지치기)"는 딥 러닝 모델의 효율성과 사용 가능성을 향상시키는 두 가지 중요한 기법입니다. 이 두 가지 기법이 필요한 주요한 이유는 다음과 같습니다.

모델의 크기 감소: 딥 러닝 모델들은 수백만, 때로는 수십억의 매개변수를 가질 수 있습니다. 이렇게 큰 모델은 많은 저장 공간을 필요로 하며, 다운로드 시간이 길고 배포가 어려울 수 있습니다. 양자화와 가지치기를 사용하면 모델 크기를 줄일 수 있습니다. 특히, 양자화는 각 매개변수가 차지하는 비트 수를 줄임으로써 모델 크기를 줄일 수 있습니다. 반면, 가지치기는 중요도가 낮은 매개변수를 제거함으로써 모델의 크기를 줄입니다.

계산 효율성 향상: 더 작은 모델은 더 빠르게 실행될 수 있습니다. 이는 적은 양의 컴퓨팅 리소스에서 더 효율적으로 동작할 수 있음을 의미합니다. 이러한 특징은 특히나 에지 컴퓨팅 환경(예: 스마트폰, IoT 디바이스)에서 중요합니다.

에너지 효율성 향상: 모델 크기 감소와 계산 효율성 향상은 에너지 소모도 줄일 수 있습니다. 이는 배터리로 작동하는 디바이스에서 매우 중요한 요소입니다.

과적합 감소: 가지치기는 모델이 학습 데이터에 과적합되는 것을 방지하는 데 도움이 될 수 있습니다. 이는 모델이 일반화 능력을 향상시키는 데 도움이 됩니다.

딥 러닝의 관점에서 볼 때, 이러한 기법들은 모델의 성능을 유지하면서 효율성을 크게 향상시킬 수 있는 훌륭한 도구입니다. 하지만, 모든 상황에서 양자화와 가지치기가 이상적인 해결책은 아닙니다. 이 기법들은 항상 트레이드오프를 포함하며, 때때로 모델의 예측 성능이 떨어질 수도 있습니다. 따라서, 이러한 기법을 사용할 때는 항상 세심한 주의를 기울여야 합니다.