[Paper Review] PCN(Predictive Coding Network) - Background, Abstract

https://arxiv.org/abs/1802.04762

Deep Predictive Coding Network for Object Recognition

 

Deep Predictive Coding Network for Object Recognition

Haiguang Wen, Kuan Han, Junxing Shi, Yizhen Zhang, Eugenio Culurciello, Zhongming Liu

 

해당 논문 리뷰는 위 링크의 논문을 리뷰한 것입니다.

 

오류나 내용 정정 요청에 대한 문의는 언제나 환영입니다.

 

배경지식

 

먼저 Abstract를 살펴보기에 앞서, neuroscience의 "Predictive Coding"이라는 이론을 먼저 살펴보겠습니다.

 

이는 해당 이론의 배경지식이 됩니다.

 

Predictive Coding

 

이 Predictive Coding이라는 이론은 neuroscience에서 대두되었습니다.

 

 

Predictive coding offers a potentially unifying account of cortical function – postulating that the core function of the brain is to minimize prediction errors with respect to a generative model of the world. The theory is closely related to the Bayesian brain framework and, over the last two decades, has gained substantial influence in the fields of theoretical and cognitive neuroscience.

위 글은 

https://arxiv.org/abs/2107.12979

Predictive Coding: a Theoretical and Experimental Review

논문의 Abstract의 초반부를 발췌해온 것입니다.

 

한국어로 봅시다.

 

"Predictive Coding"은 뇌의 핵심 기능이 세계의 생성 모델과 관련하여 예측 오류를 최소화하는 것이라고 가정하여 피질 기능에 대한 잠재적 통합 설명을 제공합니다.

 

이 이론은 베이지안 뇌 구조와 밀접한 관련이 있으며 지난 20년 동안 이론 및 인지 신경과학 분야에서 상당한 영향력을 얻었습니다.

 

간단히 설명하자면,

 

 

"Predictive Coding"은 우리가 세상을 살면서 경험하게 되는 모든 것이라고 할 수 있습니다.

출처 : https://stjohngrimbly.com/intro-to-predictive-processing/

우리는 매순간 예측을 합니다.

 

길을 걸을 때도, 공부를 할 때도, 게임을 할 때도, 스포츠를 즐길 때도 말입니다.

 

이러한 real world에 대한 예측을 최소화시켜 우리가 소위 '일상 생활'을 살게 합니다.

 

그리고 이러한 것들에 대한 통합적인 설명을 제공합니다.

 

즉, 우리가 보고, 듣고, 맛보고, 맡고, 만지는 모든 것인 세상을 형성하는 생성 모델이 뇌라는 것입니다.

 

이 배경지식으로 다음과 같이 읽어봅시다.

 

 

Abstract

 

결국 앞서 말씀드린 바와 같이 "Predictive Coding Theory"는 NeuroScience에서 나온 이론입니다.

 

이 논문의 저자들은 deep predictive coding networks(PCN)을 디자인 했습니다. 이 모델은 bi-directional and recurrent neural net의 특성을 가집니다.

 

이하 PCN으로 부르겠습니다.

 

PCN은 다음과 같은 구성요소가 있습니다.

• Feed-forward
• Feed-back
• Recurrent Connections

 

Feed-forward는 CNN에서 흔히 보이는 것입니다.

 

출처 : https://www.researchgate.net/figure/Regular-NN-and-CNN-a-An-example-of-regular-feedforward-neural-network-represented-by_fig1_331717561

 

feedforward connection은 prediction error를 그것의 higher-layer에 전달합니다. 그리고 feedback connection은 higher-layer로부터 lower-layer에 representations의 예측을 전달합니다. PCN은 반복적인 bottom-up and top-down prediction을 모든 layer에서 수행하며 cycle을 늘려나갑니다.

그리고, PCN은 그 과정속에서 내부 representations을 update하고, bottom-up input과 top-down prediction의 차이를 줄여나갑니다.

 

모든 cycles이 지난 후, representation은 image classification을 위해 사용됩니다.

 

benchmark data인 CIFAR-10/100, SVHN, and MNIST 을 통해 학습이 이루어지며,

 

PCN은 논문이 쓰여진 2018년 기준 feedforward-only인 model에 비해 항상 좋은 성능을 내놓았습니다.

 

feedforward-only model은 recurrent dynamics가 없는 Model입니다.

 

PCN의 성능은 cycles의 수가 많아질 수록, 계산량이 증가하여 성능이 향상 되었습니다.

 

결국, PCN은 bottom-up and top-down processes인 single architecture를 반복하여 수행합니다.

동적 시스템으로서 PCN은 시간이 지남에 따라 점점 더 깊어지는 피드포워드 모델로 전개될 수 있으며, 보다 정확하고 명확한 객체 인식을 위해 표현을 정제할 수 있습니다.

 

Abstract의 내용은 아래와 같습니다.

 

 

Based on the predictive coding theory in neuroscience, we designed a bi-directional and recurrent neural net, namely deep predictive coding networks (PCN). It has feedforward, feedback, and recurrent connections. Feedback connections from a higher layer carry the prediction of its lower-layer representation; feedforward connections carry the prediction errors to its higher-layer. Given image input, PCN runs recursive cycles of bottom-up and top-down computation to update its internal representations and reduce the difference between bottom-up input and top-down prediction at every layer. After multiple cycles of recursive updating, the representation is used for image classification. With benchmark data (CIFAR-10/100, SVHN, and MNIST), PCN was found to always outperform its feedforward-only counterpart: a model without any mechanism for recurrent dynamics. Its performance tended to improve given more cycles of computation over time. In short, PCN reuses a single architecture to recursively run bottom-up and top-down processes. As a dynamical system, PCN can be unfolded to a feedforward model that becomes deeper and deeper over time, while refining it representation towards more accurate and definitive object recognition.

 

 

여기서 우리는 현재 이미지 인식 분야에서 활발하게 연구중인 CNN 구조가 biologically하게 human visual cortex를 본따서 만들어 졌지만,

 

그럼에도 불구하고 사람은 CNN과 같이 엄청나게 많은 hidden layer 처리가 없으며, 무엇보다도 feedback과 recurrent connection들이 존재한다는 것입니다.

 

이러한 내용들을 기억하고 더 많은 내용들을 살펴봅시다.