[ERP Decoding] The step toward mind reading

🧠 Key Words

fMRI
ERP scalp map
orientations

 

어떻게 사람의 마음을 읽을 것인가?

 

• 처음으로 접근한 것은 mind reading을 위해 visual orientation을 살피는 것이다.
  • Different orientations maximally stimulate different fMRI voxels in visual cortex.
  • 다른 orientation 자극에 대해 fMRI는 V1 영역에서 다른 부분을 나타낸다.
  • We might therefore expect slightly different ERP scalp distributions(i.e., voltage pattern over the scalp) for different orientations.
  • 그러므로 우리는 다른 orientation 자극에 대해 ERP도 분석에서도 ERP scalp map이 나르게 나타나는 것을 기대할 수 있다.
• 실험내용.
  • 16개의 orientations, Scalp distribution of ERP for 16 orientations.
  • EEG recording.
  • 해당 orientation을 주고 잠시 뒤 그 orientation을 피실험자가 찍도록 하는 것. 
• next 
  • ERP scalp distrubution with orientation label 16개에 대해 새로 구한 dataset인 scalp map을 비교하여 어떤 scalp map이 새로 구한 이 data와 가장 비슷한가를 본다.
  • 찾은 것은 label의 orientation이 60도 이면 새로 구한 data set의 orientation도 60도 일 것이다.
  • If the scalp distributions for different orientations are distinguishable,
  • and if the differences in the scalp distributions are systematic,
  • then we should be able to guess the orientation associated with this new scalp distributon.

 

 

Decoding orientation from the scalp distribution of ERP

출처 : https://erpinfo.org/blog/2018/9/16/decoding

 

 

• y축은 Decoding Accuracy, x축은 chance level로 time.
  • x축에서,
  • Stimulus Encoding
  • Working memory maintenance
  • Orientation report
  • 와 같은 순서로 이루어질 수 있다.
• If the scalp ERP contains no information about the orientation,
• then decoding accuracy should be at chance.
• ERP scalp가 orientation 정보를 포함하면 chance 이상이고, 아니라면 decoding accuracy가 chance level일 것이다.
• Gray area : Statistically significant time points.
• 그리고 자극을 보는 perceptual 기간과 자극을 기억하는 working memory 기간으로 나뉜다.
  • 위 gray area에는 working memory 기간만 통계적인 분석을 한다.
  • 뇌파를 통해 어떤 orientation을 기억하고 있는지 Decoding 할 수 있다.
• Spatial distribution of ERP contains information about orientation !
• orientation이 기억되고 있음을 보여준다.

 

 

정말 Orientation 별로 Decoding이 되는 걸까?

 

Confusion Matrix

• stimulus, classification, probability가 존재한다.
• 대부분의 orientation들이 다 Decoding 됨을 보여준다.
• Decoding was above chance for most of the orientations !

출처 : https://www.researchgate.net/figure/Confusion-matrix-for-the-temporal-orientation-classification_fig2_325447081

 

demonstration 이 완료 되었다.

 

이를 통해 우리가 뭘 할 수 있을까?

 

 

Experiment 2.

 

• 이번에는 기억해야하는 자극이 나오는 위치와 반응해야하는 것이 나오는 위치가 random으로 설정하였다.
• Attention을 보기 위함이다.
• Location of sample teardrop and test teardrop varied randomly every trial.
• Attending to this location is not a useful strategy.
• Orientation value와 Location value를 완전히 random하게 independent하게 실시했다.
• 이전 trial에 본 자극을 현재 trial에 decoding할 수 있나.
• Information of the previous-trial orientation mush be present during the current trial.
• The two orientations were independent.
• But the report of the current trial was biased by the orientation from the previous trial.
• Decoding 된다고 하면, 과거 시행이 현재에도 남아 았다.
• 이전 시행에 봤던 것이 현재 시행에서도 영향을 끼치는 것을 알 수 있다.
• Memory reactivation을 Decoding을 통해 알 수 있다.

 

• motion direction 과 같은 것에서도 가능. ( Continuous direction estimation task )
  • 정해진 시간에 motion direction 정보를 축적하여 방향을 맞추어야 함.
• ERP-based stimulus decoding:
• Spatial pattern of sustained ERP activity reflects both direction information and shift of attention.

 

• Decoding faces from the scalp distribution of ERP.
• ERP Decoding에서 Indentity or facial expression 둘 다 decoding 가능한가.
• We can decode ID independently of expression and expression independently of ID.

 

• Decoding Positive vs. Negative images
• 긍정, 부정 사진에 대해 어떠한 ERP 차이를 보일 것인가.
• 값 자체는 차이를 보이지 않지만, Decoding accuracy는 극명한 차이를 보인다.
• Barely any difference between positive and negative images.

 

• Why is decoding more sensitive than univariate ERP analysis?
• univariate 수준에서 판단하기 어려운 수준의 차이를 multivariate analysis에서 더 잘 구분할 수 있다.

 

Limitaions in the ERP decoding analysis

• Decoding is done from averaged ERPs
• 평균을 내서 판단하므로 공학적으로 한계가 존재함.
  • Single-trial decdoing is not reliable.
  • However, depending on the signal, reliable decoding may be possible.
• Decoding accuracy is far from 100%.
• Decoding accuracy가 낮은 것은 real world에서는 한계이지만 scientific한 것에서는 이용될 수 있다.
  • Suitable for answering scientific questions.
  • Not suitable for engineering applications.
• Usually, we do not see reliable correlation between decoding accuracy and behavioral performance.
• decoding이 좋으면 행동 능력이 좋을 것인가?
  • Individual differences in decoding accuracy are probably driven mainly by cortical geometry and signal-to-noise ratio.
  • 사람마다 다른 것 때문에 decoding에 차이가 있을 뿐, 행동 능력과는 관련 없다.
• We do not know which neural process is being used in the decoding.
• 어떤 Neural process가 decoding에 차이를 보이는지 알 수가 없다.
• 두 개 사이의 차이만 있으면 classify가 가능하고 이를 통해 above chance decoding이 가능하다.
  • 그러나 어떤 신호가 그것을 만들어 내는지는 알 수가 없다.

 

 

ERP Analysis와 ERP Decoding 두 개는 서로의 처리에 관해 영역이 다를 뿐, 둘 다 의미 있는 분석 방법이다.

 

 

How is decoding different from the standard approach ?

• We can separate signals associated with the representational contents from signals associated with contents-free support process.
• ERP는 프로세스를 보는 것으로, 프로세스가 ERP Amplitude가 어떤 것인지 알 수 없다.
• Decoding는 이와 다르게 content에 대한, 뭐가 지각되는지를 알 수 있다.

 

• Decoding answers the quesion "Does t he neural signal contain information about the stimulus?" with minimal assumptions about how the information is encoded in the neural signal
  • We do not know which neural process is being used in the decoding
• 이 ERP pattern이 어떤 정보를 가지고 있느냐. 차이가 존재하기만 한다면 분리하여 분석 가능하다. Assumption이 없는 것이 장점.
• 그러나 어떤 specific한 neural process가 decoding above chance를 만들어내는지는 알 수 없다.
• Decoding is done separately for each subject, whereas the standard approach looks for consistency across subjects.
  • Greater statistical power in basic science research.
• Decoding은 subject 마다 따로 이루어진다.
• Individual difference가 영향이 없지만, ERP에서는 중요하다.
• Decoding은 각각 분석이 되기 때문에 individual difference가 있다고 하더라도 효과가 적게 된다.
• 이 차이를 보기 위해 Effect Size를 본다.

 

 

만약 Decoding이 above chance가 아니라면 ?

• If decoding accuracy of one condition/group is worse than another, this may be because the data are noisier in that group/condition.
• Decoding accuracy depends on Signal-to-Noise ratio of th data
• Decoding 결과 조건 A 보다 B에서 패턴이 더 강했을 것이다 라는 것은, 결과를 다르게 표현한 것 뿐.
• 왜 높은지는 알기 힘들다. Decoding은 어떤 차이든 다 반영하기 때문이다.
• Decoding accuracy는 Signal-to-Noise의 비율에 의해 결정이 되기 때문에, 
  
  • Signal is the distance between the mean values between conditions in the multidimensional space.
  • Noise is the spread of the data within each condition.
  • Lower decoding accuracy for one condition/group may be driven by the same level of single but higher level of noise.

 

Interpretation issue

• Through decoding analysis, we are looking at a correlation between brain activity and the stimulus category.
  • Above-chance decoding means that 'any' differences in the stimulus category is correlated with the neural activity.
  • 어떤 단순한 차이도 decoding 결과에 영향을 준다.
  • 그러니 주의가 필요하다.
• When possible, decoding-irrelevant feature dimension of the stimulus should be controlled.

 

Understand complex human cognition

• ERP로부터 decoding할 수 있는 것.
• What can we decode from ERPs. 
  • Location and Orientation
  • The orientation from the previous trial
  • Face identities and expressions
  • motion directions
  • positive vs negative valence of images
  • letters
• standard ERP와 Decoding 는 차이점이 있다.
• How is decoding better/different from the standard ERPs analysis?
  • Decoding is more sensitive than ERP analysis.
  • Decoding is done separately for each subject, whereas the standard approach looks for consistency across subjects.
  • Grater effect size.
• Limitations in the decoding analysis.
  • 'any' differences between conditions potential produce above chance decoding.
  • Decoding irrelevant feature dimensions should be controlled/counter-balanced.