[XAI] 설명가능한 AI (Explainable AI)

🧑🏻‍💻용어 정리
 
XAI

 

자율주행, 의료 인공지능 및 여러 가지 요소가 인간에게 직접 영향을 미치는 것에 대해 필요해집니다.

 

왜 AI가 이러한 결과를 내었는지 설명이 필요해졌습니다.

 

XAI 기법

• 모델/데이터셋의 오류 색출
• 모델이 얼마나 편향되었나
• 자율주행 자동차가 어떻게 잘못 인식하여 그러한 예측 결과를 내었는가
• COVID-19 X-ray 검출

 

 

어떻게 해야 설명 가능성을 높일 수 있을까?

• Local한 방법
  • 주어진 특정 데이터에 대한 예측 결과를 개별적으로 설명하려는 방법
• Global한 방법
  • 전체 데이터셋에서 모델의 전반적인 행동을 설명하고자 하는 방법

 

• White-box 방법
  • 모델의 내부 구조를 정확하게 알고 있는 상황에서 설명을 시도하는 방법
• Black-box 방법
  • 단순히 모델의 입력과 출력만 가지고 설명을 시도하는 방법

 

• Instinsic
  • 모델의 복잡도를 훈련하기 전부터 설명하기 용일하도록 제안한 뒤 학습을 시켜서 그 후 학습된 모델을 가지고 설명하는 방법
• Post-hoc
  • 임의 모델의 훈련이 끝난 뒤에 이 방법을 적용해서 그 모델의 행동을 설명하는 방법

 

• Model-specific
  • 특정 모델 구조에만 적용이 가능
• Model-agnostic
  • 모델의 구조와 관계없이 어느 모델에도 항상 적용

 

 

Linear model ,  Simple Decision Tree

 

- Global, White-box, Intrinsic, Model-specific

 

 

Grad-CAM

- Local, White-box, Post-hoc, Model-agnostic

 

 

Saliency map-based

 

입력에 대한 모델의 Gradient로 설명을 제공하는 것이 가장 간단합니다.

 

Gradient가 크다면 해당 픽셀이 출력 값에 영향을 많이 미치는 것이므로 중요하다고 볼 수 있습니다.

 

그리고 Back Propagation으로 쉽게 계산할 수 있기 때문에 구현상으로도 간단히 구현할 수 있다는 이점이 있습니다.

 

 

• Strength
  • Back Propagation을 통해 쉽게 계산 가능합니다.
• Weakness
  • shattering gradient problem 으로 인해 noisy 가 발생할 수 있습니다.

 

• 이 noisy를 없애기 위해 SmoothGrad라는 방법이 제시되었습니다.
  • Gradient를 구하는 것을 여러 번 하여 gradient들의 평균으로 설명을 제시하는 방법입니다.
  • 깔끔하게 설명할 수 있다는 장점이 있습니다.
  • 대부분의 Saliency-map 기반 방법들에도 적용 가능합니다.
  • noisy를 섞는 횟수 만큼 Deep Learning model의 forward-backward pro

---

 

• Class Activation Map (CAM)
• Weakly Supervised Learning
• Grad-CAM

 

• LIME(Local Interpretable Model-agnostic Explanations
  • Block-box
• Influence function

---

 

• 예측에 대한 설명
  
  • Human-based visual assessment
    • 시간 많이 듦
• Human annotation
• Pixel perturbation
  • AOPC (Area Over the MoRF Perturbation Curve)
  • Insertion
  • Deletion
• ROAR (Remove and Retrain)
• Model randomization
• Adversarial attack
  • softplus
• Adversarial model manipulation