[Ensemble Learning] part 6 - 1

🧑🏻‍💻용어 정리

Ensemble Learning
Expert
bagging
boosting
Random Forest
GBM

 

 

Ensemble Learning

• 이미 사용하고 있거나 개발한 알고리즘의 간단한 확장
  • Supervised Learning task에서 성능을 올릴 수 있는 방법
• 머신러닝에서 알고리즘의 종류에 상관 없이 서로 다르거나, 같은 매커니즘으로 동작하는 다양한 머신러닝 모델을 묶어 함께 사용하는 방식입니다.
• 여러 다른 model을 함께 모아 예측 model의 집합으로 사용하는 것입니다.
• 하나의 학습 model은 우리가 expert라고 표현할 수 있습니다.
• 다양한 model의 각 장점을 살려서 예측 성능을 향상할 수 있습니다.

• 예측 성능을 안정적으로 향상시킬 수 있다는 것이 장점입니다.
  • 하나의 model이 결정하는 것보다 다양한 여러 개의 model의 결정으로 최종 예측 결과를 제공하기 때문에 noise 등으로부터 보다 안정적입니다.
• 쉽게 구현이 가능합니다.
  • 여러 개의 model을 학습하고 거의 직접적으로 연합하여 적용을 하기 때문에 간편하게 사용할 수 있습니다.
  • model 들은 독립적으로 동작하기 때문에 model parameter의 tuning이 많이 필요 없습니다.
• 그러나 단점도 존재합니다.
  • 이 모델 자체로는 compact한 표현이 되기 어려운 문제가 존재합니다.

 

출처 : https://dict.naver.com/frkodict/#/search?range=all&query=ensemble

 

ensemble은 프랑스어로 "함께, 동시에, 한꺼번에 협력하여" 라는 의미가 있습니다.

 

 

Ensemble Methods

• 학습 data set을 random하게 S1부터 .. Sn까지 나누어서 학습을 진행하게 됩니다.
• 같거나 다른 학습 model로 구성됩니다.
  • 그래서, 같은 학습 data로 학습하는 것을 지양해야합니다.
• 최종 결정은 우리가 마지막에 학습한 다수의 model이 각각 결정을 내린 후 다수결로 최종 예측 결과를 제공하게 됩니다.

 

Ensemble 구성 가장 기본적인 요소 기술

• bagging
  • 학습 과정에서 training sample을 랜덤하게 나누어 선택해 학습하는 것입니다.
  • sample을 n개로 나누어 sub sample을 구성합니다.
  • 이렇게 나눠진 sub sample들은 Classifier 1, 2, 3,... n개를 학습하는 데 사용됩니다.
  • 서로 같은 model을 가질지라도 서로 다른 특성의 학습이 가능해집니다.
  • model을 병렬적으로 학습할 수 있게 됩니다.
  • 각 sample set이 다른 model에 영향을 미치지 않기 때문입니다.
  • Bagging == Bootstrapping + aggregating
    • Bootstrapping
      • 다수의 sample data set을 생성해서 학습하는 방식을 의미합니다.
      • 같은 model을 사용한다면 model parameter가 서로 달라져야 할 것이기 때문에 sample을 random하게 선택해야할 것입니다.
      • 그러나, 서로 다른 model을 사용하게 된다면 어차피 서로 다른 model 형태로 다르게 동작하기 때문에 같은 sample을 이용해도 될 것입니다.
      • 이런 과정을 m번 반복하면 m개 data set를 사용하는 효과가 있기 때문에 보다 더 noise에 robust하게 됩니다.
  • lower variance의 안정적인 성능을 제공하는데 유용합니다.
  • 만일, training sample의 숫자가 적거나 model이 복잡한 경우에 발생하는 overfitting의 문제에 대해서 sample을 random하게 선택하는 과정에서 data augmentation 효과를 가질 수 있고, 간단한 model을 집합으로 사용할 수 있기 때문에 안정적인 성능을 제공할 수 있습니다.

 

 

• boosting
  • Sequential하게 동작합니다.
    • 예를 들어, Classifier 1의 결과를 Classifier 2 학습에 적용합니다.
    • Classifier 1의 결과로 어떤 sample이 중요하고 어떤 sample이 중요하지 않은지 알 수 있습니다.
    • 그러한 결정에 weight를 주어서 다음 학습 과정에서, Classifier 2 학습에 적용할 수 있습니다.
    • 이렇게 이전에 동작한 Classifier들의 동작을 현재의 Classifier 결과를 향상하는데 사용할 수 있습니다.
    • Weak Classifier의 Cascading
      • Weak Classifier
        • Bias가 높은 Classifier
        • model 자체가 단순하여 Strong classifier에 비해 성능이 낮아서 혼자서는 무엇을 하기 어려운 model입니다.
        • 그러나 이러한 model을 "Cascading"하여 적용하게되면, 연쇄적으로 적용이 되어서 Sequential한 특성을 가지고 Classifier의 특성을 올릴 수가 있습니다.
  • 대표적은 Boosting Algorithm
    • Adaboost
      • base classifier에 의해서 오분류된 sample에 대해 보다 높은 가중치를 두어 다음 학습에 사용할 수 있게 합니다.
      • 간단하게 구현 가능합니다.
      • 특정한 학습 알고리즘에 구애받지 않습니다.
  • Bagging과 Boosting을 활용한 대표적인 알고리즘
    • Random Forest
      • 서로 다르게 학습된 Decision Tree의 결정으로 예측을 수행하기 때문에 전체적으로 Bagging을 통해 학습한다고 볼 수 있습니다.
    • Gradient Boostting Machine (GBM) 
      • 매 Node에서 결정이 이루어지기 때문에 위 Classification에 Sequential한 Boosting을 실행한다고 할 수 있습니다.
      • Machine Learning Competition에서 우수한 성능을 자랑합니다.