[Computer Vision] Pixel-wise Operation - Histogram equalization

🧑🏻‍💻 Topic 정리

- Arithmetic operation
- Image histogram
- Histogram stretch
- Histogram equalization

 

이번엔 수동이 아닌 자동으로 image의 contrast를 올리는 방법에 대해 배우겠습니다.

 

 

지난 시간, 이 부분에 대해서 우리는 값이 몰려있는 부분에 대해서 Contrast가 낮나고 합니다.

 

이 contrast가 낮은 부분에 대해서 높여주어야 합니다.

 

그래야 더 좋은 image 결과가 나올 수 있습니다.

 

그 방법을 자동으로 하는 것이 오늘 배울 내용이 되겠습니다.

 

 

Histogram Equlization

 

주어진 input image의 gray level distribution을 가능한 최대한 uniform하게 만듭니다.

 

이 과정을 histogram 평활화라고도 합니다.

 

출처 : https://cvexplained.wordpress.com/2020/08/26/histogram-equalization/

 

위와 같은 과정으로 이루어집니다.

 

기존 값에 대해서 x축은 0 ~ 255사이의 값이 되고 그 값들의 분포가 histogram으로 그려진 것입니다.

 

 

가장 중요한 것은 사람의 관여 없이 자동으로 해준다는 것입니다.

 

이것들에 대해 contrast가 낮은 것을 contrast가 높도록 해줍니다.

 

또, 중요한 것은,

 

input image의 pixel value가 이상적으로 완전히 균일하게 바뀐다는 것이고,

 

이 과정에서 어떠한 Transformation function이 필요한지 보는 것입니다.

 

 

 

위 과정을 봅시다.

 

우리가 원래 가지고 있던 input pixel histogram에 대해서 더 uniform하게 바꾸어 contrast를 높이는 것이 목적이 됩니다.

 

위 수식에서 기존의 pixel value r 값에 대해 Transformation function T를 지나 새로운 pixel value s를 만들어냅니다.

 

이러한 transformation function을 잘 찾아내서 uniform한 구조를 만들어 내는 것이 중요해집니다.

 

 

 

먼저, 이 경우에 있어 Continuous case를 보겠습니다.

 

• histogram을 probability density function인 PDF를 살펴봅니다.

 

위 그림과 같이 Transformation function을 통해서 아래와 같이 우리가 원하는 uniform한 function으로 바꿉니다.

 

출처 : https://en.wikipedia.org/wiki/Histogram_equalization

 

이것이 목적이 됩니다.

• 면적은 1이며, 0 ~ 255 사이의 값이 0 ~ 1 사이의 값, continuous하며 넓이가 1인 값으로 바꿉니다.
• 이 과정이 Histogram equlization입니다.

 

무슨말일까요?

 

그래서 위 continuous case를 자세히 살펴봅니다.

 

먼저, f_R(r)의 값은 무엇일까요?

 

위 아래쪽에 그려진 그래프를 봤을 때, 기존 image에 대해서 r의 값의 분포를 나타내는 것이 됩니다.

 

그래서 f_R(10) = 5라고 한다면, 0 ~ 255 중 10의 밝기를 가진 값이 5개가 존재한다는 뜻이 됩니다.

 

그리고 이 histogram equalization을 마친 결과로 f_S(s)를 볼 수 있습니다.

 

이것은 기존 pixel vaule들에 대한 균등화가 이루어져 uniform에 가까운 분포를 나타냅니다.

 

 

그런데, 이 f_S(s)의 입력으로 들어가는 것은 기존 pixel vaule인 r이 아닌,

 

r을 trasnformation function을 거친 s = T(r)이 됩니다.

 

 

결국, 이 Transformation function을 거쳐서 old pixel value를 new pixel value로 바꿔주게 되는 것입니다.

 

 

아래 그림을 다시 봅시다.

아까 분명 0 ~ 255의 histogram을 보았는데 이것은 0 ~ 1입니다.

 

그저 255로 나눈 것 뿐이니 쫄 필요는 없습니다.

 

결국 우리는 좌측의 분포를 오른쪽처럼 균등하게 만들어주고 싶은 것입니다.

 

여기서 이 아이디어가 나옵니다.

 

위 그래프에 대해서 조금의 dr * f_R(dr) 부분과 f_S(ds) * ds 부분을 일치시켜 나가겠다는 뜻이 됩니다.

 

여기서 0부터 dr까지 가며 f_R(r)의 값인 높이 부분이 계속 커지게 되겠죠.

 

그때 그 넓이와 0부터 ds까지 f_S(s)의 넓이가 같아야 합니다.

 

 

그래서 아래와 같이 

 

주어진 조건들을 이용해서 우리는 아래와 같은 식을 유도할 수 있습니다.

 

 

결국 f_R(r)의 값은 그 pixel 값 r에서의 Transformation function의 미분값이 됩니다.

 

이것으로부터 우리는 f_R(r) = ds/dr이라는 것을 알게 되었고, 즉 ds에 대한 dr의 변화량이 f_R(r)이라는 것이 됩니다.

 

 

 

이 것을 적분하면,

 

old pixel value r에 대한 새로운 pixel value s의 값은, f_R(r)의 0 ~ r까지의 적분 결과, 즉 histogram의 넓이 결과라는 것을 알 수 있게됩니다.

 

 

pixel에는 음의 값이 없기 때문에 0 ~ r의 값으로 표현하며, 이 transformation function은 monotonic increasing function이 됩니다.

 

그리고 이 input image의 histogram에는 input의 값이 pixel 값으로 다시 discrete한 값으로 표현해야합니다.

 

그 이유는 이미지 처리에 있어서 값들은 모두 연속적이지 않기 때문이죠.

 

 

• 이 과정에서 중요한 것은, Transformation function은 Monotonic increasing function이어야 한다는 것입니다.
• 즉, 꾸준히 증가하며 낮아지는 구간은 없어야 합니다.

결국 이렇게 우리가 가지고 있는 pixel 값 r에 대해서 transformation function을 구하여 해당 function에 넣으면 새로운 pixel 값 s를 알게 됩니다.

 

 

그리고 또 우리가 알아야 하는 것은 원래의 pixel 값에 대한 빈도에 대한 값이 균등화가 이루어진 후 어떤 값에 매칭 되어야 하는지이다.

 

 

 

 

Histogram Equlization - Discrete approximation

 

 

1. histogram을 구한다.

 

2. histogram을 총 픽셀수로 나눈다.

 

3. 누적 분포(CDF)를 구한다.

 

4. 누적 시킨 값에 gray level의 최댓값(255)을 곱한다.

 

5. 반올림 또는 버림을 하여 정수값으로 변환한다.

 

6. 구해진 정수값을 사용하여 histogram equailization 결과를 반환한다.

 

 

위와 같은 과정을 가진다.

위 과정에서, 우리는 histogram을 얻을 수 있다.

 

목적상 exactly uniform output을 가지려 했지만 정확하게 얻어지지는 않는다.

 

그리고, 사람이 직접 할 필요가 없어 automatically 하게 계산된다는 장점이 있다.

 

 

 

결국 Histogram equlization의 목적은,

 

너무 낮거나 높은 Pixel 분포에 몰려 있는 값들을 넓게 펴서 더 좋은 대비의 Image를 얻는 데 목적이 있다.