[Computer Vision] Pixel-wise Operation - Histogram stretching

🧑🏻‍💻 Topic 정리

- Arithmetic operation
- Image histogram
- Histogram stretch
- Histogram equalization

 

컴퓨터 비전 분야 중 Pixel-wise operation을 위와 같은 차례로 알아보겠습니다.

 

 

시작합니다.

 

Arithmetic operation

연산에 대한 식을 나타냅니다.

 

위와 같은 산술 연산을 통해 image가 어떻게 달라지는지를 살핍니다.

 

input image가 I, output image가 O일 때,

 

f라는 함수를 적용했을 때 새로운 image O가 나오게 되는 것입니다.

 

intensity는 흑백 image에서 pixel 값으로 많이 쓰입니다.

 

pixel은 uint8 자료형을 사용하기 때문에,

• Input pixel intensity I -> Output pixel intensity O
  • O = f(I)
  • I : input intensity
  • O : Output intensiry
  • f(I) = I + 128 or f(I) = I - 128

 

아래 128을 더하고 빼는 식의 아래와 같은 결과 그래프를 볼 수 있습니다.

 

그냥 0부터 255까지의 lienar graph를 가지는 값에 대해 위와 같은 결과를 가지게 됩니다.

 

pixel 값은 uint8 자료형으로 0 ~ 255로 나와있습니다.

 

그래서 x축의 값들에 대해 128을 더하면 위와 같이 output pixel 값들이 255를 초과하는 것들은 모두 255로 값이 결정됩니다.

 

우측 또한 마찬가지로 음수에 해당하는 pixel 값은 없으니 음수에 해당하는 값은 모두 0으로 나오게 됩니다.

 

 

그래서, 값을 키우게 되면 밝아지고, 값이 줄어들면 어두워집니다.

이러한 결과를 갖습니다.

 

 

그리고 이외에도 multiplication and division을 사용하여 조절할 수 있습니다.

이번 그래프는 x축과 y축이 위의 것과 반대입니다. 잘 살펴야합니다.

 

첫 번째 것은 pixel이 반으로 줄었기에 어두워진 것을 볼 수 있습니다.

 

두 번째 것은, pixel이 2배 커졌으므로 밝아진 것을 볼 수 있습니다.

 

세 번째 것은,

전반적으로 밝아지되, 주변 pixel 값의 차이가 작습니다.

 

그래서 위와 같은 경우에 있어서 대비가 작다고 할 수 있습니다.

 

이 대비는 어떤 pixel 값 기준 주변간의 pixel 값에 대한 밝기 값 차이가 얼마나 나냐를 말하는 지표라고 보시면 됩니다.

 

많이 차이가 나면 대비가 높다, 차이가 별로 나지 않는다면 대비가 떨어진다고 말합니다.

 

 

밝기에 대한 차이는 우리가 한 눈에 구분할 수 있지만, 대비에 대해서는 그래프의 차이를 통해 알아낼 수가 있습니다.

 

 

아래와 같이 반전을 시킬 수도 있습니다.

 

 

그리고, Complements를 통해서 밝기를 조절할 수 있습니다.

 

• type double (0.0 ~ 1.0)
  • 1 - x
• type uint8 (0 ~ 255)
  • 255 - x

이렇게 반전을 시키는 경우도 있긴하다고 보시면 됩니다. 많지는 않습니다.

 

pixel 값의 차이가 non-linear하게 발생하는 경우까지 생각해볼 수 있습니다.

 

 

 

그래서 image가 있을 때, 여러 연산에 대해 image가 어떻게 바뀔지에 대해서 보겠습니다.

 

왼쪽 상단의 image가 original image입니다.

 

이것에 대해 모든 pixel의 값을 그저 뭉뜽그려서 x라고 표현해보겠습니다.

 

위에서 I라고 했던 것을 x라고 하는 것이죠.

 

그래서 위와 같은 연산이 이루어지면 값이 작아질수록 전반적으로 어두워지고, 값이 커질수록 전반적으로 밝아지는 모습입니다.

 

x/2 를 봅시다.

 

배경과 이마를 봤을 때, 밝기 차이가 original이 더 많이 차이가 난다고 느껴집니다.

 

확실히 x/2 부분이 더 차이가 낮아지게 됩니다.

 

그렇다면 왜 이렇게 될까요?

 

위와 같은 간단한 그래프를 봅시다.

 

x축이 old value, y축이 new value로 봅시다.

 

임의로 y = x라는 기준을 넣겠습니다.

 

배경과 살구색 간의 차이를 보겠습니다.

 

배경 Pixel 값이 매우 밝으니 255로 가정합니다.

 

그리고, original image에 대한 식이 x에 대한 식일 것입니다.

 

그렇다면 배경인 255 위치에 대해서 살구색을 128 정도로 나타내봅시다.

 

이 두 수의 차이는 255 - 128 = 127 정도가 된다고 해봅시다.

 

이것은 original image에 대해서 해본 것입니다.

 

이제 x/2에 대해 해본다면,

 

128 - 64 = 64 정도로 실제로 밝기 차이가 작아지게 됩니다.

 

위와 같이 차이 구간이 확연히 줄어든 것이 보입니다.

 

이렇게 주변 pixel 값 차이가 줄어든 것이 보이게 됩니다. 이것이 전반적으로 contrast가 낮아진 것이 보이는 것이겠죠.

 

그래서 아무 구간이나 다 찍어도 pixel 값 차이가 줄어드는 현상이 일어날 것입니다.

 

 

 

그렇다면 y = 2x와 y = x에 대해서도 이러한 구조를 가질 것입니다.

 

그런데 pixel은 255보다 큰 값이 없기 때문에 어느 구간 이상에서는 255로 유지되겠죠.

 

그래서 y = 2x에 대해서 모든 구간에 대해 contrast가 올라가는 것은 아닐 것입니다.

 

그래서 배경은 더 올라갈 곳이 없기 때문에 밝기가 그대로인데, 오히려 살구색이 밝기가 올라가서 배경과 살구색 간의 대비가 낮아지는 효과가 발생하게 됩니다.

 

그런데 오히려 눈과 살구색 사이에는 차이가 더 명확해지게 됩니다.

 

전반적으로는 대비가 올라가는 효과를 가져오기도 합니다.

 

이렇게 원래 image가 가지고 있던 pixel 값에 따라서 구간 마다 contrast가 달라질 수가 있게 됩니다.

 

 

 

 

좌측 사진에 대한 연산을 봅시다.

 

이것을 그래프로 나타내보면 아래와 같죠.

 

첫 사진은 전반적으로 밝아진 것으로 보입니다.

 

원래 y = x와 좌측 식과 비교해보면, 대비가 non-linear하게 발생하며 대비가 떨어지는 것을 확인할 수 있습니다.

 

파란색 그래프는 아래 사진에 대한 그래프입니다.

 

이러한 대비에 대한 차이를 볼 수 있습니다.

 

이 대비는 주변간의 pixel 차이를 말하죠.

 

여기서도 대비가 떨어진 것을 확인할 수 있습니다.

 

 

 

 

좁은 range 안에 pixel value들이 몰려 있는 경우, Contrast가 낮아진다고 볼 수 있습니다.

 

이 경우, Low-contrast image라 부릅니다.

 

그리고, intensity가 낮은 쪽에 몰려 있으면, Dark image, 높은 쪽에 몰려있으면 Bright image로 볼 수 있습니다.

 

 

그리고, 골고루 퍼져있으면 여기서 Contrast가 충분히 높다고 볼 수 있습니다.

 

이 경우, High-contrast image라 부릅니다.

 

Contrast란 동일한 시야 내에서 물체를 다른 물체와 구별할 수 있게 만드는 휘도 또는 색상의 차이입니다.

 

Contrast가 높다는 것은 이미지의 픽셀 값의 최댓값과 최솟값의 차이가 크면서 픽셀들의 분포가 고르게 분포된 것을 의미합니다. 일반적으로 대조비가 높을 수록 선명한 이미지입니다.

 

 

Image histogram

 

각 intensity value가 이미지 상에서 얼마나 나타는지를 본다.

 

지금부터 gray level에 있는 range에 mapping 하는 histogram에 대해 다뤄보겠습니다.

 

이 image histogram은 총 256개의 종류의 pixel 값에 대해서 얼마만큼의 빈도로 이미지에서 나타나는지를 확인할 수 있습니다.

 

어두운 것은 낮은 부분에 분포할 것이고, 배경의 하얀색 가까운 것은 상대적으로 조금 높은 부분에 발생할 것입니다.

이것을 contrast와 함께 보겠습니다.

 

 

아래 여러 예시들이 있죠.

 

pixel 값의 분포를 보았을 때, 어두운 것, 덜 어두운 것, 밝은 것, original 에 대한 이미지가 있습니다.

 

어두운 image에 histogram을 그려보면 낮은 pixel의 부분에 pixel 값들이 몰려 있습니다.

 

이 경우 pixel이 몰려 있으므로 contrast가 낮다고 볼 수 있습니다.

 

 

3개의 pixel이 몰려있는 것을 볼 수 있고, 우측 하단은 pixel 값이 퍼져있는 것으로 더 contrast가 높다고 할 수 있고, 가장 좋은 image라고 볼 수 있습니다.

 

그렇다면 우리가 contrast가 떨어지는 Image에 대해 대비를 올리고 image를 개선하려면 어떻게 해야할까요?

 

 

Histogram Stretching

 

아래 몇 개의 각 pixel에 대해 분포를 바꿔보겠습니다.

 

이렇게 pixel 값 i가 존재하고, 각 pixel 값마다 몇 번을 발생했는지 나타나는 n_i도 존재합니다.

이 예시에서 pixel이 몰려 있으므로, contrast가 낮다고 볼 수 있습니다.

 

여기서 5와 9에 대한 값을 적당히 좌우로 보내줍니다.

이 두 개만 바꾸는 것은 별로 의미가 없으니,

 

사이 6,7,8을 옮겨주고 싶은데, 이것을 상황을 모두 지정해서 바꾸는 데는 한계가 있으니 linear하게 예측을 합니다.

 

 

그래서 5를 2로, 9를 14로 바꾸어 해당 값을 연결하여 linear function을 만듭니다.

이렇게 직선식을 구한 것은 위와 같습니다.

 

 

이러한 결과를 얻을 수 있습니다.

 

이렇게,

 

출처 : https://staff.fnwi.uva.nl/r.vandenboomgaard/ComputerVision/LectureNotes/IP/PointOperators/ImageStretching.html

 

위 사진과 같이 일명 "histogram stretching"을 사용하여 대비를 높일 수가 있습니다.

 

 

 

두 개를 정하고 나머지를 근사화해서 찍어줍니다.

 

range에 몰려있는 값들에 대해 선형 모듈을 사용하여 아래와 같이 나타냅니다.

 

직선식으로 나타낸 것입니다.

 

점 하나하나를 모두 찍으면 번거롭습니다.

 

그러니, 두 point를 잡고 해당 값에 대한 linear 식을 구합니다.

 

두 점만 정해주면, 중간에 있는 값들은 두 점에 의한 linear equ.에 의해 결정됩니다.

 

 

출처 : https://theailearner.com/2019/01/30/contrast-stretching/

 

 

 

방법이 간단한만큼 결과도 극적이지 않습니다.

 

그리고, 사람이 직접 해줘야 한다는 문제가 있습니다.

 

두 점을 고르는 과정에 사람의 작업 필요하다는 점이 있습니다.

 

 

 

이것은 histogram 기반은 아니지만, 값을 바꿔가며 넣어줌에 따라서 image의 contrast를 바꿔줄 수 있는 식이 있습니다.

 

이것은 Gamma correction이라는 방법으로 일반화 됩니다.

 

출처 : https://www.researchgate.net/figure/Gamma-correction-curve-for-different-values-of-gdocumentclass12ptminimal_fig2_329571120

이 gamma의 값이 1보다 작으면 결과적으로 밝아지는 효과를 가져오고, 1보다 크면 상대적으로 더 어두워지는 효과를 가져오게 됩니다.

 

 

그러나 이것 또한 gamma 값을 하나씩 사람이 넣어줘야 한다는 것입니다.

 

현재, gamma를 학습하여 가장 최적의 gamma를 찾는 연구도 진행중입니다.

 

 

 

결론은 histogram stretching은 사람의 개입이 필요하다는 점이 존재한다는 것입니다.

 

그렇다면 이제 자동화 방법에 대해 알아볼까요?

 

 

 

본 Computer Vision 항목은 충남대학교 영상처리 과목의 리뷰입니다.

 

문제가 될 시 삭제하겠습니다.