[Computer Vision] Color Image Processing

🧑🏻‍💻용어 정리

Computer vision
Color image
RGB
fullcolor
HSV
YIQ
YUV

 

 

지금까지 우리는 Gray Scale의 image들에 대해 다뤘습니다.

 

이제 Color image processing에 대해 다뤄보죠.

 

 

Color image processing

 

실제로 color image가 많이 처리되죠.

 

지금까지 다룬 흑백은 밝기를 의미하는 것이라고 볼 수 있습니다.

 

사람은 밝기에 대해 색상처럼 민감하진 않습니다.

 

 

사람의 시각은 색상을 잘 구별합니다.

 

위 사진은 전자기파의 파장에 따른 선을 나타낸 것입니다.

 

그 중에 사람 눈에 보이는 것이 가시광선 구간입니다.

 

이렇게 파장에 따라 색이 위와 같이 구분됩니다.

 

이정도 교양으로 알고 넘어가시면 되겠습니다.

 

 

 

가로축은 파장입니다.

 

400 쯤은 b 원시세포라고 하는 것이 blue에 반응을 보입니다.

 

550정도는 green에 g 원시세포가 반응을 보이게 됩니다.

 

 

그래서 파장에 따라 원시세포가 반응을 보입니다. 분포는 위와 같습니다.

 

 

그래서 이 RGB 값에 대해 그러한 파장에서 사람의 시각이 반응을 합니다.

 

결국 이 RGB 파장의 조합으로 우리가 색상을 인지한다고 보면 되겠습니다.

그래서 그 파장에 대해서 R, G, B로 이름 붙이고 그것의 조합을 통해 세상을 본다고 표현하고 있는 것입니다.

 

 

그래서 위와 같은 Secondary colors까지 기억해주시면 좋겠습니다.

 

 

ㄱRGB는 3차원이기 때문에 3차원으로 시각화해서 보이기가 쉽지 않습니다.

그래서 위와 같이 2차원에 Mapping하는 것도 살펴볼 수 있습니다.

 

그래서 이렇게 2차원에도 mapping하는 방법이 있다 정도만 아시면 됩니다.

 

 

그리고 사용하는 기기에 따라서 색의 범위가 달라지게 됩니다.

 

실제로는 더 넓은 색의 범위가 들어온다고 할지라도, 위와 같이 사용하는 색의 범위는 더 적을 수가 있습니다.

 

 

여러 색상 모델들을 살펴봅시다.

 

 

RGB

 

이 색은 우리가 잘 알고 있는 것입니다.

 

이것은 값의 범위가 있죠.

 

0 ~ 255입니다.

 

이것을 이진수로 표현하면 2^8개 만큼입니다.

 

2^8 x 2^8 x 2^8 = 2^24입니다.

 

 

이러한 색 공간을 full color라고 이야기합니다.

 

우리가 이미지에서 픽셀 공간을 다 활용하는 그런 케이스를 ture color or full color라고 이야기합니다.

 

그게 2^24개의 케이스가 있는 것입니다.

 

실제 색은 더 많은 것입니다.

 

 

그리고 경우에 따라 우리가 사용해야할 비트의 수를 좀 줄여야 하는 경우가 있을 것입니다.

 

그러한 경우 256개의 color만 가지고 8비트만 가지고 사용하기도 합니다.

 

옛날 윈도우 같은 게 있겠죠.

그래서 색상을 적게 사용할 수록 왜곡이 발생합니다.

 

 

 

그리고 다음 모델을 살펴봅시다.

 

HSV (Hue, Saturation, and Value)

 

 

RGB를 HSV로 변환해서 사용하는 것입니다.

 

Hue는 색조, Saturation은 채도, Value는 밝기 정도로 생각해주시면 됩니다.

 

그래서 위 Hue는 색 자체를 의미하고, Saturation은 색이 얼마나 섞여 있나이고, 순수한 색에 가까울수록 채도가 높은 것입니다. 색이 섞이면 채도가 낮다고 합니다. 

 

 

 

그래서 원부분을 보면, 지름 부분이 채도가 max인 것입니다.

 

그리고, 원의 중심으로 가까워질수록 채도가 낮아지는 모양새를 띠고 있습니다.

RGB를 꽉 채운 case인 white도 채도가 0인 것입니다.

 

value는 밝기입니다. white는 굉장히 밝죠.

 

 

RGB에서 어떻게 섞을지 가중치가 틀마다 다르다고 했죠.

 

여기서는 value인 밝기는 max (R, G ,B)로 했습니다.

 

Hue와 Saturation도 위 수식으로 정의 되었습니다.

 

HSV는 RGB에 비해 더 직관적이라고 볼 수 있습니다.

 

 

YIQ

 

Y는 밝기를 나타냅니다.

 

Y를 위와같이 행렬 계산을 통해 구할 수 있습니다.

 

그리고 위 수식을 보면 weight 합이 1이 되도록 합니다.

 

이런 식으로 밝기로 변환하는 것을 weight를 통해 이루어집니다.

 

Y는 RGB에서 나오는 것입니다.

 

그리고 다시 Y에서 RGB로 돌아오기도 합니다.

 

이 I, Q가 색정보를 가지고 있게 됩니다.

 

위를 보면 I, Q는 색 차이를 저장하는 것입니다.

 

 

위 수식에 플러스 하나 마이너스 2개가 있습니다.

 

이 식 자체를 근사하면 red값과 cyan 값에 차이를 본다고 볼 수 있습니다.

 

그러한 해석이 가능해집니다.

 

 

Q에 대해서도 위와 같이 볼 수 있습니다.

 

이정도로 적당히 approximate 할 수 있습니다.

 

 

그래서 Y는 밝기, I,Q 는 색정보를 가지고 있습니다.

 

이 I, Q는 색차를 저장하게끔 설계가 되었습니다.

 

 

그렇다면 왜 이러한 형식으로 만들었을까요?

 

색이 조금만 달라져도 사람은 큰 차이를 모를 수 있습니다.

 

RGB에서 YIQ로 가서 RGB로 가면 동일하게 돌아옵니다.

 

그런데 중간에 필요에 따라 압축을 해야할 일이 있을 수 있습니다.

 

여기서 압축 복원 후 손실이 일어날 수 있죠.

 

나눠주는 Quantization을 통해서 압축률이 바뀌죠.

 

나눠주는 것이 크면 압축률은 좋아지지만 복원률이 떨어지고, 작으면 압축률은 떨어지지만 복원률은 좋아진다고 했었죠.

 

그런데, 여기서 I, Q로 색차에 해당하는 정보는 밝기 차이보다는 덜 중요하다는 것입니다.

 

그래서 복원했을 때, Y', I', Q'에서 Y와 Y'은 압축률 떨어지고 복원률 좋게, 좀 비슷하게 만들고, I', Q'은 이에 비해 상대적으로 압축률을 좀 높게해도 되더라라는 분석이 있습니다.

 

 

그래서 복원했을 때 사람의 눈으로 보아 그렇게 많은 차이가 느껴지지 않도록 만들 수가 있다는 것입니다.

 

이렇게 압축률의 효율을 좋게 만들 수 있다는 것입니다.

 

YUV

이것도 Y는 밝기를 나타냅니다.

 

그러나 위 YIQ와 수식은 다릅니다.

 

 

그리고 U, V는 색부분을 담당하며 밝기에 비해 덜 중요해집니다.

Reduced bandwidth로 크기가 반씩 줄어들은 작은 해상도를 가정하고 있습니다.

 

 

그래서 아래와 같이 Y,U,V로 바꿔줄 수 있습니다.

 

이와 같이 다양하게 존재한다는 것입니다.

 

 

그럼 color image를 어떻게 filtering 처리할까요?

 

처리해야할 게 흑백은 1개, color는 3개가 되죠.

 

 

첫 번째는, 결국 RGB에 대해서 R, G, B 각각 filtering 연산을 하여 합치는 게 단순하게 생각해볼 수 있는 것입니다.

 

두 번째는 , Y, I, Q로 바꿨다 다시 바꿔주고 RGB로 돌아오는 방법도 있습니다.

 

 

 

R, G, B에 대해 average filter를 씌운다고 하면, 그냥 그림과 같이 filtering을 한다는 것입니다.

 

그리고 오른쪽은 밝기에다가 average filter를 적용합니다.

 

Y, Y'에 대해 구분을 해줍니다.

 

그리고 I, Q는 아무처리 해주지 않습니다.

 

여기서 R', G', B'으로 바뀐 것을 합쳐서 output을 내어줍니다.

 

 

이 두 가지 방법 모두 다 해볼 수 있습니다.

 

정답이 있는 것은 아닙니다.

 

그래서 low-pass filter와 같은 blurring filter, 그리고 High-pass filter로 Edge를 강조하는 sharpening filter가 있습니다.

 

sharpening filter는 RGB 각각에다가 하는 게 아니라 밝기에다가만 하는 방법입니다.

 

 

 

 

 

 

 

 

그리고 위와 같이 RGB가 있고 각각에 Salt & Pepper noise가 있다고 해봅시다.

 

 

channel 마다 뿌려져 있습니다.

 

그리고 red인데 왜 빨갛지 않지라고 생각하시면 안 됩니다.

 

red도 0 ~ 255의 값을 가지기 때문이죠.

 

 

 

첫 번째 방법은 각각하고 합친 것이고, 두 번째는 밝기에다가만하고 다시 RGB로 돌아온 case입니다.

 

noise 없애는 task는 RGB 각각에 대해 없애주어야 잘 denoising 되는 것을 확인할 수 있습니다.

 

이 방식은 I, Q는 아무 연산을 해주지 않으니 noise가 남아있게 되는 것입니다.

 

그래서 denoising의 경우 채널마다 다 없애주는 게 일반적입니다.

 

 

 

 

 

 

그리고 우리가 배웠던 Histogram Equlization이 있었죠.

 

 

이러한 histogram이 RGB에 따라 3개가 있습니다.

 

RGB 각각에 대해 따로 histogram equalization을 해서 바꿔줄지, 아니면 Y 값만 뽑아서 Y에만 histogram equalization해서 바꿔서 돌아올지 선택할 수 있겠습니다.

 

 

 

 Y 채널에 대해서만 histogram equalization을 적용한 것이 왼쪽, RGB에 대해서 histogram equalization한 게 오른쪽입니다.

 

결과를 보면 일반적으로 왼쪽이 조금 더 나아보입니다.

 

그래서 histogram equalization는 밝기를 조정하고자하는 것이 목적입니다.

 

밝기 조절에 목적을 둔 것입니다. 그래서 밝기를 처리하는 게 더 좋은 것이죠.

 

그리고 Denoising은 튀는 값들을 없애기 위함이니 모든 채널에 대해서 처리를 해서 없애주는 게 목적에 부합하겠습니다.

 

이러한 Task의 목적에 따라 하나에 대한 이미지 처리를 할 때 부가적으로 선택을 할 수 있는 것입니다.