[Computer Vision] Image pyramids

🧑🏻‍💻 Topic 정리

- image filtering
- Gaussian Filter

 

지난 시간까지, image를 다루는 것과, image를 다루는 것에 있어서, histogram도 그려보고, equalization, filtering 그리고 중요한 Gaussian filter에 대해서도 알아보았다.

Image pyramids

 

image downsampling

 

우리가 image downsampling을 하려는 이유는 다음과 같다.

 

The image is too big to fit on the screen.
How would you reduce it to half its size?

 

하나씩 살펴봅시다.

 

 

Naive image downsampling

 

 

 

 

• Throw away half the rows and columns
  • delete even rows
  • delete even columns

위와 같은 과정을 거쳐서 downsampling을 거쳤습니다.

 

무엇이 문제일까요?

 

 

위 방법은 결과가 좋지 않습니다.

 

다음과 같은 결과물을 볼까요?

 

위와 같이 홀수나 짝수 번째를 없앰으로써 sampling한다고 보면 위와 같은 terrible한 결과가 나오게 됩니다.

 

 

 

그래서 우리는 다음의 방법을 시도해 보기로 합니다.

 

Aliasing

여러 가지 image에 대한 작업 과정에서, sampling이 충분하지 않아서 왜곡이 일어나게 됩니다.

 

 

 

 

 

sin 함수를 보면 굉장히 continuous 하게 빈틈없이 다 꽉차있지만,

 

이러한 연속적 신호를 특정 일정 간격을 주고 sampling하는 순간 불연속적인 data가 됩니다.

 

 

이러한 것을 아래와 같이 discrete한 형태가 되도록 sampling했다고 합시다.

 

이것은 원래 연속적인 신호로 다시 돌아오라고 한다면,

 

돌아오지 못 할 가능성이 높습니다 !

 

그러한 undersampling 과정을 거치면, 다음과 같은 왜곡이 일어날 수 있습니다.

 

이러한 aliasing 현상이 일어날 수 있습니다.

 

 

그리고 aliasing 현상이 다음과 같은 moire 현상으로 일어날 수도 있습니다.

 

 

우리는 그래서 이러한 것들을 어떻게 해결할 수 있을까요?

 

이 모든 것들이 Sampling rate이 낮기 때문에 일어나는 것으로 볼 수 있습니다.

 

그다면 Sampling rate을 높이면 되지 않을까?에서 아이디어가 시작됩니다.

 

Anti-aliasing

 

방법에느 Oversampling을 사용하여 할 수도 있습니다.

 

그러나 이것은 image를 만드는 과정 중 할 수 있는 것입니다.

 

즉, 이미지 처리를 통하거나 algorithm 적 방법은 아닙니다.

 

그래서 image를 이후에 처리하는 것은 아니기 때문에, 우리가 해볼 수는 없습니다.

 

 

 

 

다음 방법을 봅시다.

 

 

우리가 배운 gaussian filter를 통해 bluring을 하여 튀는 값이나 잡음 같은 것을 지울 수가 있습니다.

 

smoothing을 해줄 수 있는 filter들이라는 것입니다.

 

우리가 후 처리로써, smoothing 과정을 통해서 제거해 보겠다 라는 것입니다.

 

그렇다면,

 

💡  우리가 사용하는 Gaussian filter들을 통해 튀는 값들을 좀 정리하고, 그 다음에 image를 줄이면 그러한 영향을 좀 줄일 수 있지 않을까? 하는 idea에서 시작합니다.

 

그렇게 우리가 예측을 해볼 수 있습니다.

 

1. Gaussian filter 적절히 생성

 

2. image filtering -> bluring 일어남

 

3. dot가 보이거나, 튀는 값이 이미 처리 되어 보이지 않게 됨.

 

 

그렇다면, 줄이는 것은 똑같이 짝수나 홀수 번째row, column를 없애며 줄이고,

 

그리고 1/4 만들고, 똑같이 Gaussian filter하고 1/8 만드는 과정을 거칩니다.

 

각각을 비교하기 위해, 다시 확대하여 비교를 해보면, 

 

 

뿌옇게 되어 안 좋아보일 수 있지만, Naive한 방법 보단 훨씬 낫다는 것을 알게 되었습니다.

 

 

Gaussian image pyramid

 

=> 그냥 간단하게 Gaussian filter를 이용해서 줄인 것들을 쌓아 올린 것들을 쌓아올린 것입니다.

 

그저 줄인 것을 쌓아 올린 것입니다.

 

== Subsampled image == downsampled image == sampled image 라고도 부릅니다.

 

그리고 여기서 아래 그림은 x값을 가지는 Gaussian filter를 사용한다는 가정입니다.

 

 

 

 

pixel 값이 간격을 가지고 존재한다고 봅시다.

 

그렇다면, 위와 같이 선택한 것들이 filter에 띄워져서 위와 같이 위치가 선택되어져 보내집니다.

 

가중 평균으로 값이 합쳐지며 올라가게 됩니다.

 

그리고, image에 대한 



 

 

 

 

 

그리고 위오 같이 image를 줄일 때마다 detail이 점점 사라지는 것을 볼 수 있습니다.

 

naive한 방식에서 튀는 값들을 줄이기 위해서 Gaussian filter를 써서 장점이 존재 하지만, smoothing이 그에 따라 일어나며, smoothing에 취약한 부분인 detail이 많은 부분이 계속해서 줄어든다는 단점도 존재한다는 것입니다.

 

 

detail한 부분에 비해서 배경과 같은 부분, pixel간 변화가 별로 없는 uniform한 부분이라고 합니다.

이 uniform 부분은 Gaussian filter해도 차이가 거의 없습니다.

 

• What happens to the details of the image?
  • They get smoothed out as we move to higher levels.
• What is preserved at the higher levels?
  • Mostly large uniform regions in the original image.

 

 

• How would you reconstruct the original image from the image at the upper level?
  • 불가능 !!!!!

 

 

Gaussian filter 거치고 크기를 줄인 것을 원래로 돌아오는 것은 불가능하다 !!

 

 

Gaussian filter를 거친 부분을 빼면 residual 이라는 부분으로 보면, detail이 많은 부분에서 많은 차이를 볼 수 있습니다.

 

그래서 원래로 돌아오는 것은 불가능하다고 볼 수 있습니다.

 

 

 

그러나 !

 

참고 자료를 기록해두면 다시 돌아올 수 있다는 것이 다음 내용입니다 !

 

위 residual은 data 간의 차이에 대한 정보를 활용할 때 많이 사용하는 단어입니다.

 

위 residual은 residual image라고도 부릅니다.

 

 

 

그렇다면, 이 residual을 이용하면,

 

줄인 image에서 original로 다시 돌아올 때, 사용될 수 있습니다.

 

level 마다 이 residual을 모아둡니다. 이 것 또한 pyramid를 가집니다.

 

이것을,

 

Laplacian image pyramid

 

라고 부릅니다.

 

 

 

그다면 지금부터 어떻게 계산해야 원래대로 돌아오는지 살펴보겠습니다.

 

 

 

level 1에 대한 image를 downsampling을 통해 만들어냅니다.

 

이렇게 끝나버리면,

 

이렇게 upsampling은 불가능해지겠죠.

 

하지만 다음을 X1에 대해 upsampling하는 과정을 봅시다.

 

upsampling은 samples 수를 늘려나가서 원래 크기로 키우겠다는 것입니다.

 

어떻게 pixel 수를 늘려갈까요?

 

x,y 축 각각으로 2배가 되어야 합니다.

 

그렇다면, 한 row와 column에 대해서 복제를 한다면 가능하지 않을까요?

 

그렇게 각각의 축으로 넓혀 나가는 것입니다.

 

그렇게 좋은 방법은 아니지만, 현재로써 그렇게 한 번 해봅시다.

 

 

그렇다면, 아래와 같은 식에서, 원래 image와 원래 image에 Gaussian filter를 씌운 image를 빼어 residual image인 R을 구합니다.

 

이 residual image를 가지고 있으면, 우리가 X1 에서 X0로 갈 수 있게 됩니다.

 

여기서 x'0는 x1에서 upsampling된 image인 것을 잘 기억해두어야 합니다.

 

 

이제 하나의 level에 대해서 돌아오는 것을 해보았습니다.

 

그 다음도 동일한 작업이기 때문에, 똑같이 아래와 같이 진행됩니다.

 

H, W 수에 따라 줄이는 수는 유동적으로 선택 가능합니다. (소수 배는 pixel이 존재하지 않으니 불가능합니다.)

 

만약 1/16으로 줄여나간다고 하면, 한 번에 줄일 수도 있습니다.

 

그렇다면 sampling의 범위가 너무 넓어져서 순차적으로 줄어나간 것보다 image의 질이 더 안 좋아지게 됩니다.

 

image로 나타내면 다음과 같습니다.

 

이 그림에는 위에서 설명한 subsampling하여 반으로 줄인 image를 upsampling하여 키운 image와 원본 image 간의 차이를 구한 것이 residual이 됩니다.

 

그래서 위 그림 설명대로 따라가는 것이 더 이해하기 쉽고 바람직해 보입니다.

 

그러므로,

 

 

Gaussian image pyramid를 차근차근 만들 때마다, Residual image로 Laplacian pyramid도 만들어가는 것입니다.

 

이제 Residual image를 갖고 있으니, 원본 복구가 가능해집니다 !

 

가장 작은 Image를 upsampling하고 그것과 residual image와 더하면 그 상위 level에서의 image가 나오게 됩니다.

 

Gaussian vs. Laplacian Pyramid

 

가장 작은 이미지는 가지고 있어야 합니다.

 

그리고, 덧셈으로 계속 있어야하는 residual image를 level 마다 가지고 있어야 하는데, 왜 이렇게 하나 생각할 수 있습니다.

 

그럴거면 그냥 원본 image를 가지고 있으면 되겠죠.

 

그나마 장점을 이야기해 봅시다.

 

평범한 color image 저장 시 필요한 용량과 residual image 저장 시 개수는 같지만 필요한 용량이 많은 차이를 보입니다.

 

 

각 채널에 대해서 R, G, B 각각 8bit가 필요하기 때문에, 표현해야하는 bit 수가 달라지게 됩니다.

 

그래서 이와 같은 내용에서 표현해야하는 가지수에 따라서, 필요한 개수가 달라집니다.

 

그러나, residual image 같은 경우에는 값 자체가 많이 낮아지게 됩니다. (비슷비슷한 것끼리 빼기 때문에)

 

대부분은 0으로 가고, 몇몇 위치에서만 약간 값을 가지므로, 필요한 bits 수도 줄일 수가 있고,

 

0의 값이 일반적으로 엄청 많이 나오므로, 압축 시 그냥 RGB image 보다 residual image가 훨씬 더 용이합니다.

 

그리고 값 자체가 낮고, 거의 값에 있어서 비슷한 값 분포를 가집니다.

 

굳이 장점을 뽑자면 압축의 효율을 높일 수가 있고 residual은 단순 계산으로 오래 걸리지 않기 때문에 더 용이합니다.

 

용량이 제한되는 곳에서는 Laplacian image를 보장해야하는 경우가 있습니다.