[Computer Vision] Image upsampling

🧑🏻‍💻 Topic 정리

- image filtering
- Gaussian Filter
- linear interpolation
- Bilinear interpolation

 

지난 시간까지, image를 다루는 것과, image를 다루는 것에 있어서, histogram도 그려보고, equalization, filtering 그리고 중요한 Gaussian filter에 대해서도 알아보았다.

Image pyramids

 

다음 topic에 대해 살펴봅시다.

 

이미지를 10배 키우는 것이 가능할까?

 

 

 

위 한 pixel에 대해서 10칸씩 복제를 해서 넓혀간다면 어떻게 될까요?

 

10 x 10의 블락을 똑같은 값으로 넣는다고 보면 됩니다.

 

그럼 어떻게 될까요?

 

 

 

이렇게 보기 좋지 않게, block이 보이는 사진이 나오게 됩니다.

 

그렇다면 어떻게 우리가 더 나은 사진을 upsampling 할 수 있을까요?

 

 

 

Interpolation

 

한국말로 보관이라고 하지만, data 관련 분야에서 더 많이 살펴보실 수 있는 단어입니다.

 

좌표계가 한 개만 있는 case에 대해 살펴봅시다. 즉, 1차에 대해 살펴보고 image인 2차로 넘어가겠습니다.

 



 

우리에게 4개의 좌표값이 있다고 하겠습니다.

 

4개의 위치에 대해서 이 값들이 존재합니다.

 

이렇게 우리가 아는 signal을 input signal이라고 하고,

 

중간 중간 공간에 있는 값을 알아야 할 때가 있습니다.

 

그렇게 우리가 중간에 위치한 값을 알아내는 것을 "Interpolation"이라고 하는 것입니다.

 

즉,

입니다.

 

방법들을 살펴봅시다.

Nearest-neighbor interpolation

 

 

위 사진을 봅시다.

 

x1에 대해서 우리는 해당 값에 대한 함수값, 즉, 그냥 우리가 x1에 대해 알고 있는 data 값을 알고있다고 봅시다.

 

그러면 위, 주변 값처럼 x2가 x1과 가장 가까우므로, 가장 가까운 것에서 값을 가져오는 것으로 봅니다.

 

간단히 neighbor intensity value를 ctrl + c , v하는 것이지요.

 

 

그리고 조금 더 생각하여 고안해낸 것이 다음의 방식입니다.

 

Linear interpolation

 

 

 

선형적으로 어떠한 변화가 있을 것이라는 것을 생각합니다.

 

 

선형 방식으로는 둘러싸고 있는 점을 기준으로, 그 두 점으로부터 일차함수를 만들어, 하나의 직선식을 세웁니다.

 

 

위와 같이 surrounding point를 이용해서 직선식을 세웁니다.

 

그리고, x1, x2 기준으로 본다면,

 

x'2, x'3의 값을 위 linear function의 값으로 대입시켜 줍니다.

 

직선 식은 좌표 두 점만 알고 있다면 구할 수 있습니다.

 

그렇다면, 어떤 두 개의 점을 이용할지를 잘 생각하면 되겠습니다.

 

즉, 기준 2개의 점을 잘 골라야합니다.

 

 

 

직선식을 구해서 넣는 것은 어렵지 않습니다.

 

그렇다면, 우리가 이미지에 적용할 것이기 때문에 생각할 것이 생깁니다.

 

주어진 data 중 인접한 2개의 점을 고르는 것을 이미지에서 생각해볼까요?

 

 

다음과 같은 그림을 생각해 봅시다.

 

이렇게 인접한 두 개의 pixel x, x+1 이 있다고 합니다.  image에서는 인접 pixel이 1만큼 차이날 것입니다.

 

그런데, 아래와 같이 소수 위치인 것 경우도 우리가 생각해 볼 수 있습니다.

 

소수에 위치한 지점에서의 pixel 값을 알아야 할 때가 있습니다.

 

즉, 아래와 같이 파란색 점을 알고싶은 것입니다.

 

 

 

그럼 더 자세히 그려진 그림을 봅시다.

 

구해야하는 값은 F입니다.

 

우리는 여기서 F의 값 빼고는 다 알고 있습니다.

 

x1, x2, f(x1), f(x2), 람다(얼마나 떨어졌나 길이)를 모두 알고 있습니다.

 

f(x)의 값은 직선 식을 구해서 대입하여 구할 수 있습니다.

 

 

그래서 식은 아래와 같습니다.

 

 

 

항상 이렇게 하긴 어려우므로 아래와 같이 생각해봅니다.

 

결국 인접한 두 pixel 간의 조합으로 이루어집니다. 이 조합은 linear interpolation이므로 선형 조합으로 이루어질 것입니다.

 

그래서, 본인 값 그대로에, 더 가까운 pixel 쪽에 더 큰 weight를 주냐에 따라 조합을 반영시킬 수 있게 됩니다.

 

당연히, 가까운 위치의 pixel 값에 더 큰 가중치를 주는 것이 바람직합니다.

 

그리고 상대적으로 멀리 있는 쪽에는 상대적으로 더 작은 weight를 주게 됩니다.

 

그래서 아래와 같은 과정을 따릅니다.

 

더 가까운 x1 쪽의 더 큰 가중치를 줍니다. 그리고 (람다) < (1 - 람다) 이므로,

 

cross를 이루어서 곱하게 됩니다.

 

 

Bilinear Interpolation

 

자, 그럼 image에 이러한 것들을 적용시켜볼까요?

 

 

image는 위 내용에 y 좌표만 추가된 것입니다.

 

결국 Linear에서 image로 간 순간, 인접한 pixel이 4개가 되게 됩니다.

 

 

 

그리고 Bilinear Interpolation이라 불리는 이유는,

 

방금 우리가 계산한 그 과정이 2번에 걸쳐서 일어나기 때문입니다.

 

우리는 2개 사이의 한 점을 구하는 것을 배웠으니,

 

그것을 이용해서 해봅시다.

 

 

우리가 구하고자 하는 것은 (x', y')입니다.

 

그리고, 이용하고자 하는 것은 4개의 pixel 을 이용해서 2개의 step으로 나누어서, 구해보겠습니다.

 

1. (x,y) 와 (x, y+1)을 이용해서 구한다.

 

• 오른쪽으로 가는데 왜 y -> y+1이라 생각할 수 있습니다. 그런데, 이 경우 그러한 부분들을 넘어가고, pixel이라는 특수성을 인지하고 봐주시길 바랍니다.
• (x, y') 위치의 값을 구합시다.
• 두 개의 pixel 간의 가중합을 이용해 다음과 같이 구합니다.

 

 

2. (x+1, y) 와 (x+1, y+1)을 이용해 구한다.

• 이 두 수의 가중합으로 구합니다.

 

이렇게 1,2번을 지나서,

 

우리가 linear interpolation을 통해 구해놓은 1과 2의 식을 통해서 3번의 식을 구할 수 있게 됩니다.

 

 

이렇게 우리가 3번의 식을 구했습니다.

 

 

이러한 과정을 우리가 bilinear interpolation이라는 과정을 통해서 image pixel 에서의 pixel 값을 구했습니다.

 

 

아래 예시도 똑같이 1,2 번을 거쳐 3번을 구하면 되겠습니다.

 

 

 

 

이것을 매번 하기도 번거롭습니다.

 

Applying the linear interpolation to 2D data (image)

 

그래서 아래와 같은 Linear interpolation을 2D Data image에 적용해볼 수 있겠습니다.

 

 

 

이 pixel들을 통해 구한 아래의 식은,

 

그저, 가까운 위치에 대해 더 큰 가중치를, 멀리 있는 위치에 대해 더 먼 가중치를 부여한다는 것을 생각하면 알아보기가 쉽습니다.

 

그래서 한 좌표에 대해서

 

(건너편에 있는 사각형의 넓이) x (좌표)

 

이렇게 봐주어도 됩니다.

 

 

그래서 이와 같은 수식이 나오게 됩니다.

 

결과적으로 보니,

 

(v, u) 위치의 pixel 값을 구하기 위해서 주변 4개의 pixel을 가중합을 이용해 구했습니다.

 

그리고,

 

가중치의 합이 1이 됩니다.

 

즉, 4개의 사각형의 넓이의 합으로, 당연하게도 image pixel 사이의 차이가 1이기 때문입니다.

 

그래서 전체 큰 사각형의 넓이가 1입니다.

 

그렇다면, 가중 평균을 취한 것과 마찬가지이고, 우리가 지금까지 경혐한 가중 평균에는 Gaussian filter 같은 것이 있습니다.

 

Gaussian filter 는 주변간의 pixel 값들에 대해 다른 weight를 주고, 평균을 한다는 측면에서 보면 유사한 것이 있습니다.

 

이 과정을 통해서 interpolation을 한다면,

 

Gaussian filter의 특징과 같이 smoothing이 일어나게 되는 것입니다.

 

소수 위치의 값을 찾는 것이 interpolation의 목적이므로 둘의 목적은 다릅니다.

 

결국 목적으로 다시 돌아오겠습니다.

 

 

 

 

 

크기를 2배로 키운다고 합시다.

 

H/2, W/2     =>      H, W

 

 

주어진, pixel 들을 기준으로, 2배 키운 만큼의 껍데기가 만들어져 있다고 볼 수 있습니다. 0으로 채워진 것을.

 

그리고 첫 pixel부터 하나씩 채워나가는 것입니다.

 

채울 때, H/2, W/2의 pixel 값들을 참조해서 채워나갑니다.

 

그렇다면,

 

위 그림과 같이 동일한 위치를 찾아서 넣어주게 됩니다.

 

 

왼쪽 것을 참조하여, 우리가 오른쪽에 pixel 값들을 채워 넣어야 하는 것입니다.

 

그리고, 오른쪽에 값을 넣어줄 때, 각 값에서 2씩 넓혀주고 있으니, 각 좌표에서 2를 나눈 값이 reference에 있다면 가지고 오면 됩니다.

 

그런데, 주황색 위치들은 어떻게 채울까요?

 

 

지금 (2m + 1, 2n + 1)의 경우에, (m+0.5, n+0.5)가 나오게 되는 것이지요.

 

그래 여기서 소수 위치가 발생합니다.

 

그래서 Bilinear interpolation이 필요해 집니다.

 

 

만약 4배를 키우고 싶다하면?

 

4를 나눠주면 되는 것입니다.

 

위치 설정을 잘 하고, 만약 소수일 지라도, interpolation을 쓰면 다 되므로 다 가능하다고 보면 됩니다.

 

 

 

 

 

마지막으로 비교해봅시다.

 

Nearest neighbor은 중복된 값들이 늘어져 보이는 격자가 보입니다.

 

Bilinear interpolation은 4개의 pixel로 가중평균을 하다보니 Gaussian filter와 비슷한 연산이므로 어느 정도 뿌옇게 됩니다.

 

대신에, Nearest neighbor처럼 dot이 보이는 것보단 훨씬 낫습니다.

 

 

 

 

 

그리고 우리가 2배 3배 4배도 할 수 있지만,

 

bilinear interpolation을 통해서 정수배 뿐만 아니라 비율로도 할 수가 있습니다.

 

이를 테면, 0.8배를 한다고 봅시다.

 

 

 

 

위와 같이 크기를 줄이든 키우든 껍데기를 아래와 같이 만듭니다.

 

0.8배를 아래와 같이 진행하여 scaling합니다.

 

그리고 0으로 채워놓고 하나하나 채우는 식으로 진행합니다.

 

 

(x,y)의 값을 구하고 싶다면, x와 y에 줄이고자하는 비율로 나눠주면 됩니다.

 

이 비율을 나타내는 것이 scale factor라고 합니다.

 

 

 

아래와 같이 scaling을 합니다.

 

이 x/factor, y/factor가 정수가 아니어도 문제가 없다는 것입니다.

 

우리의 bilinear interpolation을 통해 우리가 할 수 있다는 것입니다.

 

그리고, x와 y의 각각의 비율이 다르다고 해도 문제될 것은 없습니다.

 

x와 y에 각각 0.6배, 1.2배를 하고싶다면, x/0.6, y/1.2를 해서 구하면 된다는 것입니다.

 

각각의 방향의 비율로 위치를 찾은 다음, 그 위치에서 값을 가지고 오면, 다 동일한 방법으로 구할 수 있다는 것이죠.

 

 

 

 

 

지금까지의 내용을 정리하면 다음과 같습니다.

 

 

중점적으로 보는 것이 interpolation입니다.

이 방법 중 중요한 것이 linear interpolation 이라고 합니다.

image에 적용하다보면, x,y 축에 대해서 진행하므로, Bilinear interpolation을 하게됩니다.

1,2 번으로 3번 구하는 식으로 말입니다.

이러한 식을 넓이하는 식으로 생각하면, 쉽게 유추할 수 있습니다.

결국 가중합과 유사하다고 볼 수 있습니다.