[Computer Vision] Image Warping - Transformation

🧑🏻‍💻용어 정리

Computer vision
Image Warping
Forward warping
Backward inverse warping
bilinear interpolation
transformation

우리가 지금까지는 Transformation의 종류에 대해 배워봤습니다.

 

 

Forward warping

 

위와 같은 2D Transformation을 위한 연산으로 행렬 M으로 표현한다고 했습니다.

 

이 3 x 3 Matrix인 M을 원본 image의 각 좌표에 곱해주게 되면,

 

각 pixel에 대해 이동시킨 각 pixel을 얻을 수 있다고 하였습니다.

 

 

이제 그 좌표 정보가 우리에게 있다고 했을 때, 해당 이미지를 해당되는 변환된 위치로 변환하는 작업을 해보겠습니다.

 

위 그림에서, 원본 이미지 f에 대해서 하나의 pixel 값인 [x y]를 뽑아서 M을 곱해줬을 때,

 

[x' y']을 뽑아내는 것입니다.

 

 

이렇게 한 pixel에 대해서만 살펴볼 수 있습니다.

 

이것을 warping하는 방법에 대해 배울 것입니다.

 

이 방법에는 forward warping과 backward warping이 있습니다.

 

이 두 가지 방식 모두, 변환하는 행렬 M에 맞춰서, f라는 image에 대해 변환하는 행렬 M에 맞춰 새로 mapping된 g라는 image를 얻고자하는 것이 목적입니다.

 

 

그래서 방금 설명한 것처럼,

 

원본 image f에 행렬 M을 곱하여 g를 뽑아내는 형식입니다.

 

그런데, 이 방법에는 문제가 있습니다.

 

우측 상단 식을 통해 x', y'을 구할 수 있음을 알게 되었습니다.

 

그런데, 우리가 단순하게 생각했을 때,

 

g(x', y')으로의 좌표 값을 구했다고 합시다.

 

그렇다면 pixel의 값은 g(x', y') = f(x, y)와 같이 넣어주면 되는 걸까요?

 

여기서 뭐가 문제일까요?

 

 

 

여기서 x', y'이 정수가 아닐 수가 있습니다.

 

우리가 기본적으로 초반에 이야기 한 것이, 영상의 pixel은 기본적으로 정수 위치에 있어야 한다고 했습니다.

 

영상이 만들어지며 quantization이 이루어지기 때문에, 소수 위치에서는 pixel이 존재할 수 없는 것입니다.

 

(* 그리고 pixel 값도 정수여합니다.)

 

저 변환하는 행렬 M에는 cos, sin과 같은 연산도 포함되어 있기 때문에 정수로 나올 가능성이 낮습니다.

 

그래서 대부분의 x', y'은 소수일 가능성이 굉장히 높습니다.

 

 

translation은 소수일 가능성이 낮지만, 회전이나 기울기의 변화가 있다면 소수가 발생할 확률이 높아집니다.

 

 

 

 

 

 



그래서 위 f라는 image에서는 x, y가 정수이기 때문에 pixel 박스 안에 들어있지만, 그게 아니라 소수일 경우에는 들어가지 못 할 수가 있습니다.

 

그래서 위와 같이 2개의 pixel 사이에 놓이기도 하고, (ex. 1,3 3)

 

높은 확률로 4개의 pixel 사이에 놓이게 됩니다. (ex. 1.4, 2,7)

 

 

그렇다면 이럴 경우 어떻게 해결해야할까요?

 

이 경우, 위 f(x, y)에 대한 값을 g(x', y')를 포함하는 4개의 pixel 값들로 모두 보내자는 아이디어가 나옵니다.

 

그래서 이를테면, g(1.2 , 1.4)의 결과가 나온다면, g(1,1), g(2,1), g(1,2), g(2,2)으로 보내자는 것입니다.

 

그리고 두 개 pixel 사이 mapping 되면 두 군데로 보내는 방식입니다.

 

위 방식으로 하면, f(x,y)에 대해서 여러 방향으로 퍼뜨리는 식입니다.

 

그런데, 이것이 한 pixel에서만 온다는 보장은 없죠. 아래 그림을 봅시다.

위 그림을 봤을 때,

 

f(x, y)가 g(x', y')으로 갔는데, f(x, y+1)도 g(x', y')로 가게 된 것입니다.

 

그렇다면, 이 경우 퍼뜨려줄 값이 2개가 생겨버린 것입니다.

 

 

어떤 pixel 값을 써야할지 잘 모르겠으니, average 값을 쓰겠다는 것입니다.

 

그렇다면, 위 경우에 대해선 {f(x, y) + f(x, y + 1)} / 2가 되겠죠.

 

 

그래서 g(x', y')의 pixel 값을 구하기 위해서는, 퍼뜨려지는 모든 값을 다 기록해둬야합니다.

 

그래야 값을 다 합하고 그것에 대해서 평균을 낼 수 있게 됩니다.

 

원본 f image에서의 모든 pixel 위치를 다 봐야, g image를 만들 때, 몇 개나 겹쳤는지 알 수가 있겠죠.

 

 

 

그리고 또,

 

위와 같이 다 대 1 mapping이기 때문에, pixel 값을 받지 못하는 위치가 발생합니다.

 

몇몇 pixel 위치는 어떠한 warping도 오지 않을 수가 있다는 것입니다.

 

이렇게 빈 공간인 hole이 발생합니다.

 

 

그래서 여러 pixel이 한 군데로 몰릴 수 있다.

 

이렇게 몰리다 보면 pixel 값을 받지 못하는 부분도 생긴다.

 

이러한 서로 연결되는 문제가 있습니다.

 

 

Backward warping

 

이번엔 Backward warping입니다.

 

위 수식에 대해 아래와 같이 바꿔보겠습니다.

 

 

이번에는 x', y'이 원본 image x, y에 어디로 갈지를 예측하는 것입니다.

 

x', y'에 M의 inverse Matrix를 곱해주게 됩니다.

 

여기서 보면, g(x', y') = f(x, y)가 되는 구조입니다.

 

이것은 아까한 것과 같을까요?

 

여기서도 x', y'에 대해 역행렬 M를 곱해주면 x, y의 값을 알 수 있습니다.

 

 

forward warping은 원본에 있는 값에 대해 g의 것을 예측했다고 하면,

 

backward warping은 똑같이 g를 채우기 위해서 f에 있는 것을 가져다가 사용하는 느낌입니다.

 

우선 black의 g 를 만듭니다.

 

그리고, g의 처음 값부터 채워줍니다. (1, 1)부터 채워 나간다고 하면,

 

이것이 f와 matching되는 위치를 아직 잘 알지 못하는데, 여기서는 역행렬 M을 사용하면 되겠습니다.

 

그럼 이 예시에서는 M^-1 * [1 1 1]을 해준다고 했을 때, 어떠한 값이 나올 것입니다.

 

 

이 값이 [a b 1]이라고 합시다.

 

그럼 g(1, 1) = f(a, b)를 하면 될 것 같이 보입니다.

 

그러나, 이 a, b가 높은 확률로 소수일 것입니다.

 

그래서 단순히 이렇게 연산할 수 없습니다.

 

 

그래서, 우리는 소수 위치를 추정하는 interpolation을 사용할 것입니다.

 

a, b가 소수라면 우리는 이 값을 주변 4개의 pixel 값들을 통해 추정하기 위해서 Bilinear Interpolation을 사용할 것입니다.

 

 

그래서 이 a, b를 둘러싸고 있는 4개의 pixel 값의 interpolation을 통해 추정할 수 있게 됩니다.

 

그럼 우리가 이제 역행렬 M도 알고 있고,

 

그리고 우리가 채워야할 x', y'도 이미 정해져 있고, 여기서 역행렬 ㅡ * [x' y' 1]을 해주면 a, b의 값도 구할 수 있는 것입니다.

 

그래서 이 f(a, b)는 bilinear interpolation으로 추정이 가능합니다.

 

 

결국 forward는 g라는 image를 만들기 위해 f의 값을 보내는 것이었고,

 

backward는 g라는 image를 만들기 위해 f의 값을 가져오는 방법이 되겠습니다.

 



그래서 backward warping에서는 우리가 forward warping에서의 소수 문제도 해결이 되고,

 

g가 만들어놓은 모든 공간을 채우기만 하면 되니, forward warping에서의 문제가 발생하지 않습니다.

 

 

다만, interpolation을 해야되기 때문에 뿌옇게 되는 현상이 발생하게 됩니다.

 

4개의 pixel의 조합, 즉, 가중평균으로 계산이 되기 때문에, 뿌옇게 되는, 안 좋아지는 현상이 일어나긴 하지만,

 

그래도,forward warping의 hole 문제가 없고, 보내는 데 있어 값이 겹쳐서 평균을 내야하는 문제도 없습니다.

 

모든 pixel을 다 채울 수 있고, 조금 뿌옇게 되는 현상도 존재하긴 합니다.

 

 정확도로 봤을 때도 약간 더 좋다고 알 수 있습니다.

 

 

그런데, 어떻게 g라는 공간을 미리 만들어놔야하는지 감이 잘 안 올 것입니다.

 

위 사진처럼 회전 했을 때의 공간을 다 포함할 수 있는 g라는 공간을 잡습니다.

 

그리고, 이미지를 벗어나는 비어있는 부분은 검은색으로 채워주게 됩니다.

 

 

Backward warping은 결과상으로 괜찮지만,

 

빈 껍데기를 만드는 등의 과정은 고민이 필요해 보입니다.