[Computer Vision] Image Warping - Transformation

🧑🏻‍💻용어 정리

Computer vision
Image Warping
Non-Linear Transformation
Homogeneous coordinates
scaling
rotation
shearing
translation
matrix composition
Euclidean
similarity
rigid
Affine

 

이전 시간에는 scaling, shear, rotation 등 linear transformation에 대해 알아보았습니다.

 

이번에는 non-linear transformation에 대해 알아보겠습니다.

Image Warping

 

먼저 2D translation에 대해 알아보겠습니다.

 

이것은 non-linear transformation입니다.

 

위 사진에 대해 다음과 같이 바뀌는 위치를 x', y'으로 생각해볼 수 있습니다.

 

그리고 원래 x 좌표에 대해 t_x만큼 이동시키기 위해 t_x를 더해줄 수 있습니다.

 



이것은 [x' y'] = [x y] + [t_x t_y]와 같은 연산을 거쳐야 matrix 형태로 표현할 수 있습니다.

 

이것은 linear 연산이 아닙니다.

 

M으로 나타낼 수 없기에 2D Transformation이 성립하지 않습니다.

 

 

 

 

Homogeneous coordinates

 

그래서 우리는 Homogeneous coordinates를 사용합니다.

 

우선 2D point에 의미없는 값 1을 붙여서 3D vector로 만듭니다.

 

 

다시 이 그림으로 돌아옵시다.

 

그럼 어떻게 표현해볼 수 있을까요?

 

 

 

 

위와 같이 [x y] 를 [x y 1]로 차원을 바꿔줬습니다.

 

그럼 위와 같이 행렬 M을 설정해줍니다.

 

 

그리고 곱셈을 해봅니다.

그래서 우리가 아까 처음에 생각한 식을 얻을 수 있습니다.

 

 

2차원의 세계에서는 덧셈으로 했어야 했지만,

 

Homogeneous coordinates를 통해 3차원의 세계로 늘림으로써 행렬곱으로 표현할 수가 있게 되었습니다.

 

 

이렇게 3 x 3으로 translation을 했습니다.

 

그 우리가 앞에 2 x 2로 해결했던 것들도 3 x 3 으로 해결이 되어야 의미가 있는 것입니다.

 

나머지 원래의 scaling, rotation, shearing은 2 X 2에 나머지는 똑같이 해주면 되겠습니다.

 

 

그렇다면 굳이 왜 행렬곱으로 나타내려고 하는 것일까요?

 

우리가 하는 변환은 여러 가지에 해당될 수 있습니다.

 

이동 시키며 회전도 시키고, 또 크기도 바꾸는 등의 변환을 해줄 수가 있습니다.

 

 

이러한 여러 가지 변환도 행렬의 곱으로 간단하게 표현해줄 수 있습니다.

 

그리고 변한을 위한 행렬끼리의 곱을 먼저 하고 곱해줘도 상관이 없습니다.

 

그런데 우리가 다루는 사이즈에 따라서 p' = M * p에서 p의 개수는 천차만별입니다.

 

그래서 우리는 M3 M2 M1 * p에 대해서 M * p로 한 번에 행렬 연산 후,

 

M을 미리 구해놓고 이것을 모든 Pixel p에 대해 적용시켜주면 p'을 얻을 수가 있게 됩니다.

 

 

그래서 지금 translation은 linear하지 않기에, 부득이하게 3 x 3으로 표현할 수 있기에 차원을 원래 것에서 하나 늘려서 표현하게 되었다는 것도 알아두어야 합니다.

 

그래서 이 M3 M2 M1을 다 곱해서 하나의 M으로 나타내면 이것 자체만 보면 의미 모를 M이 나오게 되기도 합니다.

 

 

 

그런데 여기서 순서가 중요할까요?

 

어떤 변환을 먼저 해주는 것이, 즉 순서에 영향을 받을지 말입니다.

 

그래서 수식이나 그림이나 한 번 해보면 될 것 같습니다.

 

 

 

 

 

 

그래서 지금까지 엄청 기초적인 변환에 대해서 배웠습니다.

 

이런 것들이 위와 같이 충분히 조합이 되어 사용될 수 있습니다.

 

 

그래서 위와 같은 이름 붙여진 변환들이 위에서 말한 여러 변환들의 조합이 되겠습니다.

 

 

 

 

Euclidean or rigid transformation이라고 부릅니다.

회전과 이동을 합친 것을 위와같이 Euclidean transformation이라고 부릅니다.

 

 

그래서 우선 위 r1 ~ r6를 결정해줘야 합니다.

 

우선 각도에 대한 세타 값에 대해 아래 수식과 같이 표현해줄 수 있게 됩니다.

r1 ~ r6는 총 6개의 parameter이지만, 위 수식처럼 세타를 도입하여 parameter를 총 3개로 줄일 수 있게 되었습니다.

 

그래서 각 rotation에 대한 행렬, translation에 대한 행렬 각각의 것에 대해 곱셈을 통해 위 결과가 나와야합니다.

 

그렇다면, 우선 위와 같이 세타를 이용한 식은 맞습니다.

만일, 여기서 크기 변환이 이루어진다면,

 

이것이 similarity transformation입니다.

 

s만큼 키워준다면 s를 위 네모 각각의 element에 곱해주면 되겠습니다.

 

이 경우는 세타, s, r3, r6로 미지수가 4개가 됩니다.

 

 

affine transform의 경우는 아래와 같이 a1 ~ a6로 단순하게 표현합니다.

여기 있는 값들을 구하는 방법은 내가 변환하고자 하는 Transformation 에 따라 곱해주면 됩니다.

그래서 내가 원하는 수치에 따라 위 값에 값을 넣어주면 됩니다.

 

 

여기서,

 

일 Affine에서 shearing을 제외하면 similarity라고 볼 수 있습니다.

 

그런데 이 또한 Affine이라고 합니다.

 

그래서 Affine이 더 넓은 범위이고 그 안에 Similarity가 존재하게 됩니다.

 

즉, Similarity에 해당되는 변환도 Affine이라고 볼 수 있습니다.

 

그렇다면 Euclidian도 Similarity 안에 포함되어 있는 거라고 볼 수 있겠죠.

 

 

우리가 배운 것 중, scaling, shearing, rotation, translation 중 이 중에 아무거나 해도 Affine이라고 말할 수가 있습니다.

 

 

그래서 Affine Transformation은 linear transformation과 linear transformation이 아닌 Translations 과의 조합이라고 볼 수 있습니다.

그래서 위에서 말한 것과 같이, 이 중에 몇 개가 빠져도 Affine transform이고, 다 포함되어도 Affine transform이라고 볼 수 있습니다.