[Computer Vision] Image Warping - Linear Transformation

🧑🏻‍💻용어 정리

Computer vision
Image Warping
Linear Transformation
scaling
rotation
shear
geometric transformation
rectification
stabilization
stitch

 

 

오늘 배울 것은 Image Warping입니다.

 

Image Warping

 

이 Image Warping는 그냥 image를 비틀어준다는 것을 의미합니다.

 

즉, 기하학적인 변화를 통해 image를 비트는 것을 의미하죠.

 

아래 사진과 같은 T라는 geometric transform에 의해 변환합니다.

그래서 아래와 같은 것들도 warping을 통해 이루어집니다.

 

- Image rectification

- Video stabilization

- Image stitch

 

 

하나씩 살펴봅시다.

 

Image rectification

 

 

좌측 사진처럼 다른 각도에서 촬용된 두 개의 image가 있을 때,

 

위 그림 중 윗 그림의 우측과 밑 그림의 좌측처럼 일치하는 부분이 생깁니다.

 

이 두 개의 일치하는 부분들을 잘 계산하고 matching하여서 위와 같은 결과를 낼 수 있다고 할 수 있습니다.

 

 

Video stabilization

좌측처럼 좀 흔들리는 video에 대해 image warping을 통해 흔들림이 없도록 합니다.

 

 

Parametric (global) warping

 

 

위 그림에서 살펴보자면,

 

위 p라는 pixel을 아직 뭔지는 모르는 T라는 geometric transform 혹은 parametric transform을 이용해서 바뀔 p'이라는 좌표를 예측합니다.

 

 

그래서 이러한 수식으로 표현할 수 있습니다.

 

그런데 이 T는 global transform입니다.

 

이것은 무슨 의미일까요?

 

우선 image는 h x w 만큼의 pixel이 존재하죠.

 

이 각각의 모든 pixel에 대해서 같은 transform T를 적용할 경우 global transform T라고 말합니다.

 

그래서 우리는 지금부터 원본 image의 모든 pixel에 동일한 transform T를 적용할 것입니다.

 

그래서 global geometric transform을 본격적으로 배워보겠습니다.

 

 

global geometric transform

 

이 global transform은 몇 개의 작은 수의 parameter로 표현이 가능합니다.

 

그래서 아래 수식의 parameter를 포함하고 있는 T라는 행렬을 배워보겠습니다.

 

 

 

 

간단한 그림 예시를 다음과 같이 보겠습니다.

 

translation은 약간의 shift 변환이고, rotation은 회전, aspect 는 aspect ratio로 바꾸는 비율 변환, 기울기 회전 변환 다 들어가는 affine도 존재합니다.

 

이러한 대표적인 transformation이 있습니다.

 

이 2D Transformation이라고 적혀있는 것을 보면,

 

x, y pixel 좌표에 대해서 행렬을 곱해주는 식인데,

 

이것을 2차원에 대해서 하기 때문에 2D Transformation이라고 합니다.

 

 

2D Transformation에 대해 더 알아봅시다.

 

이 네모를 다음과 같이 바꿉니다.

 

위 네모보다 커졌죠.

 

이 scale 변화는 어떻게 실행될까요?

 

우선, uniform scaling은 높이와 너비가 모두 동일한 비율로 바뀌는 것입니다.

 

기존 값 x에서 a가 곱해진 x',

 

기존 값 y에서 b가 곱해진 y'으로 볼 수 있습니다.

 

위와 같이 x', y'이 생성됩니다.

 

 

앞서 이야기한 것처럼,

 

global transformation을 행렬형태로 표현할 수 있다고 하였죠.

 

그래서 위와 같이 x', y'을 계산하기 위해 위와같이 바꿔줄 수 있습니다.

 

 

 

그래서 아래와 같은 예제를 살펴봅시다.

좌표를 보면,

 

(2, 1)은 2배하여 (4, 2)가 되게 됩니다.

 

 

그리고 위와 같이 uniform하지 않는 case도 똑같습니다.

 

이 경우 각 요소에 다른 scalar 값이 곱해지는 형태입니다.

 

그래서 scale을 하는 방법에 대해서 a와 b라는 parameter 두 개만 있으면 된다는 것이죠.

 

 

 

그리고 shear라고하여 기울기 관련 내용을 살펴봅시다.

 

그래서 이런 식으로 matrix form을 아래와 같이 주면 기울기의 변환이 일어나는 것을 알 수 있습니다.

 

 

그리고 회전에 대해 봅시다.

 

그림과 같이 p의 좌표가 반시계 방향으로 세타만큼의 각도만큼 회전하여 p'이 되었습니다.

 

그럼 이것을 어떻게 행렬 연산을 할 수 있을까요?

 

위와 같이 할 수 있습니다.

 

 

그리고 위와 같이 유도됩니다.

 

 

위와 같은 행렬 연산을 거치면 세타만큼 회전된 새로운 좌표가 얻어집니다.

 

그래서 행렬에 대한 2D Transformation 식은 위와 같이 표현이 됩니다.

 

그래서 이러한 식으로도 볼 수 있습니다.

 

 

그래서 지금까지 다룬 것을 보자면,

 

원래의 위치와 바뀐 위치에 대해서 해당 관계는 행렬 M이라는 것을 통해 표현할 수 있습니다.

 

지금까지 다룬 scaling, shear, rotation은 2 x 2 행렬 M으로 표현이 가능합니다.

 

 

 

그래서 정리하자면 위와 같습니다.

 

이러한 것을 linear transformation이라고도 부릅니다.

 

 

그런데 이 linear transformation은 linearility를 만족시켜야합니다.

 

 

그래서 이 linearility가 위 transformation에 대해 다 성립합니다.

 

그래서 이러한 연산에 대해서 linear transformation이라고 합니다.

 

 

그리고 scaling과 rotation 동시에 하고싶다면,

 

scaling + rotation에 대한 matrix도 M으로 위와 동일하게 표현할 수 있습니다.

 

우리가 먼저, scaling에 대한 matrix를 M1, rotation에 대한 matrix를 M2라고 한다면,

 

M1 * p를 하면 scaling이 될 것이고 여기에 M2를 곱하면 다시 rotation이 될 것입니다.

 

이것은 M2 * M1 * p와 같이 나타낼 수 있습니다.

 

이것이 곧 p'이 됩니다.

 

이 M1 * M2도 결국엔 M으로 표현할 수 있다는 것입니다.

 

이렇게 linear transformation에 대해 알아보았습니다.