[Computer Vision] Image Gradient

🧑🏻‍💻용어 정리

Computer vision
Edge
Detection
Sobel filter
filtering
burring

 

 

 

 

 

Image Gradient

 

x방향 변화량, y 방향 변화량을 측정하는 filter로 filtering을 해서, 변화량 값을 가지고 있는 image가 나오게 됩니다.

 

입력 이미지 기호는 다음과 같이 나타냅니다.

 

 

이 x 편미분을 하는 것과 sobel filter를 적용하는 것과 이 image에서는 동일한 의미입니다.

 

실제 편미분은 아니지만, 편미분과 같이 생각하면 됩니다.

 

Gradient를 구하는 것이 image에 sobel filter를 적용시키는 것입니다.

 

이것을 image gradient라고 합니다.

 

x, y 각 방향 gradient를 구하는 것입니다.

 

그리고 그 gradient 크기를 구하는 것은 다음과 같은 방법이 있습니다.

 

그리고 절댓값을 씌워줘도 상관 없습니다.

 

위 방법은 부호를 무시하고 절댓값을 취하기 위함입니다.

 

 

그리고 gradient 방향은 다음과 같습니다.

 

각도까지 구할 수 있습니다.

 

위와 같이, x 방향 변화량, y 방향 변화량을 통해서 볼 수 있고, 전체 gradient amplitue를 통해서 볼 수도 있습니다.

 

그리고, 다음과 같이,

x 방향 변화량 값과 y 방향 변화량 값을 각각 하고, 그것을 합쳐서 어떠한 결과를 얻습니다.

 

그리고 그것이 무조건 edge를 나타내는 것은 아닙니다.

 

어느정도 높으면 그것이 Edge일 확률이 높다 정도 가지고 있는 것이므로,

 

edge로 결정하려면 이 gradient amplitude의 값이 threshold 보다 높은 것만 남겨두는 것입니다.

 

이 Image 마다 threshold의 값을 어떤 것을 써야하는지 달라서, 실제 edge를 찾을 때 실제로 사용하진 않고,이 gradient 값을 다른 것에 이용합니다.

 

 1차 미분에선 threshold를 사용하여 결정한다 정도로 알아두시면 될 것 같습니다.

 

 

 

 

 

그럼 다음 예시를 봅시다.

 

아래처럼 저 빨간 선에 대한 image의 pixel 값을 다음과 같이 표현하고, 미분한 것을 아래와 같이 그립니다.

 

 

edge가 있는 요소 마다 실제 어느 정도 높은 값이 나오는 괜찮은 미분 값을 얻을 수 있습니다.

 

그런데, 잡음이 곳곳에 존재하게 됩니다.

 

 

 

이러한 잡음에 의해 튀는 값들이 많이 발생하게 되고, threshold 값에 의해 edge라 판명될 수도 있지만, 이러한 튀는 값들 때문에 edge처럼 판단이 될 수도 있습니다.

 

 

이러한 noise 들이 껴있으면, 3 x 3 sobel filter로 잡음을 모두 잡는 데는 한계가 있습니다.

 

위와 같이 미분 값이 잡음이 많이 껴서 판단하기 힘들어집니다.

 

그래서 1차식을 가지고 다시 얘기를 해봅시다.

 

 

그럼 잡음을 어떻게 없앨까요?

 

 

우리는 Gaussian filter를 통해 잡음을 없애고, 그 다음 edge 찾는 것을 미분을 통해 진행합니다.

 

 

아래 그림에서 I는 image에서 신호 또는 Image라고 생각해도 좋습니다.

 

i라는 것에다가 Gaussian filter를 씌웁니다.

 

그럼 3번째처럼 결과가 나옵니다.

 

잡음이 거의 없는 것처럼 나옵니다.

 

변화가 일어나는 부분이 완만해지기는 했습니다.

 

이 완만해지는 단점보다 잡음을 없애는 장점이 더 큽니다.

 

여기서 미분을 취해주면 찾고자하는 부분에 대해서 극점을 갖게 됩니다.

 

 

 

결국 Noise를 제거하기 위한 이유로, 연산 횟수가 2배가 된 것입니다.

 

그래서 이것을 결과가 좋아지지만, 연산량에서 손해를 봅니다.

 

그래서 연산량을 고려한 방법을 생각해봅니다.

 

DoG (Derivative of Gaussian)

 

결국 Gaussian filter를 씌우고 Sobel filter를 씌우는 과정을,

 

image에서 Sobel filtering은 미분과 같으므로, Gaussian filter에 미분을 하고 그 미분된 G'으로 filtering을 하는 것입니다.

 

과정은 다음과 같습니다.

 

 

미분을 하기 위해서 우리가 image에 sobel filtering을 적용한 것이었습니다.

 

그러나 !

 

Gaussian 에 미분만 해주면, 식 전개 하나로 끝나게 되는 것입니다.

 

그러니 !

 

filtering 연산 과정 하나가 통채로 줄어든 것입니다 !!!

 

 

그래서 이 G'이라는 filter와 signal 간의 convolution 연산을 하면 원하는 결과가 나오게 됩니다.

 

결국 미분에서의 convolution 연산이 없어진 것이지요.

 

 

그 G'은 다음과 같습니다. 줄여서 DoG라고 부릅니다.

 

 

이젠 Gaussian filter를 위는 x에 대해서만 한 것이므로,

 

x와 y 방향을 각각 쪼개어 미분을 합니다.

 

sobel filter에서도 x, y 따로 따로 filtering을 했다시피 같습니다.

 

 

그러므로, x에 대한 G 편미분, y에 대한 G 편미분을 진행하면 됩니다.

 

그래서, 식을 통해서 3 x 3 , 5 x 5, 7 x 7, ...그리고 시그마는 사용자가 넣어주고,

 

만일, 5 x 5 라면 (-2, -2) ~ (2, 2)의 값을 모두 식에 넣어주면 되는 방식입니다.

 

 

또 다른 방법은,

 

Gaussian 의 matrix에 -1, 1과 같은 편미분과 같은 의미를 지리는 filter를 적용해주는 것입니다.

 

 

결국, x 방향 변화량을 얻기 위한 DoG, y 방향 변화량을 얻기 위한 DoG를 각각 얻을 수 있습니다.

그러나 이 방법은 전체 합이 과연 1일 것인가에 대한 issue가 존재합니다.

그래서, 우리가 5 x 5의 Gaussian filter를 쓴다고 해도, 그 Gaussian 에는 무수히 많은 값들이 주변에 존재하는데, 이것을 다 합치면 1이 안 되므로, 그 값들을 5 x 5 Gaussian 에는 없어도 계산이 가능하기 때문에 써서 계산해야 제대로 계산했다고 볼 수 있습니다.

 

결국, 이 방법은 경계부분을 다시 다 구해야 제대로 구했다고 봐야합니다.

 

결국, DoG 두 개를 우리가 얻을 수 있습니다.

 

 

 

Zero-crossing point

 

그렇다면, 우리가 Threshold가 안정성을 보장하지 못하기 때문에 다른 방법이 필요합니다.

 

그래서 2차 미분을 통해 얻어보려고 합니다.

 

 

위와 같이 변화가 많이 일어나는 부분을 우리가 극점으로 보았습니다.

 

그리고, 여기에 한 번 더 미분하여, 오른쪽 그림과 같이 이차 미분에서의 결과물을 보면, zero가 되는 점을 봅니다.

 

이를 Zero-crossing point라고 합니다.

 

결국 부호가 바뀌는 부분이 되겠죠.

 

 

이것도 어떤 filter를 사용해서 미분을 구현할지를 생각해줘야합니다.

 

 

Laplace filter 

 

 

그래서 위와 같이 2차 미분한 식을 얻을 수 있습니다.

 

그리고, x 방향 변화량만 고려한 것입니다.

 

그래서 결국 image를 위해선 y 방향까지 고려해줘야합니다.

 

그것이 위 식으로 나와있습니다.

 

f에 x 방향 편미분 두 번, 그리고 f라는 image에 y 방향 편미분 두 번 하여, 그것을 더하기로 연결을 합니다.

 

 

x 편미분일 때, y 축은 상수취급이므로, 신경쓸 필요는 없습니다.

 

그래서 y축만 하나 더 생긴 것이라고 보면 됩니다.

 

원래 했던 것과 큰 차이 없고, y 좌표에 대해서 한 번 더 해준다고 생각만 하면 됩니다.

 

 

 

아니면,

 

위에서 구한 filter 끼리의 더하기로 봐도 됩니다.

 

 

그런데, 이 laplacian filter도 잡음이 문제입니다.

 

그래서 이 또한 Gaussian filter를 해야합니다.

 

 

그래서 여기서 Gaussian 식에 먼저 미분을 2번 하고, image I에 Convolution하겠다는 것입니다.

 

 

LoG (Laplacian of Gaussian)



 

 

그리고 Gaussian에 x 편미분 2번 한 것, y 편미분 2번 한 것을 더해줍니다.

 

 

 

이렇게 식이 있으니, Gaussian filter 만드는 것에는 문제가 없습니다.

 

x,y에 각 좌표값만 넣어주면 끝입니다. 식만 달라졌을 뿐입니다.

 

이렇게 LoG를 만들 수 있습니다.

 

이것은 Laplacian에 Gaussian을 적용하는 것이기 때문에 LoG라고 부릅니다.

 

 

그리고 Laplace filtering은 Gaussian을 씌우지 않아서 꽤 잡음이 나오는 모습입니다.

 

그러나 LoG를 적용하면 잡음에 대해 강인하게 나옵니다.

 

LoG를 하면, Gaussian으로 잡음을 없앤 효과를 같이 볼 수가 있어서, filtering 한 번으로도 잡음까지 고려한 결과를 얻을 수가 있습니다.

 

 

 

LoG vs DoG

 

 

그렇다면 두 가지를 비교해봅니다.

 

전반적인 패턴은 비슷합니다.

 

DoG는 x 방향 DoG과 y 방향 DoG를 각각 구하여 더한 것입니다.

 

 

 

LoG는 확실히 zero-crossing point가 보입니다. 0이 되었다가 올라가는 모습이 보입니다.

 

가운데 비어있는 부분을 말합니다.

 

그리고 DoG는 튀는 값들이 확실히 보입니다.

 

이 자체만 놓고 보면 큰 차이가 없어 보입니다.

 

여기서 edge라고 판단하는 것은, LoG는 zero-crossing point를 보는 것이라 기준이 명확합니다.

 

부호가 바뀌는 지점을 살펴보는 것입니다.

 

DoG는 Threshold라는 것을 정해야합니다.

 

그런데 이것은 정해야하고, image 마다 필요로하는 값이 달라, 깔끔하게 하나의 값으로 다 좋게 나오는 결과를 얻기가 어렵습니다.

 

그래서 LoG가 edge를 위치시키는 마지막 타이밍에선 더 우위에 있습니다.