[Computer Vision] Edge Detection

🧑🏻‍💻용어 정리

Computer vision
Edge
Detection
Sobel filter
filtering
burring

 

 

 

 

Edge Detection

 

Goal : Identify sudden changes (discontinuities) in an image

 

Edge는 쉽게 보면 변화가 있는 부분, 경계선이라고 볼 수 있습니다.

 

결국, 변화가 일어나는 경계선을 찾는 것이죠.

 

 

 

이러한 부분에서도 우리가 edges를 찾아볼 수 있습니다.

 

 

 

 

위와 같은 예시를 살펴봅시다.

 

한 Image에 대해서 우리는 빨간 선에 따라 pixel 값에 대한 intensity function을 그릴 수 있습니다.

 

1차로 표현한 것입니다.

 

2차로 하려면 3D가 필요하죠.

 

그렇다면, edges를 찾기 위해서 맨 오른쪽 사진과 같이, 미분을 취해서 튀는 부분이 있습니다.

 

이것을 extrema 혹은 Local maximum 혹은 Local minimum이라고 부릅니다.

그것들을 찾으면 이것이 egde구나라고 볼 수 있습니다.

 

즉, egdes correspond to extrema of derivative입니다.

 

그렇다면, 1차 미분이 edge를 찾는 데 있어 유용한 정보를 제공하는 것을 알아냈습니다.

 

그럼 우리가 edge를 찾아낼 수 있다고 생각이 들죠!

 

그러나,

 

우리는 Image에 바로 미분을 적용할 수는 없습니다.

 

그러면 어떠한 방법이 있을까요?

 

일단 우리가 1차 신호에서의 미분 식을 가정해 봅시다.

 

x가 continuous 한 연속함수라고 생각하고 식을 세웁니다.

 

그런데, 우리가 가지고 있는 Image는 정수 위치에서만 pixel값을 갖는 것으로 discrete 합니다.

 

 

그런데, h라는 것이 미분할 때, 0으로, 가장 좁은 범위 안에서의 변화량을 측정하는 것입니다.

 

그런데, image는 가장 가까운 Pixel로 생각하면 1이라고 볼 수 있죠.

 

그렇다면, 식을 아래와 같이 바꿀 수 있습니다.

 

f(x)에 어떤 filter를 가지고 filtering을 해야 위와 같은 수식이 나올까 생각해 봅니다.

 

 

각 위치에서,

 

x, x+1의 위치에서의 값을 연속적인 것이 아니므로 각 filter의 값과 곱하기를 하면 위와 같습니다.

 

미분 대상이 불연속적이고, image라고 생각해 봤을 때, h=1을 대입한 것이라고 생각해 볼 수 있습니다.

 

 

위 미분 과정을 filtering으로 표현을 해보면, f라는 신호에 이 filter 가지고 Filtering 한 것과 동일하다고 볼 수 있습니다.

 

 

아직 Y축은 생각하지 못했지만, 위 filter를 가지고 있으면 미분을 구현할 수 있겠다고 생각해 볼 수 있습니다.

 

 

 

일단 위 미분식과 똑같이 나오도록 x, x+1, 그리고 filter를 설정했지만,

 

가운데를 중심으로 대칭이 되는 성향을 갖도록 변형을 시켜야 합니다.

 

 

그 과정을 아래와 같습니다.

 

 

이 마지막 줄 식도, f(x)와 어떤 filter 간의 convolution 연산이라고 볼 수 있습니다.

 

 

 

다음과 같이 x-1, x, x+1로 -1, 0, 1의 식으로 나타낼 수 있습니다.

 

 

 

 

원래는 1/2이 있는 게 맞지만, 변화량을 측정하기 때문에, 1/2이 곱해져도 local maximun, local minimun의 우위관계는 변화하지 않습니다.

 

 

가운데 대칭을 만들기 위해 위와 같이 식을 변형해서 나타냈습니다.

 

결국, 주변의 차이를 구한다는 입장에서는 같습니다.

 

그것이 곧 미분이죠.

 

 

 

우리가 그래서 1차원에서의 filter를 구하는 데 성공했습니다.

 

1D derivative filter라고 하죠.

 

 

이것을 image에 적용하기 위해서 2차원 구조로 바꿔주어야 합니다.

 

Sobel filter

 

그런데 여기서 추가로 조합해 주는 filter가 있습니다.

 

아래와 같은 이 가중 average filter는 1/4의 값이 빠져있습니다.

 

그러나, 우리가 지금 원하는 것은 주변에 비해 상대적 높낮이를 보려고 하는 것이기 때문에, 1/4이 없다고 봐도 됩니다.

 

이 추가적인 filter는 그저 blur를 주는 bluring filter라고 보면 될 것 같습니다.

 

 

결국 bluring filter와 변화를 주는 1D derivative filter의 조합으로 sobel filter를 완성합니다.

 

이 bluring filter를 통해 noise가 edge로 잘못 나오게 되는 경우의 수를 차단합니다.

 

이러한 average filter가 noise를 잡아준다는 역할을 기억하고 넘어갑시다.

 

 

 

그런데, filter의 크기가 좀 더 커야 bluring 효과가 더 납니다.

 

근데 위 sobel filter는 3 x 3의 size이므로 bluring 효과가 그렇게 크지는 않습니다.

 

그래도 뭐 없는 것보단 낫습니다.

 

정리하자면,

 

Sobel filter는 1D derivative filter에서 3 x 3으로 만들어주기 위해서 조합한 Blurring filter가 있다는 것입니다.

 

이 Blurring filter는 noise에 대처하기 위함이지만, size 자체가 작기 때문에 그렇게 효과적으로 대처하지는 않습니다.

 

 

 

그렇다면 어떻게 이 sobel filter가 edge를 찾으며, 어떤 종류의 선에 더 반응도가 높은지 살펴보겠습니다.

 

대표적으로 수평선과 수직선을 중점으로 보겠습니다.

 

 

 

 

위 예시에 대해 sobel filter를 씌워봅시다.

 

위는 vertical line case입니다.

 

왼쪽은 음수가 들어가고, 오른쪽은 양수가 들어갑니다.

 

왼쪽과 오른쪽 pixel 값들의 차이라고 보시면 됩니다.

 

그런데 오른쪽은 값이 거의 비슷하게 어두워 보이므로, 낮은 값이 예상되고,

 

가운데 edge를 기준으로 본 선에 sobel filter를 적용해 본다면, 밝은 데다가 음수, 어두운 데 양수 적용하니,

 

결과 값이 음수가 나올 것이라고 예측할 수 있습니다.

 

그리고 절댓값만 생각하면 되는 것이므로,

 

local maximum, local minimun은 절댓값이 크면 클수록 edge일 확률이 높다고 볼 수 있습니다.

 

결국 filter를 적용하고 절댓값을 씌웠다고 보면 됩니다.

 

그래서 위 예시에서 vertical line에서 높은 값이 나올 것이라고 예상됩니다.

 

 

 

결국 수직선을 찾을 수 있는 이유는 왼쪽, 오른쪽 같은 차이를 잴 수 있기 때문인 것입니다.

 

그런 의미에서 x 방향, 즉, 수평 방향 변화량을 잴 수가 있는 filter입니다. 그래서 수직선을 찾을 수 있습니다.

 

변화량과 선은 서로 직교하는 관계를 가지고 있습니다.

 

즉, x-direction입니다.

 

 

 

 

그리고 수평선도 측정할 수 있도록 y축 방향의 변화량을 측정할 수 있는 filter도 생각할 수 있습니다.

 

 

그래서 각 sobel filter는 다음 두 가지가 존재합니다.

 

vertical line을 찾아주니, vertical sobel filter,

 

horizontal line을 찾아주니, horizontal sobel filter.

 

라고 생각하고 넘어갑시다.

 

이 작명은 기준이 모호해서 이 포스팅에는 위와 같이 보겠습니다.

 

 

 

결국, 우리는 1차 미분을 이용해서 edge를 찾기 위해서 x 방향 변화량, y 방향 변화량 두 방향 둘 다 필요합니다.

 

이 예시를 봅시다.

 

 

배경은 거의 차이가 없으므로 0에 가깝고, 

 

가운데 그림은 수직선, 즉 x 방향 변화량을 본 것입니다.

 

그리고, 오른쪽 그림은 수평선에 높은 반응값이 나오므로 y 방향 변화량을 본 것입니다.

 

 

이제 변화량을 볼 수 있는 것이 sobel filter만 있는 것은 아닙니다.

 

다음과 같은 종류도 존재합니다.

 

 

• prewitt
  • prewitt는 sobel과 blurring에 대한 차이입니다.
  • 그런데 sobel은 Blurring에 더 강점이 있습니다.
  • 그리고 가까운 것에 더 큰 가중치를 부여합니다.
• Scharr 
  • Scharr는 가까운 것에 더 큰 가중치를 부여한 것입니다.
  • 가까운 것에 10/3배.
• Roberts
  • 2 x 2 filter를 경우에 따라 사용하기도 합니다.