[Computer Vision] Image Filtering - Average filter

🧑🏻‍💻 Topic 정리

- image filtering
- Average Filter
- Linear Filter
- Sharpening Filter

 

 

filter라는 것을 이용하여 연산을 통해,

 

filter의 종류에 따라 output으로 나오는 image의 종류가 다양합니다.

 

filter의 종류와 filter라는 것을 통해 이루어지는 연산을 알아봅시다.

 

 

Image Filtering

 

Image Filtering : compute function of local neighborhood at each position

 

이러한 image filtering을 여러 가지 분야에서 사용중입니다.

 

요즘 CNN에서 Convolution이라는 연산 자체가 이 image filtering과 같은 연산입니다.

 

다음과 같은 일들이 가능합니다.

 

• Enhance images
  • Denoise, resize, increase contrast, etc...
• Extract information from images
  • Texture, edges, distinctive points, etc...
• Detect patterns
  • Template matching

 

다음과 같이 3 x 3의 filter를 살펴봅시다.

 

이 filter를 우리는,

 

filter 또는 Mask, window 라고 부릅니다.

 

input image에서 filter를 거쳐서 output으로 image가 나오는 형태입니다.

 

 

위 그림과 같이, 작은 filter의 위치부터, filter의 가운데 부분에 filtering의 값이 들어가게 됩니다.

 

중앙 좌표에 값이 계산되며, 다음과 같습니다.

 

 

이와 같은 연산을 거칩니다.

 

이 과정을 하나 거치면 한 pixel에 대한 연산이 이루어진 것입니다.

 

포갠다고 봤을 때, 딱 포개지는 위치부터 각각의 값들을 곱해주어 이루어집니다.

 

 

위 수식에 따라 계산됩니다.

 

하나하나의 pixel에 접근하는데,

 

m,n은 실제 input image 와 output image의 m x n matrix의 요소들이며,

 

k와 l은 filter의  k x l matrix의 값들에 대해 input image와의 matrix 연산이 이루어집니다.

 

연산은 다음과 같습니다.

 

Image filtering = Sum (filter x neighborhood)

 

 

 

 

 

 

이제 filter의 종류에 따라 달라지는 값들을 살펴봅니다.

 

 

 

average filter

 

이 사진으로 다시 오면,

 

이 filter는 Box filter로 average filter라고 합니다.

 

즉, 평균 filter로 이것은 다음과 같은 작업이 가능합니다.

 

• Replaces each pixel with an average of its neighborhood
• Achieve smoothing effect (Remove sharp features)

 

 

결국 이 filter를 쓰는 목적은

 

noise한 Image를 처리합니다. 즉, 튀는 값들을 처리하고,

 

bluring을 할 때 사용합니다. 이는 사실 smoothing 작업으로, 뿌옇게하는 효과가 있습니다.

 

 

 

linear filter

 

위와 같은 filter를 살펴봅시다.

 

위는 linear filter에서 average filter를 빼어 연산하는 것입니다.

 

여기에는 두 가지 방법이 있습니다.

 

 

1. linear filter로 연산 후 새 image, average filter로 연산 후 새 image 계산하여 빼기.

 

2. filter 끼리 연산 후 새 image.

 

당연히 2번으로 진행하게 됩니다.

 

우리가 이와 같은 연산으로도 새로운 결과를 얻을 수 있는지를 살펴보겠습니다.

 

 

위와 같은 것을 우리는 

 

Sharpening filter

 

라고 합니다.

 

• Accentuates differences with local average.

 

주변 값 간의 pixel 값 차이를 더 벌려주는 것이라고 볼 수 있습니다.

 

 

 

 

위 연산을 보면,

 

150이었던 숫자가 255라는 더 높은 숫자로 jumping이 이루어졌다는 것이 중요합니다.

 

여기서 average filter를 뺀다고 해도 크게 차이를 보이지는 않습니다.

 

그러므로,

 

주변 보다 밝거나 어두울 때 의미를 갖는 것입니다.

 

위와 같은 경우에는 더 어두운 결과가 나오게 됩니다.

 

 

이 sharpening filter는 주변간의 차이로 더 선명하게 하는 것이 목적이지 전체 밝기를 키우려는 것이 아닙니다.

 

그래서 filter의 총 합이 1이 되도록 맞춰줘야합니다.

 

 

결국 Sharpening filter의 이유는 원래 조금 눈에 띄던 것, 즉 noise를 더 극대화 시키는 효과를 내게 됩니다.

 

noise는 좀 튀는 값들을 의미합니다.

 

그리고, filter의 합을 1로 맞춰줍니다.

 

그 이유는, local 적으로 일부만 보면 바뀐 것이 보이지만, 전체적인 tone은 유지되도록 하는 것입니다.

 

그러나 무조건은 아닙니다. 위는 선명도에 목적이 있는 것입니다.

 

목적에 따라 더 밝게하거나 더 어둡게 하는 것이 목적이라면, filter의 합이 1보다 클 수도 있고 작을 수도 있습니다.

 

 

더 어두워져서 일부 밝기 변화가 나타나는 지점을 보면, 이 변화가 나타나는 지점은 Edge라고 합니다.

 

이러한 것에 있어, filter의 종류에 따라,

 

Vertical Edge 또는 Horizontal Edge라고 하고, absolute value라 합니다.