[Computer Vision] Image Restoration - Wiener Filter(Adaptive Filtering)

🧑🏻‍💻용어 정리

Computer vision
Image Restoration
noise
Gaussian Noise
Wiener Filter
Weight
Adaptive Filtering

 

 

 

Gaussian Noise

 

Gaussian Noise는 일반적인 image에 Gaussian Noise를 씌워 noise를 넣는 것을 의미합니다.

 

위 레나 사진과 같죠.

 

우리가 배우는 noise는 더해져서 들어가는 noise를 다룹니다.

 

그래서 이는 Additive White Gaussian Noise (AWGN)라고 할 수 있습니다.

 

Additive White Gaussian Noise (AWGN)

 

image와 동일한 크기의 noise가 있는 것입니다.

 

더해져서 반영된 noise들을 image에서 어떻게 없앨지에 대한 얘기를 해보겠습니다.

 

 

출처 : https://opendatascience.com/generating-data-with-random-gaussian-noise/

 

이번에는 Gaussian noise가 더해집니다.

 

Gaussian 분포를 따르는 Noise가 Gaussian Noise입니다.

 

실제로 Gaussian 분포를 따르는 Gaussian noise를 만들어봅니다.

 

평균과 분산을 구해야합니다.

 

여기서 평균은 모두 0이라고 하겠습니다. 그리고 분산은 임의의 분산값으로 지정을 해줘야합니다.

 

그리고 image의 shape인 h x w에 대한 크기로 Gaussian noise를 평균과 분산에 따라 생성을 해줍니다.

 

생성해야할 개수는 h x w개 만큼의 임의의 값들을 가져와야합니다.

 

그리고 random하면서 평균이 0이 되도록 noise를 줍니다.

 

그리고 값들에 대해서 분포를 보면 정규 분포를 따르도록 말이죠.

 

 

일단 우리의 목적은 Gaussian noise를 없애는 것이 목적이지만, 없애기 전에 Gaussian noise를 한 번 만들어보겠습니다.

 

 

그래서 I라는 Image에 noise가 더해져서 noise가 있는 image를 만드는 수식은 아래와 같습니다.

이를 그림 그리면 다음과 같죠.

 

 

평균은 무조건 0이 되도록하고, 분산도 큰 게 있고 작은 게 있을 것입니다.

 

분산이 100이라고하면, 10 정도의 차이가 나는 값들로 분포가 되어 있습니다.

 

아래 사진과 같이 분산이 커지면 평균 0을 기준으로 차이가 더 큰 값들로 구성이 되어 있습니다.

 

그 말은, 분산이 크다면, 서로 다른 값들이 클 가능성이 높은 것입니다.

 

0을 기준으로 차이가 나는 값들로 분포가 되어있을 확률이 높기 때문입니다.

 

그런데, 분산이 매우 작다면, 사용할 수 있는 값들이 적으므로, 그 만큼 noise가 작음을 의미합니다.

 

그래서 Gaussian noise를 만들 때, 분산의 값도 입력으로 넣어주는데, 분산이 클수록 noise가 많아지고, 분산이 작을수록 noise가 적어지는 것입니다.

 

Gaussian noise는 random한 값이 막 퍼져 있는 것인데, 그 random한 값의 분포를 보면 평균을 기점으로 우측과 같은 모양으로 펴져있고, 평균은 여기서 0이고 분산에 따라 분포가 완만해지기도하고 가파라지기도 합니다.

 

분산이 클수록, 진폭이 커지므로, noise가 커지고, 분산이 작을 수록 noise가 작아집니다.

 

실제로는 noise가 껴있는 Image에 대한 처리를 하는 것이고, 실제 상황은 noise를 만들어서 넣지는 않습니다.

 

Gaussian noise는 결국 random한 값이라 생각하되, 규칙은 평균과 분산에 대해서 생각해주어야 합니다.

 

 

이제 실제로 Gaussian noise가 껴있는 image가 주어졌을 때, 어떻게 noise를 지울지에 대해 이야기 해보겠습니다.

 

 

우리는 이 Gaussian noise를 규칙만 지키면 무한하게 만들어낼 수 있습니다.

 

그래서 위와 같이 100개를 만들어봅니다.

 

그 각각을 clean image에 더해주어 noise image도 100개를 만듭니다.

 

 

 

그것을 위와 같이 수식으로 나타내고, 위 좌항, 우항의 식들을 모두 더하여 평균을 내어줍니다. 100으로 나누어주면 되겠죠.

 

 

그래서 위와 같은 식으로 좌항과 우항을 표현할 수 있겠죠?

 

그런데, 위 설명과 같이, 우측에 noise에 대한 평균은 0에 가까워진다고 합니다.

 

그 내용에 대해 더 살펴봅시다.

 

 

위와 같이 N_1 ~ N_100의 matrix를 다 더한다는 의미입니다.

 

이 더해지는 부분은 동일한 pixel 위치에 있는 것들끼리만 더해집니다.

 

결국 100가지의 Noise에 대한 평균값을 구하는 것이죠.

 

각 Pixel 위치마다의 Noise를 모아서 평균을 하는 건데, Gaussian noise의 평균은 우리가 0으로 가정했죠.

 

이것은 같은 N_i의 noise의 평균이 0이 된다는 의미이고,

 

우리가 지금 위 100개의 noise를 다 같은 분산으로 만들었기 때문에, 굳이 하나에서 볼 것이 아니라,

 

다른 noise에서 발생한 100개만으로도 Gaussian 분포의 특성 상 각각의 지점들이 모두 0으로 갈거라고 기대를 해볼 수 있습니다.

 

정확히 0은 아니지만, 0에 가깝게 말이죠.

 

 

결국, noise가 낀 image를 100개를 평균하면 그게 곧 clean image가 된다고 볼 수 있습니다.

 

 

실제 상황은 아니지만,

 

clean image에 Gaussian noise를 위와 같이 여러 개 입혔습니다.

 

10개의 noise image를 모아두고 평균을 내면 noise가 어느정도 지워졌습니다.

 

그리고 100개의 noise image를 모아두고 평균을 내면 오른쪽 아래와 같이 나옵니다.

 

 

결국, 분산이 같은 Gaussian Noise들을 모아두고 평균을 취하면 그것들을 0으로 만들 수 있습니다.

 

지금까지 한 것은 clean image에서 시작한 것이죠.

 

 

그렇다면 이번에는 denoising 을 위한 실제 상황의 image가 들어오는 것을 해봅시다.

 

우리가 방금 한, noise들을 모아두고 평균하면 0으로 만들 수 있는 방법을 통해서 말이죠.

 

 

 

위와 같은 좁은 영역에 대해, local하게 안에 있는 값들에 대해 평균을 취하면 noise들을 모을 수 있다고 생각을 해봅니다.

 

일단 위와 같이 5 x 5로 25개의 pixel 값을 따옵니다.

 

그럼 아래 수식과 같이 noise가 끼어있는 pixel 값을 a_1 ~ a_25로 나타냅니다.

 

 

그렇다면 위 a_1 ~ a_25는 모두 noise가 끼어있는 pixel 값입니다.

 

그래서 a_1이라는 pixel 값을 clean image + noise image처럼 표현하는 것이 위 수식입니다.

 

우리의 목적은 a_1 대신에 c_1을 구하는 것입니다.

 

그리고 중간에 가장 중요한 pixel 값이, 5 x 5 기준 가운데 pixel 값입니다.

 

이는 우리가 filtering 할 때 가운데 위치에 있는 값을 filtering을 통해 바꿔주었습니다.

 

여기서 가운데는 a_13입니다.

 

그리고 마지막까지 써보면 위와 같이 a_25로 쓸 수 있습니다.

 

그리고 이것을 평균을 냅니다.

 

n_i는 잡음입니다.

 

그리고, 한 image에서 뽑은 것이니 분산도 같습니다.

 

그래서 우리가 5 x 5로 25개의 noise를 모았습니다.

 

이정도면 n_1 ~ n_25의 평균에 대한 값이 0이 됐으면 좋겠다고 우리는 기대합니다.

 

 

그런데 여기서 5 x 5가 아닌 더 키워서 하면, 7 x 7, 9 x 9, 11 x 11, ... 등

 

filter의 크기를 키우면 키울 수록 noise들을 더 많이 모을 수 있습니다.

 

많이 모으면 모을 수록 평균했을 때 0에 가깝게 만들어줄 수가 있습니다.

 

 

여기서,

 

patch 안에 있는 pixel 값들의 평균이, clean한 pixel 값인 c의 평균과 완전히 같진 않지만 어느 정도 비슷할 거라고 기대합니다.

 

그렇다면 average filter가 어느정도 noise 감소에 효과가 있다고 볼 수 있습니다.

 

 

위 5 x 5 patch 안에 있는 가운데 pixel 값이, a_13이 평균으로 계산할 경우에, 계산 값은 당연히 평균 값으로 채워지겠지만,

 

이것은 clean한 값만 가지고 평균을 취한 것과 거의 같다고 생각 할 수 있습니다.

 

그럼 noise가 제거된 효과를 볼 수 있습니다.

 

 

사실 우리가 가장 찾고자하는 것은 위 사진에서 c_13이지만, 이것을 바로 찾을 수는 없으니,

 

주변의 평균 값들로 어느 정도 채우고 대신에 noise를 없앨 수 있었습니다.

 

 

그래서 noise는 없앨 수 있지만,

 

우리가 평균을 취하면서 발생할 수 있는 현상이 뿌옇게 되고 blur가 들어가는 안 좋은 현상이 일어납니다.

 

noise를 지울 수 있다는 장점과 뿌옇게 된다는 단점이 공존하게 됩니다.

 

 

그렇게 왼쪽과 같이 3 x 3 average filter를 할 수도 있고, 우측과 같이 5 x 5 filter를 씌울 수도 있습니다.

이게 그렇게 큰 filter가 아니다 보니, 3 x 3, 5 x 5 각각은 9개, 25개 정도 밖에 모으지 못하니,

 

noise들이 모두 0이 될 수는 없었습니다.

 

여기서 filter의 크기를 더 키우면 noise를 더 많이 지울 수 있을 것입니다.

 

그래서 아래와 같은 특징을 가집니다.

 

• Using a small window : is not so effective in noise removal
• Using a large window : is effective in noise removal, but the output image is over-smoothed

 

noise image를 더 많이 모아서, 많이 모은 것들로 평균을 하니 Gaussian 분포를 더 흉내를 잘 낼수가 있습니다.

 

그렇게 0에 가깝게 만들 수가 있는 것입니다.

 

이게 window size가 커지는 것에 대한 장점이죠.

 

그런데, window size가 클수록 blur 효과가 더 극대화 된다는 단점이 있습니다.

 

이것은 당연하게도 가운데 값을 대체하기 위해 주변의 값에 대한 반경을 늘리다보면 섞이는 값이 더 많아집니다.

 

그럼 원래의 나의 값을 잃어버릴 가능성이 더 높아집니다.

 

그렇게 되면서 smoothing이 더 일어난다는 문제가 있습니다.

 

이게 어느정도의 trade-off가 있습니다.

 

noise를 더 잘 지우느냐와 smoothing을 얼마나 감수하냐에 대한 것이죠.

 

 

Adaptive Filtering : Wiener Filter

 

This filter adaptively changes its characteristics according to intensity values within the mask
• Key Idea: using local properties of intensity values within the mask. Combine the original input and mean values

 

아래와 같은 새로운 image가 있다고 합시다.

 

우리는 이것에 대해서 영역 3개를 가지고, denoising을 위해 평균 filter를 적용한다고 하면,

 

가장 위에 있는 patch의 경우는 uniform한 region으로 볼 수 있습니다.

 

이런 uniform한 region은 average filter를 취해도 원래의 나의 값과 별로 달라지지 않을 것입니다. 나인 가운데 값이 주변에 있는 값들과 비슷하기 때문이죠.

 

이것은 중앙값이든 범위 안의 주변과의 평균 값이든 차이가 크게 없습니다. 서로 비슷한 값입니다.

 

이것에는 average filter를 취하는 데 부담이 없죠.

 

 

 

그런데, 중앙 값을 봅시다. (2번째 patch)

 

이것에는 edge가 포함되어 있어, 가운데 값이 밝은 값이고 왼쪽은 밝고 오른쪽은 어두운 값입니다.

 

이것에 대해 평균값을 해주면 약간 어두운 회색이 나올 것입니다.

 

원래는 밝았던 것이 denoising을 하려다 보니 pixel 값 자체가 손상이 되는 일이 발생합니다.

 

이렇게 edge가 있는 부분에 대해서 average filter를 취하면 원래 pixel 값을 유지하지 못하고 손상이 많이 됩니다.

 

그리고 smoothing이 너무 많이 일어나는 결과가 나오게 됩니다.

 

 

결국 average filter로 denoising에 효과가 있다는 것까지는 파악이 되었지만,

 

조금 더 생각을 발전하여 조금 더 좋게 만들지를 고민해보아야 합니다.

 

 

일단, average filter를 취해도 별로 pixel 값의 손상이 없는 부분은 그냥 그대로 사용하면 됩니다. (uniform한 부분)

 

그런데 그렇지 않은 부분에 대해서는 좀 꺼려집니다. (edge 가 포함된 부분)

 

 

이제 영역에 따라 조금 다른 filtering을 적용하는, 적응적으로 좀 다르게 처리하는,

 

Adaptive Filter를 생각해볼 수 있습니다.

 

 

 

그리고, 어느 지점이 uniform하고 어느 지점이 edge가 있는지를 자동으로 측정할 수 있어야 의미가 있겠죠.

 

그것을 측정할 수 있는 간단한 지표가 분산입니다.

 

uniform한 부분은 분산값이 좀 낮을 것입니다.

 

그런데, edge가 포함되어 있다면 분산이 클 것입니다.

 

 

 

그래서, 분산 값이 크다면 edge, 분산 값이 작다면 uniform한 부분으로 생각해볼 수 있습니다.

 

위 영역을 filtering하는 영역으로 보겠습니다.

 

우리가 이 부분에 대해서 우선 분산을 구합니다.

 

이 부분의 분산이 크면 edge이고, 해당 부분에 average filter를 취하면 pixel 값이 손상되는 일이 일어날 수 있다고 했습니다.

 

그래서 이것에 대해 좀 다르게 적용해볼 수 있습니다.

 

 

일단 위 그림에서 보면,

 

I_G라는 noise를 가지는 image가 있다고 합시다.

 

x, y 위치에 대해 어떻게 처리할지에 대한 이야기를 해봅시다.

 

 

여기서 평균 값을 계산한 것을 I_G(x, y) = m(x, y)라고 하겠습니다.

 

이것이 원래 우리가 하던 average filtering이죠.

 

그런데 이 x, y 지점이 edge면 risk가 있다고 할 수 있습니다.

 

 

그래서 이 average 값과 원래 값을 조합을 하여 사용하겠다는 것입니다.

 

다음의 수식을 통해 가중치에 대해서 연산을 하겠다는 것이죠.

 

만약 x, y 지점이 edge라고 하면, 분산 값이 클 것이니,

 

평균 값보다는 원래의 값을 더 중점으로 두어야할 것입니다.

 

 

만일, uniform한 부분이었다고 하면 average 값을 그냥 쓰는 게 좋겠죠?

 

그래서 위 수식에서 보면, m인 average 값은 noise를 잘 없애는 용도이고, I_G 값은 원래 pixel 값을 어떻게 잘 유지하냐에 대한 값입니다.

 

 

우리가 edge에 대한 정도를 측정함에 있어,

 

분산을 구해볼 수 있다고 했는데,

 

그 local한 영역에 대한 분산을 구했을 때,

 

이것이 크다면 edge일 확률이 높으니, 이 분산값 자체를 weight로 사용하겠다는 것입니다.

 

그래서 edge라면 분산 값이 크니, 원래의 값이 더 강조가 될 것입니다.

 

 

극단적으로, 다 똑같은 값으로 분산이 0이 되었습니다.

 

그러한 경우, average filter하듯이 average 값을 그대로 사용하는 것입니다.

 

그리고 weight의 합을 1로 만들어줘서 원래의 pixel 값을 보존해줍니다. 그래야 밝기 변화가 없습니다.

 

위 경우는 시그마 N의 제곱이 1이었을 때를 가정하여 한 것입니다.

 

그런데, 시그마 N 제곱은 image 전체에 대한 분산이므로, 이 image에 따라 분산이 다를 것입니다.

 

 

그렇게 이 전체 image에 대한 분산이 있고, 이 local한 영역에 대한 분산이 있을 것입니다.

 

그랬을 때, 전체 image에 대한 분산인 시그마 N 제곱을 1로 놓고 보는 것은,

 

현재 local 한 부분의 분산이 큰지 작은지만을 보고 싶을 때 사용합니다.

 

 

 

그리고 이 수식은 전체 image에 대한 분산 대비 우리가 관찰하는 local한 부분의 분산이 얼마나 큰지를 상대적으로 보고 싶을 때 사용합니다.

 

 

그래서 위와 같은 수식이 나오게 됩니다.

 

여러 개의 pixel 값을 조합하여 하나로 만들 때, 밝기를 바꾸고자하는 의도가 없다면 무조건 가중치의 합을 1로 해줘야 한다는 것입니다.

 

이것을 Wiener Filter라고 이야기합니다.

 

 

 

 

 

 

 

그래서 결과를 아래와 같이 살펴봅시다.

 

완벽하진 않지만 위보단 조금 더 괜찮게 나온다고 봅니다.

 

그러나 위 결과와 같이 noise가 없어지지 않은 모습이 보입니다.

 

결국 pixel 위치마다 weight를 주어 adaptive하게 filtering을 하는 방법이었습니다.