[Computer Vision] Image Restoration - Bilateral Filter(Adaptive Filtering)

🧑🏻‍💻용어 정리

Computer vision
Image Restoration
noise
Gaussian Noise
Bilateral Filter
Weight
Adaptive Filtering
Nonlocal Means

 

 

 

이전 시간에는 Adaptive filtering 중에서도 wiener filtering에 대해 알아보았습니다.

 

이것은 denoising이라는 궁극적인 목표에 만족할만한 성과를 가져오진 않았습니다.

 

그리고 salt and pepper noise, gaussian noise 등

 

이것에 특화된 방법으로 우리가 denosing method를 적용해야함을 다시 한 번 말씀드리고 들어가겠습니다.

 

새로운 filter입니다.

 

이 Bilateral Filter는 Gaussian Filter에서 시작했습니다.

 

Bilateral Filter

 

 

위 수식은 Gaussian filter 수식으로 우리가 익숙하게 알고 있는 수식이죠?

 

gaussian filter와 average filter는 비슷한 결과를 가져왔습니다.

 

다만 차이가 있다면 filter의 위치에 따라 weight가 달랐습니다.

 

Gaussian filter는 가운데일수록 더 큰 weight, 멀어질수록 작은 weight가 취해졌습니다.

 

 

우리가 아래와 같이 image에서 따온 5 x 5 patch가 있다고 합시다.

 

그리고 gaussian filter로 filtering을 했다고 합시다.

 

이것은 가운데 부분에 가장 높은 값의 비중을 갖게 됩니다.

 

결국 filtering 중 바뀌는 값은 가운데 값입니다.

 

그렇기에 가운데 값을 가장 많이 반영해주는 것이죠.

 

 

결국 25개의 pixel 값 중 가장 중요한 pixel은 가운데 pixel입니다.

 

그리고 가운데에서 멀어지면 멀어질수록 낮은 weight를 줬었습니다.

 

 

그런데, 이 bilateral filter는 위치에 대한 것뿐만 아니라 하나를 더 사용하겠다는 것입니다.

 

우리는 거리 말고도 pixel 값에 대한 정보도 있습니다.

 

거리는 멀지만 비슷한 pixel 값을 가진다면, 이 비슷한 pixel 값을 더 잘 활용해볼 수 있겠습니다.

 

그래서 Bilateral filter는 Gaussian filter처럼 위치에 따른 weight를 부여하지만,

 

추가적으로 pixel 값의 차이에 따라 weight를 더 반영해주게 됩니다.

 

만일, 거리는 가깝지만 pixel 값의 차이가 크다면 그것을 더 낮은 weight를 부여할 수도 있겠습니다.

 

그래서 위치마다 매번 다른 filter를 만들어보겠다는 것입니다.

 

식이랑 같이 봅시다.

 

결국,

 

가운데를 기준으로해서 그 pixel 값과 얼마나 유사한가를 보는 것입니다.

 

좌표가 2개 필요합니다.

 

가운데 해당되는 좌표와 비교 위치의 좌표로 2개 필요합니다.

 

image에 대해서 3 x3 filter 를 만든다고 하면, (i, j) 좌표는 가운데 지점의 pixel 좌표이고  (k, l) 좌표는 비교하는 임의의 지점의 pixel 좌표입니다.

 

이 두 좌표간의 차이에 따라 사용하는 weight를 다르게 하겠다는 것입니다.

 

수식에서 i - k의 제곱은 x좌표 간의 차이를 나타내고, j - l의 제곱은 y좌표 간의 차이를 나타내어, 가운데를 기준으로 얼마나 떨어졌는지를 계산합니다.

 

그리고 exp.가 지금 2개 있습니다.

 

왼쪽은 가운데를 기준으로 얼마나 멀리 떨어져있는지로 Gaussian과 똑같습니다.

 

많이 떨어져있다면, 차이가 커지고, 그렇다면 exp.의 크기는 작아집니다.

 

그래서 가까울수록 weight가 커지고, 멀수록 weight가 작아집니다.

 

 

그리고 우측 exp.는 pixel 값 간의 차이를 나타냅니다.

 

보이는 수식과 같이 pixel 값 차이의 제곱으로 수식이 이루어져있습니다.

 

pixel 값이 비슷하다면 더 높은 가중치를, pixel 값이 다르다면 더 낮은 가중치를 부여합니다.

 

차이가 크면 exp. 값이 작아지므로 weight가 작아지고, 차이가 작으면 exp. 값이 커지므로 weight가 커집니다.

 

 

그래서 왼쪽 exp.는 거리를 반영한 weight, 그리고 곱하기 오른쪽 exp.는 pixel 값 차이를 반영하는 weight가 됩니다.

 

그래서 거리가 가깝다면 weight가 높아질 텐데, pixel 값 차이가 많이 난다면 weight가 0에 가까워질 수도 있습니다.

 

혹은 조금 멀리 떨어져 있더라도 pixel 값 차이가 1에 가깝다면 weight가 멀어도 높아질 수도 있습니다.

 

 

그렇다면,

 

3 x 3의 filter를 채우는 것을 해봅시다.

 

bilateral filter를 구하는 것입니다.

 

3 x 3에 대해서 하니 9개 위치에 대한 filter를 다 채워야합니다.

 

가운데 먼저 해보면,

 

본인과 본인과의 차이를 계산하는 것입니다.

 

그래서 k 자리에 i, l 자리에 j가 들어갑니다.

 

그래서 1 / N 만 남습니다.

 

그런데, 여기서 식을 모두 안 쓰고 N만 남긴 이유는 별로 중요한 값이 아니라서입니다.

 

그리고 k, l에 대해서도 해보면,

 

k에 i + 1, l은 j + 1 의 위치입니다.

 

그래서 이 식을 대입하면 됩니다.

 

 

그래서 이렇게 filter로 쓸 값을 계산할 수 있게 됩니다.

 

그래서 이 3 x 3 image patch와 bilateral filter 3 x 3 간의 filter, 즉 convolution을 해주면 값 하나가 나오게 됩니다.

 

그 값을 가운데 값에 넣어주면 됩니다.

 

이것은 원래 filtering과 같죠.

 

그런데, 중요한 것은 pixel 위치마다 사용하는 filter가 달라집니다.

 

거리만 따지는 것이 아닌, pixel 값 차이를 따지게 되어 i , j 인 가운데 pixel 에 대해 다른 임의의 값에 따라 수식의 output이 달라지기 때문이죠.

 

 

bilateral filter가 보입니다.

 

위 bilateral filter는 patch에 따라 바뀌게 됩니다.

 

bilateral filter 를 구할 때 가운데 위치한 pixel 값과 비슷한 값을 가지는 uniform한 부분에 대해서는 거의 0가 됩니다.

 

그래서 gaussian filter와 거의 유사하게 좌표 값으로만 가중치를 주게 됩니다.

 

그래서 uniform한 부분은 noise 없앨 때 gaussian filter나 average filter도 noise를 잘 없앨 수 있습니다.

 

 

그런데, edge가 있는 부분에 대해선 그냥 gaussian filter나 average filter를 하면 손상이 발생한다고 했죠.

 

지금 보면, 가운데 부분이 밝은 pixel 값을 가지는 부분입니다.

 

이 bilateral filter를 사용하면 오른쪽처럼 나오게 됩니다.

 

가운데가 밝은 부분이다보니, 밝은 부분끼리는 거리에 대한 weight만 적용되고 pixel 값에 대한 weight는 gaussian filter와 차이가 없습니다.

 

그리고 오른쪽의 어두운 부분에 대해서는 가운데 pixel 값 기준으로 pixel 값 차이가 많이 납니다.

 

이 pixel 값에 대한 가중치가 엄청나게 커지며,

 

exp. 값이 작아지게 된 것입니다.

 

그래서 값이 거의 0에 가깝게 된 것이죠.

 

그래서 거리가 가까워도 pixel 값 차이가 많이 나게 되면 그 weight에 의해 값이 많이 바뀔 수 있습니다.

 

그래서 patch 상에서 왼쪽이 밝고 오른쪽이 어둡다고 하면, 어두운 부분이 밝은 부분에 안 섞이고 무시되게 됩니다.

 

그래서 결과를 보면 뿌옇게 되는 것이 좀 덜합니다.

 

그렇게 noise를 잘 지우면서 edge는 살릴 수 있게 됩니다.

 

그리고 어떠한 차이를 수식에 추가하여 가중치를 추가하면 자기만의 filter를 만들 수도 있습니다.

 

 

결국 pixel값 차이와 좌표 거리 차이를 이용한 것이 Bilateral filter입니다.

 

 

Nonlocal Means (NLM) Filtering

 

우리가 지금까지 filtering을 하는 데 있어 Local한 부분을 뽑아내어,

 

noise를 모을 수 있는 수단으로 사용했습니다.

 

denoising을 위해서는 noise둘을 많이 모아야합니다.

 

patch 크기를 키우면 많이 모을 수 있지만 blur가 심해지는 단점이 있었습니다.

 

그리고 지역적으로 계속하는 방법에 있어서 모을 수 있는 noise의 개수가 한정되어 있죠.

 

 

이제 local하게 하지 않고,

 

noise가 있던 image들을 모아 평균해보면,

늘리면 늘릴수록 더 지워지는 그런 효과가 납니다.

 

 

늘리면 늘릴수록 noise를 잘 지울 수 있다는 것은 Gaussian noise의 특성입니다.

 

이것을 여기서 local하게 보는 것에서 벗어나,

 

하나의 patch 안에서만 볼 필요는 없다는 것이죠.

 

 

위 그림에서 patch끼리 비슷한 값을 가집니다.

 

그렇다면 위 비슷한 3개를 다 쓰면, 하나만 썼을 때보다 noise를 모을 수 있는 양이 3배가 되죠.

 

비슷하니 섞어서 했을 때 이상한 값이 나올 확률이 적습니다.

 

 

비슷한 것들 끼리 모으고 잘 섞어준다면, 우리가 noise를 많이 모으며,

 

원래 있던 pixel 값을 많이 유지할 수 있다는 것입니다.

 

 

image가 워낙 크고 local하게 보면 image 전체적으로 보면 image 전체적으로는 많이 있을 수가 있습니다.

 

이렇게 전체적으로 비슷한 애들을 잘 찾아서 모아서 평균을 잘 내준다면, 모으는 noise의 개수를 몇 배로 늘릴 수 있는 것이죠.

 

전체에서 비슷한 것들을 찾아서 하겠다는 것이죠.

 

그런데 위 예제 말고 다른 그림에서 봅시다.

 

위와 같이 항상 같은 것은 아닙니다.

 

위와 같은 경우도 있기에 단순한 평균을 하는 것은 위험합니다.

 

그래서 중요하지 않은 값에 대해서 배제하여 평균을 하는 것이 중요해집니다.

 

위 x 부분에 대한 noise를 없애고 싶다고 하겠습니다.

 

비슷한 것을 찾는 과정을 생략하고, 찾았다고 할 때,

 

u1, u2, u3가 뽑혔다면, (실제론 이렇게 안 뽑힐 것임) u1, u2가 x와 비슷하죠.

 

그런데 u3와는 다릅니다.

 

그래서 x를 구하기 위해서 u1 + u2 + u3를 3으로 나누어 평균을 내주면, u3 때문에 값이 이상하게 나오는 손상이 일어납니다.

 

그래서 weight를 잘 계산해서 곱해주겠다는 것입니다.

 

 

위 수식으로 보면, w3를 작게 해주어야겠죠.

 

비슷하고 다른 정도를 weight를 통해 반영합니다.

 

그리고 그 비슷하고 다름의 정도를 위 그림으로 봅니다.

 

빨간색을 u1, u2, u3 중 하나, 녹색을 x라고 봅니다.

 

둘이 얼마나 비슷한지 보기 위해 차이를 구합니다. 둘은 같은 크기의 patch이죠.

 

그리고, 동일한 위치 끼리 빼고,25개의 차이가 생깁니다.

 

두 개의 차이를 제곱하고 얼마나 다른지 거리를 구합니다.

 

(.-는 동일한 위치끼리 빼준다는 코드상의 용어입니다. 수학적 기호는 아닙니다.)

 

그래서 각각이 얼마나 다른지를 나타내는 것이 distance d라고 합니다.

 

이것은 pixel 값의 distance입니다.

 

그래서 위 그림에서 u1, u2와 x는 d가 낮게 나올 것입니다.

 

그런데 u3와 x는 d가 높게 나올 것입니다.

 

 

그래서 우리가 이 거리를 유사도로 바꿔줄 필요가 있습니다.

 

거리가 멀면 유사도가 낮고, 거리가 가까우면 유사도가 높죠.

 

둘은 서로 반비례 관계입니다.

 

그것을 위와 같이 exp. 에 넣어 d를 음수로 처리해주면 위 식은 유사도를 의미하게 됩니다.

 

이렇게 weight를 구하면 w1, w2, w3를 다 계산할 수 있게 되었습니다.

 

 

이 거리를 유사도로 바꿀 weight를 사용하여 X를 구하면 됩니다.

 

그리고 분모도 w1 + w2 + w3로 다음과 같이 해야겠죠. 그래야 밝기 변화가 없습니다.

 

weight 합을 1로 맞춰주어야 하는 것은 계속 기억해주어야합니다.

 

 

 

원래는 x 기준으로 비슷한 애들을 찾아서 더 많은 것들과 비교를 해야합니다. 그것들을 sorting하여 추려야겠죠.

 

즉, 그것 중에 거리를 계속 재면서 비슷한 애들을 sampling하여 추려옵니다.

 

그 안에서도 서로 얼마나 비슷한지 추려옵니다.