[Computer Vision] Image Restoration - Salt and Pepper noise

🧑🏻‍💻용어 정리

Computer vision
Image Restoration
noise
salt and pepper noise

 

이번에는 restoration에 대해 알아보겠습니다.

 

Image Restoration

 

이 image restoration의 목적은 image degradation을 줄이는 것입니다.

 

이 degradation에는 다음과 같은 종류가 있습니다.

 

• Noise
  • 촬영 과정 중 센서 이상 or 전송하는 과정 중 압축하고 풀고 할 때, 과정 속에서 오차가 발생
• out-of-focus blur
  • 초점이 안 나오는 blur
• motion blur
  • 피사체나 찍는 사람이 움직이는 것

 

이러한 여러 image에 대해서 다음과 같은 식으로 표현할 수 있습니다.

 



 

우리에게 주어진  degraded image를 g, f는 clean image인 우리의 목표 target이 됩니다.

 

그리고 다음과 같은 notation도 존재합니다.

 

• n(x,y) : Additive noise
• h(x,y) : Blurring kernel thatis the same as filtering mask

 

이 bluring kernel과 clean image와 convolutional 연산 혹은 filtering을 합니다.

 

이 bluring kernel이 만약 Gaussian filter 혹은 average filter라고 해봅시다.

 

이것을 통해 clean image를 filtering해보면, blur 현상이 일어납니다.

 

 

이렇게 convolution으로 표현할 수 있다는 것입니다.

 

이것은 이전에 우리가 이미 해본 부분이죠.

 

굳이 이렇게 표현해 봤습니다.

 

 

그리고 noise는 더하기로 연결합니다.

 

additive noise로 덧셈으로 연결하여 noise는 image와 동일한 크기의 map이 됩니다. 이것에 noise를 발생시키는 값들이 들어가 있는 것입니다.

 

이것이 clean image에 bluring kernel을 입혀서 blur 된 image에 noise를 입히면 우리에게 주어진 Image가 됩니다.

 

여기선 blur를 다루진 않겠습니다.

 

그래서 이 h(x,y)를 1로 두어, 1로 filtering하면 동일한 것이 나오기에 1로 보겠습니다.

 

여기선 clean image에 noise만 들어간 것으로 살펴보겠습니다.

 

 

Image Noise

 

noise의 종류는 다음과 같습니다.

 

 

형태에 따라, 종류에 따라 Noise에는 많은 종류가 있습니다.

 

각 noise 마다 처리 방법이 제각각입니다.

 

하나의 방법으로 모든 종류의 noise를 다 좋게 만드는 것은 어렵습니다.

 

 

하나씩 Noise를 살펴보겠습니다.

 

 

 

Salt and Pepper Noise

 

아래 그림과 같이 극단적인 값이 끼어있지만, 밀도 있게 들어가진 않고 sparse하게 뿌려져 있습니다.

이러한 형태의 noise에 대해서 어떻게 없앨 수 있을까를 고민해봐야합니다.

 

밝은 값과 어두운 값이 섞여서 들어가 있습니다.

 

 

이것을 없애는 것에 대해서는 Gaussian filter나 Average filter를 사용하여 처리가 가능하긴 하지만 그렇게 효과적이진 않습니다.

 

여기서는 Median filter를 사용해서 중간 값만 바꿔주어 중간값을 사용하여 효과적으로 처리합니다.

 

 

우리가 filtering 시 일부 matrix를 추출하여 연산을 진행하죠.

 

그래서 아래와 같은 3 x 3 pixels을 봅시다.

 

 

보통은 50 ~ 60 사이의 값을 가져야 하지만,

 

salt noise 때문에 딱 한 지점에 대해서 아주 높은 값이 들어가 있는 예제를 생각해볼 수 있습니다.

 

그렇다면,

 

noise 시 평균을 계산해본다고 했을 때, Average filter를 사용한다고 하면,

 

위 값들에 대해서는 255의 값을 90으로 바꾸는 효과를 기대할 수 있습니다.

 

어느정도 255 보다 낮은 값으로 바꿔줄 수 있긴 하지만, 이 255라는 값이 너무 튀는 값이다 보니,

 

우리가 원하는 50 ~ 60 사이의 값을 뽑아낼 수는 없었습니다.

 

Average filter로 접근했을 때 255라는 값이 하나이지만 이 영향력이 너무 크다는 것입니다.

 

 

 

그런데 이제 median으로 연산하면, 중간값을 취하는 것입니다.

 

우리가 가진 data 9개를 쭉 나열했을 때, 위와 같이 중간에 해당하는 값을 고르겠다는 것이죠.

 

이 255를 60으로 바꿉니다.

 

그럼 우리가 원하는 값으로 바뀌게 됩니다.

 

이 예외값인 outlier 값, 튀는 값을 무시할 수 있는 방법 중 간단한 것이 median 값을 취하는 것입니다.

 

평균은 튀는 값에 대한 영향을 많이 받으므로 평균보다 median 값을 쓰는 게 좋은 경우가 더 많습니다.

 

이 salt and pepper noise도 그러한 예제이므로 data가 주어졌을 때 중간값만 취하는 median filter가 더 효율적일 수 있습니다.

 

 

이 3 x 3 예제에 대해 median으로 255가 되려면 5개 이상 들어가야 합니다.

 

그럼 이 255는 예외값이 아닌것이죠.

 

 

그래서 위 사진에 대해 아래와 같은 결과를 가져올 수 있습니다.

그나마 median filter의 문제점을 뽑자면,

 

중간 값을 구하는 연산에 정렬도 해야하므로,

 

n log n의 연산이 듭니다. 그래서 평균보다는 조금 더 걸리므로 굳이 연산량이 많고 느리다라는 지적이 가능합니다.

 

 

그래서 이 모든 filtering을 수행하는 것이 아닌,

 

일부의 pixels에 대해서만 하는 과정을 봅시다.

 

Outlier를 찾는 과정을 봅시다.

 

Outlier Rejection Method

 

outlier가 있는지 탐지하는 것 없이 하는 것이 우리가 방금 한 방법입니다.

 

이제 outlier가 있는지 먼저 판정을 해봅시다.

 

그 threshold를 구해봅시다.

 

이 threshold를 D라고 합시다.

 

그리고 중간값을 p라고 하겠습니다.

 

 

 

8-neighbor에 대해 해보면, 주변 8개에 대한 평균 m을 구할 수 있습니다.

 

그리고 여기서 중간값이 p이고, 평균값 m을 구했을 때,

 

이 두 개의 차이가 D보다 큰지 작은지를 보겠다는 것입니다.

 

이 차이가 더 커야 outlier가 되는 것이죠.

 

그래서 좌측은 outlier가 되는 예시가 됩니다.

 

그리고, 가운데가 60이고 하나 정도가 255인 예제를 봅시다.

 

그렇다면 p가 60이고, 평균이 대충 90이라고 봅시다.

 

그랬을 때, 차이가 나긴 하지만 많이 나진 않습니다.

 

이 경우 Outlier가 아닌 게 됩니다.

 

그렇다면 60은 그대로 두고 outlier로 나온 것은 바꿔줍니다.

 

그리고, D 보다 크다고 나와서 가운데 값이 outlier로 판정된 경우에 대해서는, 해당 중앙값 p를 m으로 바꿔줍니다.

 

두 번째 경우 Average filter를 사용했다면 원래 제대로 된 값을 이상한 값으로 바꿔줄 수도 있었던 것입니다.

 

그런데 조건을 세움으로써 막아줄 수 있는 효과를 얻을 수 있습니다.

 

 

그런데, 평균으로 넣는다고 하였는데,

 

아래의 예제에서는 평균으로 바꾸는 게 1번 예시와 다르게 안 좋을 수 있습니다.

 

내가 median filter처럼 결과를 얻고 싶다고 한다면,

 

추가적으로 여기서 outlier가 나온 부분에 대해 추가적으로 median filter를 해서 median 값으로 바꿔줄 수가 있습니다.

 

이는 속도는 조금 포기하더라도 결과가 더 잘 나오게 됩니다.

 

outlier가 나온 부분에 대해서만 median filter를 해볼 수가 있습니다.

 

그렇다면 median filter를 하는 개수를 좀 줄일 수 있습니다.

 

혹은,

 

image 전체가 아닌 평균만 계산하기에 그렇게 복잡도가 높지 않은 detection을 중간에 넣어주면서 outliter라고 판정된 것들에 대해서만 평균 값을 사용하면 더 빠르게 연산이 가능합니다.

 

이 threshold가 완벽한 것은 아닙니다.

 

그렇게 탐지된 것들에 대해서만 진행하는 것입니다.

 

그리고 threshold D에 대해 영향을 많이 받으므로 그렇게 좋은 방법은 아닙니다.