[Computer Vision] Binary Image

🧑🏻‍💻용어 정리

Computer vision
Edge
Objectives
erosion
dilation
edge
opening
closing

 

 

이번에는 Segmentation에서,

 

thresholding을 통한 binarization 하는 것을 알아보겠습니다.

 

 

Objectives

• Segmentation
  • 결과로 binary image나옴.
  • 찾고자하는 부분 1, 배경 0.
• Binary image
  • Neighborhoods
  • connectedness
• Morphological processing for binary images
  • 형태학적
  • Erosion and Dilation
  • Opening and Closing

Segmentation

thresholding을 통한 binarization은 무엇일까요?

 

간단히 보면,

 

기준 보다 큰 것은 1, 작은 것은 0 하는 것과 같은 과정입니다.

 

아래와 같은 과정이죠.

 

위와 같이 나누는 것입니다.

 

 

 

이러한 binary image에서 변형을 시켜주는 것을 배워봅시다.

 

 

이하는 Binary Image를 B라고 하겠습니다.

 

그리고, 이 B는 image이니 좌표가 존재합니다.

 

관심이 있는 부분을 foreground, 관심이 없는 부분을 background라고 하겠습니다.

 

 

그림으로 표현할 때는, 찾고자하는 것을 255, 관심 없는 것을 0으로 해야 보기가 좋습니다.

 

그러나 이하는 모두 반대로, 찾고자하는 것을 1로 black pixel, 관심 없는 것을 0으로 white pixel이라 하겠습니다.

 

 

 

Neighborhoods

 

이웃에 대한 기준은 사람마다 다릅니다. 그래서, 이웃이라는 것에 대해 기준을 정해줍니다.

 

 

 

위와 같이, 

 

X의 

 

4-neighborhood,

 

8-neighborhood 가 존재합니다.

 

 

이웃 체계와의 연결성을 살펴봅시다.

 

 

먼저,. 4-neighborhoods 체계에 대해 알아봅시다.

 

아래 검은색 두 개에 대해 4-neighborhoods는 연결이 안 됨을 알 수 있습니다.

 

 

 

connected components는 연결되어 있는 것들 중 가장 최대 집합인 것을 말합니다.

 

• 4-neighborhood
  • A and H are connected (이웃하진 않음)
  • A and K are not connected
  • {A, B, C, D , E, F, G, H} is a connected component
    • {A, B, C, D} is not a connected component(더 큰 집합이 존재하니 아님, 그저 connected component의 부분집합)
    • 그리고, {I, J, K, L, M}이라는 connected component가 또 하나 존재하는 것.
    • 2개의 connected component 존재.
  • Two sets of connected components.

 

 

 

 

8-neighborhoods

 

• A and H are connected
• A and K are connected
• {A, B, C, D, E, F, G, H} is not a connected component.
• {A, B, C, D, E, F, G, H, J, K, L, I, M}
• One set of connected component.

 

 

위와 같이 8-neighborhoods로 나타낼 수 있습니다.

 

4-neighborhoods 보다 더 많이 연결된 것알 알 수 있습니다.

 

 

이전 장에서 언급한 대로 weak edge가 존재해야 연결성을 유지할 수 있습니다.

 

한편, 8-neighborhoods가 4-neighborhoods 보다 연결이 더 많이 될 것입니다.

 

 

그리고, 아래와 같이 connected components 끼리 라벨링을 하면 다음과 같이 표현 가능합니다.

 

Connected 

 

Goal : Assign the same label to a set of connected pixels in the binary image.

 

연결성에 의해 분리된 것으로, 검은색은 모두 1로 할당이 된 것입니다.

 

1번은 1번끼리, 2번은 2번끼리 labeling 되어 연결성에 의해 분리 되어 우측 사진과 같이 표현됩니다.

 

왼쪽의 것을 오른쪽의 것으로 labeling합니다.

 

두 connected component가 다른 group을 구분 시켜주기 위해 위와 같이 구분합니다.

 

 

 

다음 예시도 봅시다.

위와 같이 검은색 부분이 1로 된 부분이고,

 

이 black pixel들을 기준으로 connected component를 grouping하여, label을 새롭게 입혀보았을 때,

 

 

위 사진과 같이 Labeling할 수 있습니다.

 

 

 

일단 반복적인 방법을 통해 위 Labeling을 진행해봅니다.

 

Recursive labeling

 

-> random access to the whole image is possible.

 

 

일단 우리는 1 또는 0의 pixel 값을 가지는 Binary image가 주어집니다.

 

먼저, -1이 아닌 나머지는 모두 0 입니다.

 

-1의 맨 위, 임의의 한 점부터 시작해나갑니다.

 

 

우리가 4-neighborhoods 상에서 connected component를 구하겠다라고 해봅시다.

 

 

 

이 과정을 반복합니다.

그렇다면 1번 group의 Connected component를 만족하게 됩니다.

 

 

 

그리고 다시, 2번부터 labeling을 다시 시작합니다.

 

그런데, 우리가 Edge detection을 생각해 봤을 때,

 

쭉 연결했을 때, 다 grouping을 하여 연결을 지은 다음에,

 

그 안에 Strong edge가 하나라도 있다면,

 

그것은 edge가 되는 것이죠.

 

 

그렇다면, 우리가 연결을 어떻게 할지를 생각합시다.

 

 

그럼 우리가 구하는 connected component가 제대로 구한다면 아래와 같이 3가지 경우가 나올 수 있습니다.

 

 

 

1,2는 edge로 결정, 3번은 버리면 됩니다.

 

 

 

그렇다면, 아래 예시와 같이 박테리아의 수를 세어볼 수가 있어집니다.

 

 

 

connected component로 분류 시, 번호가 잘 매겨지면 됩니다.

 

그리고, 위와 같이 Segmentation이 잘 이루어지면 말입니다.

 

 

그리고 위와 같이 박테리아가 많이 붙어 있는 경우가 없지만,

 

만약 그러하다면 그런 경우, 한 pixel이라도 붙어 있다면,

 

connected component 의 rule에 따라서 같은 group으로 들어가 버리게 되죠.

 

이런 segmentation의 오류가 나는 부분을 후처리하여 해결해 줄 수도 있습니다.

 

 

 

 

Binary Image Morphology

 

Basic operations

 

• Translation
• Dilation
• Erosion
• Closing
• Opening

 

 

하나씩 살펴보겠습니다.

 

 

Translation

 

사람이 지정한 만큼 이동시키는 것을 의미합니다.

 

이동시키는 vector를 t라고 합시다.

 

새롭게 바뀐 Binary image에 대한 기호를 Bt로 표기합니다.

 

b는 하나의 Pixel (x,y) 좌표로, B에서 1의 값을 갖는, 즉, black pixel에 속하는 것의 원소입니다.

 

즉, B에 해당하는 각각이 모두 b가 되고, 모든 b에 대해 t를 더해주는 것입니다.

 

 

 

 

Dilation

 

새로운 기호를 사용하는 것을 약속합니다.

 

이 동그라미에 더하기는 다른 데서도 쓰이지만, 다른 데서도 Dilation이라고 여기면 안 됩니다.

 



기존에 가지고 있는 Binary image에 대해서 S인 structuring elements를 dilation합니다.

 

그렇다면, S를 어떻게 구성할지는 사용하는 사람 마음입니다. 이 예시는 3 x 3에 다 1씩 채워진 거로 예시를 들었습니다.

 

이것은 8-neighborhoods를 본 딴 것이고, 십자가 모양으로 생기면 4-neighborhoods의 형태가 됩니다.

 

그것에는 자유가 있습니다. size에도 말입니다.

 

 

 

위 수식에서 보면, b는 B의 원소입니다.

 

그렇다면, b는 B가 가지고 있는 것 중 1의 값을 가지는 pixel의 좌표를 의미하겠죠.

 

하나씩 가봅시다.

 

S b는 b를 중심으로 Structureing elements를 씌운 것입니다.

 

범위를 벗어난 것은 표시하지 않습니다.

 

이 씌운 것이 곧 S b가 되는 것입니다.

 

 

 

노란색 지점을 중심으로한 것 하나의 예시이고, 모든 S b에 대해 해야합니다.

 

이런 식으로 계속 다니면서 진행됩니다.

 

계속 씌워져서 더해지는 것이죠.

 

 

binary image 상에서 1의 값을 갖는, black pixel의 구분을 중심으로 삼고, structuring elements 만큼을 씌우는 것입니다.

 

이 예시의 결과는 다음과 같죠.

 

 

그리고, 이것은

 

 

교환 법칙을 성립하고,

 

간단히 말하자면, 각 중심을 돌아다니며 3 x 3 만큼 1로 채워준다는 것입니다.

 

간단하죠?

 

 



 

그래서, 실제 image에 적용된 결과를 보면 위와 같습니다.

 

Dilation을 적용하니, 더 영역이 확장되어 넓어지는 결과를 얻을 수 있습니다.

 

 

 

Eroison

 

이 연산은 다음과 같은 동그라미에 마이너스 기호를 넣어서 하도록 약속하겠습니다.

 

그랬을 때, 위와 똑같은 3 x 3의 structuring elements로 1씩 채워져 있는 S를 사용합니다.

 

 

Eroison의 결과는 t의 집합입니다.

 

S t는 B의 부분집합임이 성립해야 t를 쌓아나가겠다는 것입니다.

 

S t는 t pixel 중심으로 3 x 3 을 씌우는 것입니다.

 

그 S t가 B의 부분집합임이 성립한다면, 가운데 중심인 t를 남기겠다는 것입니다.

 

그래서 완벽히 structuring elements에 포개어지는 pixel의 중심 pixel을 의미합니다.

 

위 사항을 반복하면 위와 같은 결과가 나옵니다.

 

 

이 erosion 자체가 침식 이러한 뜻이라, 침식 시키는 것입니다.

 

 

위와 같이 전반적으로 영역을 작게 만들어주는 느낌이 있습니다.

 

 

Boundary Detection by Dilation and Erosion

 

Dilation and Erosion을 조합하면,

 

어떤 binary image 상에서 외곽 선들을 뽑아볼 수 있습니다.

 

여기선 A를 binary image, B를 structuring element라고 하겠습니다.

 

그렇다면,

 

아래 사진에서 점이 있는 게 1, 점이 없는 게 0인 것입니다.

 

 

 

이번엔 structuring element를 십자가를 사용했습니다.

 

그랬을 때, A와 B의 Dilation을 합니다.

 

그렇다면 위 사진과 같이 크기까지 확장됩니다.

 

각 위치마다 십자가만큼 더 확장이 되는 것이죠.

 



그리고 A와 B의 Erosion은 위와 같습니다. 십자가를 포함하고 있는 것만 남게 되는 것이죠.

 

즉, 깎아집니다.

 

 

그랬을 때, (i), (ii), (iii)을 해보면 겉의 외곽선만 남게 되는 것을 알 수 있습니다.

 

(i)은 위와 같이 internal boundary,

 

(ii)는 external boundary

 

그리고, (iii)는 morphological gradient가 나옵니다.

 

 

실제 이미지에 적용한 사례를 봅시다.

 

이제 각 segmentations 결과물 들의, 각 components들의 외각들을 뽑아 활용할 수 있습니다.

 

 

Opening and Closing

 

그다음, Erosion 이후 Dilation하는 것을 opening,

 

Dilation 이후 Erosion 하는 것을 Closing이라고 합니다.

 

 

Opening

 

아래와 같이, Erosion 이후 Dilation합니다.

 

 

 

opening하고 나면 크기가 작아집니다.

 

줄이는 것을 먼저 하기 때문에, 아주 얇게 돌출되는 라인 같은 것들은 Erosion 같은 것으로 사라집니다.

 

이 사진 것들은 되돌릴 수 없습니다.

 

즉, 이 얇게 돌출 되어 있는 부분이나 tiny한 components들을 erosion을 통해 해결할 수 있습니다.

 

그러한 것들을 noise한 것으로 보고 처리하는 것입니다.

 

 

Erosion만 하면 크기 자체가 작아지므로, 원래 찾고자하는, 원래 segmentation을 통해 얻고 싶은 부분까지 같이 없애버리는 문제가 있습니다.

 

그러니 Erosion 이후 Dilation을 통해 다시 키워주는 작업을 하면, 내가 관심 있는 부분의 크기는 유지하면서, noise라고 생각되는 부분, 얇은 돌출된 부분을 없애주는 효과를 가져옵니다.

 

 

 

• Opening의 특징
  • The Opening makes the input smaller
  • The Opening erases tiny components or thin extrusions

 

Opening은 원래 있던 binary image 보다 작으니 이 원래 binay image의 부분집합이라고 표현할 수 있습니다.

 

그리고 같을 수도 있습니다. 그래서 아래와 같이 표현합니다.

 

opening을 2번 해도 변화가 없습니다.

 

그것을 idempotence라고 합니다.

 

 

그리고 마지막 항목은 원래 1의 값이 더 많던 것이 opening 이후에도 더 많을 것이라는 것입니다.

 

당연하죠.

 

 

 

Closing

 

Dilation 이후 Erosion

 

 

결과값을 아래와 같이 봅니다.

 

노란색 부분은 채워지게 된 부분입니다.

 

그리고 빨간색 부분은 없어집니다.

 

closing은 얇은 것의 gap을 매꾸는 효과가 있습니다.

 

작은 구멍과 같은 것도 매꿀 때 사용할 수 있습니다.

 

 

그리고, 기본적으로 커집니다.

 

Dilation을 먼저하기 때문에 gap들을 매꾸며 값이, 영역 자체가 커집니다. 즉, 1의 값이 더 많아집니다.

 

그리고, 경계 부분은 어쩔 수 없이, 외각부분은 지워지는 게 어쩔 수 없습니다.

 

외각 부분은 크기 비례로 보면 무시 가능합니다.

 

이 외각 부분은 무시한다고 생각했을 때, 기본적으로 영역이 커진다고 생각하면 됩니다.

 

외각 부분을 제외하고 전체 대비 커진다고 표현하는 것이 정확한 표현입니다.

 

 



Closing은 boundary effect를 무시하면 커지므로, closing을 하기 전의 것이 closing한 것의 부분집합이 됩니다.

 

이것 또한, idempotence의 성질을 가집니다.

 

 

그리고, 둘을 비교해보면, 둘 다 binary image를 좀 부드럽게 만드는 역할을 합니다.

 

목적은 좀 비슷하지만 하는 방법은 다릅니다.

 

opening은 돌출된 것들을 지우며 부드럽게 만들고, closing은 gap들을 채우며 부드럽게 만드는 것입니다.

 

결국, 한 쪽은 없애냐, 한 쪽은 채우냐의 차이가 있습니다.

 

 

 

그리고, Structuring element는 다음과 같은 모양으로도 수행할 수 있습니다.

 

 

이러한 모양으로 하면 범위가 커지며 다양성을 많이 갖게 됩니다.

 

이것을 조합하면 지져분하게 나온 것들을 나름 괜찮게 만들어줄 수 있습니다.

 

Impulse noise removal

 

원형이 우리가 찾고자하는 것이라 했을 때,

 

왼쪽이 noise가 많이 보입니다.

 

이 잡음들을 없애기 위해서 opening을 먼저 합니다.

 

그리고, 그러한 과정 속에서 Noise를 많이 없앱니다.

 

그리고 경우에 따라서 구멍들이 생기기도 합니다.

 

이러한 것들을 closing을 통해서 메꿔주게 됩니다.

 

tiny한 gap들을 채우는 역할을 하며 조금 더 좋은 결과를 내놓을 수가 있게 됩니다.

 



 

이렇게 binary image를 다뤄보았습니다.