배경 차감(Background Subtraction)

배경 차감은 영상 처리에서 움직이는 물체를 검출할 때 자주 사용하는 방법이다.

기본적으로 시간에 따라 변하지 않는 배경을 제거하고, 변하는 부분만 추출해서 물체의 움직임을 감지한다.

 

두 개의 이미지 프레임이 있다: f(x, y, t)는 현재 프레임이고, B(x, y, t)는 배경 프레임이다.

각 픽셀에서 이 두 프레임의 차이를 구해 물체 움직임을 감지하는 방식이다.

수식으로는 다음과 같이 표기된다.

여기서 T는 차이를 감지하는 임계값이고, 차이가 크면 1 또는 255로 표시된다. 

이 값이 1인 부분을 움직임이 있는 곳이라고 본다.

 

성공적인 배경 차감의 핵심은 

조명의 급격한 변화: 빛이 갑자기 변하면 배경도 변하는 것처럼 보일 수 있으니까 이를 잘 처리해야 한다.

반복적인 움직임: 예를 들어, 나뭇잎이 흔들리거나 파도가 치는 것처럼 배경에서도 자주 움직임이 있는 경우가 있는데, 이런 것도 배경으로 인식해야 한다.

장기적인 변화: 주차된 차나 방치된 가방 같은 물체가 시간이 지나도 그 자리에 있으면 배경의 일부로 간주해야 한다.

 

배경을 추정하는 대표적인 방법은 다음과 같다.

평균 필터 (Mean Filter): 이전 n개의 프레임을 평균 내서 배경을 추정하는 방법

중앙값 필터 (Median Filter): 이전 프레임들 중에서 중앙값을 구해 배경을 추정하는 방식, 중앙값을 사용하면 일시적인 노이즈나 빠르게 움직이는 물체의 영향을 덜 받는다.

 

좀 더 고급 기술로, GMM(Gaussian Mixture Model)을 사용해서 배경을 추정하는 방법이 있다. 

각 픽셀에 대해 여러 개의 가우시안 분포를 사용해 배경과 전경을 분리하는 거다.

이때 각 가우시안 모델의 평균과 분산을 학습해서, 픽셀 값이 배경인지 아닌지 확률적으로 분류한다.

이게 GMM으로 측정한 예시인데

저기 제일 높은 g2가 배경일 확률이 높은데, 그 이유는 한 픽셀이 계속 같은 값을 가지게 되면 가중치가 계속 쌓이기 때문에 그렇다.

g3와 g1은 따라서 물체일 확률이 높다.

 

결국 배경 차감의 핵심은 배경을 잘 추정하는 거다.