[OpenCV] 동영상 분할(Video Segmentation)

이미지, 동영상 분할(image/video segmentation)이란?

주어진 디지털 이미지, 비디오를 여러 개의 영역으로 나누는 것으로, chroma-keyin이나 surveillance camera 등 다양한 분야에서 활용되고있다.

위에서부터 chroma-keying, surveillance camera

1. Background subtraction

- image/video segmentation 의 대표적인 방법

비디오가 주어지면, 해당 비디오의 foreground object를 식별하는 것으로, 대부분의 경우 배경이 아닌 물체나 움직이는 객체에 관심이 있다.

t 시간의 현재 영상 f(x,y,t)이 있고, 그 시간대에 맞는 배경 영상 B(x,y,t)이 있다고할때, 그 두 영상의 차이를 구해서 그 차이가 특정한 T(threshold)를 넘는다면 배경 영상에 없던 특정한 사물, 물체가 등장했다는 걸 알수 있다.

 이 때, 두 영상은 동일한 위치에서 촬영되어야하고, 조명상태의 차이가 크지 않아야만 subtraction이 제대로 이루어진다.

 

background subtraction을 성공적으로 하기 위해선

1. 점진적 또는 급격한 변화의 조명문제를 극복해야하고

2. 야외같은 곳에서 나뭇잎이 떨어진다거나, 파도가 치는 등 반복적인 움직임과

3. 두고간 가방, 주차된 차 같이 긴 시간에 걸쳐서 변하는 것을 구분해내야한다.

 

2. Mean filter

: background를 이전영상의 평균으로 만드는 것으로 대표적인 방법으로는

• 𝐵 𝑥, 𝑦,𝑡 = 1 𝑛 σ𝑖=0 𝑛−1 𝑓(𝑥, 𝑦,𝑡 − 𝑖) : t번째 영상에 대해 배경을 만들 때, t번째 영상을 기준으로 이전  i번째까지의 영상의 평균으로 만드는 수도 있고,
• 𝐵 𝑥, 𝑦,𝑡 = 1 𝑛 σ𝑖=0 𝑛−1 𝑓(𝑥, 𝑦, 𝑖) : 영상이 촬영된 최초시점부터 특정한 n번째 영상까지의 평균을 구해서 만들 수도 있다.

평균을 취하면 취할수록 자동차 영역이 희석됨을 볼 수 있음.

3. Median filter

• 𝐵 𝑥, 𝑦,𝑡 = 𝑚𝑒𝑑𝑖𝑎𝑛(𝑓(𝑥, 𝑦,𝑡 − 𝑖)) or 
• 𝐵 𝑥, 𝑦,𝑡 = 𝑚𝑒𝑑𝑖𝑎𝑛(𝑓(𝑥, 𝑦, 𝑖))

평균취하는 것과 비슷한 효과 보여줌

 

 

이 게시물은 한동대학교 황성수 교수님의 컴퓨터비전 강의를 공부하며 정리한 내용입니다.