Visual Object Servo Tracking Based on the Particle Filter ...www.researchgate.net › publication › fulltext › 27462228

ARTICLE International Journal of Advanced Robotic Systems

Visual Object Servo Tracking Based on the Particle Filter Method Using a Pan-Tilt-Zoom Camera Regular Paper

Cao Songxiao*, Wang Xuanyin and Xiang Ke   State Key Laboratory of Fluid Power Transmission and Control, Zhejiang University, Hangzhou, China * Corresponding author E-mail: [email protected]

  Received 22 May 2012; Accepted 03 Aug 2012 DOI: 10.5772/52081 © 2012 Songxiao et al.; licensee InTech. This is an open access article distributed under the terms of the Creative Commons Attribution License (http://creativecommons.org/licenses/by/3.0), which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract We present a servo control model in a particle filter  to realize robust visual object tracking using Pan‐Tilt‐Zoom  (PTZ)  camera.  The  particle  filter  method  has  attracted  much  attention  due  to  its  robust  tracking  performance  in  cluttered environments. However, most methods are in the  mode of moving object and stationary camera, as a result,  the tracking will end in failure if the object goes out of the  field  of  view  of  the  camera.  In  this  paper,  a  closed‐loop  control  model  based  on  speed  regulation  is  proposed  to  drive the PTZ camera to keep the target at the centre of the  camera angle. The experiment results show that our system  can track the moving object well and can always keep the  object  in  the  middle  of  the  field  of  view.  The  system  is  computationally efficient and can run in real‐time completely.    Keywords  servo  tracking,  particle  filter,  Pan‐Tilt‐Zoom,  dynamic model   

  1. Introduction    Object tracking based on a video sequence plays a critical  role in many applications such as intelligent robots, video  www.intechopen.com

 

surveillance  and  human  computer  interfaces  [1‐3].  Numerous  approaches  have  been  proposed  to  track  moving objects in a video sequence. Among the tracking  methods,  the  particle  filter  method  is  frequently  used.  Particle  filter  is  a  parametric  method  which  solves  non‐linear  and  non‐Gaussian  state  estimation  problems,  and  can  deal  with  multi‐modal  probability  density  functions  (PDF).  As  a  type  of  powerful  tool  in  dealing  with  the  non‐linear  and  non‐Gaussian  problems,  particle  filter  has  been  extensively  studied  in  recent  years  for  visual tracking [4‐8]. The basic idea of the particle filter is  that  the  posterior  density  is  approximated  by  a  set  of  discrete  samples  (called  particles)  with  associated  weights.    In the case of using a stationary camera to track a moving  object,  the  traditional  tracking  approaches,  such  as  background  subtraction,  temporal  differencing,  optical  flow and blob detection, can track the moving target well  due  to  the  limited  changes  in  the  background.  However,  in this case the field of view of the camera is restricted, as  a  result,  the  PTZ  camera  is  commonly  used  in  many  applications  such  as  intelligent  robots  and  video 

Int J Songxiao, Adv Robotic Sy, 2012, Vol.and 9, 134:2012 Cao Wang Xuanyin Xiang Ke: Visual Object Servo Tracking Based on the Particle Filter Method Using a Pan-Tilt-Zoom Camera

1

 

surveillance. In the case of using a PTZ camera to track a  moving object, it is a challenging task to track the moving  target  in  a  complex  dynamic  environment  due  to  the  tremor  of  the  camera,  disturbances  and  illumination  changes  in  the  environment.  This  paper  makes  great  efforts  to  find  a  robust  and  computationally  efficient  algorithm  which  can  track  the  object  in  a  complex  environment smoothly with the help of the PTZ camera.    2. Colour‐based Particle Filter    2.1 Particle Filter    Particle  filter  is  a  Monte  Carlo  approximation  to  the  optimal  Bayesian  filter  and  provides  robust  tracking  of  moving objects in a cluttered environment. The Bayesian  filter  is  a  probabilistic  framework  for  sequentially  estimating  the  target’s  state.  It  is  used  in  the  case  of  non‐linear and non‐Gaussian problems where the interest  lies in the detection and tracking of moving objects. It is a  probabilistic  framework  for  sequentially  estimating  the  target’s  state  and  the  goal  of  the  Bayesian  filter  is  to  recursively  computer  the  posterior  density 

xt   conditioned  on  all  observations  z1:t  ( z1 , z2 ......zt )   up  to  time  t .  The  posterior  density  p ( xt | z1:t )   can  be  obtained  recursively  in  two  stages:  prediction  and  update,  which  are, respectively, written as:   

p ( zt | xt ) p ( xt | z1:t 1 )  kp ( zt | xt ) p( xt | z1:t 1 ) p( zt | z1:t 1 )

(2) 

    

  According to equation (1) and (2), we have the following  formula:   

p ( xt | z1:t )  kp( zt | xt )  p ( xt | xt 1 ) p( xt 1 | z1:t 1 )dxt 1 (3)   

 

k is a normalizing constant that is independent of p ( zt | xt ) is the likelihood function, p( xt | xt 1 )   is