Rastreamento - Tecgraf

Rastreamento Luciano Soares


http://www.cs.utah.edu/classes/cs6360/Lectures/tracking

.pdf

Por que usar rastreamento?

Vista superior

Frustum

Permite corrigir o campo de visão

Vista superior

Frustum

Tipos de Rastreamento
Cabeça
Apontador

Rastreamento de Cabeça Head-tracking
Óculos Crystal Eyes com um InterSense IS-900 para

rastreamento de cabeça. Rastreando a cabeça é possível saber a posição e orientação da visão do usuário criando os pontos de vista corretos na aplicação.

Rastreamento de Apontador Wand-tracking
Usuário com apontador virtual.

Posição e Orientação Graus de Liberdade:
X
Y
Z
Yaw
Pitch
Roll

Rastreamento do HMD de Sutherland

Tecnologias de rastreamento
Mecânica
Inercial
Electromagnética
Acústica
Óptica

Mecânico Recupera posição e orientação
Paradigma do braço articulado
Atraso menor de 5milisegundos, 300 Hz
Muito preciso


Problemas:
Limitado pelo tamanho dos braços Examplo: Fake Space Labs

Inercial Orientação (3DOF)
Usa giroscópios
Rápido e preciso


Problemas:
Erros vão se acumulando com o tempo, alguns sistemas possuem orientação pelos polos, norte e sul. Examplo: InertiaCube pela Intersense

Electromagnetic Rastreia posição e orientação (6DOF)
Mede o campo magnético no local (3 espiras perpendiculares)
Atraso de 5milisegundos


Problemas:
Interferencia na presença de outros materiais que influenciam o campo magnético (objetos metalicos, materiais de esscritório, CRTs) Examplo: Fastrak por Polhemus

Rastreador eletro-magnético

Acoustic
Rastreia posição e orientação (6DOF)
Mede o tempo de atraso (time-of-flight) ou a

coerencias das ondas ultrasonicas
Atraso de cerca de 5 milisegundos

Problemas:
Coerencia de fases esta sujeita a acumulação de

erros;
Sistemas time-of-flight sofrem de baixa taxa de

atualização e oclusões

Exemplo:

Óptico
Rastreia posição e orientação (6DOF)
Outside-in (receptores fixos e emissores móveis)
Inside-out (receptores móveis e emissores fixos)
Atraso de 20-80 milisegundos

Problemas:
Linha de visão, luz ambiente e problema de radiação de infra-vermelho Examplo: ARTrack pela A.R.T

Configuração Exemplo Hardware :
4 AVT Firewire Pike Cameras (640x480, 205 fps)
4 anéis de LED IR
1 Controle de obturador
Diversos marcadores retro-reflexivos

Oclusões

Funcionamento

Funcionamento

Rastreamento Algoritimo de rastreamento por infra-vermelho:

Algoritmo do Sistema de Rastreamento Infra-vermelho 1. Segmentação threshold

Algoritmo do Sistema de Rastreamento Infra-vermelho 2. Identificação Hough Transform

Algoritmo do Sistema de Rastreamento Infra-vermelho 3. Corelação das múltiplas vistas via geometria epipolar • A teoria de geometria epipolar descreve que um ponto no espaó 3D pode ser extraido por triangulação de projeções em dois planos diferente.

Algoritmo do Sistema de Rastreamento Infra-vermelho


3. Multiplas vistas correlacionadas pela geometria epipolar

Algoritmo do Sistema de Rastreamento Infra-vermelho 4. 3D Metric Reconstruction via Singular Value Decomposition Triangulation (I) •

•

Using each camera’s intrinsic (K) and extrinsic parameters (M), stack into matrix A the existing information for each view i (2D point location – x(i), y(i)) Solve the A matrix by SVD, retaining the last row of the V matrix

M ext

 r11 r =  21  r31  0

r12 r22

r13 r23

r32 0

r33 0

P(i )31 × x(i ) − P(i)11   P (i) 31 × y (i ) − P(i) 21  A =  P(i + 1) 31 × x(i + 1) − P(i + 1)11   P(i + 1)31 × y (i + 1) − P(i + 1) 21 

tx  t y  tz   1

K int

 fx 0 = 0  0

0 fy

cx cy

0 0

1 0

0 0 0  1

Pmat = K int × M ext

P(i) 32 × x (i ) − P(i )12

P(i) 33 × x (i ) − P(i )13

P(i )32 × y (i ) − P(i ) 22 P(i + 1) 32 × x (i + 1) − P(i + 1)12

P(i )33 × y (i ) − P(i ) 23 P(i + 1) 33 × x(i + 1) − P(i + 1)13

P(i + 1)32 × y (i + 1) − P(i + 1) 22

P(i + 1)33 × y (i + 1) − P(i + 1) 23 ...

P(i) 34 × x(i ) − P(i)14   P(i )34 × y (i ) − P(i) 24  P(i + 1)34 × x(i + 1) − P(i + 1)14   P(i + 1) 34 × y (i + 1) − P(i + 1) 24  

Algoritmo do Sistema de Rastreamento Infra-vermelho 4. 3D Metric Reconstruction via Singular Value Decomposition Triangulation (II)

Algoritmo do Sistema de Rastreamento Infra-vermelho 5. Candidate Evaluation (Pintaric & Kaufmann) • •

For each artifact construct a lookup table with pairwise marker distances At each frame create an Euclidean distance matrix and a correlation score matrix

Thomas Pintaric, Hannes Kaufmann, “Affordable Infrared-Optical Pose-Tracking for Virtual and Augmented Reality”, in Proceedings of “Trends and Issues in Tracking for Virtual Environments” Workshop, IEEE VR 2007, Charlotte, NC, USA, March 2007

Algoritmo do Sistema de Rastreamento Infra-vermelho 7. Pose Retrieval • When more than 3 are reconstructed and matched use DLT (Direct Linear Transformation) algorithm • When only 3 features are reconstructed and matched, use PosIT (Pose from Orthography and Scaling in Iterations) algorithm • If less then 3 features are reconstructed and matched, the tracking fails!

Algoritmo do Sistema de Rastreamento Infra-vermelho Synthesis Segmentation

Multiple View Correlation

Hough Circle Transform

3D Metric Reconstruction

ART

Flystick2

Fingertracking

Measurement Toolkit

Como escolher
Possui cabos?
Qual é o peso?
Sofre interferências?
Tem problema de oclusões/sombras?
Qual a região de cobertura?
O sistema impõe limites de uso?

Vídeos: “Tá dando onda” e do IEEE VR 2009

Rastreamento Sem marcadores (Markless)
Novas técnicas permitem o rastreamento sem nenhum

marcador.

Eye-tracking