autores: visão por computador experiências no seguimento...

69
Experiências no Seguimento de Objectos Rígidos e não Rígidos em Visão por Computador Autores: João M. R. S. Tavares A. Jorge Padilha Primeiro Ciclo de Seminários Internos Departamento de Ciência e Tecnologia Universidade Fernando Pessoa Maio 1999

Upload: tranthuan

Post on 16-Nov-2018

212 views

Category:

Documents


0 download

TRANSCRIPT

Experiências no Seguimento de ObjectosRígidos e não Rígidos em

Visão por Computador

Autores:

João M. R. S. TavaresA. Jorge Padilha

Primeiro Ciclo de Seminários InternosDepartamento de Ciência e Tecnologia

Universidade Fernando Pessoa

Maio 1999

J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 2

Etapas da Apresentação:

� Breve apresentação de João Tavares;

� Apresentação do trabalho desenvolvido durante a dissertação de Mestrado;

� Apresentação de outros trabalhos realizados durante o Doutoramento.

J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 3

Breve Apresentação de J. Tavares:

� Licenciado em Eng.ª Mecânica pela FEUP, com a opção de projecto de máquinas, em 1992.

� Bolseiro de Mestrado da JNICT, programa Ciência, de 1992 a 1994.

� Mestre em Eng.ª Electrotécnica e de Computadores pela FEUP, com o perfil de Informática Industrial, em 1995. Dissertação: Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara, Orientador: Prof. A. Jorge Padilha.

� Investigador no INEB - Instituto de Engenharia Biomédica, Grupo ARSIS - Arquitecturas e Sistemas, desde 1995.

J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 4

Breve Apresentação de J. Tavares:

� Bolseiro de Doutoramento da JNICT, programa PRAXIS XXI, de 1994 a 1998.

� Aluno de Doutoramento em Eng.ª Electrotécnica e de Computadores na FEUP desde 1994 (data da conclusão 2000). Dissertação: Análise de Movimento de Corpos Deformáveis usando Visão Computacional, Orientador: Prof. A. Jorge Padilha.

� Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Informática I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1995/96, 96/97.

J. Tavares, A. Padilha Exp. no Seguimento de Objectos Rígidos e não Rígidos em V. C. 5

Breve Apresentação de J. Tavares:

� Responsável, ao abrigo do Programa PRAXIS, pelas aulas práticas das disciplinas de Computação e Programação I e II do 1º ano do Curso de Eng.ª Metalúrgica e de Materiais da FEUP, em 1997/98.

� Docente das Disciplinas Sistemas Informáticos I e II do Curso de Ciências da Comunicação na UFP, em 1998/99.

Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara

João Manuel R. S. Tavares, A. Jorge Padilha

FEUP - Faculdade de Engenharia da Universidade do Porto

INEB - Instituto de Engenharia Biomédica

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 2

I - Introdução

� Objectivos:

Apresentar uma abordagem global com a qual é possível obter informação tridimensional de uma dada cena, ou objecto, a partir do movimento de uma câmara.

� Pressupostos:

1) O ambiente em questão é tipicamente industrial, podendo, assim, considerar-se a cena ou o objecto como constituídos por segmentos de recta.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 3

I - Introdução

2) O movimento da câmara é perfeitamente conhecido; isto é, são dados a sua posição e orientação relativamente a um referencial mundo.

3) Não é possível medir as velocidades e as acelerações dos parâmetros considerados para as entidades.

4) A abordagem global a adoptar deve ser o mais eficiente possível e adaptável a diferentes tipos de cenas, ou objectos, e movimentos da câmara.

5) Pretende-se apenas as coordenadas 3D dos pontos terminais de cada entidade e uma aproximação da profundidade dos restantes.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 4

� Passos da abordagem global:

1) Calibração da câmara e respectivo hardware;

2) Determinação das entidades (segmentos de recta) a considerar em cada imagem da sequência;

3) Simplificação das entidades presentes em cada imagem;

4) Seguimento 2D das entidades consideradas ao longo da sequência de imagens;

5) Obtenção de informação tridimensional dos pontos que constituem cada entidade.

I - Introdução

Determinação e simplificação das entidades

Mundo 3D

Seguimento de linhas eaproximação poligonal

Fusão de entidades próximase de direcções similares

Detecção de edges

Imagem k+1

Seguimento

Emparelhamento

Modelo 2D

Determinação dascoordenadas 3D das

entidades

"Mundo 3D"

Parametrizaçãodas entidades

......

Hardware deaquisição de imagem

Calibração

Hardware deaquisição de imagem

Imagem k

Seguimento de linhas eaproximação poligonal

Detecção de edges

Fusão de entidades próximase de direcções similares

Parametrizaçãodas entidades

Fig. 1 - Abordagem global.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 6

II - Calibração da Câmara utilizada e respectivo Hardware

� Calibração de uma câmara:

Entende-se por calibração de uma câmara a determinação da relação matemática que, para a respectiva câmara, transforma pontos 3D em pontos 2D (Fig. 2).

Mundo 3D Imagem 2D

Modelo dacâmara

Parâmetros intrínsecos eextrínsecos da câmara

Xu

Yu

xw

zw

yw

Fig. 2 - Calibração de uma câmara.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 7

� Procedimentos envolvidos na calibração:

1) Determinação das coordenadas 2D na memóriaframe dos pontos de calibração;

2) Agrupamento das coordenadas 3D mundo e 2D na memória frame dos pontos de calibração;

3) Calibração da câmara e do respectivo hardware.

II - Calibração da Câmara utilizada e respectivo Hardware

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 8

� Abordagem utilizada para a determinação das coordenadas na memória frame dos pontos de calibração:

Fig. 3 - Imagem de calibração. Fig. 4 - Detecção das amplitudes dasorlas de intensidade (Deriche).

Fig. 5 - Detecção das direcções dasorlas de intensidade (Deriche).

II - Calibração da Câmara utilizada e respectivo Hardware

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 9

Fig. 6 - Determinação dos lados das figuras geométricas segundo uma

das direcções principais.

Fig. 7 - Determinação dos lados das figuras geométricas segundo a

outra direcção principal.

Fig. 8 - Pontos de calibração: intersecção das rectas obtidas por regressão linear dos pontos que

constituem os lados.

II - Calibração da Câmara utilizada e respectivo Hardware

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 10

� Processo utilizado para a calibração:O processo de calibração global é constituído por três etapas:

1) Determinação do factor de incerteza horizontal (Lenze Tsai);

2) Determinação das coordenadas do centro da imagem na memória frame (Lenz e Tsai);

3) Determinação dos restantes parâmetros de calibração: matriz de rotação 3D, vector de translação 3D, distância focal efectiva e factor de distorção radial (Tsai para pontos coplanares).

II - Calibração da Câmara utilizada e respectivo Hardware

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 11

Etapa I - Determinação do factor deincerteza horizontal.

Etapa II - Determinação das coordenadas correctas do centroda imagem na memória frame.

Etapa III - Determinação da matriz de rotação 3D, do vector de translação 3D, da distância focal efectiva e do

coeficiente de distorção radial da lente.

Um único processo.

Hardware deaquisição de

imagem

Hardware deaquisição de

imagem

Fig. 9 - Etapas do método global de calibração.

II - Calibração da Câmara utilizada e respectivo Hardware

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 12

III - Determinação das Entidades

�Etapas do método adoptado:

1) Sujeitar cada imagem da sequência a um detector de orlas de intensidade (como, por exemplo, o detector deDeriche) de forma a classificar cada pixel em termos de amplitude e de direcção;

2) Executar um seguimento, baseado na direcção e em dois níveis de amplitude (um para detecção e outro para agregação - histerese), das várias linhas presentes em cada imagem de orlas;

3) Executar uma aproximação poligonal, utilizando o algoritmo de faixas dinâmicas, de cada linha seguida.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 13

Fig. 10 - Definição de uma faixa de aproximação.

Fig. 11 - Rotação da faixa de aproximação de forma a incluir o ponto d.

III - Determinação das Entidades

� Algoritmo de faixas dinâmicas (Leung e Yang):

Fig. 12 - A rotação da faixa de aproximação de forma a incluir o ponto d não é possível.

Fig. 13 - Definição de uma nova faixa de aproximação.

b cd e

D

Dao

Linha fronteira

Linha fronteira

Linha critica

dcb

e

ao

o ab

c

d e

o ab

c

d e

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 14

Fig. 14 - Imagem de teste. Fig. 15 - Imagem obtida com faixa de aproximação estreita.

Fig. 16 - ... com faixa de aproximação mais larga (4x).

Fig. 17 - Soma das imagens dasFigs. 14 e 16.

III - Determinação das Entidades

� Exemplos de resultados:

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 15

� Pressuposto:

Entidades que no plano imagem se apresentam próximas e com direcções similares têm uma grande probabilidade de pertencerem a uma mesma entidade 3D; exemplos: duas arestas 3D que podem ser consideradas como uma única entidade; arestas 3D que, por qualquer motivo, aparecem fragmentadas na imagem.

� Vantagem em fundir entidades próximas e de direcções similares:

O seguimento ao longo da sequência torna-se mais fácil e menos dispendioso em termos de recursos computacionais.

IV - Simplificação das Entidades Determinadas

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 16

� Objectivos do método a adoptar para a fusão:

1) Boa orientação do segmento de recta resultante;

2) Bom posicionamento do segmento de recta resultante;

3) A orientação e o posicionamento do segmento resultante deve ser influenciada pela importância relativa dos segmentos de recta a fundir (isto é, pela relação entre os comprimentos);

4) Utilização geral, isto é, independente da disposição relativa dos segmentos a fundir.

IV - Simplificação das Entidades Determinadas

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 17

c

d

b

aFig. 18 - Segmentos (“barras”) a fundir

têm densidade de massa constante.

c

d

b

aFig. 19 - Sistema de massa equivalente (massas

concentradas nos extremos dos segmentos).

G

c

d

b

a

Fig. 20 - Determinação do centro de massa (G).

G

c

d

b

a

Fig. 21 - Determinação do eixo de inércia.

� O método de fusão adoptado (uma analogia mecânica):

IV - Simplificação das Entidades Determinadas

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 18

Fig. 22 - Definição dos extremos do segmento resultante.

Fig. 23 - Critérios de fusão e de verificação da disposição relativa intrínsecos ao

próprio método.

⇒ Equivalente à regressão linear dos pontos que constituem os segmentos a fundir.

IV - Simplificação das Entidades Determinadas

G

c

d

b

a

G

c

d

b

a

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 19

�Exemplos de resultados:

Fig. 24 - Imagem constituída pelos segmentos a fundir.

Fig. 25 - Imagem obtida utilizando critérios de fusão exigentes.

Fig. 26 - ... critérios de fusão menos exigentes.

Fig. 27 - Soma das imagens dasFigs. 24 e 26.

IV - Simplificação das Entidades Determinadas

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 20

V - Seguimento das Entidades ao Longo da Sequência de Imagens

� Etapas da abordagem utilizada para o seguimento:

1) Parametrização das entidades consideradas em cada imagem;

2) Previsão dos valores dos parâmetros de cada entidade na imagem seguinte, considerando o seu historial;

3) Emparelhamento das entidades entre duas imagens sucessivas;

4) Actualização e gestão de um modelo 2D de entidades.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 21

V - Seguimento das Entidades ao Longo da Sequência de Imagens

� Parametrização utilizada para as entidades:

As coordenadas do ponto médio, a direcção e o comprimento.

•Vantagens:

1) Os parâmetros não são correlacionados, o que permite a utilização de três filtros de Kalman independentes e de pequena dimensão;

2) Não são afectados pela posição das entidades em cada imagem.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 22

� Abordagem utilizada para o seguimento

1) Utilização de três filtros de Kalman independentes: um para cada parâmetro;

2) Utilização de modelos cinemáticos de aceleração localmente constante;

3) Aceleração modelada como um processo Gauss-Markovde primeira ordem;

4) Inserção de ruído Gaussiano na modelação do sistema;

V - Seguimento das Entidades ao Longo da Sequência de Imagens

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 23

5) Como medida de emparelhamento são utilizadas distâncias normalizadas de Mahalanobis ou restrições geométricas (diferenças da posição do ponto médio, da direcção e do comprimento);

6) Utilização de um modelo 2D de entidades, continuamente actualizado.

V - Seguimento das Entidades ao Longo da Sequência de Imagens

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 24

Entidades na imagemK, parametrizadas

Emparelhamento utilizando distânciasnormalizadas de Mahalanobis

ou restrições geométricas.

... ...Entidades na imagemK+1, parametrizadas

Filtro deKalman para ocomprimento

Filtro deKalman para a

direcção

Filtro deKalman para a

posição doponto médio

Fig. 28 - Abordagem adoptada para o seguimento das entidades ao longo de uma sequência.

V - Seguimento das Entidades ao Longo da Sequência de Imagens

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 25

VI - Obtenção de Informação Tridimensional

� Abordagem adoptada:

1) Resolução do sistema de projecção estéreo para obter as coordenadas 3D dos pontos extremos de cada entidade emparelhada em duas imagens distintas;

2) Determinação de uma aproximação da profundidade dos restantes pontos da respectiva entidade, utilizando interpolação linear das profundidades dos seus pontos extremos.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 26

Imagem k Imagem k+1

a

bb

VI - Obtenção de Informação Tridimensional

� Problema:A possibilidade de uma entidade ser visível de diferente modo nas duas imagens a considerar, Fig. 29.

� Solução adoptada:Determinação da verdadeira localização dos extremos do segmento de recta visível na imagem k+1 sobre o segmento visível na imagem k e ao qual foi devidamente emparelhado:

Fig. 29 - b e b’ correspondem, na realidade,a pontos 3D distintos.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 27

1)Utilização das linhas epipolares, Fig. 30.

•Problema:

Alguma das linhas epipolares pode ser paralela (ou quase) ao segmento visível na imagem k, Fig. 31.

Fig. 30 - Utilização das linhasepipolares e1 e e2 .

Fig. 31 - A utilização da linha epipolar e2

não é adequada para a determinação da verdadeira localização do ponto b .

b

Imagem k Imagem k+1

e2

e1

b

a

b

Imagem k Imagem k+1

e1

e2

a

b

VI - Obtenção de Informação Tridimensional

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 28

2) Análise das posições dos pontos extremos dos segmentos emparelhados na imagem k, Fig. 32.

VI - Obtenção de Informação Tridimensional

Fig. 32 - Representação da imagem do segmento de recta da imagem k+1 na imagem k.

b

a´b

Imagem k Imagem k+1a

b

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 29

VII - Alguns Resultados Experimentais�Na calibração

Fig. 33 - Posições relativas e referencias utilizados.

Fig. 34 - Imagem obtida pela câmara.

5°xw

zw

zc

xc

yw

30°

yc

zc

Centro óptico

Centro do planode calibração

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 30

Fig. 35 - Pontos de calibraçãodeterminados.

Fig. 36 - Soma das imagens das Figs. 34 e 35.

Fig. 37 - Zona seleccionada da imagem da Fig. 36,

ampliada.

VII - Alguns Resultados Experimentais

� Determinação dos pontos de calibração no plano imagem:

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 31

� Algumas observações aos resultados obtidos na calibração:

1) Apesar das más condições existentes para o setup prático, os resultados obtidos apresentam uma qualidade aceitável. Tal qualidade pode ser comprovada pelos ângulos da rotação 3D do sistema mundo para o sistema câmara: segundo o eixo xx, obteve-se -32.877º quando o ângulo real era cerca de -30.0º; segundo o eixo yy, obteve-se -0.136º quando o real era cerca de 0.0º; e segundo o eixo zz, obteve-se 4.635º quando o real era cerca de 5.0º.

2) Não foi possível a determinação das coordenadas correctas do centro da imagem na memória frame. (Erros nas coordenadas 3D dos pontos de calibração e baixo valor da distorção radial da lente.)

VII - Alguns Resultados Experimentais

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 32

Fig. 38 - 2ª Imagem da sequência. Fig. 39 - Entidades detectadas.

VII - Alguns Resultados Experimentais

� Determinação das entidades:1) Obtenção de uma sequência de 8 imagens;2) Detecção de orlas de intensidade (Deriche);3) Seguimento de linhas e aproximação poligonal;4) Fusão de segmentos próximos e de direcções similares.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 33

VII - Alguns Resultados Experimentais

Fig. 40 - Entidades a seguir. Fig. 41 - Deslocamento de todas as entidades ao longo da

sequência.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 34

Fig. 42 - Entidades detectadas na 1ª imagem da sequência e suas

referências.

VII - Alguns Resultados Experimentaisimagem 1ª 2ª 3ª 4ª

Ref TEm TEm TEm TEm1 I KRG KM KM2 I F F F3 I F F F4 I KRG KM KM5 I F F F6 I F KRG KM7 I KRG KM KM

imagem 5ª 6ª 7ª 8ªRef TEm TEm TEm TEm

1 KM KM KM KM2 F KM KM KM3 KRG KRG KRG KRG4 KRG KM KM KM5 KRG KM KM KM6 KRG KM KM KM7 KRG KM KM KMLegenda:

Ref - Referência, TEm - Tipo de emparelhamento:I - Inicialização, KM - Filtros de Kalman e distâncias de Mahalanobis, KRG - Filtros de Kalman e restrições geométricas, F - falhado.

Tab.

I -

O p

roce

sso

de s

egui

men

to.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 35

Apesar das desfavoráveis condições existentes para o setup prático, os resultados obtidos podem ser considerados como razoáveis.

� Obtenção da profundidade das entidades emparelhadas:

Fig. 43 - Profundidade das entidades emparelhadas na 8ª imagem.

VII - Alguns Resultados Experimentais

⇒Os resultados obtidos no seguimento são bastante satisfatórios, o que comprova o valor da abordagem apresentada.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 36

VIII - Conclusões e Perspectivas de Desenvolvimento Futuro

� Conclusões:1) Foi apresentada uma abordagem global para a obtenção de informação tridimensional de uma cena ou objecto a partir do movimento de uma câmara;2) A referida abordagem é constituída pelas etapas:calibração da câmara e respectivo hardware; determinação das entidades; simplificação das entidades; seguimento das entidades ao longo da sequência; obtenção das coordenadas 3D das entidades emparelhadas;3) Alguns resultados experimentais obtidos também foram apresentados; dos mesmos, é possível verificar-se a boa qualidade obtida pela referida abordagem.

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 37

4) A abordagem global apresentada revelou-se como bastante flexível, robusta e capaz de responder adequadamente aos objectivos inicialmente traçados.

� Perspectivas de desenvolvimento:1) Determinar o factor horizontal de incerteza de um outro modo, pois o método empregue é de difícil utilização para as condições práticas normalmente existentes;

VIII - Conclusões e Perspectivas de Desenvolvimento

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 38

2) Determinar o centro da imagem na memória frame de outro modo, pois o método utilizado não é adequado para baixos valores de distorção radial da lente;

3) Para situações nas quais se pretende um modelo da cena 3D ou de um objecto, pode-se enriquecer a abordagem utilizada para o seguimento e consequente obtenção de coordenadas 3D, Fig. 44.

VIII - Conclusões e Perspectivas de Desenvolvimento

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 39

Filtros de KalmanFiltros de Kalman

Verificação

Modelo 3D

PrevisãoActualização

Obtenção decoordenadas 3D

Emparelhamento dasentidades e medição

Entidades na imagemK parametrizadas...

Modelo 2D

...

PrevisãoActualização

Fig. 44 - Uma abordagem possível para enriquecer o seguimento das várias entidades e consequente obtenção de informação tridimensional.

VIII - Conclusões e Perspectivas de Desenvolvimento

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 40

Bibliografia:� Análise de Movimento em Sequências de Imagens - Miguel F. P. Velhote CorreiaDissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores da Faculdade de Engenharia da Universidade do Porto para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores - Fevereiro de 1995

� Measurement and Integration of 3-D Structures by Tracking Edge Lines - James L.Crowley, Pactrick Stelmaszyk, Thomas Skordas, Pierre PugetInternational Journal of Computer Vision 8:1, 29-52 (1992)

� Tracking line segments - Rachid Deriche, Olivier FaugerasImage and Vision Computing - vol. 8 no 4 (November 1990)

� Techniques for Calibration of the Scale Factor and Image Center for High Accuracy 3-D Machine Vision Metrology - Reimar K. Lenz, Roger Y. TsaiIeee Transactions On Pattern Analysis And Machine Intelligence, Vol. 10, No. 5, September 1988 -713/720

� Dynamic Strip Algorithm in Curve Fitting - Maylor K. Leung, Yee-Hong YangComputer Vision, Graphics, and Image Processing 51 146 (1990) - 146/165

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 41

Bibliografia:� Stochastic Models, Estimation, and Control - Peter S. MaybeckVolume IMathematics In Science and Engineering - Volume 141Academic Press -1979

� Aquisição e Processamento de Informação Tridimensional - Jorge Alves da SilvaDissertação de Doutoramento apresentada à Faculdade de Engenharia da Universidade do Porto, Departamento de Engenharia Electrotécnica e de Computadores - 1994

� Algumas Ferramentas para Visão Tridimensional por Computador - João Manuel R. S. TavaresPublicação inserida na dissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores.Faculdade de Engenharia da Universidade do Porto - 1995

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 42

Bibliografia:

� Obtenção de Estrutura Tridimensional a Partir de Movimento de Câmara - João Manuel R. S. TavaresDissertação submetida ao Departamento de Engenharia Electrotécnica e de Computadores em 1995, para satisfação parcial dos requisitos do Mestrado em Engenharia Electrotécnica e de Computadores.Faculdade de Engenharia da Universidade do Porto - 1995

� A new approach for merging edge line segments - João Manuel Tavares, A. Jorge PadilhaArtigo para o RecPad’95 - 7th Portuguese Conference on Pattern RecognitionAveiro, Portugal - 23/24 de Março de 1995

� Matching lines in image sequences with geometric constraints - João Manuel Tavares, A. Jorge Padilha Artigo para o RecPad’95 - 7th Portuguese Conference on Pattern RecognitionAveiro, Portugal - 23/24 de Março de 1995

� A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses - Roger Y. TsaiIeee Journal Of Robotics And Automation, Vol. RA-3, NO. 4, August 1987 - 323/344

J. Tavares, A. Padilha Obtenção de Estrutura Tridimensional a Partir de movimento de Câmara 43

Agradecimentos

À Junta Nacional de Investigação Científica e Tecnológica pela Bolsa de Mestrado atribuída ao primeiro autor, ao abrigo do Programa Ciência com a Ref. BM/3258/92 - RM, com a qual foi possível desenvolver o trabalho apresentado.

Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em

Visão por Computador

João Manuel R. S. Tavares, A. Jorge Padilha

FEUP - Faculdade de Engenharia da Universidade do Porto

INEB - Instituto de Engenharia Biomédica

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 2

I - Introdução

O âmbito do doutoramento insere-se no domínio do seguimento e análise do movimento de corpos deformáveis 2D/3D usando Visão Computacional.

Nesta apresentação é realizada uma breve introdução ao estado da arte, descritas algumas fases do trabalho já realizadas, apresentados alguns exemplos de resultados experimentais obtidos, exposta a aplicação principal que se pretende satisfazer, e, por fim, tecidas algumas conclusões e discutidas algumas perspectivas de trabalho futuro.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 3

Algumas das técnicas utilizadas por vários investigadores no domínio da análise/seguimento de corpos deformáveis 2D/3D em visão por computador são:

• Utilização de modelos deformáveis protótipos (Templates, ...);

• Análise de componentes principais;

• Utilização de filtragem de Kalman (mais utilizada para o seguimento de objectos rígidos, utilizada em conjunto com outras técnicas para o seguimento de objectos não rígidos);

II - Breve Introdução ao Estado da Arte

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 4

• Contornos (Snakes), superfícies e modelos activos;

• Utilização da análise modal;

• Utilização do método dos elementos finitos;

• Utilização do método dos elementos finitos + análise modal;

• …

(A vermelho as técnicas consideradas como potencialmente mais interessantes para a aplicação alvo.)

II - Breve Introdução ao Estado da Arte

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 5

III - A aplicação CMIS

Durante o doutoramento está a ser desenvolvida, em Visual C++ para plataforma Windows 95/NT, uma aplicação para análise e processamento de imagens: O CMIS.

A esta aplicação não são só acrescentados os algoritmos desenvolvidos no âmbito especifico do doutoramento mas também algoritmos mais gerais e comuns.

O CMIS está a ser dirigido potencialmente para a área da imagem médica sendo o embrião do SIMED.

Actualmente o CMIS é/foi o sistema base para o desenvolvimento de trabalhos de fim de curso, de investigação (mestrados/doutoramentos) de alguns alunos/investigadores na área da Visão por Computador da FEUP/INEB.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 6

III - A aplicação CMIS

CMIS: emparelhamento de dois contornos não rígidos:

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 7

III - A aplicação CMISCM

IS:

Anál

ise

de r

egiõ

es.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 8

IV - Contornos Activos (Snakes)Contornos activos ou “snakes” são constituídos por um conjunto de pontos, uniformemente distribuídos, com determinadas propriedades mecânicas, que através de forças de atracão e de repulsão vão convergindo (iterativamente) desde uma posição inicial, definida pelo utilizador ou colocada automaticamente naimagem, até uma posição final adequada para segmentar o objecto desejado.

Def

iniç

ão in

icia

l.

Obj

ecto

a s

egm

enta

r.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 9

IV - Contornos Activos (Snakes)Definição dos parâmetros para a Snake (modelo de Kass):

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 10

IV - Contornos Activos (Snakes)

Posição final da Snake:

Alguns parâmetros do objecto segmentado:

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 11

V - Análise ModalCom a Análise Modal pretende-se determinar os emparelhamentos entre pontos de dois objectos através da análise dos deslocamentos de cada ponto no respectivo espaço modal: Pontos com deslocamentos semelhantes são considerados como potencialmente candidatos ao emparelhamento.

Até ao momento esta técnica foi por nós implementada através de duas abordagens distintas:

• determinação dos vectores/valores próprios de uma matriz de proximidade definida para cada objecto (método de Shapiro);

• determinação dos vectores/valores próprios dos modelos de elementos finitos construídos para cada objecto.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 12

V - Análise Modal

� Exemplos de resultados obtidos (pelo método de Shapiro):Contorno t Contorno t+1 Contornos t e t+1

Emparelhamento obtidos com os contornos amostrados

…após a aplicação da transformação rígida determinada (pelo método de Horner baseado

em quaternions unitários) ao contorno t.

J. Tavares. A. PadilhaSeguim

ento e Análise do Movim

ento de Objectos R

ígidos e Não R

ígidos em V. C

.13

V -A

nálise Modal

Contorno t

Contorno t+1

Contornos t e t+1

Emparelhamentos obtidos

…após aplicação da transf. rígida

…após aplicação da transf. rígida incluindo

o escalonamento

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 14

VI - Método dos Elementos Finitos

� O Método dos Elementos Finitos considera o sistema global como equivalente a um agrupamento de elementos finitos no qual cada um destes é uma estrutura contínua mais simples. Impondo que em certos pontos comuns a vários elementos, designados por nodos ounós, os deslocamentos sejam compatíveis e as forças internas em equilibro o sistema global, resultante do agrupamento, reage como uma única entidade e de forma similar ao sistema real.

� A vantagem do método é que a equação de movimento para o sistema global pode ser obtida pelo agrupamento das equações determinadas individualmente para cada elemento finito utilizado na modelização. O movimento em qualquer ponto no interior de cada um destes elementos é obtido por intermédio de interpolação sendo, geralmente, as funções de interpolação polinómios de grau reduzido e iguais para elementos do mesmo tipo.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 15

VII - Método dos Elementos Finitos + Análise Modal

A técnica da utilização da Análise Modal com o Método dos Elementos Finitos consiste em:

• Construir um modelo de elementos finitos para cada um dos objectos a emparelhar;

• Determinar os modos de vibração de cada um dos modelos (a partir das matrizes de massa e de rigidez);

• Determinar as correspondências pela análise dos deslocamentos dos nodos de cada modelo no respectivo espaço modal.

Com a utilização de modelos físicos torna-se possível determinar a energia de deformação necessária para deformar um objecto num outro e estimar os deslocamentos dos nodos não emparelhados com sucesso (utilizando o método dos mínimos quadrados de forma a minimizar a energia de deformação).

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 16

[M]{U}+ +[K]{U} ={R}determinação das matrizes de massa

e de rigidez para o modelo finito

Determinação dos modos própriosConstrução do modelo físico

Entrada: dados considerados como nodos de um elemento finito

[K]{φ}i = ωi2[M]{φ}i

resolução do problema devalores/vectores próprios generalizado

[M]{U}+ +[K]{U}={R}determinação das matrizes de massa

e de rigidez para o modelo finito

[K]{φ}i = ωi2[M]{φ}i

resolução do problema devalores/vectores próprios generalizado

Saída: correspondênciaentre dados

Emparelhar os modos {φ}inão rigidos de baixa ordem

de ambas as formas

Utilizar os modos {φ}iemparelhados como sistema

de coordenadas

VII - Método dos Elementos Finitos + Análise Modal

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 17

VII - Método dos Elementos Finitos + Análise Modal

� Exemplos de Resultados (utilizando o elemento finito de Sclaroff):

Valor da energia de deformação: 17.6

Contorno t Contorno t+1 Contornos t e t+1 Emparelhamento obtidos com os contorno amostrados

…após a aplicação da transformação rígida

…após a determinação dos deslocamentos nodais estimados

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 18

VII - Método dos Elementos Finitos + Análise Modal

� Exemplos de Resultados (utilizando o elemento finito de Sclaroff):

Valor da energia de deformação: 1.4

Contorno t Contorno t+1

Contornos t e t+1

Emparelhamento obtidos com os contorno amostrados

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 19

VII - A aplicação principal� Pretende-se utilizar uma metodologia adequada para a análise de sequências de imagens 2D/3D (3D considerando a intensidade como a terceira coordenada: modelização XYI) de pedobarografia.

Exemplo de imagens de pedobarografia (negadas):

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 20

VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros

� Com esta apresentação foi realizada uma breve introdução ao âmbito do doutoramento, descrição de algumas das suas fases e verificação de alguns resultados já obtidos.

� Actualmente esta-se a aplicar a metodologia usada com sucesso no seguimento em imagens 2D de sequências de pedobarografia em imagens 3D das mesmas sequências. Para a terceira coordenada é utilizado o nível de intensidade utilizando--se assim a relação pressão/intensidade e construindo-se modelos de superfície XYI.

� O inicio da escrita da dissertação está agendado para o Verão do corrente ano.

J. Tavares. A. Padilha Seguimento e Análise do Movimento de Objectos Rígidos e Não Rígidos em V. C. 21

VIII - Conclusões e Perspectivas de Desenvolvimentos Futuros

� Exemplo de um modelo de superfície XYI.