apresentacaogeav-anderson carlos moreira tavares-realidade aumentada
TRANSCRIPT
Realidade Aumentada
Grupo de Estudo em Ambientes Virtuaishttp://tinyurl.com/geav-grupohttp://tinyurl.com/geav-poli
1
Anderson Carlos Moreira [email protected]
Carlos Henrique Barbosa da [email protected]
Introdução
• WIMP – Janelas, Ícones,Menus e Ponteiros
• Ambiente Virtual
2
Ação pensada pelo usuário
Execução da ação pelo sistema
InterfaceInterface
– Realidade Virtual– Realidade Aumentada
Realidade Virtual
3
Introdução
Equipamentos
Motivação
Realidade Virtual
4
• HMD: Head-Mounted Displays– Som e estereoscopia
• Luvas:– Háptica
• ProjetorEstereoscópico
• Monitor• CAVE (Cave Automatic Virtual
Environment)
Introdução
Equipamentos
Motivação
Realidade Virtual
5
Introdução
Equipamentos
Motivação
Realidade Aumentada
6
Introdução
Motivação
Dificuldades
Classificação
• Padrão de desenho Câmera
Estereoscopia
Realidade Aumentada
7
Imersiva Não-ImersivaIntrodução
Motivação
Dificuldades
Classificação
Estereoscopia
Realidade Aumentada
8
• Largura de Banda• Equipamentos mais potentes• Hiper-realidade
Introdução
Motivação
Dificuldades
Classificação
Estereoscopia
Realidade Aumentada
9
10 quadros / segundo
Introdução
Motivação
Dificuldades
Classificação
Estereoscopia
Realidade Aumentada
10
• Visão Sólida• Paralaxe• Anaglifo
– Óculos
Introdução
Motivação
Dificuldades
Classificação
Estereoscopia
Realidade Aumentada Espacial (SAR)
• Vídeo
11
Realidade Aumentada sem Marcador (MAR)
• Vídeo
12
Realidade Aumentada (Medicina)
• Vídeo
13
Realidade Aumentada (Cubo)
• Vídeo
14
Exemplo de Sistema Móvel
• Vídeo
15
Hiper-Realidade
• Realidade Virtual• Realidade Física• Inteligência artificial• Inteligência humana• Mundo Misturado
16
Conferências
• ISMAR– International Symposium on Mixed and
Augmented Reality– Flórida - EUA
• SVR– Symposium on Virtual
and Augmented Reality– Natal (RN) - 2010 – Porto Alegre (RS) - 2009
17
Software
18
Software
• OpenCV
19
Etapas do FLARToolkit
• Captura de Imagem• Binarização• Labeling• Busca por Quadrados• Reconhecimento de padrões• Cálculo das transformadas
20
Etapas do FLARToolkit
• Captura da Imagem na Webcam
21
Etapas do FLARToolkit
• Binarização (Escala de tons de cinza)
22
Etapas do FLARToolkit
• Binarização0 255limiar
23
Etapas do FLARToolkit
• Labeling
24
Etapas do FLARToolkit
• Busca por quadrados
25
Etapas do FLARToolkit
• Reconhecimento de Padrões
26
Etapas do FLARToolkit
• Reconhecimento de padrões
27
Etapas do FLARToolkit
• Comparação
28
Etapas do FLARToolkit
0,38 0,29 -0,15 -0,11
0,86 0,20 -0,01 -0,14
0,27 -0,03 0,03 -0,14
0,13 0,16 -0,08 -0,01
29
Etapas do FLARToolkit
• Cálculo das Transformadas
30
Etapas do FLARToolkit
• Exibição do Objeto 3D
31
32
MatemáticaGeometria ComputacionalComputação GráficaVisão ComputacionalReconhecimento de PadrõesRealidade VirtualRealidade AumentadaProcessamento de Imagens
Áreas
33
* A = A
* A = A’ (rotacionado e escalonado)
Transformação Linear
34
Transformação Linear
Rotação
35
Transformação Linear
Escala
36
Fecho Convexo Diagramas Voronoi
Quaternions
Geometria Computacional
37
Computação Gráfica
Shader
38
Computação Gráfica
Iluminação
39
Computação Gráfica
Ray Tracing
Referências• [1] CORDIS. Ícones, janelas, menus, ponteiros - Quando a informática vai evoluir? Inovação
Tecnológica, 2009. Disponivel em: <http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=icones-janelas-menus-quando-informatica-vai-evoluir&id=010150090717>. Acesso em: 29 set. 2009.
• [2] KIRNER, C.; SISCOUTTO, R. A. Fundamentos de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 2-21.
• [3] RASKAR, R.; WELCH, G.; FUCHS, H. Spatially Augmented Reality. First International Workshop on Augmented Reality. San Francisco: IEEE. 2008.
• [4] KIRNER, T. G.; SALVADOR, V. F. M. Desenvolvimento de Ambientes Virtuais. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 28 Maio 2007. p. 90-107.
• [5] TORI, R.; KIRNER, C. Fundamentos de Realidade Virtual. In: TORI, R.; KIRNER, C.; SISCOUTTO, R. Fundamentos e Tecnologia de Realidade Virtual e Aumentada. Belém-PA: SBC, 2006. Cap. 1, p. 2-21.
• [6] MACHADO, L. D. S. Dispositivos Hápticos para Interfaces de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 152-167.
• [7] PINHANEZ, C. Interfaces Não-Convencionais. VII Symposium of Virtual Reality. Belém-PA: SBC. 2006. p. 173-198.
• [8] GUTIÉRREZ, M. A.; VEXO, F.; THALMANN, D. Vision. In: ______ Stepping into Virtual Reality. London: Springer, 2008. Cap. 7, p. 125-137.
• [9] MACHADO, L. D. S. Dispositivos Hápticos para Interfaces de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis, RJ: SBC. 2007. p. 152-167.
• [10] SOARES, L. P.; CABRAL, M. C.; ZUFFO, M. K. Sistemas Avançados de Realidade Virtual. VII Symposium on Virtual Reality. Belém-PA: SBC. 2006. p. 51-58.
40
Referências• [11] SISCOUTTO, R. A. et al. Estereoscopia. VII Symposium on Virtual Reality. Belém-PA: SBC.
2006. p. 221-245.• [12] PINHO, M. S.; REBELO, I. B. Interação em Ambientes Virtuais Imersivos. VIII Symposium
on Virtual Reality. Belém-PA: SBC. 2006. p. 145-172.• [13] NORMAN, D. A. The psychology of everyday things. New York: Basic Books, 1988.• [14] AZUMA, R. T. A Survey of Augmented Reality. Presence: Teleoperators and Virtual
Environments, Los Angeles, CA, v. 6, n. 4, p. 355-385, ago. 1995.• [15] KIRNER, C.; TORI, R. Fundamentos de Realidade Aumentada. VII Symposium on Virtual
Reality. Belém-PA: SBC. 2006. p. 22-38.• [16] FUKS, H.; RAPOSO, A. B.; GEROSA, M. A. Do Modelo de Colaboração 3C à Engenharia
de Groupware. IX Simpósio Brasileiro de Sistemas Multimídia e Web. Salvador, Bahia: WebMidia. 2003. p. 445-452.
• [17] DAVE SNOWDON, E. F. C. A. A. J. M. Collaborative Virtual Environments: Digital Spaces and Places for CSCW. In: DAVE SNOWDON, E. F. C. A. A. J. M. Collaborative Virtual Environments: Digital Places and Spaces for Interaction. London: Springer - Verlag, 2001. Cap. 1, p. 3-17.
• [18] WANG, X.; DUNSTON, P. S. Groupware Concepts for Augmented Reality Mediated Human-To-Human Collaboration. Proceedings of Joint International Conference on Computing and Decision Making in Civil and Building Engineering. Montreal, Canadá: [s.n.]. 2006. p. 1836-1842.
• [19] FILIPPO, D. et al. Ambientes Colaborativos de Realidade Virtual e Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis-RJ: SBC. 2007. p. 168-191.
• [20] KIRNER, T. G. et al. Development of a Collaborative Virtual Environment for Educational Applications. Web3D 2001. Paderborn: ACM. Fevereiro 2001. p. 61-68.
41
Referências• [21] BUCCIOLI, A. A. B.; ZORZAL, E. R.; KIRNER, C. Usando Realidade Virtual e
Aumentada na Visualização da Simulação de Sistemas de Automação Industrial. VIII Symposium on Virtual Reality. Belém-PA: SVR. 2006.
• [22] NUNES, F. L. S. et al. Aplicações Médicas usando Realidade Virtual e Realidade Aumentada. IX Symposium on Virtual and Augmented Reality. Petrópolis: SBC. 2007. p. 223-255.
• [23] BILLINGHURST, H. K. A. M. Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System. Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality. Washington, DC: IEEE Computer Society. 1999. p. 85.
• [24] STEUER, J. Defining Virtual Reality: Dimensions Determining Telepresence. Journal of Communication. San Francisco: [s.n.]. 1992.
• [25] LIU, T.-Y.; TAN, T.-H.; CHU, A. Y.-L. 2D Barcode and Augmented Reality Supported English Learning System. International Conference on Computer and Information Science. Taipei-TW: IEEE. 2007.
• [26] LANGTON, C. G. Artificial Life: An Overview. 1st Edition. ed. Massachusetts: MIT Press, v. I, 1995.
• [27] MEIGUINS, B. S. et al. Aplicações de Ambientes Virtuais Colaborativos. VIII Symposium on Virtual Reality. Belém-PA: SBC. 2006. p. 334-342.
42
Aplicação de um Ambiente Virtual Colaborativo utilizando Realidade
Aumentada
Orientando: Anderson Carlos Moreira TavaresOrientador: Prof. Dr. Sérgio Murilo Maciel Fernandes
43
Sistemas Colaborativos
44
Modelo 3C
CVE
CSCW Comunicação
Cooperação Coordenação
Percepção
Gera informação para
Gerencia
Demanda
Sistemas Colaborativos
45
• Computer Support Collaborative Work
Ao mesmo tempo Em tempos diferentes
Local
Distribuído
Modelo 3C
CVE
CSCW
Sistemas Colaborativos
46
• Collaborative Virtual EnvironmentModelo 3C
CVE
CSCW
Considerações Iniciais
• Tempo de desenvolvimento;• Impacto pelos sistemas de ambientes virtuais;• Protocolos de comunicação;• Treinamento necessário;• Custo do projeto.
47
Caracterização do Problema
• Benefício do uso de equipamentos tradicionais
• Construção de Sistemas de RA com colaboração na Web
• Geração de Informação tridimensional
48
Questionamentos
49
Projeto NHE
50
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Rede
Projeto NHE
51
• Servidor
• Cliente
z
FLARToolkit
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
52
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
53
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Janela | Comando (Parametro1, Parametro2, ...)
Janela | Resposta | Parametro1, Parametro2, ...
Projeto NHE
54
• Servidor de Política• Servidor de Banco de Dados
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
T1T2TS
TS T1T2
Projeto NHE
55
• Login• Cadastro• Tela principal• Visualizar Perfil• Tela do projeto
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
56
• Custo– Servidor WEB (Apache)– Browser– Webcam
• Facilidade• Interatividade em tempo real
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
57
• Educação• Engenharia• Automação Industrial• Vendas• Jogos• Medicina
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
58
• Tempo de RespostaIntrodução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
59
• MemóriaIntrodução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Projeto NHE
60
• Interatividade– Grau de imersão– Inovação– Influência do sistema na sociedade
Introdução
Planejamento
Tecnologias
Servidor
Cliente
Vantagens
Aplicações
Resultados
Dificuldades
• Linux• Camera• Comunicação• Importação de Modelos• Anaglifo
61
Trabalhos Futuros
• Biblioteca• Simulação Física• Vida Artificial• Inteligência Artificial• Markeless Augmented Reality• QRCode (Quick Response)
62
Realidade Virtual
63
“Realidade virtual é uma interface avan-çada para aplicações computacionais, que permite ao usuário navegar e interagir, em tempo real, com um ambiente tri-dimensional gerado por computador, usando dispositivos multissensoriais.”
Introdução
Definição
Equipamentos
Motivação
Histórico
Realidade Virtual
64
• Anos 50: Sensorama– Morton Heilig
• Anos 60: Ultimate Display– Ivan Sutherland
• Anos 80: Realidade Virtual– Jaron Lanier
Introdução
Equipamentos
Motivação
Histórico
• Azuma– Combina real e virtual– Interativo em tempo real– Registrado em 3D
• Tracking (Rastreamento)
Realidade Aumentada
65
Introdução
Definição
Motivação
Dificuldades
Classificação
Estereoscopia
Realidade Aumentada
66
Realidade Aumentada
67
Vida Artificial
68
Metáfora
69
Condição Epipolar
70
Transformação Homográfica
71
Agradecimentos
• Prof. Dr. Sérgio Murilo• Organizadores do SEC• Prof. Dr. Byron Leite• Colegas de turma• Família• Expectadores
72