interface homem-maquina utilizando sensor … · interface homem-maquina utilizando sensor kinect...

INTERFACE HOMEM-MAQUINA UTILIZANDO SENSOR KINECT PARACONTROLE DE UM QUADROTOR AR.DRONE PARROT

Tiago O. Costalonga∗, Lucas M. de Avila∗, Laıs Muniz∗, Alexandre S. Brandao∗

∗Av. P. H. Rolfs, sn, Centro, CEP 36570-000Universidade Federal de Vicosa

Vicosa, MG, Brasil

Emails: [email protected], [email protected], [email protected],

[email protected]

Abstract— This paper presents a new and intuitive way to control a quadrotor, through a human-machineinterface (HMI), based on a motion sensor, which uses the displacement of the body to command the mobileplatform (in such case, an aerial vehicle). The experimental results were obtained by using the Microsoft KinectSensor (for detection and tracking of the user), and after acquiring the data, the control commands are sent tothe quadrotor AR.Drone Parrot to guide it.

Keywords— Human-Machine Interface, Quadrotor Control, Kinect.

Resumo— Este artigo apresenta uma nova e intuitiva forma de controle de um quadrotor, atraves de umainterface homem-maquina (IHM), baseado em um sensor de movimento. A proposta e a utilizacao dos propriosmovimentos do usuario para comandar a plataforma movel (neste caso, um veıculo aereo). Uma estrategia simplese intuitiva de intencao de movimento foi aqui utilizada. Resultados experimentais que validam a abordagem foramobtidos atraves do Sensor Kinect da Microsoft (para deteccao e rastreamento do usuario), e, a partir dos dadosadquiridos, os comandos de controle sao enviados ao quadrotor AR.Drone Parrot para guia-lo.

Keywords— Interacao Homem-Maquina, Controle de Quadrotor, Kinect

1 Introducao

A possibilidade de uma interface de controlenatural, intuitiva e expressiva de plataformasmoveis abre uma grande variedade de aplicacoesque vao desde entretenimento ate seguranca(Preece et al., 2006),(Barbosa and Silva, 2010).

Entende-se como Interacao (ou interface)Homem-Maquina (IHM) a maneira na qual ousuario interage com o sistema computacional, ouseja, a IHM consiste em realizar tarefas atravesda colaboracao entre o humano e o componentede automacao (Ramaswamy et al., 2014). Eimportante que a IHM tenha funcionalidade eusabilidade, visando atender as necessidades ese acomodar as capacidades das pessoas a quemeles sao enderecados (Garcıa, 2003). Destemodo, para o desenvolvimento de uma interface,e fundamental uma analise fısica e mental do serhumano, buscando entender como ele ira reagirdiante da interface. Fisicamente o usuario seutiliza do toque, da visao e da audicao parainteragir com o meio, alem disso, ele mentalmenteutiliza do raciocınio, percepcao, memoria elinguagem (fatores cognitivos) (Mathew et al.,2011).

Nesse sentido, este artigo propoe a implemen-tacao de uma IHM para controle de um quadrotoratraves de movimentos corporais realizados pelousuario. Esse metodo de controle, conhecido comoInterface Natural do Usuario (INU), associa variasmodalidades de comunicacao atraves de interacoesfısicas humanas, tendo como foco as habilidadesdas pessoas tais como toque, voz, visao e funcoes

cognitivas mais complexas (Liu, 2010). Porexemplo, Fan et al. (2013) desenvolveram umsistema INU para TV interativa, Choi et al.(2013) possibilitaram a manipulacao de um roboprojetor e a direcao da projecao e Yao et al. (2012)apresentaram a implementacao da interface paraplanejamento urbano colaborativo.

O uso de gestos para controle de plataformasmoveis, comparado as interfaces tradicionais podeoferecer inumeras oportunidades de interacao(Pavlovic et al., 1996). Novas solucoes baseadaem gestos tem sido largamente introduzidas emvarios cenarios de interacao como, por exemplo, anavegacao de conteudos multimıdia e de mundosvirtuais e, segundo Selker (2008), a construcao desistemas baseados em gestos tera um importantepapel nas futuras tendencias da IHM.

Nesse contexto, o objetivo desse trabalhoe criar uma IHM que permita ao usuariocontrolar um veıculo aereo nao tripulado (VANT),em especıfico um quadrotor AR.Drone Parrot1.0, utilizando gestos, ou seja, o usuario e o“controlador”. Como objetivos especıficos, tem-se: (1) extracao de informacoes espaciais departes especıficas do corpo; (2) reconhecimento depostura do usuario a partir dessas informacoes; (3)associar os movimentos realizados aos comandosespecıficos que serao enviados ao quadrotor.

Para possibilitar o reconhecimento de gestose, portanto, controlar um VANT, sera utilizadoo sensor de movimentos Kinect da Microsoft quee mais viavel economicamente se comparado aoutros sensores com a mesma finalidade e funcionacomo dispositivo de rastreamento das posicoes do

Anais do XX Congresso Brasileiro de Automática Belo Horizonte, MG, 20 a 24 de Setembro de 2014

1482

usuario (Kar, 2010). Ele possui duas cameras -a de cor (RGB) e a de infravermelho (Stowerset al., 2011). De forma similar ao trabalhode Andaluz et al. (2012), apos a captura dasimagens em profundidade pelo Kinect, o programaidentifica o movimento feito pelo usuario, fazo reconhecimento desse gesto e interage com operiferico de entrada e, entao, o comando etransferido para o VANT. Vale comentar aosinteressados que atraves do sistema NiTE daempresa israelense OpenNI (Villaroman et al.,2011) e possıvel a comunicacao do sensor Kinectcom o computador.

O uso do Kinect aplicado ao controle dequadrotores nao e novo, tem-se exemplos comoSanna et al. (2013), Pfeil et al. (2013) e Boudjitet al. (2008). Em especial, o instituto ETHZurique1 tem feito pesquisas com controle ecomando desses veıculos. O metodo utilizadopor eles propoe uma interacao dinamica comquadrotor baseado na posicao do braco, ou seja,o mapa tridimensional do braco do usuario emapeado para as coordenadas locais (tambemtridimensional) do quadrotor. Entretanto, aproposta deste artigo e diferente, em termos dometodo de controle, apesar de usar gestos paraefetuar os comandos ao quadrotor, o metodoconsiste em mapear partes especificas do corpoe aplicar o conceito de derivada (intencao demovimento), de modo a realizar movimento doquadrotor.

Este artigo esta dividido em cinco secoes.Uma introducao geral e uma breve revisao daliteratura e feita na Secao I, enquanto na SecaoII e apresentado e descrito o sensor Kinect. NaSecao III sao descritos os comandos e o metodode controle de movimento. Na secao IV e feitoum estudo dos resultados obtidos. Por fim, naSecao V sao apresentadas as conclusao do objetivoproposto neste trabalho.

2 O Sensor Kinect da Microsoft

O Kinect e um sensor de movimentos introduzidono mercado em novembro de 2010 como umacessorio do console de jogos Xbox360 daMicrosoft. Por meio de uma tecnologia inovadora,o equipamento e capaz de permitir a interacao dosusuarios com jogos eletronicos sem a necessidadede se ter um joystick em maos. Suas funcoesbasicas consistem em mapear o ambiente emtres dimensoes, filmar e receber ordens por meiode seus microfones. Os dados adquiridos temdiferentes naturezas e produzem a combinacao degeometria com atributos visuais.

Em sua arquitetura, o Kinect e composto porum projetor e uma camera infravermelha (quefazem a funcao de sensores de profundidade), uma

1http://www.idsc.ethz.ch/

camera RGB (que identifica, fotografa ou filmao ambiente). Essas duas cameras juntas formamum conjunto de mapeamento 3D. Alem disso, doismicrofones sao usados para reconhecimento de falae um motor na base do aparelho que inclina acabeca do sensor para cima e/ou baixo quandonecessario.

Todos esses sensores tem, entre outrasfuncoes, a captura de movimentos e o ras-treamento do usuario, a partir de pontos pre-determinados do seu corpo, o que forma umaespecie de “esqueleto”. Com isso, e possıvelobter informacoes de posicao tanto em 3D(em coordenadas cartesianas) como em 2D (emcoordenadas de pixels) dos pontos identificados naFigura 1.

3 A Estrategia de Controle Proposta

Neste projeto, consideraram-se as posicoes rela-tivas a mao direita e a mao esquerda, emcoordenadas reais, bem como o angulo (β)formado pelos pontos da mao, cotovelo e ombroesquerdos, mostrados na Figura 2, e o angulo(α) de abertura do braco esquerdo formado pelospontos da mao e ombro esquerdos e um pontoqualquer que tenha o mesmo valor da coordenadax do ombro esquerdo, mostrado na Figura 3,para o controle do quadrotor. Essas coordenadassao fornecidas pela camera de profundidade doKinect em conjunto ao software NiTe. Entao,essas informacoes sao utilizadas para controle daaeronave.

Vale ressaltar que quando o braco esta paradoou na sua extensao maxima, a velocidade e zero.Logo, no trajeto de deslocamento da mao havariacao de sua posicao, consequentemente de suavelocidade, tornando oportuna a utilizacao daderivada da posicao como referencia de controledo quadrotor.

O metodo de comando consiste nas seguintesetapas mostradas na Figura 4 e descritas a seguir.

Figura 1: Rastreamento do esqueleto do usuario.


1483

Figura 2: Angulo β considerado.

Figura 3: Angulo α considerado.

• Inicializacao do Kinect e rastreamentodo esqueleto: esta etapa inicializa oKinect e, a partir de seus sensores, realiza orastreamento do esqueleto do usuario.

• Identificacao e aquisicao de dados doesqueleto do usuario: uma vez detectadoo usuario, as informacoes pertinentes a cadaparte do corpo sao guardadas e analisadas acada frame.

• Instrucoes para decolagem e controle:uma serie de instrucoes e apresentada aousuario para que ele possa realizar oscomandos inicias de controle.

• Controle de movimento e direcao devoo: a velocidade com que o usuariorealiza os gestos tambem e identificada pois oalgorıtimo de comando deixa a velocidade doquarotor em funcao da derivada temporal daposicao de sua mao direita e da esquerda.

Figura 4: Metodo de Comando. As setasvermelhas atuam apenas uma vez enquanto assetas azuis indicam atuacao cıclica.

3.1 Descricao dos Comandos Realizados porGestos Corporais

Este projeto focou no comando de decolagem,comando de rotacao, comando direcional e nocomando de parar, mostrados na Tabela 1 edescritos a seguir.

Tabela 1: Correspondencia entre os gestos dousuario e os comandos do AR.Drone Parrot

Gesto Comando

Mao direita para cima Subir

Mao direita para baixo Descer

Mao direita para esquerda Ir para esquerda

Mao direita para direita Ir para direita

Mao direita para frente Ir para frente

Mao direita para tras Ir para tras

Mao esquerda para cima e β< 90◦

Decolagem

35◦ <α< 50◦ Pause

Mao esquerda para esquerda Guinada anti-horaria

Mao esquerda para direita Guinada horaria

3.1.1 Comando de Decolagem

O comando de decolagem consiste em levantara mao esquerda, mantendo o cotovelo esquerdoestatico e a mao direita abaixo da linha do quadril,apos o usuario ter sido reconhecido e ter seuesqueleto rastreado pelo Kinect, como mostra aFigura 5. Ao realizar este movimento o sistemaenvia o comando de decolagem ao quadrotor, oqual realiza a decolagem, permanece em condicaode voo pairado e aguarda novos comandos.

3.1.2 Comando de Rotacao

Apos a decolagem, o usuario tem a possibilidadede rotacionar o quadrotor em torno de seu eixo


1484

Figura 5: Gesto para o comando de decolagem.

Figura 6: Gesto para o comando de rotacao.

central vertical, para isso a mao esquerda deveestar acima do cotovelo esquerdo e a mao direitadeve estar abaixo da linha do quadril esquerdo(ver Figura 6). Desse modo ao se movimentara mao esquerda para o lado direito ou esquerdoo quadrotor rotaciona para o sentido horario ouanti-horario com uma velocidade pre-determinadae constante.

3.1.3 Comando Direcional

Define-se comando direcional como aquele querealiza a navegacao do AR.Drone Parrot. Assim,tambem apos a decolagem, o usuario, agoracom sua mao direita acima da linha do quadril,conforme ilustrado na Figura 7, pode comandar oquadrotor para frente e para tras, para direita epara esquerda e para cima e para baixo de acordocom o movimento da sua mao direita.

3.1.4 Comando de Parar/Pausar

Depois de realizada a decolagem, o usuario ficalivre para comandar o quadrotor, porem se feznecessario a utilizacao de um comando “parar”,

Figura 7: Gesto para o comando direcional.

Figura 8: Gesto para o comando de parar.

como mostrado na Figura 8. Este comandofaz com que todos os outros comandos sejamdesabilitados, deixando o quadrotor em modode voo estacionario, nao podendo se moverem nenhum sentido mesmo que um comandodirecional seja dado.

3.2 Descricao do Metodo de Controle do Movi-mento

Para realizar controle do movimento do quadrotor,seguindo o referencial mostrado na Figura 9,foram calculadas as derivadas temporais daposicao tridimensional (em x, y e z) da maodireita, dadas por

Figura 9: Referencial do Sensor Kinect


1485

kx =dxmddt

, (1)

ky =dymddt

, (2)

kz =dzmddt

. (3)

O ındice k corresponde aos valores rela-cionados ao referencial do Kinect e o ındice mddenota mao direita. Entretanto, como mostraa Figura 10, o quadrotor possui um referencialdiferente do Kinect. Logo faz-se necessarioadequar as informacoes enviadas, a fim de obteruma comparacao entre o comando de entrada e aacao de saıda. Assim, as variacoes realizadas noreferencial do sensor Kinect podem ser associadasas variaveis de controle do quadrotor. Em outraspalavras,

qφ = Kxφkx, (4)

relaciona a variacao no eixo x do referencial 〈k〉 eo angulo de rolagem do quadrotor.

qθ = Kzθkz, (5)

relaciona a variacao no eixo z do referencial 〈k〉 eo angulo de arfagem do quadrotor.

q z = Kyzky, (6)

relaciona a variacao no eixo y do referencial 〈k〉e a velocidade ascendente/descendente vertical doquadrotor. Com essas relacoes, e possıvel realizaruma comparacao entre o comando enviado aoquadrotor (entrada) e a sua acao desenvolvida(saıda). Vale comentar que as constantes deproporcionalidade Ki apresentadas foram obtidasempiricamente atraves de validacoes experimen-tais. Em adicao, destaca-se que valores maioresde Ki resulta em manobras mais agressivas daaeronave.

Figura 10: Referencial do Quadrotor

4 Resultados e Discussao

Esta secao apresenta resultados de um experi-mento com um quadrotor Ar.Drone 1.0 da Parrot,tomando seu referencial e o do Kinect. Oexperimento completo e dividido em tres sub-testes, que consistem, respectivamente, no enviode comandos para o movimento de rolagem,comandos para o movimento de arfagem doquadrotor e comandos para movimento ascen-dente/descendente do quadrotor. Os resultadospertinentes a cada um dos testes e uma discussaoacerca dos mesmos sao apresentados na sequencia.

4.1 Movimento de Rolagem

Na Figura 11 mostra o deslocamento lateral damao direita do usuario. Os instantes de tempoinferiores a zero indicam a etapa de identificacaoe reconhecimento do usuario. A partir do instantet = 0, a aeronave esta apta a receber um comando.

Na Figura 12 e feito uma comparacao entre osinal enviado ao quadrotor (kx) e o sinal de saıdado mesmo (qφ). Como dito anteriormente, parat < 0, o AR.Drone Parrot nao recebe nenhumcomando direcional, daı pode-se visualizar quea partir de t = 0, ha um acompanhamentodos dois sinais indicando que o VANT seguiua tendencia do comando. Note que o sinal desaıda (quadrotor) possui sobrepassos em relacaoao sinal de entrada, para t > 0, devido a inerciade seu movimento. Porem e possıvel visualizarque o quadrotor segue a tendencia de movimentosolicitada pelo usuario.

A Figura 13 ilustra a evolucao da velocidadedo quadrotor no referencial do mesmo. Pode-seperceber que sua velocidade tambem e controladapelo usuario, de forma que a velocidade varia deacordo com a velocidade do movimento da maodireita do usuario.

4.2 Movimento de Arfagem

A Figura 14 mostra o deslocamento “para frente epara tras” da mao direita do usuario. Novamentepara t < 0 tem-se o reconhecimento do usuario ecomando de decolagem, de modo que o quadrotorso recebe comando direcional para t ≥ 0.

Assim como na Figura 12, tambem foi feitauma comparacao entre o sinal de entrada e osinal de saıda do quadrotor. Porem, agora, foramassociados os comandos em kz e as informacoes dearfagem. A Figura 15 ilustra os resultados obtidosneste teste experimental. Percebe-se tambem quepara t ≥ 0 o quadrotor comeca a seguir o sinalde entrada (usuario), novamente, sua inercia demovimento leva o quadrotor a obter valores depico maiores que o sinal de entrada, porem nota-se a tendencia de movimento em relacao ao gestorealizado.


1486

Figura 11: Posicao da Mao Direita do Usuario noEixo-X do Referencial do Kinect

Figura 12: Sinal de Entrada (Usuario) e de Saıda(Quadrotor) para Movimento Lateral

Figura 13: Velocidade do Quadrotor no Eixo-Y doReferencial do Quadrotor

A Figura 16 ilustra a velocidade do quadrotorem seu proprio sistema de referencia. Nota-seuma correspondencia direta com os comandos dearfagem enviados pelo usuario.

4.3 Movimento Descendente/Ascendente

A Figura 17 mostra a evolucao da posicao da maodo usuario ao realizar o movimento “para cimae para baixo” com a mesma. Sendo que apenaspara t ≥ 0 e que o comando direcional e enviadoao quadrotor.

A Figura 18 mostra a comparacao entreo sinal de entrada (usuario) e o sinal desaıda (quadrotor). Note que o movimento doquadrotor para subida e descida sofre influenciada aceleracao da gravidade e, por isso, ao subir, avelocidade do quadrotor nao consegue atingir umvalor maior ou igual ao sinal de entrada como nos

Figura 14: Posicao da Mao Direita do Usuario noEixo-Z do Referencial do Kinect

Figura 15: Sinal de Entrada (Usuario) e de Saıda(Quadrotor) para Movimento de Frente/Tras

Figura 16: Velocidade do Quadrotor no Eixo-X doReferencial do Quadrotor

outros dois movimentos citados anteriormente.Por sua vez, ao descer, verifica-se que a respostado sistema apresenta um sobrepasso negativo emrelacao ao sinal de entrada.

Note que assim como nos casos anteriores,a aplicacao dos sinais de controle no quadrotorsomente acontece para t ≥ 0.

Na Figura 19 observa-se o deslocamento daaltura em que o quadrotor se encontra do chao.Como explicado anteriormente, ha uma tendenciamaior de movimento descendente por causa daaceleracao da gravidade e, assim, o deslocamentopara baixo se apresenta maior que o deslocamentopara cima, resultando em uma perda de altitude.

Vale ressaltar que experimentos modificandoa guinada da aeronave tambem foram realizados,entretanto optou-se por nao apresentar taisresultados, dado que as entradas de controle


1487

Figura 17: Posicao da Mao Direita do Usuario noEixo-Y do Referencial do Kinect

Figura 18: Sinal de Entrada (Usuario) e de Saıda(Quadrotor) para Movimento de Subida e Descida

Figura 19: Altura do Quadrotor no Eixo-Z doReferencial do Quadrotor

sao valores constantes, conforme explicitado naTabela 1 e na Secao 3.1.4.

Em adicao, tambem optou-se por nao mostrarum movimento complexo 3D executado atravesdos comandos da mao direita, pois em nossoentendimento a composicao (acao conjunta) dosmovimentos mais simples aqui descritos podem serfacilmente reproduzidos.

Por fim, vale comentar que um joystick foiutilizado em paralelo com o sensor Kinect. Destaforma, caso alguma falha ocorresse durante oenvio de comandos atraves do sensor Kinect ouqualquer situacao adversa que impossibilitasseo controle da aeronave por meio de gestos, oscomandos realizados atraves do joystick seriampriorizados, a fim de manter a integridade doquadrotor Ar.Drone Parrot.

5 Consideracoes Finais

Uma interacao entre homem e maquina utilizandoo sensor Kinect foi implementado nesse trabalho.Inicialmente, fez-se o rastreamento do usuario, demodo que os gestos feitos pelo mesmo pudessemser interpretados e enviados ao quadrotor emforma de comandos basicos e intuitivos.

Na sequencia, o uso do processo de derivacaotemporal da posicao para se obter o controle demovimento de um quadrotor mostrou-se simples,viavel e aplicavel. Os sinais de saıda daaeronave mantiveram a tendencia do sinal deentrada, desse modo, pode-se afirmar que ainterface homem-maquina proposta, apresentadae desenvolvida nesse artigo sustentou seu objetivode fazer o controle de movimento de umquadrotor AR.Drone Parrot de forma intuitiva,respeitando o conceito de seguimento de tendenciade movimento.

Agradecimentos

Os autores agradecem aos funcionarios do De-partamento de Engenharia Eletrica (DEL) daUniversidade Federal de Vicosa (UFV). Elestambem agradecem a FAPEMIG e a FUNARBEpelo suporte financeiro. Sr. Costalonga e Sr.Avila agradecem em especial ao CNPq/PIBITI ea CAPES/Programa Jovens Talentos, respectiva-mente, pelas bolsas de Iniciacao Cientıfica con-cedidas, as quais lhes propiciaram a participacaoneste trabalho.

Referencias

Andaluz, V., Gallardo, C., Santana, J., Villacres, J.,Toasa, R., Vargas, J., Reyes, G. and Naranjo, T.(2012). Bilateral virtual control human-machinewith kinect sensor, Andean Region InternationalConference, IEEE, pp. 101–104.

Barbosa, S. D. J. and Silva, B. S. (2010). InteracaoHumano-Computador, serie sbc edn, EditoraCampus-Elsevier.

Boudjit, K., Larbes, C. and Alouache, M. (2008).Control of flight operation of a quad rotor ar.drone using depth map from microsoft kinectsensor, International Journal of Engineering andInnovative Technology (IJEIT) 3: 15–19.

Choi, S.-W., Kim, W.-J. and Lee, C. H. (2013).Interactive display robot: Projector robot withnatural user interface, 8th ACM/IEEE Interna-tional Conference on Human-Robot Interaction(HRI), pp. 109–110.

Fan, Y.-C., Chen, C.-L. and Huang, S.-S. (2013).Natural user interface for interactive television,IEEE 17th International Symposium on Con-sumer Electronics (ISCE), IEEE, pp. 189–190.

Garcıa, L. S. (2003). A interacao humano-computadore o design da interface-usuario.


1488

Kar, A. (2010). Skeletal tracking using microsoftkinect. Department of Computer Science andEngineering, IIT Kanpur.

Liu, W. (2010). Natural user interface-next main-stream product user interface, IEEE 11th Inter-national Conference on Computer-Aided Indus-trial Design and Conceptual Design (CAIDCD),Vol. 1, pp. 203–205.

Mathew, A. R., Hajj, A. A. and Abri, A. A. (2011).Human-computer interaction (hci): An overview,IEEE International Conference on ComputerScience and Automation Engineering (CSAE),Vol. 1, IEEE, pp. 99–100.

Pavlovic, V. I., Sharma, R. and Huang, T. S. (1996).Invited speech: ”gestural interface to a visualcomputing environment for molecular biologists”,Proceedings of the Second International Confer-ence on Automatic Face and Gesture Recognition,pp. 30–35.

Pfeil, K., Koh, S. L. and LaViola, J. (2013).Exploring 3d gesture metaphors for interactionwith unmanned aerial vehicles, Proceedings of the2013 international conference on Intelligent userinterfaces, ACM, New York, NY, USA, pp. 257–266.

Preece, J., Rogers, Y. and Sharp, H. (2006).Interaction Design: Beyond Human-ComputerInteraction, 2nd ed. edn, Wiley.

Ramaswamy, A., Monsuez, B. and Tapus, A. (2014).Model driven software development for human-machine interaction systems, Proceedings of the2014 ACM/IEEE international conference onHuman-robot interaction, pp. 270–271.

Sanna, A., Lamberti, F., Paravati, G. and Manuri,F. (2013). A Kinect-Based Natural Interfacefor Quadrotor Control, Vol. 4, EntertainmentComputing, chapter 3, pp. 179–186.

Selker, T. (2008). Touching the future, Communi-cations of the ACM - Surviving the data deluge51: 14–16.

Stowers, J., Hayes, M. and Bainbridge-Smith, A.(2011). Altitude control of a quadrotor helicopterusing depth map from microsoft kinect sensor,IEEE International Conference on Mechatronics,IEEE, pp. 358–362.

Villaroman, N., Rowe, D. and Swan, B. (2011).Teaching natural user interaction using openniand the microsoft kinect sensor, Proceedings ofthe 2011 conference on Information technologyeducation, ACM New York, NY, USA c©2011,pp. 227–232.

Yao, J., Fernando, T. and Wang, H. (2012). A multi-touch natural user interface framework, Inter-national Conference on Systems and Informatics(ICSAI), IEEE, pp. 499–504.


1489

interface homem-maquina utilizando sensor … · interface homem-maquina utilizando sensor kinect...

Documents