Interface Caligrafica para Ecras de Larga Escala

Ricardo Jota Bruno Araujo Luıs Bruno Jose Dias Joao M. Pereira Joaquim A. JorgeGrupo de Interfaces Multimodais Inteligentes

DEIC / INESC-ID / IST - Instituto Superior Tecnicohttp://immi.inesc-id.pt

ResumoA utilizacao de ecras de larga escala em sistemas de visualizacao esta a tornar-se comum. No entanto, poucassolucoes de interaccao tiram realmente partido da area de visualizacao e do espaco de trabalho. Na maioriados casos, o seu uso limita-se a visualizacao de modelos 3D em que o utilizador e espectador e, recorrendo adispositivos tradicionais como o rato e o teclado, um operador navega pelo modelo. Neste trabalho propomos umanova abordagem de interaccao que utiliza apontadores laser e que permite a um ou mais utilizadores interagirde forma natural com um ecra de larga escala. Transpondo o conceito de interface caligrafica de aplicacoesdesktop para o ecra de larga escala, oferecemos um conjunto de metaforas de interaccao baseadas em tracos einspiradas na metafora do lapis e papel. Sobre estes conceitos, apresentamos uma nova interface com o utilizador,baseada em menu circulares com suporte a multi-utilizadores. Apresentamos o prototipo ImmiView que oferece asfuncionalidades de navegacao, modelacao simples e criacao de anotacoes para a area da arquitectura. Finalmente,apresentamos as conclusoes baseadas em testes efectuados sobre o prototipo.

Palavras-ChaveEcra de larga escala, Interface Caligrafica, Interface com o Utilizador

1 Introducao

Os ecras de larga escala definem-se pela capacidade deapresentar uma grande quantidade de informacao devidoao uso de uma resolucao bastante elevada, mas tambemdevido a dimensao fısica da projeccao definida tanto empixeis como, para uma referencia mais compreensıvel, emmetros. De uma forma geral, a dimensao fısica destecenario permite ao utilizador uma maior liberdade de mo-vimento e um maior espaco de trabalho, comparado como tradicional cenario de desktop. Como tal, a interaccaobaseada em dispositivos de entrada, tais como o tecladoe o rato, nao e ideal porque limita a liberdade fısica doutilizador, uma vez que nao tira partido, de uma forma na-tural, do espaco de interaccao que o cenario oferece. Estalimitacao e partilhada pela maioria das interfaces actual-mente disponıveis, em cenarios de larga escala ou cenariosdesktop. Propomos neste trabalho apresentar uma tecnicade interaccao mais adequada aos ecras de larga escala, quetira partido da dimensao da area de visualizacao. A nossatecnica recorre a ponteiros laser para permitir que variosutilizadores interajam, simultaneamente, com um ecra delarga escala, de uma forma mais natural, seguindo umametafora semelhante ao papel e lapis. Desta forma ofe-recemos uma interface caligrafica para ecras de larga es-cala que permite uma maior liberdade, em comparacaocom as abordagens para desktop, dado que a nossa tecnicanao obriga o utilizador a interagir a partir de um local pre-definido, nem a utilizar artefactos que impecam a sua mo-

bilidade. Por outro lado, apresentamos uma nova inter-face com o utilizador e metaforas de interaccao que tentamsuperar a expressividade limitada do ponteiro laser. Umexemplo da expressividade limitada do laser verifica-se nonumero de estados possıveis de funcionamento do laser emcomparacao com os do rato. No caso do laser, pode es-tar ligado ou desligado. No caso do rato com um unicobotao os estados sao: desligado, ligado sem botao acti-vado ou ligado com botao activado. Baseado nas carac-terısticas dos ponteiros laser e nas suas limitacoes, desen-volvemos metaforas de interaccao que abrangem conceitosde seleccao de objectos ou de escolha de opcoes, e con-ceitos mais complexos como a criacao de menus globaisou de menus de contexto, que tirem partido do aumentode area de visualizacao e de interaccao oferecido pelosecras de larga escala. Os conceitos propostos sao adapta-dos a cenarios colaborativos multi-utilizador. Em cenariosmulti-utilizador a area de interaccao e aproveitada de me-lhor forma, ao permitir que varios utilizadores interajamcom o ecra simultaneamente. Este sistema de interaccaosuporta, de forma robusta, a interaccao de dois ou maisutilizadores, sem que ocorram interferencias de interaccaode um utilizador causadas por outro utilizador.

O artigo apresenta uma nova interface caligrafica cons-tituıda por mecanismos de interaccao baseada em Tracos,que permitem activar opcoes e seleccionar elementos natu-ralmente. Iniciamos o artigo com uma breve introducao eapresentamos o trabalho relacionado na seccao 2. A seccao

3 apresenta os conceitos base nos quais a interface se ba-seia. Na seccao 4 apresentamos a interface com o utiliza-dor descrevendo os menus desenvolvidos para os ecras delarga escala e o seu uso por varios utilizadores recorrendoa apontadores laser. De seguida, apresentamos as tecnicasutilizadas, por forma a viabilizar o uso do apontador la-ser como dispositivo de entrada, providenciando mecanis-mos para o suporte de varios apontadores. Como exemplodas tecnicas apresentadas e descrito o uso da interface ca-ligrafica no ambito do prototipo ImmiView que oferece ta-refas de navegacao, modelacao simples e anotacao em am-bientes tridimensionais e reportamos os comentarios obti-dos nos primeiros testes com utilizadores. Para finalizarsao apresentadas as conclusoes e o trabalho futuro a serrealizado no ambito da interaccao proposta.

2 Trabalho Relacionado

Durante a decada de 1990, varias interfaces caligraficasforam desenvolvidas tirando partido de dispositivos deentrada tais como canetas digitalizadoras ou computado-res TabletPCs para oferecer uma alternativa mais ade-quada a tarefas de modelacao 3D. Sistemas como oSketch[Zeleznik 96] e Teddy [Igarashi 99] propuseram in-terfaces que, em vez de usar o conceito WIMP, utiliza-vam Tracos, esbocos ou o reconhecimento de sımbolospara aceder a varios operadores de modelacao 3D. Aaplicacao Sketch permitia desenhar em vistas tridimen-sionais usando uma sintaxe baseada em sımbolos 2D efoi seguida por varias sistemas de modelacao tais como oGides[Pereira 03], explorando mecanismos para auxiliar ainterpretacao de esbocos e o SmartPaper[Shesh 04] com-binando algoritmos de reconstrucao 3D sobre esbocos. Al-ternativamente ao uso de comandos caligraficos, o sistemaTeddy permitia construir formas geometricas, simples-mente desenhado o contorno via um unico Traco. Variostrabalhos [dA03, Nealen 05] tentaram enriquecem a abor-dagem de forma a oferecer operadores mais complexos enaturais tentando imitar cada vez mais a metafora do pa-pel e lapis. Apitz e Guimbretiere[Apitz 04] apresentamuma interface baseada em Tracos e demonstraram-na so-bre uma aplicacao de desenho. Esta interface baseia-se emdesenhar Tracos para activar elementos de interface comomudanca de cor ou seleccao de pincel.

Jiang et al.apresentam uma solucao para interaccao comecras de larga escala. Ao utilizar um rato sem fios aco-plado a uma camara USB e possıvel detectar a posicao dorato, e consequentemente a do seu ponteiro, que e repre-sentado por um cırculo vermelho no ecra. Determina-se,assim, o movimento desejado pelo utilizador calculandoa posicao do cırculo relativo ao centro da imagem captu-rada pela camara e movendo o cırculo nesta direccao. Caoe Balakrishnan[Cao 03] apresentam uma interface baseadana captura de uma varinha magica para controlar um ecrade larga escala. Os autores optaram por apresentar umaaplicacao onde a interface esta reduzida ao mınimo, uti-lizando o conceito de Widgets sempre que e necessarioapresentar funcionalidade ao utilizador. Com o conceitode widgets os autores apresentam uma implementacao do

menu circular adaptado a interaccao por varinha magica.

Jacoby e Ellis [Jacoby 92] utilizaram menus 2D sobre ge-ografia 3D, para adaptar o sistema de menus ao contextode realidade virtual. Esta solucao e considerada limitada,devido as diferencas de interaccao latentes em ambientes3D. Outro caminho desenvolvido e a utilizacao de menuscirculares, ja utilizados em varias aplicacoes 2D, e quefacilita o acesso as opcoes em ambiente 3D em relacaoaos menus tradicionais(Ver [Hopkins 91] e [Callahan 88]).O sistema Holosketch tambem utiliza uma abordagem se-melhante ([Deering 95]). Neste trabalho Deer apresentatodos os comandos disponıveis na forma de objectos eıcones 3D, organizados de forma circular. O projectoSmart Sketches apresenta outro exemplo de menus circu-lares [Santos 04]. Todos estes trabalhos desenvolveram di-ferentes tipos de solucoes para menus em ecras de largaescala e alguns apresentam solucoes de menus circula-res. Todas as abordagens anteriores baseiam-se no clickcomo metafora de activacao. Embora nao desenvolvidopara ecras de larga escala, Guimbretiere[Guimbretiere 00],apresenta uma solucao para menus circulares onde e utili-zado um Traco como mecanismo de seleccao.

Existe varia literatura relacionada com a utilizacao deLasers como dispositivo de entrada. Lapointe e Godin[Lapointe 05] apresentam um sistema para deteccao de La-ser em cenarios de retro-projeccao. Embora muito seme-lhante a solucao apresentada neste artigo, nao contemplavarias camaras para deteccao de lasers pelo que a area decaptura e limitada. Davids e Chen [Davis 02] apresentamuma nova versao do algoritmo apresentado por Godin, queja contempla varias camaras e, devido a esse facto, Chendescreve a utilizacao de um filtro de kalman para empa-relhamento de eventos. Oh e Stuerzlinger[Oh 02] apre-sentam um estudo que valida o Laser como uma opcaoadequada a cenarios de ecras de larga escala. Oh apre-senta tambem uma solucao para a identificacao de dife-rentes lasers em simultaneo. Esta solucao baseia-se emHardware especıfico para identificar que laser esta ligado.Consideramos que esta solucao e demasiado pesada paraser considerada viavel. Myers et al.[Myers 02] apresentaum estudo onde compara a eficacia de varios tipos de la-ser, a uma certa distancia do ecra. Myers conclui que astecnicas actuais nao funcionam com o laser devido a faltade precisao dos ponteiros Laser. Olsen [Olsen 01] tentacolmatar essa falta de precisao utilizando tecnicas, comoo Dwelling, que pretendem adaptar o conceito de janela,ıcones, rato e apontar (i.e WIMP : Windows, Icon, Mouseand Pointing) a utilizacao do laser. Embora concordemoscom Myers, consideramos que o trabalho de Olsen tentaadaptar-se a uma realidade que nao retira o maximo par-tido dos ecras de larga escala.

3 Abordagem de Interaccao

A maioria das interfaces para desktop foram desenhadaspara dispositivos como o teclado e o rato, baseando-seprincipalmente no conceito de point & click. Este conceitoutiliza o espaco de interaccao de forma discreta e pontual,e restringe o uso da informacao contınua na manipulacao

Figura 1. Exemplos de Traco. De topoesquerda, na direccao dos ponteiros dorelogio: Curva Fechada, Risco, CurvaAberta, Sımbolo, Gesto de Triangulo e exem-plo de caminho.

Figura 2. Traco representado a amarelo tra-cejado na aplicacao IMMIView

directa de elementos. A nossa abordagem de interaccao re-pousa, exclusivamente, no conceito de Traco para interagircom o ecra de larga escala, permitindo o uso de interaccaocontınua na interface do utilizador.

3.1 Conceito Traco

O conceito de Traco e o elemento basico da nossa inter-face caligrafica. Todas as metaforas de interaccao que pro-pomos para interagir com os ecras de larga escala assen-tam nesse conceito. De forma simples, um Traco e umasequencia de pontos, obtido do dispositivo de entrada epode representar um risco ou linha, uma curva aberta ou fe-chada. No entanto, a nıvel da interaccao, um unico Tracopode ser interpretado como um caminho sobre a area deinteraccao, um gesto, ou um sımbolo que pode ser umaforma simples, um esboco mais complexo ou um elementoescrito. Na Figura 1 encontram-se exemplificadas variasinterpretacoes possıveis de Tracos. Desta forma permiti-mos ao utilizador interagir de forma contınua com a areade interaccao e nao de forma pontual.

Por outro lado, o Traco torna-se para o utilizador arepresentacao da sua interaccao e permite-lhe identificar asua localizacao na area de interaccao. Utilizar dispositivoscomo os apontadores laser, permite-nos nao so interagir emcontacto fısico com o ecra, de forma semelhante a um ecrasensıvel ao toque, como na Figura 2, mas tambem intera-gir a distancia, oferecendo maior liberdade ao utilizador etornando acessıvel qualquer parte do ecra de larga escala.

Elemento

Figura 3. Na esquerda apresenta-se umexemplo de activacao de um elemento de in-terface por Mecanismo de Riscar. A direitaapresenta-se um exemplo da seleccao como Mecanismo de Laco

3.2 Mecanismo de Riscar

O elemento mais basico que pode ser representado porum Traco e uma linha constituıda por dois pontos (riscosimples). Uma das principais metaforas de interaccao,recorrendo a Tracos, e riscar elementos sobre a area deinteraccao tal como riscamos ou sublinhamos palavrasnuma folha de papel. Na nossa abordagem de interaccao,o risco e utilizado como forma natural de activar os ele-mentos da interface com o utilizador. Desta forma, ele-mentos com uma area de visibilidade diminuta, podem serseleccionados e activados tais como as opcoes de menu,de forma semelhante ao acto de riscar um elemento deuma lista de palavras no papel. O mecanismo permite asubstituicao do conceito de click pelo de riscar, que nocenario de interaccao com um ecra de grande dimensao,pode ser efectuado perto ou longe. Por outro lado, umTraco pode riscar ou activar varios elementos, oferecendouma forma contınua de interaccao dado que um Traco podeser visto como um caminho ou uma sequencia de riscos.

3.3 Mecanismo de Laco

Seguindo a metafora do lapis e do papel, propomos o usodo Laco (tipo de Traco), para seleccionar de forma naturalobjectos presentes na interface do utilizador. Este recursode interaccao e vulgarmente utilizado em qualquer editorde imagem. O Laco permite seleccionar todos os objectoslocalizados no seu interior, tal como fazemos no papel. Poroposicao ao mecanismo de riscar, o Laco e utilizado ex-clusivamente para seleccionar. Atraves deste mecanismo,e oferecida ao utilizador uma forma simples de seleccionarelementos que lhe sao apresentados no ecra, permitindoseleccionar um ou mais elementos com um unico Traco,independentemente da distancia a que o utilizador utilizao ponteiro laser. A Figura 3 descreve a diferenca entre osmecanismos de riscar e de Laco.

3.4 Mecanismo de Gesto

O ultimo mecanismo descrito e o mecanismo de gesto.O gesto e uma interpretacao possıvel do Traco que podeir do simples movimento ao reconhecimento de um dadosımbolo efectuado pelo utilizador. Desta forma os gestos

podem ser utilizados como atalhos para aceder a funciona-lidades. Este metodo ja esta disponıvel em varias interfa-ces para desktop, nas quais permite-se associar o reconhe-cimento de um dado sımbolo a uma dada funcionalidade.Os gestos escolhidos devem ser sımbolos simples de formaa facilitar a sua memorizacao.

4 Interface de Utilizador

Tirando partido dos mecanismos descritos anteriormente,desenvolvemos uma interface que permite, aos utilizado-res, interagir com varios tipos de cenarios, nomeadamentecom um ecra de larga escala. A interface e constituıda poropcoes, ou um conjunto de opcoes (menus), apresentadasnuma tela bidimensional que expoe a funcionalidade daaplicacao, e que pode ser complementada com o uso deoutras modalidades tais como a voz. A nossa interface per-mite as seguintes accoes: riscar as opcoes de menus paraactivar accoes, circunscrever objectos 3D com um Lacopara selecciona-los e desenhar um triangulo (gesto) paraaccionar o menu principal. Por outro lado, tiramos partidodo conhecimento dos objectos seleccionados, por forma aapresentar menus contextuais e a expor a funcionalidaderelacionada com o tipo de objecto seleccionado.

4.1 Opcoes

Desenvolvemos uma solucao de escolha de opcoes quesuporta tanto o cenario de interaccao via caneta com Ta-bletPC, como o apontador laser sobre o ecra de larga es-cala. Em ambos os cenarios ocorre falta de informacaoface ao cenario normal do rato em computador de se-cretaria: o sistema nao tem conhecimento da area paraonde o utilizador esta a apontar ate que o mesmo pressi-one a caneta sobre o TabletPC ou o laser sobre a tela. Afalta desta informacao torna as interfaces de apontar e cli-car pouco adequadas - e muito difıcil atingir alvos peque-nos com a caneta, mais ainda no caso do laser uma vez queo utilizador falha frequentemente a area onde quer clicardada a inexistencia de feedback visual antes de pressionaro botao do apontador.

Figura 4. Gates: textual e com ıcone

A solucao encontrada vai no sentido do trabalho executadopor Apitz e Guimbretiere[Apitz 04]. Os autores tambempropoem activar as opcoes do sistema, riscando-as. Nestetrabalho apresentam um prototipo de um programa de de-senho baseado neste conceito. Cada opcao do sistema eentao uma area com um texto ou um ıcone, contendo noslimites verticais, ao centro, duas pequenas marcas a suge-rir os limites da linha de activacao da opcao, como ilus-trado na Figura 4. O utilizador encontra-se dentro da gate

quando entra nos limites da caixa que a engloba. A opcaoe activada quando o Traco cruza a linha que divide a gateverticalmente ao meio (Figura 5). Foi tomada a decisaode nao misturar texto e ıcones na representacao da gatepara melhorar a indentificacao da accao representada pelagate. Os ıcones usados nas opcoes do sistema tem assimque ser suficientemente explıcitos, de modo a que o utili-zador reconheca a funcionalidade associada.

Figura 5. Traco do utilizador e estado corres-pondente da gate

Para auxiliar os utilizadores inexperientes no sistema, foiimplementado um mecanismo de tooltips. Trata-se de umapequena caixa de texto com a descricao da funcionalidadeassociada a opcao textual. A mesma surge quando o Tracoentra na area da gate, e fica visıvel ate que o mesmo a aban-done. O texto associado a cada tooltip pode ser utilizadopara invocar os comandos de fala, que e uma outra formaalternativa de o utilizador escolher as opcoes de controlodo sistema. A presenca das tooltips permite que a apren-dizagem dos comandos de fala, seja mais facil, evitando asua memorizacao e potenciando a sua lembranca.

4.2 Menus

A interface proposta permite aos seus utilizadores activardiferentes funcionalidades do sistema atraves do uso demenus globais ou de menus contextuais. Por outro lado, foiadicionado o conceito de menus laterais, que permite au-mentar a expressividade dos menus globais e contextuais.Toda a interaccao parte do principio que os mecanismospreviamente descritos estao disponıveis. O menu principalpode ser aberto atraves do desenho de um triangulo (me-canismo de gesto). Este menu e composto por um con-junto de opcoes que permitem aceder aos menus de se-gundo nıvel. O objectivo do menu principal e apresentarum ponto de partida que separe, de forma clara, as variasfuncionalidades existentes no sistema. Os menus de se-gundo nıvel sao compostos por um conjunto de opcoesque permitem activar funcionalidades especıficas. Sempreque um menu de segundo nıvel e activado, o menu prin-cipal que lhe deu origem e fechado. Todos os menus, aexcepcao do menu principal, tem associados tres opcoesde manipulacao: ”fechar”, ”mover”e ”abrir o menu prin-cipal”. O menu principal so tem associado as opcoes ”fe-char”e ”mover”. Optou-se por dividir as opcoes de con-trolo por dois motivos: melhorar a navegacao entre gruposde funcionalidades (nao apresentando demasiadas opcoesao utilizador de uma unica vez); e porque, desta forma, epossıvel a um ou mais utilizadores abrir dois ou mais me-nus e mantendo-os abertos. E possıvel ao utilizador manter

Figura 6. Exemplo de menu principal (es-querda) e de um menu de segundo nıvel comas varias areas de interaccao (direita)

abertos em diferentes locais da interface varios menus, quepermitem realizar diferentes tarefas.

A localizacao dos menus tambem foi alvo de estudo. Emvez de existir permanentemente um menu aberto, na inter-face, que permitisse ao utilizador activar as suas operacoes,decidiu-se que os menus seriam abertos na posicao esco-lhida do utilizador. Para melhor posicionar os menus faceao utilizador, tendo em conta a dimensao da tela, optou-se por apresentar o menu principal na posicao onde o uti-lizador desenha o triangulo. Inicialmente os utilizadoresactivam os menus em locais pouco desejados, mas os tes-tes indicam que eles rapidamente criam os menus direc-tamente nos locais que desejam. Por outro lado, a par-tir do momento em que um utilizador abre o menu prin-cipal numa determinada posicao, consequentes menus desegundo nıvel serao abertos nessa posicao. Esta definicaopretende atribuir um espaco de trabalho ao utilizador, queesteja perto do seu posicionamento fısico, e que lhe per-mita de forma mais rapida e eficaz aceder as funciona-lidades pretendidas. No caso da interface ser utilizadade forma colaborativa por dois utilizadores, cada um de-les podera ter o seu espaco de trabalho, correspondendoa localizacao dos menus que abriram. Os menus circula-res propostos tem uma representacao grafica circular e saocompostos por duas circunferencias concentricas. Na su-perfıcie da coroa circular resultante estao as opcoes dosmenus. Estas opcoes estao inseridas dentro de circun-ferencias e seguem as definicoes explicitadas no capıtuloanterior. A escolha desta representacao circular permiteque o utilizador tenha uma maior acessibilidade as opcoesdos menus atraves do uso do laser e nao concentra a suamancha grafica numa so zona, o que poderia ocultar maisdetalhes da interface. O desenho dos menus foi baseadonum conjunto de princıpios, descritos na literatura, e quepretendem assegurar uma correcta interaccao com o utili-zador. As principais opcoes tomadas sao as seguintes:

• A sua representacao circular e semi-transparente (fazuso de um gradiente de cor) o que torna o sistemamenos intrusivo para o utilizador, minimizando aocultacao de informacao da interface.

• O numero de opcoes por menu deve ser o mais redu-zido possıvel por forma a tornar mais rapida e maisfacil a sua escolha por parte do utilizador. Nos nossostestes, o numero maximo de opcoes que utilizamosfoi de oito.

• Cada tipo de menu deve possuir uma cor diferente,que permita ao utilizador identificar rapidamente ocontexto de funcionalidades que lhe esta associado.Para reforcar a identidade do menu, existe uma eti-queta associada ao mesmo com o seu tıtulo.

• O sistema hierarquico de menus pode ter no maximotres nıveis, de forma a que o utilizador nao perca anocao da sua sequencia de escolhas.

4.3 Menus Laterais

De forma a nao aprofundar em demasia a navegacao dosmenus, o numero maximo de nıveis necessario para na-vegar entre grupos de opcoes e de tres. O primeiro nıvele identificado como o menu principal, o segundo nıvel eidentificado pelos menus de funcionalidade. O terceironıvel foi implementado utilizando menus laterais que estaoassociados aos respectivos menus de segundo nıvel. A de-cisao de manter abertos os menus de segundo nıvel, emconjunto com os seus menus laterais, deveu-se ao facto deconsiderarmos vantajoso que os menus de segundo nıvel,que representam funcionalidade, so sejam fechados porordem directa do utilizador (ao inves do primeiro nıvel).Os menus laterais (visıveis no lado esquerdo dos menusdas Figuras 10 e 12) resolvem dois problemas : permi-tem apresentar listas de opcoes agrupadas, reduzindo as-sim o numero de opcoes por menu de nıvel dois e per-mitem seleccionar o modo presente no menu de segundonıvel. Um menu de segundo nıvel pode ser constituıdo porvarios modos, cada qual permitindo efectuar diferentes ti-pos de accoes. Por exemplo, no nosso sistema, um menu detransformacao geometrica pode ter os modos: translacao,rotacao e escala, cujas opcoes de acesso estao num menulateral. Quando um utilizador escolhe um dado modo, to-das as opcoes presentes na coroa circular do menu saosubstituıdas, daı terem-se disponibilizando estas opcoesfora do menu. Outro efeito desta solucao e que todas as

Figura 7. Exemplo de um menu lateral, alter-nativo a solucao escolhida.

accoes que afectam o menu em si (mover, fechar, entreoutros) podem concentrar-se fora do menu, posicionando-se no topo direito da coroa circular (ver Figura 7). Em-bora a maioria dos nossos menus utilizem menus laterais,foi implementada uma solucao alternativa. Esta solucaoassemelha-se a expansao de opcoes comum em menus nor-malmente utilizados aplicada a nossa versao de menus cir-culares. Ao activar uma opcao e expandida uma seccao queapresenta novas opcoes. Esta solucao alternativa e ilus-trada na Figura 7, onde se pode ver o menu lateral expan-dido a esquerda do menu circular.

4.4 Menus Contextuais

Tal como foi referido anteriormente, propomos dois tiposde menus: globais e contextuais. Os primeiros, nos quaisesta incluıdo o menu principal, permitem a realizacaode determinados grupos de tarefas no sistema, como porexemplo a navegacao num cenario tridimensional. Os me-nus sao abertos usando um sımbolo (ex: triangulo) ou porfala, e surgem inicialmente junto ao Traco que os gerou,podendo no entanto ser arrastados pelo utilizador para ou-tra zona do ecra. Os menus contextuais estao associados aoperacoes a serem realizadas sobre objectos previamenteseleccionados pelo utilizador. Por exemplo, no caso deuso de um ambiente virtual, apos seleccionar um cubo,e aberto um menu contextual com as opcoes que permi-tem activar operacoes de transformacoes geometricas so-bre esse objecto. Estes menus dispensam a opcao de re-gresso ao menu principal ja que estao intimamente ligadoscom o objecto seleccionado. A razao que nos levou a di-vidir os menus em globais e de contexto prende-se com onumero de operacoes especıficas que podem ser realizadassobre determinados tipos de objectos. Accoes como apa-gar, mover ou duplicar um elemento requerem que ele sejapreviamente seleccionado. Uma vez que a seleccao e exe-cutada atraves de um mecanismo de Laco, e que todas asoperacoes sao realizadas a partir de menus, optou-se porunir ambos os conceitos e apresentar os menus de contexto(com as opcoes disponıveis para manipular esse objecto)sempre que um objecto e seleccionado. Esta decisao per-mite reduzir o numero de opcoes em cada menu sem des-cuidar a expressividade da interface.

5 Dispositivo de Entrada

Para satisfazer as metaforas definidas na seccao 3 foramdefinidas quatro caracterısticas que necessitam de ser sa-tisfeitas: rapidez, robustez, leveza e colaboracao. Parauma interaccao fluida, o dispositivo deve ser rapido e ro-busto. Para os mecanismos de Laco e de Gesto e im-portante que o retorno apresentado seja o mais imediatopossıvel. Deve ser robusto de forma a permitir que os ges-tos sejam melhor reconhecidos. Falhas nos dispositivos deentrada, embora nao impecam a interaccao, reduzem seri-amente o reconhecimento de gestos. Tendo em atencao aliberdade de movimentos presente em cenario de ecra delarga escala, um dispositivo pesado torna-se proibitivo. Deforma a permitir que o utilizador tenha liberdade de movi-mento e nao se sinta cansado por uma sessao de interaccaoprolongada, o dispositivo de entrada deve ser o mais leve

Figura 8. Algoritmo de captura do PonteiroLaser: Captura, Filtragem, Aplicacao

possıvel. Por fim, e porque o cenario oferece uma grandearea de interaccao, qualquer dispositivo deve ter em contaa interaccao colaborativa, onde dois ou mais utilizadoresinteragem simultaneamente com o ecra.

5.1 Dispositivo Laser

Tendo em conta as caracterısticas definidas optou-se porutilizar ponteiros laser como dispositivos de entrada. Oconceito da utilizacao de ponteiro laser baseia-se nametafora do Quadro Branco e na familiaridade ja existente,na maioria das pessoas, com ponteiros laser. Este con-ceito utiliza a incidencia do laser no ecra para desenharos Tracos. A solucao apresentada e leve, os ponteiros utili-zados pesam menos de 20 gramas; robusta, o sinal do lasere constante e facilmente detectavel atraves de sistemas devisao por computador; rapida - cada ciclo de captura de-mora 60 milesimos de segundo e permite a colaboracaoatraves da captura de varios ponteiros simultaneamente.

5.2 Algoritmo de Captura

O Laser e capturado utilizando um sistema de processa-mento de imagem. E utilizada uma camara sensıvel a in-fravermelhos e, para reduzir o ruıdo da imagem e aumentaro sinal de infravermelho, e utilizado um filtro que so per-mite a passagem de luz na gama dos infravermelhos. Osinal recebido pela camara e uma imagem em tons de cin-zento que representa a intensidade do infravermelho. Aposprocessamento da imagem, e possıvel filtrar os pixeis maisintensos onde se considera existir um laser. O resultadoda filtragem apresenta uma ou mais regioes de incidenciade laser. A posicao do laser e, de seguida, enviada para aaplicacao que traduz do espaco de coordenadas da camarapara o espaco de coordenadas da aplicacao. A Figura 8apresenta o resultado dos tres passos do algoritmo.

5.3 Filtro de Kalman

Para efectuar uma conversao entre as coordenadas de umaunica camara e as coordenadas de aplicacao basta encon-trar uma homografia que defina a conversao desejada. Noentanto, ainda nao e possıvel cobrir um ecra de larga escalacom quatro por tres metros com uma unica camara. Serianecessario ter uma resolucao bastante elevada e posicionara camara a uma distancia consideravel e num local ondeas oclusoes fossem mınimas. No caso do ecra de larga es-cala utilizado, existem limitacoes de espaco que proibiamtal solucao e optou-se por utilizar varias camaras a cobrirpartes diferentes do ecra, implementando um sistema quepermitisse identificar o ponteiro laser, mesmo quando estepercorre varias camaras.

Traços Activos Eventos de Entrada

Novo Evento

Sistema de Filtragem Kalman

Eventos Previstos

Evento Previsto Emparelhamento

Traço Terminado

Continuação de Traço

NovoTraço

Figura 9. Sistema de emparelhamento deeventos

O filtro de Kalman e um metodo de estimacao estocasticaque combina modelos determinısticos e estocasticos demodo a obter estimativas optimas de variaveis de estadode sistemas lineares[Welch 06]. A aplicacao do filtro deKalman a este problema permite estimar a posicao do la-ser. Desta forma, as camaras funcionam como clientes quesabem identificar posicoes laser e converter, recorrendo auma homografia, entre o seu espaco de coordenadas e oespaco da aplicacao. Estes clientes falam com um servidor,responsavel por recolher informacao de todas a camaras etraduzir isso em eventos de entrada coerentes. A Figura 9ilustra o processo efectuado por parte do servidor.

Ao aplicar a previsao do filtro de Kalman, e possıvel em-parelhar eventos de camaras diferentes para o mesmo pon-teiro. O emparelhamento permite identificar quando e quese inicia, mantem ou termina um Traco. Esta solucao temcomo vantagem uma melhor resolucao, devido ao numerode camaras, mas tambem oferece suporte a interaccao cola-borativa. Atraves da utilizacao de varios filtros, e possıveldeterminar o estado de cada Traco, como e apresentado naFigura 9. Caso so exista um evento previsto sem corres-pondencia real e considerado que o Traco foi terminado,ou seja, o laser foi desligado. Caso exista um evento realsem previsao associada, e iniciado um novo Traco tendocomo base este primeiro evento. Caso haja um emparelha-mento entre um evento previsto e um evento real o filtro deKalman correspondente ao evento previsto e actualizado ee considerado que o Traco existente mantem-se activo. Acada Traco detectado e associado um identificador unicoque permite as aplicacoes identificarem que eventos per-tencem a que Tracos.

6 Suporte a Multi-Utilizador

Uma vez desenvolvido um dispositivo de entrada que dis-ponibilize eventos de varias fontes em simultaneo, torna-se necessario processar os eventos de forma a que eventosde fontes diferentes nao entrem em conflito ou confundamo utilizador. Para tal, no ambito da interface apresentadaforam desenvolvidos duas solucoes que tem em vista o su-porte a interaccao colaborativa.

6.1 Cor do Traco Aleatoria

Para melhor representar varios Tracos em simultaneooptou-se por representar cada Traco com uma cor dife-

rente, escolhido de um sub-conjunto de cores identificadascomo de alta visibilidade. Desta forma, cada utilizador re-conhece a cor gerada pelo seu Traco e permite identificarque accoes foram directamente activadas por ele. A alea-toriedade da cor tambem permite reconhecer falhas no re-conhecimento contınuo do Traco, o que e bastante impor-tante no Mecanismo de Gestos uma vez que e necessarioum gesto contınuo para o reconhecimento de um gesto.

6.2 Pertenca

Na Interaccao colaborativa, caso os utilizadores estejambastante perto um do outro, algumas accoes podem ser ac-tivadas inadvertidamente. Embora alguns estudos[Tse 04],sugiram que, por norma, os utilizadores interagem emlocalizacoes separadas, surgem, por vezes, situacoes ondeum utilizador activa um menu e, devido a proximidade dainteraccao, outro utilizador activa uma opcao desse mesmomenu.

Como solucao foi criado o conceito de pertenca. Sempreque um Traco intersecta um elemento da interface e cri-ada uma relacao de Pertenca entre o Traco e o elementoda interface. A relacao de Pertenca cria uma associacaoum-para-um entre o Traco e elemento da interface. Aassociacao garante que o elemento da interface so recebeeventos proveniente daquele Traco. Da mesma forma, aoTraco associado, so e permitido emitir eventos ao ele-mento da interface correspondente. Este conceito permiteque seja possıvel que dois utilizadores cruzem interaccoes,como por exemplo Tracos responsaveis por mover menus.

7 Prototipo

No ambito do projecto Europeu IMPROVE [Stork 06], foidesenvolvido um prototipo ilustrando os conceitos apre-sentados. Desenvolvido para apoiar o trabalho de arqui-tectos, o IMMIView permite aos seus utilizadores visuali-zarem cenarios virtuais, possibilitando-lhes executar as se-guintes tarefas principais: navegacao, criacao de objectos3D, gestao de anotacoes, e conFiguracao de parametros devisualizacao e seleccao de objectos. Seguindo os concei-tos da seccao 4 o menu principal permite acesso as quatroprimeiras tarefas. A Quinta tarefa (Seleccao de objectos)e associada aos menus contextuais. O menu principal per-mite o acesso aos seguintes menus:

• Navegacao - disponibiliza ao utilizador todas asopcoes que lhe permitem deslocar-se no espaco.

• Formas - permite criar as seguintes primitivasgeometricas 3D: cubo, esfera, cilindro, cone e plano.

• Anotacoes - permite criar/posicionar anotacoes (notasque os arquitectos registam sobre alteracoes a fazernos modelos), cujo conteudo pode ser desenhado peloutilizador ou escrito num PDA.

• Modelo - permite ao utilizador conFigurar al-guns parametros relacionados com o rendering e ailuminacao do sistema.

Figura 10. Bussola

A tarefa de seleccao de objectos e realizada atraves da suacircunscricao com um Laco. Depois de feita a seleccao deuma forma geometrica, e aberto um menu contextual quecontem as opcoes de manipulacao sobre esse objecto. Nocaso das anotacoes, o menu contextual inclui dois modos:no primeiro, o utilizador tem opcoes para criar/alterar oconteudo da anotacao, enquanto que no segundo, o utiliza-dor pode esconder ou remover a anotacao.

7.1 Widgets

O menu circular e apresentado como o elemento basicoutilizado na interface do prototipo. No entanto, e apos oestudo de algumas funcionalidades, foram desenvolvidosnovos menus que diferem ligeiramente das directivas pre-viamente seguidas, e cujo modo de accionar accoes (meca-nismo de risco) envolve mais accoes do que somente acti-var uma gate. Uma vez que estes widgets(Bussola, FormasGeometricas e Anotacoes) provaram ser uteis e adiciona-ram mais valia a interface, optamos por apresentar aqui oswidgets que acabaram por integrar o prototipo final.

7.1.1 Bussola

Inicialmente toda a navegacao era efectuada sobre umavista na primeira pessoa. Uma das questoes que os utiliza-dores nos colocavam em demonstracoes de versoes de de-senvolvimento do sistema relacionava-se com a navegacaopor mapas. Igualmente importante para os nossos utiliza-dores e a orientacao baseada em pontos cardeais da vistaactual. A orientacao cardeal da vista permite a um arqui-tecto perceber o caminho que o sol percorre face ao cenarioapresentado. Embora, a partida, fossem duas questoesseparadas facilmente convergiram numa unica questao.Como tal decidimos criar um novo modo (menu lateral)no menu de navegacao, que implementa um mapa envol-vido por um cırculo que representa uma bussola. No cen-tro do mesmo e mostrada uma vista de topo do mapa, cen-trada no utilizador. Na margem circular encontram-se osoito pontos cardeais. O utilizador consegue alterar a suaorientacao ao arrastar o anel circundante, ficando alinhado

Figura 11. Insercao de formas geometricas

com o ponto cardeal que se encontre na parte superior domesmo (Figura 10, em cima). O utilizador consegue adi-cionalmente alterar a sua posicao no mapa, arrastando aposicao da area central do mapa (Figura 10, em baixo)atraves da realizacao de Tracos.

7.1.2 Formas Geometricas

Incialmente, as formas geometricas eram posicionadas au-tomaticamente no centro do menu aquando a sua criacao.Sendo necessario a sua seleccao de forma a recolocar oobjecto na posicao desejada recorrendo a um menu con-textual. Consideramos que uma accao tao comum como acriacao de novos objectos deve ser mais facil e incluir me-nos passos. Uma vez que, ao activar uma opcao, o utiliza-dor ja tem um Traco activo no ecra, e possıvel utilizar essemesmo Traco para posicionar o objecto. O objecto ficaassociado ao Traco, bastando ao utilizador activar a gatecorrespodente ao objecto e dirigir o Traco para a posicaodesejada. Para finalizar a interaccao, o utilizador termina oTraco e o objecto e instanciado nesse ponto (Figura 11).

7.1.3 Anotacoes

No cenario proposto nao se considera a existencia de ar-tefactos de introducao de texto como o teclado, pelo quetornou-se necessario procurar outras formas de insercao detexto. Os dispositivos de entrada utilizados nao permitiamque teclados virtuais fossem utilizados no ecra de larga es-cala, quer devido a precisao requerida, quer pelo tamanhoque o artefacto iria ocupar ao seguir as regras da interface

Figura 12. Anotacoes

proposta. Pelo que optamos por deixar os utilizadores de-senhar o conteudo desejado nas anotacoes. A insercao deuma anotacao requer que o utilizador mantenha o Traco ac-tivo apos activar a opcao de criacao de forma a posicionara anotacao no local desejado (Figura 12).

7.2 Testes de Usabilidade

Para avaliar a interface e as tecnicas de interaccao, fo-ram efectuados testes de usabilidade com utilizadores. As-sim, ao abrigo do projecto IMPROVE foram realizadostestes com arquitectos pertencentes a uma empresa de ar-quitectura escocesa e com designers do ramo automovelde uma empresa italiana. Estes testes foram realizadosem dois momentos distintos: Abril/2007 em Glasgow eJunho/2007 em Lisboa. Os testes em Glasgow tiveramdois utilizadores e foram utilizados computadores pesso-ais (tabletPC) e uma tela com um projector, sobre a qualos utilizadores interagiam fazendo uso dos apontadores la-ser. Os testes em Lisboa tiveram quatro utilizadores e foiutilizada a PowerWall (composta por 12 projectores) doInstituto Superior Tecnico, no TagusPark. A agenda dostestes consistiu nas seguintes fases: Introducao ao sistema;Questionario Inicial; Sessao Livre limitada a 15 minutos;Realizacao dos testes; Questionario Final. Para alem dosquestionarios, foram utilizados outros metodos para obterdados dos testes com utilizadores. As sessoes foram gra-vadas em vıdeo para posterior analise. Foram registadosos dados das interaccoes dos utilizadores, com base nummecanismo de logging que o prototipo tem implementado.Finalmente, os responsaveis da avaliacao registaram empapel o tempo de realizacao das tarefas, os erros cometi-dos, as dificuldades, e os comentarios relevantes expressospelos utilizadores. Das observacoes e comentarios obtidosem relacao as interaccoes com o laser/Tracos, mostram-sealguns dos principais problemas que podem ser corrigidos:

• O tempo da curva de aprendizagem dos utilizadorespara dominarem correctamente o laser e as tecnicasde interaccao propostas e relevante.

• Os utilizadores utilizam diferentes direccoes dosTracos para activarem as opcoes dos menus. O sis-tema permite somente tracejados com direccoes hori-zontais ou oblıquas. Logo, os Tracos verticais que osutilizadores usam nao funcionam.

• Alguns ıcones das opcoes dos menus nao identifica-vam claramente a operacao associada.

• O sistema apos uma utilizacao de uma hora causa al-gum cansaco ao utilizador.

8 Conclusoes e Trabalho Futuro

Este trabalho apresentou uma nova abordagem deinteraccao para ecras de larga escala baseada em apontado-res laser, que oferece uma forma natural, livre e aberta deutilizacao a sistemas em ambientes de multi-utilizadores.Gracas ao suporte a varios apontadores laser, varios utiliza-dores podem colaborar no mesmo espaco de trabalho e ti-rar partido de toda a area de visualizacao oferecida por um

ecra de grande dimensao. Esta interaccao foi concretizadarecorrendo ao conceito de interface caligrafica, baseando-se no uso de Traco. Oferecemos, assim, uma interaccaonatural usando metaforas que imitam a interaccao papel elapis, permitindo riscar ou seleccionar elementos (via o de-senho de um Laco).

Este trabalho foi demonstrado no nosso prototipo Immi-View e testado com varios utilizadores, e que permiteapontar para varios trabalhos futuros utilizando esta abor-dagem. Um dos caminhos futuros a tomar sera tornar a in-terface dependente da distancia a que o utilizador interage,dado que os testes mostraram uma interaccao diferente porparte do utilizador consoante a distancia a que estavam doecra e o tipo de tarefa. Por outro lado, detectamos duranteos testes que o facto das opcoes so serem activadas via umrisco horizontal e limitativo, sendo necessario rever o sis-tema de activacao de forma a ser mais flexıvel e aceitarTracos, independentemente da sua orientacao. Finalmente,o cenario de ecras de larga escala predispoe-se a utilizacaode interfaces multimodais e a integracao de novas tecnicasde forma a aumentar a funcionalidade oferecida.

Agradecimentos

Ricardo Jota e suportado pela Fundacao Portuguesa pelaCiencia e Tecnologia, bolsa SFRH/BD/17574/2004. BrunoAraujo e suportado pela Fundacao Portuguesa pela Cienciae Tecnologia, bolsa SFRH/BD/31020/2006. Por outrolado, este trabalho foi parcialmente financiado pela Co-missao Europeia no ambito do projecto IMPROVE IST-2003-004785.

Referencias

[Apitz 04] Georg Apitz e Francois Guimbretiere.Crossy: A crossing-based drawing ap-plication. UIST, 2004.

[Callahan 88] J. Callahan, D. Hopkins, M. Weiser, eB. Shneiderman. An empirical com-parison of pie vs. linear menus. EmCHI ’88: Proceedings of the SIGCHIconference on Human factors in com-puting systems, paginas 95–100, NewYork, NY, USA, 1988. ACM Press.

[Cao 03] Xiang Cao e Ravin Balakrishnan. Vi-sionwand: Interaction techniques forlarge displays using a passive wandtracked in 3d. UIST, 2003.

[dA03] Bruno de Araujo e Joaquim Jorge.Blobmaker: Free-form modelling withvariational implicit surfaces. Em 12A◦

Encontro Portugues de ComputacaoGrafica, paginas 335–342, 2003.

[dA05] Bruno Rodrigues de Araujo, TiagoGuerreiro, Ricardo Jorge Jota Costa,Joaquim Armando Pires Jorge, e JoaoAntonio Madeiras Pereira. Leme wall:

Desenvolvendo um sistema de multi-projeccao. paginas 191–196, October2005.

[Dachselt 07] Raimund Dachselt e Anett Hubner.Virtual environments: Three-dimensional menus: A survey andtaxonomy. Comput. Graph., 31(1):53–65, 2007.

[Davis 02] James Davis e Xing Chen. Lumipoint:Multi-user laser-based interaction onlarge tiled displays. Displays, 2002.

[Deering 95] Michael F. Deering. Holosketch: a vir-tual reality sketching/animation tool.ACM Trans. Comput.-Hum. Interact.,2(3):220–238, 1995.

[Guimbretiere 00] Francois Guimbretiere e Terry Wino-grad. Flowmenu: combining com-mand, text, and data entry. Em UIST’00: Proceedings of the 13th annualACM symposium on User interfacesoftware and technology, paginas 213–216, New York, NY, USA, 2000. ACMPress.

[Hopkins 91] Don Hopkins. The design and imple-mentation of pie menus. Dr. Dobb’s J.,16(12):16–26, 1991.

[Hur 06] H. Hur, T. Fleisch, T.-B. Kim, e G. On.Aici-advanced immersive collaborativeinteraction framework. 2006.

[Igarashi 99] Takeo Igarashi, Satoshi Matsuoka, eHidehiko Tanaka. Teddy: A sket-ching interface for 3d freeform de-sign. Proceedings of SIGGRAPH 99,paginas 409–416, August 1999. ISBN0-20148-560-5. Held in Los Angeles,California.

[Jacoby 92] R. H. Jacoby e S. R. Ellis. Using virtualmenus in a virtual environment. EmProceedings of SPIE, Visual Data In-terpretation, 1992.

[Lapointe 05] Jean-Francois Lapointe e Guy Godin.On-screen laser spot detection for largedisplay interaction. HAVE, 2005.

[Myers 02] Brad A. Myers, Rishi Bhatnagar, Jef-frey Nichols, Choon Hong Peck, DaveKong, Robert Miller, e A. Chris Long.Interacting at a distance: Measuringthe performance of laser pointers andother devices. CHI, 2002.

[Nealen 05] Andrew Nealen, Olga Sorkine, MarcAlexa, e Daniel Cohen-Or. A sketch-based interface for detail-preserving

mesh editing. Em SIGGRAPH’05: ACM SIGGRAPH 2005 Papers,paginas 1142–1147, New York, NY,USA, 2005. ACM Press.

[Oh 02] Ji-Young Oh e Wolfgang Stuerzlinger.Laser pointers as collaborative pointingdevices. CHI, 2002.

[Olsen 01] Dan R. Olsen e Travis Nielsen. Laserpointer interaction. SIGCHI, 2001.

[OPE07] Opensg, 2007. http://opensg.org.

[OSG07] Open-source groupware architecture,2007. http://osga.net.

[Pereira 03] Joao Paulo Pereira, Joaquim A. Jorge,Vasco A. Branco, e Fernando NunesFerreira. Calligraphic interfaces: Mi-xed metaphors for design. Em DSV-IS,paginas 154–170, 2003.

[Santos 04] P. Santos e A.Stork. Smartsketches: Amultimodal approach to improve usa-bility in the early states of product de-sign. Em International Society Techno-logies Programme, 2004.

[Shesh 04] Amit Shesh e Baoquan Chen. Smart-paper: An interactive and user friendlysketching system. Comput. Graph. Fo-rum, 23(3):301–310, 2004.

[Stork 06] Andre Stork, Pedro Santos, Tho-mas Gierlinger, Alain Pagani, CelinePaloc, Inigo Barandarian, GiuseppeConti, Raffaele de Amicis, Martin Wit-zel, Oliver Machui, Jose M. Jimenez,Bruno Rodrigues de Araujo, JoaquimArmando Pires Jorge, e Georg Bodam-mer. Improve: An innovative applica-tion for collaborative mobile mixed re-ality design review. November 2006.

[Tse 04] Edward Tse, Jonathan Histon, Sta-cey D. Scott, e Saul Greenberg. Avoi-ding interference: How people use spa-tial separation and partitioning in sdgworkspaces. Em CSCW ’04, paginas252–261. ACM Press, 2004.

[Welch 06] Greg Welch e Gary Bishop. An intro-duction to the kalman filter. Relatoriotecnico, University of North Carolina,2006.

[Zeleznik 96] Robert C. Zeleznik, Kenneth P. Hern-don, e John F. Hughes. SKETCH:An Interface for Sketching 3D Scenes.Em SIGGRAPH 96 Conference Proce-edings, paginas 163–170, 1996.