Facultad de Ingeniería

Departamento de Ingeniería de Sistemas y Computación Aprendiendo a Tocar Guitarra en un Ambiente de Realidad Aumentada/Mixta

con Hololens

TESIS QUE PRESENTA: Carlos Felipe Torres Jiménez

PARA OBTENER EL TÍTULO DE: Magister en Ingeniería de Sistemas y Computación

DIRECTOR DE TESIS: Pablo Alejandro Figueroa Forero

JURADO INTERNO:

Jose Tiberio Hernandez Peñaloza

JURADO EXTERNO: Sebastian Gil Parga

Bogotá, Colombia Mayo de 2018

2

Reconocimientos  Agradezco a Pablo Alejandro Figueroa por haber asesorado este proyecto y brindar el apoyo que posibilitó el desarrollo de ideas propias. Le agradezco a mi mamá, Pilar Jiménez, y a mi hermana, Ivonne Torres, por su presencia a lo largo de todo el proceso, por su guía en tiempos difíciles, su sabiduría y por haber sido mi soporte y sustento a lo largo de toda mi vida. Agradezco a Juliana Montes, Andrés Roberto Gómez, José Luis Dorado y Alejandra Ojeda por haber estado siempre ahí en los momentos de presión y desafíos académicos. También agradezco a mi profesor de guitarra Juan Camilo Salazar por guiarme en el mundo de la guitarra y ser una fuente de conocimiento.

3

Resumen La realidad aumentada ha evolucionando muy rápidamente en los últimos años y se hace cada vez más evidente cómo la industria apoya esta tecnología y propone productos para expandirla y darla a conocer. Esta propuesta, que surgió hace unos cincuenta años, generó grandes expectativas tras su lanzamiento, pero la comunidad perdió interés en ella al no contar con la suficiente información acerca de su potencial, ni con los dispositivos y plataformas para desarrollar y correr contenidos. Sin embargo, tras la aparición del Oculus Rift, una nueva ola de interés por los desarrollos en Realidad Virtual (VR) y Realidad Aumentada (AR) emergió y continúa experimentándose hoy en día. Con el boom de la AR, durante los últimos años ha sido posible atender diversas necesidades en campos de acción variados entre los que figuran la educación y capacitación de personas para trabajos o actividades costosas o peligrosas en la vida real, tales como entrenar pilotos de aviones, mantener redes eléctricas o aprender instrumentos musicales. Por lo tanto, y como respuesta a algunas de estas necesidades, el objetivo del proyecto fue crear una aplicación de Realidad Aumentada que permitiera a diferentes personas adquirir conocimientos para interpretar la guitarra de una forma didáctica, fácil de usar y efectiva pedagógicamente. Para alcanzar este objetivo fue necesario empezar por desarrollar un prototipo dirigido a un público objetivo que no tuviera conocimientos del instrumento a priori. Dicho prototipo se comparó con métodos de enseñanza no inmersivos como videos online, por ser los principales recursos que se usan para recibir y brindar entrenamiento en la interpretación de instrumentos musicales actualmente. El resultado de esta prueba sugirió que la aplicación no genera un valor agregado muy diferente al de los videos online, por lo que se planteó una segunda iteración del prototipo. Para la segunda iteración, el foco del prototipo se encaminó hacia un público objetivo con conocimiento previo en la interpretación del instrumento con el fin de emplear una metodología de clase virtual en la que tanto el profesor como el estudiante pudiesen contar con herramientas relevantes para llevar a cabo una sesión en un ambiente remoto. Por lo tanto, el prototipo se diseñó como una clase presencial particular con un profesor real en línea con el propósito de brindar al aprendiz la posibilidad de modular la clase de acuerdo a su nivel de experticia y ofrecerle un entrenamiento personalizado que responda a su destreza y necesidades particulares.

4

Índice General

Reconocimientos 2

Resumen 3

1. Introducción 6

2. Estado del Arte 9 2.1 Ambientes asistidos 9 2.2 AR coaching 10 2.3 Entrenamiento en Realidad Aumentada 11 2.4 Educación en Realidad Aumentada 12 2.5 La RA para la enseñanza de instrumentos 13 2.6 RA para entretenimiento 15 2.7 Virtual Humans desde la psicología 16

3. Prototipo 1 - From the Beginning 18 3.1. Descripción de la prueba 18 3.2. Descripción del prototipo 18 3.3. Metodología de enseñanza 20 3.4. Arquitectura 20 3.5. Clases 21 3.6. Hipótesis 22

3.6.1 Hipótesis General: 22 3.6.2 Hipótesis Testeable: 22

3.7. Método 22 3.8. Datos 23 3.9. Análisis 24 3.10. Conclusiones y Trabajo Futuro 25

4. Prototipo 2 - AR Guitar 27 4.1. Descripción de la prueba 27 4.2. Estudio Etnografico 27

4.2.1 Tareas identificadas 27 4.3. Descripción del prototipo 28

4.3.1 Aplicación del profesor 29 4.3.2 Aplicación del alumno 29

4.4. Metodología de enseñanza 31 4.5. Arquitectura 32 4.6. Clases 33

5

4.7. Hipotesis 34 4.7.1. Hipótesis General: 34 4.7.2. Hipótesis Testeable: 34

4.8. Método 34 4.9. Datos Cuantitativos 36 4.10. Datos Cualitativos 37 4.11. Análisis 39 4.12. Conclusiones 41 4.13. Trabajo futuro 41

5. Conclusiones Generales y Trabajo Futuro 42

6. Anexos 44 6.1. Cuestionario de Inicio de la Prueba AR Guitar 44 6.2 Cuestionario de Finalización de la prueba AR Guitar 44 6.3. Observación y Registro de Estudio Etnográfico 44

7. Bibliografía 46

6

1. Introducción

En los últimos años la realidad aumentada ha estado evolucionando rápidamente y, gracias al apoyo de la industria y de la investigación, se han propuesto productos para hacerla más popular [1]. Esta tecnología no es reciente ya que hace aproximadamente cincuenta años surgió por primera vez y despertó muchas expectativas [2], aunque lamentablemente no es tan fácil de lograr. La aparición del Oculus Rift suscitó nuevamente el interés por esta tecnología y gracias a ello la Realidad Aumentada y la Realidad Virtual resurgieron [3] y nuevas propuestas de desarrollo se han implementado en diversos sectores. Debido al auge suscitado por el nuevo despertar de la Realidad Virtual y Aumentada, se han identificado numerosas necesidades en diferentes campos del conocimiento en los que puede ser aplicada. Uno de ellos es la educación [4] y la capacitación de personas para actividades que normalmente no son fáciles de llevar a cabo, como por ejemplo entrenamientos costosos o peligrosos para la vida humana [13][14]. Ejemplos concretos de esto son el entrenamiento de pilotos de aeronaves [5], mantenimiento de redes eléctricas [6][7] o aprendizaje de instrumentos musicales [8]. Existe un amplio historial de investigación relevante en el ámbito de la educación en el que la realidad virtual ha ayudado a mejorar u optimizar procesos y que se relaciona directamente con el objetivo primario del presente proyecto. En la Universidad de Nuevo México, por ejemplo, en la Facultad de Medicina [18] se realizó un estudio comparativo en el que se analizó cómo las herramientas pedagógicas incidían en el aprendizaje. Se realizó la prueba con inmersión completa (HMD) y con inmersión parcial (pantalla de computador) a 25 estudiantes de primer año de medicina y los resultados del experimento fueron más positivos para la inmersión completa que para la inmersión parcial. De manera similar, un estudio realizado por la Universidad de Alabama en Huntsville mostró resultados muy parecidos al comparar el desempeño de los bomberos del condado entrenados con realidad virtual frente al de los bomberos entrenados en situación normal y algunos no entrenados [19]. Así mismo, se consideraron otros estudios que evalúan el aprendizaje de estudiantes a través de juegos multimedia, tal como el estudio realizado con estudiantes de botánica [20]. En dicha investigación se realizaron varios experimentos en los que se analizó el impacto en los procesos de aprendizaje derivados de acceder a la información a través de la pantalla del computador, de un HMD y caminando con un HMD, y los resultados sugirieron que el nivel de presencia aumentó con el HMD. Adicionalmente, existen otros estudios relacionados que se enfocan en dar cuenta de la diferencia entre los métodos tradicionales de enseñanza y los métodos multimedia tales como juegos y aplicaciones de realidad virtual [23]. Se ha demostrado que para las actividades cognitivas los usuarios suelen preferir o evidencian una inclinación hacia los juegos. Por otra parte, se ha hallado también que los profesores no expresan interés por el potencial de nuevas implementaciones de la tecnología, lo que podría

7

sugerir cierta resistencia al cambio por parte de la comunidad docente. Sin embargo, la mayoría de los estudios concluye que la realidad virtual es una alternativa efectiva para el entrenamiento y la educación cuando se emplea efectivamente. Los beneficios de la realidad aumentada y realidad virtual en el salón de clase se han estudiado por medio de varios experimentos relacionados con la distribución física y social de las personas en el salón de clase, incluyendo al profesor [21]. En uno de los estudios se examinó el porcentaje de contacto visual que un profesor sostenía con sus estudiantes y se posibilitó que el docente pudiese saber qué porcentaje de “gaze eye” tenía sobre el salón para llegar a distribuirlo mejor durante la clase. En otros experimentos realizados con alumnos en un espacio restringido al área central del salón, en los que se estableció una distancia corta equitativa para todos se introdujeron compañeros “co-learners”, o compañeros “distrayentes”, se midió el efecto que tienen las personas y sus actitudes en el aprendizaje [22]. Ello resulta en una educación optimizada gracias a los indicadores y la retroalimentación que el profesor recibe de la herramienta tecnológica, permitiéndole monitorear cómo distribuye su atención y tomar decisiones para transmitir el conocimiento equitativamente a cada uno de los estudiantes. Desde el punto de vista de la psicología y la pedagogía, se han investigado varias corrientes que apuntan a la educación y que pretenden develar cuál es el efecto de la realidad virtual en las personas, comparándola con la realidad física [9][10]. Los avances que se han hecho en este campo tiene que ver con el reconocimiento de la mirada de los avatares [11] y se evalúa cómo se siente la persona inmersa en la realidad virtual y qué efectos experimenta, entre los que podría resaltarse atención dispersa, comunicación deficiente y comprensión limitada del tema tratado. Las expresiones faciales del avatar o profesor virtual también son un factor muy importante y estudiado por la comunidad, por ejemplo los avances presentados por la Universidad de Stanford con respecto al movimiento de la boca y más específicamente de la sonrisa [12], revelan que las expresiones faciales del avatar reflejadas en los ojos, la mirada, y la boca son esenciales para lograr una mejor y mayor inmersión en la realidad virtual. En este ámbito se han generado varios estudios importantes que evalúan el impacto de los avatares en el mundo virtual y se han realizado experimentos con Second Life midiendo la presencia social (social presence) de un avatar. Se intentó demostrar qué tanta presencia existe en un avatar y que tan real e identificado se siente una persona utilizando la escala de Likert [26]. Los resultados arrojaron que no todas las personas se identifican con los avatares, ya que es un proceso virtual que aún resulta difícil de asimilar para los usuarios [24]. De igual forma, estudios sobre confianza en avatares han concluido que los avatares sí afectan el nivel de confianza generado durante la comunicación y que los movimientos corporales, el color, el género y los gestos del avatar pueden definir el comportamiento de la personas durante la comunicación que se establece [25]. Según el estudio de la Universidad de Stanford llevado a cabo en el Virtual Human Interaction Laboratory, las sensaciones que las personas experimentan usando dispositivos de

8

este tipo, lo que denominan “presencia” (presence) [9], son un factor importante en la percepción de la realidad virtual, o aumentada. De este modo, por medio de pequeños movimientos o haciendo que los objetos alrededor suyo se puedan palpar, los diseñadores pueden generar experiencias que hagan sentir a la persona que el ambiente es más real y producir una sensación más intensa de inmersión en esta realidad. La "presencia" es muy importante para el grado de inmersión de las personas y por ello se busca generar interacciones que involucren mayor participación de los sentidos y se ha hallado que no es esencial tener gráficas hiperrealistas. Por lo tanto, sonido, video y tacto, como por ejemplo vibraciones en el piso o movimientos simulando objetos, pueden llegar a convencer al cerebro de que efectivamente se halla en la realidad en la que se le insinúa estar inmerso, aún cuando ésto no corresponda con la realidad [9]. En el ámbito musical existen varios estudios que analizan y sugieren cuáles son las mejores técnicas de enseñanza de instrumentos y de teoría musical [15]. Estos estudios revelan prácticas efectivas para la enseñanza [16] y sugieren que cada detalle del entorno y del comportamiento del maestro es esencial para la adquisición de destrezas musicales tanto para poblaciones de niños o personas adultas. Un estudio que se llevó a cabo en cuatro escuelas de música de varios países [17] entre los que figuran Suecia, España, Australia e Inglaterra, demostró que existen problemas comunes, como el tener diversidad de lenguas y culturas de en la misma áula. Por otra parte, también se hace hecho referencia a otras nociones que los profesores enseñan incidentalmente a través de la música, tales como el valor de tomar riesgos o la música como un lenguaje universal. En este campo de exploración se encontró que la experiencia visual es más enriquecedora que el limitarse a escribir información y enfocarse en escuchar a los niños que se han rendido con un instrumento. Se halló que además es necesario sugerirles que todos pueden ser exitosos en dicho proceso si consolidan su disciplina y destreza auditiva. Estas conclusiones contribuyeron al presente proyecto en tanto sugirieron prácticas y lecciones que fueron contempladas al tomar decisiones para la construcción de una herramienta que integre principios pedagógicos e innovación tecnológica en un ambiente de realidad virtual. Para construir el prototipo descrito en este trabajo se hizo uso de un estudio etnográfico para realizar la observación y descripción detallada de una clase de guitarra de nivel intermedio. Anthony Giddens, sociólogo, define la etnografía como el estudio directo de personas o grupos durante un cierto período, utilizando la observación participante o las entrevistas para conocer su comportamiento social. La etnografía es uno de los métodos más relevantes que se utilizan en investigación cualitativa [28].

9

2. Estado del Arte Recientemente la investigación y la industria han desarrollado diversos proyectos de realidad aumentada con el fin de suplir diferentes tipos de necesidades. Estos proyectos utilizan la tecnología más reciente para poder aprovechar todas las ventajas que ofrecen los diferentes dispositivos existentes en el mercado. Con el fin de explicar mejor los avances que se han hecho hasta hoy, se presentan a continuación diferentes proyectos relacionados con la realidad aumentada, describiendo sus características y funcionalidades con el objetivo de exponer los referentes más actuales y los últimos proyectos en los que se utiliza esta tecnología. 2.1 Ambientes asistidos

La colaboración entre distintas partes en un ambiente de realidad aumentada o realidad virtual es objeto de investigación recientemente, ya que hoy en día el mundo globalizado supone retos como el trabajo a distancia y colaborativo con personas localizadas en distintas situaciones geográficas. Por esto es importante que la experiencia del trabajo y actividades que se realizan remotamente entre varias personas sea cada vez mejor, llevando a que se hagan prototipos y proyectos que investigan mejores formas de interactuar virtualmente [29]. En Samsung Electronics DMC en colaboración con la Universidad de Corea, se llevó a cabo una investigación en el ámbito del coaching remoto en realidad aumentada. El objetivo de este proyecto fue permitir a dos personas, un alumno y un profesor, poder comunicarse por medio de dispositivos de realidad aumentada. El usuario alumno tiene por objetivo configurar un nuevo computador, mirando la escena con un dispositivo de pantalla montada en la cabeza (Head Mounted Display HMD) transparente y una cámara. El usuario profesor, el experto de dominio en un sitio remoto, tiene un teléfono inteligente al que se alimenta el video en vivo de la vista del usuario alumno. El usuario profesor realiza anotaciones en la vista transmitida (para capacitar e instruir al usuario alumno sobre cómo configurar el computador) y las anotaciones son inmediatamente visibles para el usuario alumno para que las siga [29]. Para la implementación de este proyecto se usó un set de Samsung Gear VR (HMD) que transmite el video en vivo de la cámara del dispositivo y para el seguimiento de la imagen del alumno se utilizó la tecnología de la librería de Vuforia. Para realizar las anotaciones sobre la imagen del usuario alumno y para presentar el video transmitido en vivo se utilizó un dispositivo Samsung Galaxy Note 4.

10

Figura 1. Un escenario donde un experto (usuario B) capacita a otra persona (usuario A) para configurar un

nuevo PC. [32] Este sistema permite realizar coaching remoto basado en AR. El objetivo alcanzado por este prototipo fue hacer anotaciones 2D (y 3D) de forma efectiva para guiar al otro usuario y también apoyar una colaboración más estrecha en tiempo real. 2.2 AR coaching Otro caso similar se desarrolló igualmente en la Universidad de Corea en el Laboratorio de Experiencia Digital (Digital Experience Laboratory) en Seúl, República de Corea. Allí construyeron un sistema de teleasistencia basado en AR para tareas de ritmo rápido, aplicado al juego de tenis, y se realizó también una exploración de pautas de diseño de interfaz a través de un estudio de usuarios. Se evaluó el rendimiento del jugador para la comprensión de la instrucción en tres modalidades diferentes de aumento: visual, auditivo y combinado (visual y sonido). La conclusión a la que se llegó fue que las instrucciones aumentadas fueron útiles, incluso en las condiciones temporales más estrictas, y más efectivas con la intervención visual [30].

Figura 2. La configuración del sistema (izquierda) utilizada en el estudio y un ejemplo de las instrucciones

visualmente aumentadas (derecha). Una sola flecha variaba en su forma, dirección y color. [30]

Para los experimentos con usuarios se usaron las gafas Epson Moverio see-through glass (BT-200) de realidad aumentada, sujetas a la cabeza del usuario para un ajuste seguro, mientras su unidad de control se conectó al brazo preferido del usuario. Se usó también un auricular para escuchar las instrucciones en voz. En la práctica el sistema muestra diferentes

11

flechas hacia dónde se quiere que el usuario direccione los golpes de la raqueta y la bola. Estas flechas varían su forma, tamaño, color y dirección dependiendo del caso. Por parte del instructor se manejo una interfaz táctil donde iba enviando diferentes instrucciones al alumno que se representaban por medio de las gafas de realidad aumentada y, a su vez, una voz pre-grabada enunciaba los movimientos que debía realizar el usuario simultáneamente. Las conclusiones de este experimento arrojaron que en la situación de tareas de ritmo rápido (por ejemplo, con tareas motoras exigentes como en los deportes), la retroalimentación multimodal parece haber causado distracción al usuario. Muchos jugadores tendían a ignorar el canal auditivo (debido a la distracción). El canal visual se consideró el más eficaz porque era posible codificar de forma compacta y presentar múltiples tipos de información a la vez. Pocos jugadores se quejaron de los mareos y la fatiga al cambiar de enfoque entre mirar las instrucciones reales y las aumentadas. Se esperaba que el jugador estuviera más acostumbrado al canal auditivo y por lo tanto lo prefiriera, ya que es la forma convencional de entrenamiento en el campo de tenis. Sin embargo, el canal auditivo resultó ser el más molesto, menos preferido e incluso más agotador. Incluso con solo tres tipos de instrucciones sonoras abreviadas a menos de un segundo, todavía era demasiado largo para reaccionar de manera efectiva a las tareas de ritmo rápido. 2.3 Entrenamiento en Realidad Aumentada

Existen también otras formas de entrenamiento por medio de AR y VR que también tienen una clasificación dentro de cada una de estas categorías. Estas dependen de la interacción que se esté dando con los dispositivos o con las personas que están en el ambiente [31]. En VR se encuentran diferentes casos donde se aplica la educación por medio de la tecnología para llegar a transmitir el conocimiento deseado. Existen situaciones que pueden llegar a ser complicadas al momento de realizar el entrenamiento para un trabajo [31]. Hay muchos ejemplos, entre ellos encontramos simuladores de vuelo en realidad virtual o sistemas remotos de telecirugía.

12

Figura 3. Simulador de vuelo multiusuario (izquierda). Sistema de Telecirugía para un cirujano (Derecha). Un asistente puede ver la vista endoscópica y dibujar líneas en una pantalla táctil para comunicarse visualmente

con el cirujano. [31] Estas interfaces están diseñadas para tener una interacción colaborativa entre los usuarios, por lo que debe existir comunicación entre ellos, como los dos anteriormente mostrados. Pero también existen casos donde solo hay un usuario inmerso en la interfaz virtual, y externo a este sistema también colaboran e interactúan con el usuario de una forma no inmersiva, por ejemplo asistentes, profesores, entrenadores o aprendices. Este tipo de comunicación entre usuarios inmersos y humanos no inmersos en varios roles es muy común y ocurre independientemente de si una interfaz de teleoperación está diseñada para apoyarlo o no. 2.4 Educación en Realidad Aumentada

En el departamento de Diseño del Instituto de Tecnología de Guwahati, en Assam, India, se realizó el desarrollo de una aplicación de realidad aumentada para el aprendizaje en talleres de ingeniería electrónica. Allí los estudiantes generalmente deben llevar a cabo ciertos ejercicios de construcción donde usualmente existen problemas por la desconexión entre la teoría y la práctica [32]. Los estudiantes de electronica realizan workshops con sus boards y se ayudan por medio de la aplicación de realidad aumentada. La aplicación reconoce por medio de un marcador el "breadboard" y según la configuración que deban formar, se guían por el proceso descrito. El último prototipo les permite saber si están conectando correctamente los elementos [32].

13

Figura 4. Características de la aplicación de AR. a) Instrucción de ensamblaje de circuito 3D, b) Instrucciones de video, c) Marcador de AR recortado a tablero de pruebas, d) Interfaz para proporcionar instrucciones para

operar CRO sin marcador AR. [29] La aplicación se desarrolló para la plataforma Android en Unity 3D utilizando la librería de realidad aumentada Vuforia. Se usó un marcador que podría imprimirse fácilmente en un papel y recortarse en la placa de prueba durante el ensamblaje del circuito. Este marcador ayuda a la aplicación móvil a superponer contenido digital virtual como imágenes 3D/2D y videos en el escenario del mundo real. La aplicación también utiliza una función sin marcador para que la AR proporcione instrucciones a los estudiantes en formas de videos y voz. El prototipo también tiene la funcionalidad de mostrar al alumno la correspondiente instrucción de video sobre ese experimento cuando apunte la cámara hacia una imagen del manual del ejercicio de laboratorio. Las principales funcionalidades de esta aplicación consisten en el seguimiento del circuito con y sin marcador, instrucciones de voz, información visual y auditiva de los componentes y reproducción de videos de acuerdo a la teoría necesaria para los ejercicios. Finalmente, como conclusión del experimento realizado en este proyecto, los instructores del curso comentaron que dicha aplicación podría ayudar a los estudiantes a desviarse del aprendizaje de memoria y ayudar a conectar la teoría con la práctica en los laboratorios. Los estudiantes y los instructores percibieron que la aplicación era muy útil y estaban dispuestos a adoptarla para usarla en el futuro. 2.5 La RA para la enseñanza de instrumentos

Este proyecto desarrollado en la Universidad de Auckland, Nueva Zelanda, consiste en una aplicación de realidad aumentada para el aprendizaje de un instrumento como el piano. Este prototipo se enfocó en el piano como instrumento para aprender, ya que éste tiene la facilidad de contar con una interfaz MIDI que se conecta fácilmente con el computador y no requiere de análisis de frecuencias para obtener el feedback necesario [8].

14

La aplicación fue escrita en C#. Para capturar imágenes de la cámara, se usó un contenedor .NET para OpenCV llamado Emgu CV. Para la detección y el seguimiento de marcadores virtuales, se utilizó NyARToolkit, un puerto de ARToolkit. Para mostrar y dibujar gráficos, se usó OpenTK, un contenedor .NET para OpenGL. Para interactuar con el dispositivo MIDI, se utilizó midi-dot-net, un contenedor .NET para la API de Windows que expone la funcionalidad MIDI [8].

Figura 5. Vista de Realidad Aumentada de notas virtuales alineados con teclas físicas del piano. [8]

En la práctica, la aplicación consiste en una serie de elementos visuales que apuntan a que el usuario toque una nota en cierto momento. Estos elementos visuales tienen características de juego, logrando de este modo que el usuario intentára no fallar ninguna de las notas requeridas. El sistema proporcionaba retroalimentación de la nota tocada en tiempo real, por ejemplo la nota bien tocada, pérdida, normal, o soltada antes de tiempo. Al final de la lección, una tabla de resumen se muestra con los resultados, incluyendo el tiempo de retraso promedio y una calificación final. Finalmente, se realizó una evaluación con siete participantes. Todos los usuarios eran estudiantes con una amplia gama de niveles de habilidad para tocar el piano, que iban desde ninguna experiencia en absoluto hasta muchos años de experiencia. Se les pidió a los usuarios que aprendieran una pieza usando el sistema y se formularon preguntas abiertas a cada sujeto. Al 57% expresó gusto por la representación de las notas en la vista AR, mientras que el 29% criticó la dificultad para ver la notación escrita y concentrarse en las notas virtuales al mismo tiempo. El 43% admitió no haber mirado la notación escrita en absoluto. El 86% dijo que mantenerse al día con las notas que se aproximaban era muy intimidante y la presión de tratar de encontrar las notas siguientes les hizo perder aún más notas.

15

2.6 RA para entretenimiento

Como se vio anteriormente, existen algunas investigaciones en realidad aumentada que pueden llegar a ser implementadas en la industria del entretenimiento como los videojuegos. Pero también existen usos ya conocidos por el común de las personas que tal vez no se reconozcan como avances tecnológicos porque están a la vista de todos en situaciones normales [33]. Este puede ser el caso de la realidad aumentada en la industria del entretenimiento, más específicamente en la industria de la televisión y los deportes. En la transmisión en vivo de deportes se puede observar también el uso de la realidad aumentada como elemento informativo para el televidente [33].

Figura 6. Radiodifusión deportiva con AR en vivo: carreras de NASCAR y fútbol. [33]

Por ejemplo, elementos de RA pueden hallarse en la NASCAR, con elementos informativos como los nombres de los conductores y su posición actual dentro de la carrera. Otros ejemplos muy conocidos son los campos de football, las piscinas de natación y otros entornos deportivos reconocidos que pueden prepararse para facilitar el aumento del video a través de rastreo en la camara. Un ejemplo es el sistema FoxTrax [34], que se usa para resaltar la ubicación de un disco de hockey difícil de ver a medida que se mueve rápidamente sobre el hielo. También se aplica para trayectorias de bolas de billar, actuaciones de nadadoras en vivo, etc. Gracias a estos entornos predecibles con jugadores uniformados en un campo homogéneo y técnicas de codificación de colores, las anotaciones se muestran en el campo y no en los jugadores. 2.7 Virtual Humans desde la psicología

Con el objetivo de analizar el ambiente de realidad virtual o mixta que se construye en las aplicaciones, es necesario también observar las implicaciones que esto tiene en la psicología

16

del usuario, y analizar si existen mejores prácticas para poder ofrecer experiencias completamente inmersivas dentro de la aplicación que se está desarrollando [9]. En este campo existen estudios como el realizado en la Universidad de Standford en conjunto con la Universidad Central de Florida, en el que se analiza “la presencia”. Concepto que Lombard y Ditton definen como “el sentido de no mediación”, lo que significa que el usuario percibe “presencia” si es totalmente ajeno a la existencia del medio a través del cual se está transmitiendo la información [35]. Asi mismo, “co-presence” o la “presencia social” se define como un "estado psicológico en el que el individuo se percibe a sí mismo como si existiera dentro de un ambiente interpersonal" y "el grado en el que uno cree que está en presencia e interactuando dinámicamente con otros verdaderos seres humanos " [36]. El objetivo del experimento de la mesa tambaleante es examinar si el movimiento incidental de una mesa tambaleante real-virtual puede aumentar la presencia y la presencia social. Para ese propósito, construyeron una mesa que abarca un entorno real virtual. La mesa sirve como un medio por el cual las interacciones incidentales con la mesa pueden ser transmitidas en forma de sutil movimiento de mesa sentido por un humano real y virtual en una interacción didáctica. La mesa se tambalea ligeramente dependiendo del peso que un humano real y un ser humano virtual produzcan, y el movimiento tambaleante en partes reales / virtuales de la mesa está sincronizado [9].

Figura 7. La configuración física y virtual del experimento con la vista de un humano virtual. [9]

El experimento se llevó a cabo como una conversación normal entre dos personas en la que cada una realiza pequeños movimientos naturales que afectan directa o indirectamente la mesa en la que se apoyan. Esta mesa tenía la mitad en el mundo real y la mitad en el mundo virtual. Los resultados de las encuestas después del test mostraron un incremento de la

17

presencia y presencia social en el grupo de prueba, mientras que el grupo de control no mostró ninguna reacción fuera de lo normal.

18

3. Prototipo 1 - From the Beginning 3.1. Descripción de la prueba El objetivo principal del prototipo construido es permitir al usuario aprender nociones básicas de guitarra, así como también brindar la posibilidad de practicar a medida que aprende en el ambiente virtual y real. Para lograr esto es necesario analizar elementos como:

● Elementos didácticos en la clase. ● Interacción del usuario con la interfaz gráfica. ● Presentación de la información al usuario. ● Alcance de la primera clase de guitarra. ● Público objetivo al que se enfoca la prueba.

3.2. Descripción del prototipo El prototipo fue construido para Microsoft Hololens (Windows 10). Desarrollado en el motor de videojuegos Unity3D, haciendo uso de varias librerías entre las que figura Vuforia SDK para la implementación de la realidad aumentada y el reconocimiento de marcadores con el fin de tener la imagen de una guitarra en 3D superpuesta a la guitarra real sostenida por el usuario. También se usó Speech (UnityEngine.Windows.Speech), que es una librería de reconocimiento de voz para habilitar la funcionalidad de manejo de la clase por medio de los comandos de voz que ofrece.

Figura 8. Ambiente de la prueba del prototipo 1 

19

La aplicación consiste en una clase de guitarra presencial en la que el profesor va paso a paso enseñando al alumno los conceptos básicos del instrumento como por ejemplo los nombres de los dedos, las cuerdas y los trastes. En el momento que el profesor indica al alumno realizar una acción, la aplicación instruye visualmente dónde debe ser presionada la cuerda, traste y con qué dedo de la mano. En este caso, el “profesor” hace referencia a la aplicación misma, ya que ésta está diseñada para que el usuario la utilice independientemente.

El usuario tiene la posibilidad de avanzar y retroceder cada paso de la clase por medio de botones que están ubicados frente a él, en el espacio 3D de la aplicación. Estos botones fueron diseñados para que el usuario pueda activarlos por medio de la voz o por medio de un cursor que se dirige con el movimiento de la cabeza. Se cuenta con 3 botones: “NEXT”, “BACK” y “PLAY”, que pueden ser accionados con estas mismas palabras dichas por el usuario, o posicionando el cursor sobre los botones que se encuentran en el espacio 3D. El cursor está diseñado para poder ser direccionado con el movimiento de la cabeza y su icono está diseñado con el propósito de mostrar al alumno hacia qué lugar debería estar mirando, ya sea a los componentes multimedia o a los botones, según sea el caso. El cursor cambia de icono cuando está sobre un botón habilitado, dando retroalimentación visual al usuario y sugiriendo que está accionando ése comando. Si el usuario mantiene el cursor sobre el botón por más de 2 segundos, éste realizara la acción requerida.

Figura 9. Imagen de botones dentro de la aplicación.

Como se mencionaba anteriormente, la aplicación inicia explicando primero las partes de la guitarra al usuario: las cuerdas, los trastes y los números de los dedos. Posteriormente, indica con qué dedo se toca cada traste de la guitarra. Esta información se va mostrando en un lugar al frente del usuario, en el espacio 3D que se tiene dentro de la aplicación y este componente multimedia consta de una imagen con un texto que la acompaña y una voz que leer dicho texto.

20

Figura 10. Elementos de visualización de multimedia, Imagen y texto, acompañados con el audio del texto leído. A continuación el alumno puede realizar un ejercicio muy simple de aplicación y práctica del concepto anteriormente aprendido tocando en la primera cuerda las notas indicadas con los dedos correctos. Este ejercicio puede ser repetido cuantas veces se requiera por el alumno, y puede continuar con la siguiente parte de la clase cuando desee.

Figura 11. Guitarra de realidad aumentada dentro de la aplicación. El usuario ve sobre la guitarra los puntos

que debe ir tocando en el ejercicio.

21

3.3. Metodología de enseñanza La metodología de enseñanza del instrumento es definida por un método mundialmente conocido: el método Suzuki. Dicho método es muy usado por profesores y academias de música para niños y adultos, para el entrenamiento en varios instrumentos, motivo por el cual se eligió dicha metodología y se intentó implementar la primera lección de este método en la aplicación como primer prototipo. Adicionalmente, la metodología escogida permite fácilmente hacer una comparación en la evaluación del sistema, ya que existen varias plataformas y medios para aprender un instrumento con este método, como lo es por medio de video tutoriales en internet. 3.4. Arquitectura La arquitectura de la aplicación consiste en una única aplicación para el dispositivo Hololens, esta aplicación mantiene al usuario siempre en una única escena donde se le va presentando la información necesaria. La aplicación cuenta únicamente con un solo componente, el cual es la aplicación “stand alone” que corre bajo el sistema operativo del Hololens (Windows 10). Este desarrollo cuenta con la librería de Vuforia SDK, como se menciono anteriormente, y la librería de reconocimiento de voz Speech, de UnityEngine. Este prototipo no necesita de intercomunicación o conexión alguna, ya que realiza toda su lógica desde el core de la aplicación.

Figura 12. Imagen de la arquitectura del Prototipo 1.

22

3.5. Clases La aplicación consta de scripts que manejan la lógica de cada elemento de la escena en Unity3D. En la siguiente imagen (figura #) se puede observar el diagrama de clases del sistema. Cada clase representa un script en Unity3D.

Figura 13. Diagrama de Clases del prototipo 1.

El script LightUpNotes es el script que contiene la mayoría de la lógica de la aplicación, manejando todo el flujo de la clase. Es el que orquesta todos los elementos multimedia de la escena integrando tanto los elementos visuales como las notas de la guitarra, los textos e imágenes, así como los elementos sonoros entre los que se encuentran las notas, la voz del narrador y el reconocimiento de comandos de voz. El script Collisions se encarga de reconocer las colisiones que tiene el cursor con los botones y los demás elementos, y también manda un mensaje al script de LightUpNotes para realizar las acciones necesarias de acuerdo a los botones accionados. El script FollowMe se encarga de la lógica de la posición y rotación de la flecha del cursor, que siempre está apuntando al lugar de la escena 3D que sea más relevante para el usuario en ese momento. 3.6. Hipótesis 3.6.1 Hipótesis General:

● Los usuarios serán capaces de terminar la clase completa satisfactoriamente. ● Los usuarios preferirán hacer repeticiones de las secuencias de notas para repasar lo

que se les enseñó. ● Los usuarios sentirán la sensación de “presencia” gracias a la guitarra real en sus

manos.

23

● Los usuarios sentirán que la experiencia inmersiva y multimedial les permite aprender igual que una clase presencial.

3.6.2 Hipótesis Testeable:

● Se mide el tiempo que demoran en terminar la clase. ● Se analizan las reacciones de los usuarios por medio de material grabado en video. ● Los usuarios sienten que pueden aprender con la aplicación.

3.7. Método El protocolo que se siguió para la realización de las pruebas con usuarios consistió en un total de 2 grupos de 20 usuarios. El primer grupo usó el prototipo de la aplicación desarrollada, y el segundo fue el grupo de control, aprendiendo la misma clase con un esquema no inmersivo (video tutorial). El objetivo de las pruebas fue determinar si los usuarios de la aplicación sentían que podían aprender sin necesitar un profesor. Para lograr esto, fue necesario que los usuarios estuvieran provistos con el instrumento que quieren aprender que para este estudio fue una guitarra. La aplicación fue diseñada para ser manejada con comandos de voz que el usuario pudiera accionar oralmente y, adicionalmente, fue necesario un marcador en la parte superior del brazo de la guitarra para poder hacer el seguimiento en el espacio 3D de la guitarra. Al final de las pruebas, los resultados obtenidos sugieren varios niveles de satisfacción tanto en el grupo control como en el grupo que testeó la aplicación y se registraron comentarios de retroalimentación favorable en los que los usuarios manifestaron haber percibido el potencial de la nueva tecnología, a pesar de las dificultades que experimentaron con la manipulación del dispositivo durante la prueba. 3.8. Datos Basándose en las estadísticas, puede concluirse que las explicaciones de la clase con el dispositivo inmersivo fueron claras puesto que en promedio los usuarios calificaron con un 4.15 la explicación de las partes de la guitarra, y con un 3.95 la explicación de las canciones que se debían aprender, en promedio. A pesar de las dificultades, un 30% respondió afirmativamente y el otro 30% expresó que con más práctica podría haberlo logrado, mientras que un 40% manifestó no haber aprendido la última canción. En general, las personas que realizaron la prueba sugirieron haber disfrutado la experiencia, lo cual se evidencia en una calificación de 4.2 en promedio. La población estudiada constó de adultos jóvenes, pertenecientes a la comunidad de la Universidad de los Andes en su mayoría.

24

Figura 14. Pregunta 1 ¿Qué tan clara fue la explicación de las partes de la guitarra?

Figura 15. Pregunta 2 ¿Qué tan clara fue la explicación de los ejercicios?

Figura 16. Pregunta 3 ¿Considera que aprendió a interpretar la canción "Estrellita" en guitarra?

Figura 17. Pregunta 4 ¿Qué tanto le gustó la experiencia con el video/hololens?

25

Figura 18. Calificación del profesor externo

3.9. Análisis La aplicación está en su primera fase y se están desarrollando mejoras de usabilidad, tracking e interacción. En esta primera aproximación en la implementación del prototipo, se pudo observar que existe gran aceptación y expectativa en cuanto a este nuevo método de enseñanza autónoma, pero existen también varios obstáculos que es inevitable pasar por alto, que tienen relación con la tecnología y el hardware usado, y que más adelante se explicarán en detalle. Lo que se observó durante las pruebas realizadas se pueden resumir en dos apartes. El primero hace referencia al impacto positivo que causa una aplicación como ésta en el ámbito de la enseñanza, ya que la mayoría de las personas que probaron la aplicación con el dispositivo inmersivo percibieron el potencial de este tipo de implementaciones y consideraron aceptable el poder aprender a través de una aplicación de estas características. Este modelo de enseñanza autónoma es muy atractivo para muchas personas que quieren aprender el instrumento y no pueden por diferentes circunstancias de su vida cotidiana. Después de probar el prototipo, los usuarios concluyeron que les sería muy útil ya que podrían cumplir su objetivo sin tener mayores dificultades como el tener que contratar a un profesor o desplazarse a una academia en un horario fijo. Adicionalmente, se reconoce que el método aplicado para enseñanza encaja bien con la herramienta puesto que es fácil de entender y se podría profundizar más en el tema a medida que se avanza en el curso virtual. Por otra parte, se pudo observar en las pruebas con usuarios el impacto negativo del software, el hardware y los aspectos por mejorar. Inicialmente un aspecto que casi el 100% de los sujetos de la prueba refirió, fue la dificultad de mantener puesto un dispositivo como el Hololens por un tiempo prolongado. Los testers mostraban dificultad después de cierto tiempo al no sentirse cómodos con el hardware, lo que dificultó la finalización de la prueba en algunos casos, haciendo que el sujeto intentara acabar rápido el test sin importar el resultado.

26

Por otro lado, la librería usada para realizar el seguimiento (tracking) de la guitarra, es una tecnología que está en desarrollo y no es muy confiable aún, por lo que este tipo de tracking dificultó en ciertas ocasiones la fluidez de la prueba, requiriendo asistencia para poder continuar. En cuanto al software, hubo varios aspectos por mejorar, relacionados con la usabilidad, por ejemplo funcionalidades como el reconocimiento de voz debe ser un poco más preciso y la aplicación debería proveer una alternativa a esta interacción. También algunos aspectos por mejorar son la ubicación de los recursos audiovisuales y escritos, y la adición de otros recursos como tablaturas o pentagramas con las notas, para poder entender aún mejor la lección. 3.10. Conclusiones Al final de esta primera iteración fue posible validar que sí es posible tomar una clase de guitarra con una aplicación de realidad aumentada, aunque esta aplicación no superara las expectativas ni la experiencia de metodologías no inmersivas como lo son los video tutoriales en internet. En este caso, siendo una clase de nivel básico, se concluyo que es posible adquirir el contenido de la clase a través de diversos medios, ya sea videos, libros o por experiencia propia, al igual que se puede transmitir a través del prototipo desarrollado, sin muchas diferencias. La aplicación From the Beginning es otra alternativa más a las diferentes herramientas que ofrece el mercado actualmente, no supone una mejora importante para la enseñanza más que la forma innovadora de presentar el contenido y transmitirlo al alumno. Otro elemento que se encontró durante el desarrollo del proyecto fue la utilización de un cursor para el espacio tridimensional. Al iniciar la implementación de la aplicación se propuso el manejo y control de la misma por medio de comandos de voz, los cuales eran sencillos e intuitivos para un usuario promedio. Las primeras pruebas demostraron que a pesar de la facilidad de tener comandos de voz, se debe tener un control redundante, y en este caso más gráfico, de la aplicación, por lo que se desarrolló un cursor 3D, manejado con el movimiento de la cabeza del usuario, para asi dar mas usabilidad y control al usuario. Se concluyo que la interfaz del usuario debe ser diseñada cuidadosamente y no se debe dejar de lado, ya que es el punto de interacción con el usuario y finalmente permite tener una buena experiencia con la aplicación, en este caso permitió que los estudiantes no se sintieran frustrados al momento de querer navegar por la aplicación.

27

4. Prototipo 2 - AR Guitar 4.1. Descripción de la prueba El objetivo principal del prototipo construido es ofrecerle al usuario la posibilidad de aprender a tocar guitarra partiendo de cierto nivel de conocimiento del instrumento, así como también poder de practicar a medida que aprende en un ambiente mixto en el que se conjuga la virtualidad con la realidad para brindar una experiencia pedagógica remota, pero personalizada. Para lograr esto es necesario analizar elementos como:

● Los elementos didácticos en la clase. ● Interacción del usuario con la interfaz gráfica. ● Presentación de la información al usuario. ● Público objetivo al que se enfoca la prueba y el contenido.

4.2. Estudio Etnográfico El segundo prototipo se basa en un estudio etnográfico para realizar una observacion y descripcion detallada de una clase de guitarra de nivel intermedio. Anthony Giddens, sociólogo, define la etnografía como el estudio directo de personas o grupos durante un cierto período, utilizando la observación participante o las entrevistas para conocer su comportamiento social. La etnografía es uno de los métodos más relevantes que se utilizan en investigación cualitativa [28].

Espectro de metodologías etnográficas:

● Exploración a profundidad in situ (ej. en casa) ● Observación (Interactiva) ● Documentación fotografía/ video ● Diarios, blogs y collages ● Uso de técnicas móviles de grabación (ej. Smartphones) para seguir el

comportamiento del usuario

En este estudio se utilizó la observación como metodología etnográfica para describir el evento de una clase de guitarra de nivel intermedio personalizada en la que el profesor y el alumno están en constante comunicación.

En el anexo 6.3 de este documento se encuentra la descripción de la observación de la clase registrada a través de una técnica de grabación móvil para poder mantener la evidencia de la clase.

Es importante resaltar que, a diferencia del primer prototipo, este segundo no fue comparado contra ninguna otra herramienta o metodología de enseñanza debido a que la naturaleza de la clase personalizada no permite estandarizar dentro de alguna categoría a esta aplicación. Lo

28

que se hizo fue realizar una observación detallada del ambiente y de las tareas realizadas por los personajes implicados.

De cada usuario es posible obtener retroalimentación más específica ,ya que cada individuo es diferente en su forma de llevar la clase, en su forma de aprender y absorber el conocimiento trasmitido por el profesor. En este caso los sujetos que fueron observados para llevar a cabo el estudio etnográfico revelaron ciertos comportamientos que se quieren resaltar como parte del estudio a profundidad.

Buena parte de las tareas que se desarrollan dentro de la clase presencial personalizada tienen que ver con el ritmo, lo que hace que el metrónomo sea un elemento esencial a la hora de tomar la clase. Este elemento se utiliza tanto para ejercicios de calentamiento, como para practica de escalas y finalmente de canciones. Otra tarea importante que se identifico dentro de la observación fue la comunicación no verbal entre el profesor y el alumno, esto quiere decir que el profesor se comunica con el alumno a través de la guitarra, interpretando los ejercicios que se deben repetir posteriormente, haciendo énfasis en elementos que requieren más atención que otros. A partir de esta experiencia se pudo identificar una tarea importante la cual consiste en la observación mutua por parte del profesor y el alumno, tarea que fue incluida en el diseño del prototipo al igual que el metrónomo anteriormente mencionado.

En otra parte de la observación se encontró que el alumno necesita de muchas sesiones de práctica para poder adquirir el conocimiento que se le está transmitiendo. De este hallazgo se pudo deducir que la tarea de repetición en un instrumentos es sumamente importante, por lo que se incluyó dentro de la aplicación las herramientas necesarias para este propósito. Una de estas herramientas es un backing track o canción de apoyo, la cual acompaña siempre la interpretación del alumno. Esta combinación de “pista de apoyo” más “ejercicios de práctica” es necesaria para que el alumno desarrolle el sentido del ritmo, y entrenar el oído de acuerdo a la escala y notas que está interpretando en ese momento.

4.2.1 Tareas identificadas

- Comunicación verbal entre el alumno y el profesor. - Visualización de la guitarra del profesor por parte del alumno. - Visualización de la guitarra del alumno por parte del profesor. - Indicación de ejercicios nuevos por medio de convenciones ya conocidas como lo son

el número de los dedos y el número de los trastes. - Utilización de un metrónomo durante la clase. - Repetición de ejercicios por parte del alumno hasta que éste los complete

satisfactoriamente. - Explicación de ejercicios nuevos por parte del profesor por medio de la interpretación

y la explicación verbal simultáneamente. - Atención a los detalles del sonido y la postura de los dedos del alumno. - Interpretación de solos e improvisación por parte del alumno con ayuda de una pista

musical (ya sea profesor o pista pregrabada). - Elementos multimedia de ayuda para la clase, como pistas, imágenes y documentos

(tablatura, partitura o artículos).

29

4.3. Descripción del prototipo El prototipo de usuario estudiante fue construido para Microsoft Hololens (Windows 10) y el prototipo del usuario profesor fue construido para ser visualizado desde un computador de escritorio como una aplicación desktop para Windows (Windows 10 en este caso). Ambos desarrollados en el motor de videojuegos Unity3D, haciendo uso de varias librerías y Vuforia SDK para la implementación de la realidad aumentada y el reconocimiento de marcadores con el fin de tener la imagen de una guitarra en 3D superpuesta a la guitarra real sostenida por el usuario. Entre las librerías figura Photon, que permite la creación de redes multijugador y la comunicación de usuarios remotamente. También se hizo uso del plugin para Unity3D de Perception Neuron, con el fin de poder comunicar un avatar en tiempo real desde el Axis Neuron, software que permite la manipulación de este dispositivo.

Figura 19. Ambiente de la prueba para el prototipo 2.

30

Figura 20. Vista de la aplicación del profesor del prototipo 2.

La aplicación consiste en una clase de guitarra virtual en la que el profesor enseña remotamente conceptos avanzados de guitarra al alumno, haciendo uso de herramientas de enseñanza que la aplicación provee, tales como una tablatura, un metrónomo, una pista de apoyo, entre otros. Además, dentro de la aplicación del profesor se encuentran los controles necesarios para realizar las acciones que el docente desee que su alumno vea, y dentro de la aplicación del alumno es posible ver y escuchar cada elemento que el profesor dispone durante la clase para hacer más didáctica la experiencia. 4.3.1 Aplicación del profesor La aplicación del profesor consta de los controles para manejar las dos aplicaciones, tanto la del alumno como la propia. Estos controles son:

- Metrónomo: Elemento que permite llevar el ritmo constante para realizar ejercicios. - Pista de apoyo: Permite realizar ejercicios de improvisación. - Imágenes dinámicas: Permite al profesor mostrar imágenes dinámicamente al alumno. - Tablatura: Identifica las notas en la guitarra. - Animaciones de avatar pregrabadas: Permite al alumno visualizar los ejercicios de la

lección. - Avatar en tiempo real (manejado desde Axis neuron): Permite realizar el tracking de

los movimientos de la mano del profesor. El contenido de la clase puede ser variado y depende del profesor y del progreso del alumno en el tema tratado. Por ello el desarrollo del prototipo se enfocó en disponer elementos didácticos variados que no requieren tener definido el contenido de la clase. Por ejemplo, se puede enseñar la escala pentatónica para poder improvisar, en cuyo caso se usaría la tablatura, la pista de apoyo y la guitarra de realidad aumentada para poder cumplir con dicho objetivo.

31

Adicionalmente el profesor cuenta con el dispositivo Perception Neuron sobre su cuerpo y mano izquierda (como requisito básico), que le permite modular un avatar en tiempo real que puede ser visto por él mismo y por el alumno en ambas aplicaciones.

Figura 21. Controles multimedia vistos desde la aplicación del profesor. Prototipo 2.

4.3.2 Aplicación del alumno En la aplicación del alumno se encuentran los mismos componentes de la aplicación del profesor, con la diferencia de que no tiene los controles y depende del profesor para que estos se accionen. Adicionalmente, la aplicación cuenta con el elemento de realidad aumentada, por lo que es posible tener una guitarra virtual en la escena cuando el usuario direcciona la mirada hacia el marcador de Vuforia que se encuentra pegado a la guitarra real que tiene en sus manos. Todos los elementos visuales se encuentran en el espacio 3D de la escena, por lo que el alumno puede girar la cabeza para verlos alrededor suyo. Los elementos sonoros son escuchados a través de los parlantes del Hololens.

32

Figura 22. Tablatura vista desde la aplicación del alumno, mientras el profesor selecciona la nota C (Do) de la misma.

Figura 23. Vista de la guitarra real con la guitarra de realidad aumentada superpuesta, mientras el profesor

selecciona la nota F (Fa) de la tablatura.

Figura 24. Avatar animado visto desde la aplicación del profesor. El avatar reproduce la animación de la

escala pentatónica.

33

Figura 25. Imagen dinámica cargada vista desde la aplicación del alumno.

4.4. Metodología de enseñanza La metodología de enseñanza que se siguió para este prototipo fue la metodología que se sigue normalmente en una clase personalizada. Ésta depende del profesor y de cómo él decida instruir en la clase. En términos generales la lección se dictó siguiendo un script definido anteriormente para mantener cierta homogeneidad en las pruebas, pero la estructuración de cada fase de la clase depende del alumno y de su nivel. Los diferentes pasos que se siguieron en la clase para aprender la escala pentatónica fueron:

- Dar a conocer la escala pentatónica, sus usos e historia. - Reconocer la escala pentatónica en la guitarra. - Practicar la escala pentatónica en las 3 primeras cuerdas. - Practicarla en las siguientes 3 cuerdas. - Practicar la escala con el metrónomo. - Enseñar cómo improvisar con esta escala siguiendo la pista de apoyo. - Poner pista al alumno para que improvise. - Mostrar diferentes posiciones de la escala en la guitarra.

De acuerdo al nivel que presentaba el alumno, cada uno de estos pasos era considerado y según la velocidad con que el alumno respondía a los ejercicios, se avanzaba en la clase. 4.5. Arquitectura La arquitectura del prototipo consiste en dos aplicaciones, interconectadas por un servidor remoto manejado por Photon, el cual permite conectar varios clientes a sus servidores y

34

compartir datos de la escena de Unity3D, y a su vez enviar mensajes remotos a los participantes.

Figura 26. Arquitectura del sistema del prototipo 2.

Como muestra la Figura 25 la arquitectura de la aplicación del estudiante integra la librería de Vuforia SDK, la cual habilita la posibilidad de realidad aumentada. Por parte de la aplicación del profesor, vemos que integra el plugin de Perception Neuron que permite tener un avatar en tiempo real en la escena de Unity3D. Las dos aplicaciones se comunican por medio de Photon Engine, el cual permite tener una escena multiusuario y comunicación entre usuarios. 4.6. Clases La aplicación consta de scripts los cuales manejan la lógica de cada elemento de la escena en Unity3D. En la siguiente imagen (figura #) se puede observar el diagrama de clases del sistema, cada clase representa un script en Unity3D.

35

Figura 27. Diagrama de clases del prototipo 2.

Cada script se creó para mantener la lógica únicamente de este componente, que va añadido a un objeto en la escena de Unity3D. El API de Photon provee scripts para establecer la comunicación y la creación del ambiente donde se puede interactuar con diferentes usuarios. Específicamente el script PhotonView permite que un objeto de la escena aparezca en el ambiente de intercomunicación, por lo que cada uno de los objetos que están en la escena de Unity3D tienen añadido este script. El script de NetworkManager es el que habilita la conexión con los servidores de Photon. Para este propósito es necesario el nombre de la “sala” (Room) y la versión de esta sala para identificar a cuál debe conectarse. Dentro de este script existen CallBacks que permiten saber el proceso de la conexión y finalmente saber si se pudo unir a la sala, lo que permite comenzar a realizar el intercambio de mensajes y la posibilidad de compartir la escena con otros usuarios. Para realizar la carga de contenido multimedia como imágenes dentro de la escena de la clase se utiliza el script MultimediaContentLoader. Este script carga una imagen a partir de una URL que el profesor le proporciona por medio de un campo de texto en la interfaz gráfica. Esta imagen es cargada en la escena tanto del profesor como del alumno, por lo que el alumno puede observar esta imagen en el espacio 3D a su alrededor.

36

El metrónomo contiene un script llamado Metronome, el cual realiza la lógica de hacer sonar un tick de acuerdo a cierta velocidad o bits por minuto (bpm). Este script también se conecta por medio de Photon con los otros componentes remotos de metrónomo de los jugadores de la escena, activando o desactivando el sonido del metrónomo para cada uno de los participantes de la sala. De igual forma el script BackingTrack, que maneja la pista de apoyo, se comporta igual que el script Metronome, enviando un mensaje remoto a todos los participantes de la escena cuando éste es activado, pausado o detenido completamente. Por último se tiene el script TabNote, el cual se encarga de mostrar las notas en la tablatura, asi como tambien en la guitarra de realidad aumentada. Este script también se conecta a Photon y permite que al profesor indicar las notas en la tablatura y que el alumno vea en tiempo real cuales son las notas que el profesor está indicando. 4.7. Hipótesis 4.7.1. Hipótesis General:

● Los usuarios serán capaces de terminar la clase completa satisfactoriamente. ● Los usuarios sentirán la sensación de “presencia” gracias a la guitarra real en sus

manos y al avatar del profesor. ● Los usuarios sentirán que la experiencia inmersiva y multimedia les permite aprender

igual que una clase presencial. 4.7.2. Hipótesis Testeable: Se mide qué artefacto (imágenes, tablatura, metrónomo, avatar, guitarra 3D) es preferible

para el aprendizaje en la plataforma.

● Se mide el tiempo que toman para terminar la clase. ● Se analizan las reacciones de los usuarios por medio de un estudio etnográfico. ● Se cuestiona si los usuarios sienten que pueden aprender con la aplicación.

4.8. Método En total participaron 22 usuarios alumnos, un evaluador y un profesor real. Este grupo hizo uso del prototipo de la aplicación desarrollada, siguiendo la lección que el profesor real, conectado virtualmente, instruía en ese momento. El objetivo de las pruebas fue validar con los usuarios de la aplicación si la interacción de un profesor, representado con un avatar dentro de la aplicación, es importante para el

37

aprendizaje. Igualmente se quiere validar si es posible llevar a cabo una clase de guitarra remotamente. Para lograr esto fue necesario que los usuarios estuvieran provistos con el instrumento que querían aprender, en este caso la guitarra. La aplicación está diseñada para que el profesor pueda manejar y llevar el control de la clase desde su lugar de trabajo, mientras que el alumno observa y practica, sosteniendo una guitarra real con sus manos, tal como se hace normalmente en una clase de nivel intermedio personalizada. Adicionalmente, se una un tracker o marcador ubicado frente al brazo de la guitarra del alumno para poder hacer el tracking de la misma. Las pruebas fueron grabadas para registrar cada sesión, crear documentación para el proyecto y plantear un análisis más detallado posteriormente. En esta grabación se capturaron los movimientos de las manos del alumno, su comunicación con el profesor y cómo se desarrolló la experiencia de aprendizaje en la realidad mixta. La prueba tomó en cuenta dos situaciones del usuario: una al iniciar el test y otra al terminarlo. Para esto se diseñaron dos encuestas, la encuesta previa consistió en preguntas orientadas a saber los antecedentes de la persona y su nivel con el instrumento, además de ciertos datos demográficos que se usaron para una posterior clasificación y análisis. La segunda encuesta consistió en varias preguntas para saber si el usuario aprendió, qué elementos considero más relevantes y algunas preguntas abiertas para encontrar posibles mejoras con un punto de vista diferente. El proceso realizado por cada uno de los participantes de la prueba fue el siguiente: Usuario Alumno:

1. Cada usuario responde un breve cuestionario (anexo 2) previo a la prueba. 2. Cada usuario ingresa al ambiente virtual usando el dispositivo y las herramientas

necesarias para realizar la prueba, en este caso Hololens y Guitarra con el tracker. 3. Los dos usuarios (profesor y alumno) deben poder comunicarse mediante voz e

interactuar con las herramientas de la clase tales como metrónomo, backing track y observar las imágenes de ayuda. Se realiza una fase inicial probando dichos elementos.

4. El usuario alumno participará en la clase hasta que termine por completo con la supervisión y guía del profesor.

5. Al finalizar las pruebas cada usuario realizará la encuesta respectiva para validar la experiencia interactiva.

38

Usuario profesor: 1. El usuario profesor ingresa a la aplicación diseñada para su labor y se prepara para

sincronizar los movimientos de su cuerpo con el avatar usando el traje del Perception Neuron.

2. El usuario profesor se comunica con el evaluador para resolver problemas técnicos en caso de que se presenten.

3. El profesor establece comunicación con el estudiante. 4. La temática de la clase que se impartirá a todos los alumnos de nivel intermedio es “la

escala pentatónica”. Esta clase depende del nivel del estudiante usando en esta temática, brindando libertad al profesor para decidir qué tanto conocimiento puede compartir con el alumno.

5. Tras completar una breve lección, el profesor cerrará el tema y terminará la clase. Evaluador:

1. El evaluador le explicará al usuario alumno el objetivo general de la clase que consiste en seguir al profesor y los ejercicios que se dispongan.

2. El evaluador solicitará al alumno responder el cuestionario previo a la prueba. 3. El evaluador revisará la conexión de skype en el dispositivo del alumno (Hololens) y

en el del profesor (Smartphone). Revisará también su canal de comunicación de control con el profesor.

4. El evaluador le explicará el funcionamiento del dispositivo (Hololens) al usuario con el objetivo de que el usuario no tenga inconvenientes de interacción con el ambiente virtual cuando ingrese.

5. El evaluador ayudará al usuario a ponerse el Perception Neuron y abrirá la aplicación. 6. El evaluador tomará apuntes de momentos clave o comentarios que vaya diciendo el

usuario durante el transcurso de la prueba. También hará la grabación de la sesión. 7. Cuando acabe la sesión, el evaluador ayudará al usuario a quitarse el dispositivo e

inmediatamente le solicitará responder la encuesta post-experiencia. 8. El evaluador tomará el tiempo que duró la prueba.

Las encuestas pueden ser encontradas en los anexos de este documento. 4.9. Datos Cuantitativos Dentro de los datos recopilados durante las pruebas, el evaluador tomó la hora de inicio y de finalización de cada prueba, permitiendo conocer el tiempo total que tomó cada prueba en completarse. A continuación vemos una tabla con las métricas sacadas de los tiempos tomados.

Tiempo promedio 00:17 minutos

39

Mínimo 00:10 minutos

Máximo 00:23 minutos Figura 28. Tabla de tiempos de las pruebas del prototipo 2.

En promedio las pruebas duraron 17 minutos, tiempo necesario para introducir un nuevo tema, no muy extenso, y poder realizar la práctica con el instrumento. Hubo pruebas que duraron menos entre las que hubo varios casos en que los alumnos que tenían buen nivel de guitarra, pudieron realizar los ejercicios muy rápidamente. Las pruebas que tuvieron tiempos más extendidos igualmente dependieron de la velocidad del alumno y del tiempo de práctica que éste quisiera desarrollar con el instrumento. 4.10. Datos Cualitativos Dentro de los datos cualitativos podemos observar que la población de las pruebas estuvo entre los 15 y los 31 años de edad. El 64% del grupo de pruebas era masculino y el 36% femenino. 50% de la población tenía por lo menos estudios de pregrado, mientras que el 36% tenía postgrado y solo el 14% estudios de bachillerato. Las horas de práctica del instrumento de cada uno de los participantes fue muy variada, con un promedio de 5 horas a la semana. Finalmente, dentro de los gustos musicales de los encuestados están el Rock, Pop, Jazz, Salsa, Clasica, Neo Punk y música folclórica, entre otros. En la encuesta previa a la prueba, a la pregunta ¿Ha tomado clases de guitarra anteriormente?, el 77% de los encuestados respondió afirmativamente, mientras que el 23% restante comunicó no haber tomado clases de guitarra antes. A la pregunta ¿Conoce la escala pentatónica?, sólo el 27% manifestó haberlo hecho y el 27% restante respondió negativamente y el 45% dijo que era probable que la conociera. Finalmente, en la encuesta previa, a la pregunta ¿Conoce la escala pentatónica?, solo un 9% dijo que sí, mientras que el 36% dijo que un poco y el 55% de los participantes dijo que no sabía sobre la escala pentatónica. Al final de la prueba con cada participante, la encuesta final presentó los siguientes resultados: a la pregunta ¿Que tan clara fue la explicación de la escala pentatónica? (De 1: nada claro, a 5: bastante claro), el promedio de la población calificó en 4.8 la claridad de la explicación, con una desviación estándar de 0.53. A la pregunta ¿Qué tan clara le pareció la forma de explicar los ejercicios? (De 1: nada claro, a 5: bastante claro), los participaron respondieron en promedio 4.4 con una desviación estándar de 0.59. Y, finalmente, a la pregunta ¿Qué tanto le gustó la experiencia con la aplicación en realidad aumentada? (De 1: no me gustó, a 5: me gustó demasiado) los participantes respondieron en promedio 4.6 con una desviación estándar de 0.73.

40

Los participantes de la prueba evaluaron la relevancia de las herramientas que se usaron durante la clase, calificando a la tablatura y a la guitarra en realidad aumentada como los recursos pedagógicos más relevantes para la sesión, y al avatar animado y a la pista de apoyo como los menos significativos. Finalmente, para la pregunta ¿Siente que comprendió la temática impartida por el profesor (escala pentatónica)?, el 77% de los participantes respondió afirmativamente y sólo el 23% registró que lo lograría “con más práctica”. Ningún participante manifestó no haber aprendido.

Figura 29. ¿Qué tan clara fue la explicación de la escala pentatónica?

Figura 30. ¿Qué tan clara le pareció la forma de explicar los ejercicios?

41

Figura 31. ¿Qué tanto te gustó la experiencia con la aplicación en realidad aumentada?

Figura 32. ¿Siente que comprendió la temática impartida por el profesor (escala pentatónica)?

Figura 33. Resumen de estadísticas, promedio y desviación estándar.

42

4.11. Análisis Se observó que la población que participó en las pruebas fue variada, pero todos tenían cierta habilidad para interpretar el instrumento. La heterogeneidad se notó en las edades y el género. Se pudo ver que casi ninguno de los usuarios conocían inicialmente la escala pentatónica, lo que resultó ideal para el desarrollo de la prueba ya que ése era precisamente el eje temático de la clase. Adicionalmente, casi ningún participante sabía improvisar, hecho que también favoreció el desarrollo general de la clase debido a que por medio de la improvisación se evaluaba si el usuario había aprendido o no la escala durante la sesión virtual. Tras analizar los resultados de la encuesta final es posible concluir que hubo una muy buena recepción del prototipo, evidenciada en cómo los usuarios percibieron las explicaciones y el desarrollo del tema calificando ambos apartes como “muy claros”, así como a las herramientas dispuestas para alcanzar los objetivos pedagógicos de la clase. Los participantes expresaron haber disfrutado la experiencia de aprender guitarra con realidad aumentada empleando la aplicación desarrollada en el presente proyecto. Un resultado importante que arroja la encuesta es la sensación de aprendizaje de la temática. La encuesta mostró que la gran mayoría de los participantes aprendió a improvisar con la escala pentatónica, lo cual es muy satisfactorio. Y solamente una minoría respondió que podría aprender con más práctica. Ningún participante de estas pruebas respondió que no había aprendido nada, lo cual es importante resaltar, ya que la aplicación tiene un potencial didáctico grande que se demostró con estos resultados. Dentro de las herramientas que se utilizaron para llevar a cabo la clase, hubo algunas destacadas como la tablatura, la cual es la herramienta principal para aprender guitarra, ya sea en videos o en clases presenciales, ya que nos permite conocer los trastes y cuerdas de la guitarra, y adicionalmente permite desarrollar una habilidad de lectura musical, que permite a los intérpretes de la guitarra avanzar muy rápidamente. Otra herramienta destacada fue la guitarra de realidad aumentada, ya que esta guitarra permite ver las notas que queremos tocar justo sobre la guitarra real de los usuarios, lo que facilita mucho al alumno tocar mientras el profesor le enseña. Por otro lado las herramientas que fueron menos relevantes para los usuarios dentro de la experiencia de la clase virtual fueron el avatar animado y la pista de apoyo. El avatar no fue bien recibido por los participantes por el contraste que había también entre el avatar en tiempo real, y las otras herramientas más útiles. En cuanto a la pista de apoyo puede que los usuarios hayan sentido que la forma de improvisar no dependía mucho de esta pista sino de la práctica que pudieran tener repasando la escala.

43

Hubo varios inconvenientes dentro del periodo de pruebas que evidenciaron que el dispositivo Hololens no es el más adecuado para usarse por un tiempo prolongado por la incomodidad física que genera por su peso y lo inusual que le resulta a un usuario promedio disponer un dispositivo de este tipo sobre su campo visual. Otros problemas, como el reinicio del dispositivo, también se observaron durante las pruebas. Otro inconveniente que surgió durante las pruebas fue la forma en que se identifica el marcador de Vuforia para poder mostrar la guitarra de realidad aumentada, ya que esta tecnología funciona con el reconocimiento visual del marcador y en el momento en que el marcador salía del rango visual del Hololens, la guitarra virtual se perdía, y era necesario volver a enfocar el marcador para poder visualizar una vez más la guitarra virtual. Finalmente, al hacer uso del Perception Neuron para representar un avatar en tiempo real dentro de la escena, se encontraron inconvenientes con esta tecnología ya que se descalibra fácilmente y no es posible mantener la posición inicial del avatar o la configuración de sus extremidades. 4.12. Conclusiones En conclusión, los usuarios de la aplicación tuvieron una respuesta positiva después de experimentar con el prototipo, puesto que en la escala pentatónica encontraron una herramienta que les resultó relevante para su entrenamiento musical y que pueden usar para su práctica diaria de guitarra. Los resultados muestran que a través de esta forma de aprendizaje virtual si es posible transmitir conocimientos avanzados, como el aprendizaje de un instrumento en un nivel intermedio. La percepción de la experiencia que reflejaron los alumnos en las encuestas es de satisfacción y aceptación de la nueva tecnología que se está desarrollando y, que según ellos, podría ser expandida a otros campos de conocimiento, tanto de la música como de otras áreas. El hecho de tener un avatar en la clase virtual no fue impactante como se esperaba. El avatar, tanto animado como en tiempo real, fueron vistos como otra herramienta más de la clase. Debido a los problemas técnicos con la tecnología del Perception Neuron, el avatar en tiempo real no fue lo suficientemente exacto para poder cumplir una función más importante durante la clase, ya que al desajustarse en un rango de tiempo corto, es imposible contar con este avatar para elementos más complejos de la clase, cosa que sí puede hacer la tablatura, ya que es posible mostrar las notas al alumno sin mucho esfuerzo. 4.13. Trabajo futuro Como trabajo futuro se propone mejorar la tecnología de reconocimiento de marcadores 2D para la realidad aumentada. Esto mejoraría mucho la experiencia del usuario que usa este tipo de aplicaciones en las que hay que mantener la mirada en un punto mucho tiempo.

44

Adicionalmente, podrían actualizarse las tecnologías de reconocimiento de la mano como el Perception Neuron para evitar dificultades con la calibración. Una mejora considerable para el prototipo desarrollado es la implementación de un sistema de feedback para la guitarra en el que la aplicación reconozca las notas que el estudiante toca en la guitarra a partir de la frecuencia emitida por la cuerda, y que esta información se refleje en la interfaz o en herramientas como la guitarra virtual o la tablatura. Con esto sería posible implementar un sistema de evaluación integrado en la aplicación, y no simplemente a criterio del profesor. Este sistema de evaluación podría, para empezar, reconocer si la guitarra esta desafinada, identificar si el alumno toca correctamente las notas y, posteriormente, combinar esta evaluación con la calificación emitida por el profesor remoto. Finalmente, es posible seguir expandiendo los usos de este desarrollo a otros instrumentos y explorar la implementación de sus herramientas particulares en ambientes virtuales.

45

5. Conclusiones Generales y Trabajo Futuro A lo largo del desarrollo de este proyecto fue posible explorar diferentes aproximaciones a una clase utilizando la Realidad Aumentada, donde el propósito de trasmitir conocimiento era el principal objetivo de la investigación. El trabajo realizado y plasmado en el presente documento constituye una base para futuros emprendimientos en los que se busque generar un entendimiento más amplio de las implicaciones de desarrollos de este tipo, tomando en cuenta la metodología, las herramientas y la tecnología disponible para el desarrollo de ambientes de aprendizaje mixtos, remotos o no, en los que se emplee la Realidad Aumentada. A partir del desarrollo y los resultados del primer prototipo (From the Beginning) se pudo concluir que es necesario que el usuario tenga un entrenamiento previo en el uso de la tecnología y dispositivos utilizados para poder hacer uso de la aplicación sin tener que resolver problemas de manipulación, debido a que la mayoría de personas aún no están acostumbradas a este tipo de hardware y manifestaron confusión al no lograr emular los gestos con los que se activan los comandos del hololens. También podemos concluir que la estructuración de la clase y su contenido es muy importante, ya que se debe tener en cuenta la línea de pensamiento y el ritmo de aprendizaje de los usuarios al proporcionarles un ambiente de aprendizaje autónomo a través de una aplicación. Adicionalmente, las herramientas que la aplicación ofrece para la transmisión del conocimiento deben ser claras y diseñadas cuidadosamente dentro de la interfaz del usuario y su campo visual en el caso del Hololens. Por lo tanto, es necesario estudiar previamente buenas prácticas de UI (User Interfaces) para que la aplicación funcione clara y fluidamente, haciendo que el usuario se sienta cómodo con la experiencia y que efectivamente se sienta inmerso en una realidad mixta. Con el primer prototipo fue posible validar que sí es posible tomar una clase de guitarra con una aplicación de realidad aumentada, aunque esta aplicación no superara las expectativas ni la experiencia de metodologías no inmersivas como lo son los video tutoriales en internet. Adicionalmente, se concluyó que es posible adquirir el contenido de la clase a través de diversos medios, ya sea videos, libros o por experiencia propia, por tratarse de información correspondiente a un nivel muy básico. Por otra parte, a partir de las pruebas realizadas con el segundo prototipo (AR Guitar) se pudo observar que al integrar la interacción e intercomunicación con un profesor real dentro del ambiente de realidad mixta, la experiencia de los usuarios fue mucho mejor, comparada con el primer prototipo, dejando ver que la presencia de una persona, en este caso un avatar representando al profesor con movimientos y voz en tiempo real, hace que la transmisión de conocimiento y el aprendizaje del estudiante mejore y sea una experiencia significativa. Aunque los resultados de percepción de los alumnos con respecto al avatar en tiempo real no

46

fueran definitivos (no se destacó pero tampoco se descartó), el aprendizaje del grupo de pruebas en general fue notablemente mucho mejor que el grupo de pruebas del primer prototipo. Hay que destacar también que el nivel de los estudiantes que presentaron la prueba era más avanzado que el de los sujetos que participaron la primera iteración ya que se requería un nivel intermedio, entendiéndolo como aprendices que habían tocado alguna vez la guitarra y conocían las nociones básicas del instrumento. Debido a ello, los estudiantes pudieron comprender fácilmente los contenidos y herramientas de la clase, reconociendo a primera vista la tablatura y las posiciones de las notas, trastes y dedos. Finalmente, se pudo construir un ambiente interactivo en el que se efectuó la transmisión de conocimiento entre el usuario del alumno y del profesor de una manera fluida y significativa para los dos, gracias a la observación objetiva de ambientes de clases reales personalizadas en las de las que se tomaron nociones de interacción y herramientas que posteriormente fueron usadas para el desarrollo de los prototipos propuestos. Como trabajo futuro se propone la implementación de elementos de interacción que fueron dejados por fuera del alcance del proyecto entre los que figura la posibilidad de ver a través de la aplicación las acciones del estudiante y sus movimientos ya que aunque era posible escuchar al estudiante por medio de la aplicación, ello no es suficiente para tener una experiencia equiparable a la de una clase en persona. Recientes reportes por parte de los fabricantes del Hololens, prometen hacer una actualización de este dispositivo, solucionando varios de los problemas comunes que se tuvieron al momento de las pruebas. El Hololens actualizado será más liviano, con mayor campo de visión y más autonomía de batería, entre otras cosas. Estas mejoras suponen una nueva oportunidad para seguir iterando en el proceso de desarrollo de la aplicación y realizando pruebas. También es necesario implementar un sistema de evaluación y feedback para el alumno, y generar la posibilidad de que el profesor pueda ver a su estudiante para visualizar cómo interpreta el instrumento. Esta funcionalidad reconoce las notas que el alumno toca y puede clasificar esta frecuencia dentro de un rango que represente una nota en la guitarra y en la tablatura. De esta forma se podría suplir en parte la incapacidad del profesor para ver al alumno. Finalmente, esta aplicación puede ser fácilmente transportada a otros campos del conocimiento dentro de la música. Sería ideal poder realizar nuevos desarrollos dentro de la aplicación para poder reconocer otros instrumentos de cuerda, y posteriormente evaluar la posibilidad de aplicarlo a cualquier otro instrumento. La arquitectura de esta aplicación

47

podría ser tomada como modelo de referencia para implementar nuevos prototipos para el entrenamiento y la transmisión de conocimiento en otros campos. Herramientas ideales para continuar el proyecto Las herramientas y el ambiente necesario para poder desarrollar más a fondo estos prototipos y el proyecto en general son propuestos a continuación:

- El hardware ideal para la visualización de la realidad aumentada sería el Hololens en su segunda generación, este tiene muchos avances y mejoras que mitigan las dificultades vividas por los participantes durante las pruebas. Este dispositivo estará disponible en el 2019.

- El software ideal para poder realizar la intercomunicación entre los participantes de la clase (profesor y alumno) es Photon Voice, el cual se puede integrar con unity3D fácilmente. Se está esperando actualmente por una actualización que permita exportar a Windows con Hololens.

- Para poder realizar el tracking de los objetos en el espacio 3D se estaba utilizando Vuforia, esta herramienta no es muy efectiva ya que depende del campo visual del dispositivo y de la dirección hacia donde el usuario está mirando. Para poder mitigar este aspecto negativo se podría usar un sistema de tracking mas avanzado, como por ejemplo el Optitrack, o implementar una aplicación con el SDK nativo de IOS o Android para realidad aumentada, los cuales hacen el tracking de los objetos y del mundo a su alrededor con más precisión.

48

6. Anexos 6.1. Cuestionario de Inicio de la Prueba AR Guitar La encuesta que se realizó previo a comenzar la prueba:

● ¿Has tomado clases de guitarra anteriormente? ¿Dónde? ● ¿Conoces la escala pentatónica? Sí, No, Creo que sí. ● ¿Sabes improvisar en la guitarra? Sí, No. ● Edad. ● Género. ● Grado de educación. ● Gusto musical. ● Horas de ensayo semanal.

6.2 Cuestionario de Finalización de la prueba AR Guitar

● ¿Qué tan claro fue para ti la explicación de la escala pentatónica? De 1 (nada claro) a 5 (bastante claro)

● ¿Qué tan clara te pareció la forma de explicar los ejercicios? De 1 (nada claro) a 5 (bastante claro)

● ¿Sientes que aprendiste la temática impartida por el profesor (escala pentatónica)? Sí, No.

● Ordenando del más importante al menos importante, enuncia los elementos que te parecen más relevantes en el ambiente 3D de la clase. (Tablatura, metrónomo, pista musical, avatar animado, avatar en tiempo real, guitarra AR).

● ¿Que tanto te gustó la experiencia con la aplicación en realidad aumentada? De 1 (no me gusto) a 5 (me gusto demasiado).

● ¿Qué aspectos de la experiencia en la clase te gustaría que se mejoraran?. ● ¿Comparado con una clase presencial, que comentarios tienes sobre la clase? ¿Qué

mejoraría? ¿Qué falta? 6.3. Observación y Registro de Estudio Etnográfico Tabla de registro de la observación realizada para el estudio etnográfico del prototipo 2.

Tiempo Descripción

0:00 Clase inicia.

0:01 Estudiante practica ejercicio de escala armónica propuesto por el profesor para calentamiento.

0:02 El profesor alista implementos necesarios para la clase: amplificador, guitarra, metrónomo, computador con contenido y ejercicios en tablaturas

49

0:04 El profesor hace repetir ejercicios de calentamiento con escala armónica, corrigiendo errores. Indicando que dedo y qué traste tocar.

0:05 Profesor muestra al alumno como debe ser un ejercicio más avanzado de escala armónica. Más rápido integrando otros elementos.

0:06 El profesor hace practicar la escala de calentamiento armónica al unísono con el alumno, tomando en cuenta el tiempo del metrónomo.

0:07 El profesor propone al alumno intentar tocar una canción (sweet child of mine) como ejemplo de la escala previamente practicada. La muestra al alumno mientras el alumno observa y realiza el acompañamiento.

0:13 El profesor descompone el solo de la canción identificando las diferentes escalas usadas en este.

0:17 El estudiante propone descomponer el solo compuesto por el de una canción de su autoría.

0:20 El profesor continúa con el tema de agilidad de la mano izquierda, enseñando escalas de práctica y variaciones de la primera escala de calentamiento aprendida.

0:24 El alumno comienza a practicar las variaciones de la escala, enseñada previamente.

0:25 Se incluye el metrónomo dentro del ejercicio.

0:29 Se aumenta la velocidad del metrónomo y se practica otra variación del ejercicio.

0:33 El profesor da consejos de buenas prácticas para interpretar la guitarra, la velocidad y la forma.

0:34 Se continúa con el ejercicio que se viene practicando desde antes.

0:42 Se aumenta la velocidad del metrónomo una vez más para el mismo ejercicio.

0:45 El profesor cambia el tema de la clase hacia la improvisación, dejando que el alumno aplique la escala anteriormente vista en una sesión de improvisación.

0:49 El profesor corrige los detalles que pudo observar en la sesión de improvisación y descompone ciertas notas enunciando las escalas que lo componen.

0:50 Continúa la sesión de improvisación por parte del alumno.

0:51 Se explican nuevos conceptos dentro de la clase, practicándolos enseguida. El profesor muestra un ejemplo de cómo debe ser y cómo se pueden utilizar.

50

0:53 Se explica el nuevo concepto con canciones que son reconocidas por el alumno.

0:56 Comienza la explicacion de técnicas avanzadas de guitarra. “Trucos“ para poder hacer sonidos diferentes con la guitarra. Práctica y explicación casi en paralelo.

1:04 Segunda sesión de improvisación por parte del alumno, aplicando conceptos recién vistos en la clase.

1:09 El profesor muestra al alumno una sesión de improvisación, corrigiendo cosas vistas en la sesión del alumno. Va explicando a medida que toca el instrumento.

1:17 Se introducen nuevos conceptos como “intensidad” haciendo que el alumno practique enseguida “aprende practicando”.

1:30 La clase termina, se dejan ejercicios para la practicar durante la semana. Figura 34. Registro de clase de guitarra presencial.

51

7. Bibliografía [1] I. E. Sutherland, “The ultimate display,” in International Federation of Information Processing IFIPS Congress, vol. 2, New York, NY, USA, May 1965, pp. 506–508. [2] C. Machover and S. E. Tice, "Virtual reality," in IEEE Computer Graphics and Applications, vol. 14, no. 1, pp. 15-16, Jan. 1994. [3] C. Anthes, R. J. García-Hernández, M. Wiedemann and D. Kranzlmüller, "State of the art of virtual reality technology," 2016 IEEE Aerospace Conference, Big Sky, MT, 2016, pp. 1-19. [4] Kening Zhu. 2016. Virtual reality and augmented reality for education: panel. In SIGGRAPH ASIA 2016 Symposium on Education: Talks (SA '16). ACM, New York, NY, USA, , Article 8 , 2 pages. [5] Anmol Srivastava. 2016. Enriching student learning experience using augmented reality and smart learning objects. In Proceedings of the 18th ACM International Conference on Multimodal Interaction (ICMI 2016). ACM, New York, NY, USA, 572-576. [6] Anmol Srivastava and Pradeep Yammiyavar. 2016. Design of multimodal instructional tutoring agents using augmented reality and smart learning objects. In Proceedings of the 18th ACM International Conference on Multimodal Interaction (ICMI 2016). ACM, New York, NY, USA, 421-422. [7] Fabio Pittarello and Eugenio Franchin. 2016. PlayVR: a VR Experience for the World of Theater. In Proceedings of the International Working Conference on Advanced Visual Interfaces (AVI '16), Paolo Buono, Rosa Lanzilotti, and Maristella Matera (Eds.). ACM, New York, NY, USA, 338-339. [8] Jonathan Chow, Haoyang Feng, Robert Amor, and Burkhard C. Wünsche. 2013. Music education using augmented reality with a head mounted display. In Proceedings of the Fourteenth Australasian User Interface Conference - Volume 139 (AUIC '13), Ross T. Smith and Burkhard C. Wünsche (Eds.), Vol. 139. Australian Computer Society, Inc., Darlinghurst, Australia, Australia, 73-79. [9] Lee, M., Kim, K., Daher, S., Raij, A., Bailenson, J., & Welch, G. (2016, March). The Wobbly Table: Increased Social Presence via Subtle Incidental Movement of a Real-Virtual Table. In Virtual Reality (VR), 2016 IEEE (pp. 11-17). IEEE.

52

[10] Bombari D, Schmid Mast M, Canadas E, Bachmann M. Studying social interactions through immersive virtual environment technology: virtues, pitfalls, and future challenges. Frontiers in Psychology. 2015 [11] Kulms P., Krämer N.C., Gratch J., Kang SH. (2011) It’s in Their Eyes: A Study on Female and Male Virtual Humans’ Gaze. In: Vilhjálmsson H.H., Kopp S., Marsella S., Thórisson K.R. (eds) Intelligent Virtual Agents. IVA 2011. Lecture Notes in Computer Science, vol 6895. Springer, Berlin, Heidelberg [12] Oh SY, Bailenson J, Krämer N, Li B (2016) Let the Avatar Brighten Your Smile: Effects of Enhancing Facial Expressions in Virtual Environments. PLoS ONE 11(9): e0161794. [13] Eduardo Zilles Borba, Marcio Cabral, Andre Montes, Olavo Belloc, and Marcelo Zuffo. 2016. Immersive and interactive procedure training simulator for high risk power line maintenance. In ACM SIGGRAPH 2016 VR Village (SIGGRAPH '16). ACM, New York, NY, USA, Article 7, 1 pages. [14] Juan Li, Maarten Slembrouck, Francis Deboeverie, Ana M. Bernardos, Juan A. Besada, Peter Veelaert, Hamid Aghajan, Wilfried Philips, and José R. Casar. 2015. A hybrid pose tracking approach for handheld augmented reality. In Proceedings of the 9th International Conference on Distributed Smart Cameras (ICDSC '15). ACM, New York, NY, USA, 7-12. [15] McCarthy, PhD, M., Carlow, MM, R. and Gabriele, MEd, K. (2013). Better practices in music education. 2nd ed. Baltimore: Maryland State Department of Education, pp.1-51. [16] Colwell, R. and Richardson, C. (2012). The new handbook of research on music teaching and learning. Oxford: Oxford University Press. [17] Burnard, Pamela and Dillon, Steven C. and Rusinek, Gabriel and Saether, Eva (2008) Inclusive pedagogies in music education: A comparative study of music teachers' perspectives from four countries. International Journal of Music Education 26(2):pp. 109-126. [18] Gutierrez, Fatima; Jennifer Pierce; Victor Vergara; Robert Coulter; Linda Saland; Thomas Caudell; Timothy Goldsmith; and Dale Alverson. "The Effect of Degree of Immersion upon Learning Performance in Virtual Reality Simulations for Medical Education." (2008). http://digitalrepository.unm.edu/ume-research-papers/8 [19] James P. Bliss, Philip D. Tidwell, and Michael A. Guest. 1997. The effectiveness of virtual reality for administering spatial navigation training to firefighters. Presence: Teleoper. Virtual Environ. 6, 1 (February 1997), 73-86.

53

[20] Moreno, R., & Mayer, R. E. (2002). Learning science in virtual reality multimedia environments: Role of methods and media. Journal of Educational Psychology, 94(3), 598-610. [21] N. Bailenson, Jeremy & Yee, Nick & Blascovich, Jim & C. Beall, Andrew & Lundblad, Nicole & Jin, Michael. (2008). The Use of Immersive Virtual Reality in the Learning Sciences: [22] Digital Transformations of Teachers, Students, and Social Context. Journal of the Learning Sciences. 17. 102-141. [23] Dalgarno, B. and Lee, M. J. W. (2010), What are the learning affordances of 3-D virtual environments?. British Journal of Educational Technology, 41: 10–32. [24] Jennifer J. Vogel, David S. Vogel, Jan Cannon-Bowers, Clint A. Bowers, Kathryn Muse, Michelle Wright, First Published April 1, 2006, Computer Gaming and Interactive Simulations for Learning: A Meta-Analysis, Journal of Educational Computing Research, Vol 34, Issue 3, pp. 229 - 243 [25] Kline, Joel. University of South Dakota, 2012, The impact of user-controlled avatar attributes on social presence within select higher education courses, ProQuest Dissertations Publishing. [26] Seong Wook Chae, Kun Chang Lee, Young Wook Seo. (2016) Exploring the Effect of Avatar Trust on Learners’ Perceived Participation Intentions in an e-Learning Environment. International Journal of Human–Computer Interaction 32:5, pages 373-393. [27] Socialresearchmethods.net. (2018). Social Research Methods - Knowledge Base - Likert Scaling. [online] Available at: https://www.socialresearchmethods.net/kb/scallik.php [Accessed 15 Jan. 2018]. [28] psyma.com. (2018). La etnografía como herramienta en la investigación cualitativa. [online] Available at: http://www.psyma.com/es/la-empresa/news/message/la-etnografia-como-herramienta-en-la-investigacion-cualitativa [Accessed 15 Jan. 2018]. [29] Anmol Srivastava. 2016. Enriching student learning experience using augmented reality and smart learning objects. In Proceedings of the 18th ACM International Conference on Multimodal Interaction (ICMI 2016). ACM, New York, NY, USA, 572-576. DOI: https://doi-org.ezproxy.uniandes.edu.co:8443/10.1145/2993148.2997623 [30] Youngsun Kim, Seokjun Hong, and Gerard J. Kim. 2016. Augmented reality based remote coaching system. In Proceedings of the 22nd ACM Conference on Virtual Reality

54

Software and Technology (VRST '16). ACM, New York, NY, USA, 311-312. DOI: https://doi-org.ezproxy.uniandes.edu.co:8443/10.1145/2993369.2996301 [31] Martin Kraus and Martin Kibsgaard. 2015. A Classification of Human-to-Human Communication during the Use of Immersive Teleoperation Interfaces. In Proceedings of the 2015 Virtual Reality International Conference (VRIC '15). ACM, New York, NY, USA, Article 25, 8 pages. DOI: https://doi-org.ezproxy.uniandes.edu.co:8443/10.1145/2806173.2806198 [32] KwangYong Lee and Gerard Jounghyun Kim. 2015. Tele-augmentation for remote AR coaching. In Proceedings of the 21st ACM Symposium on Virtual Reality Software and Technology (VRST '15), Stephen N. Spencer (Ed.). ACM, New York, NY, USA, 197-197. DOI: https://doi-org.ezproxy.uniandes.edu.co:8443/10.1145/2821592.2821649 [33] Van Krevelen, Rick & Poelman, Ronald. (2010). A Survey of Augmented Reality Technologies, Applications and Limitations. International Journal of Virtual Reality (ISSN 1081-1451). 9. 1. [34] R. Cavallaro. The FoxTrax hockey puck tracking system. IEEE Computer Graphics and Applications, 17 (2):6–12, Mar./Apr. 1997 [35] M. Lombard and T. Ditton. At the Heart of It All: The Concept of Presence. Journal of Computer-Mediated Communication, 3(2):0–0, June 1997. [36] J. Blascovich, J. Loomis, A. C. Beall, K. R. Swinth, C. L. Hoyt, and J. N. Bailenson. Immersive virtual environment technology as a methodological tool for social psychology. Psychological Inquiry, 13(2):103–124, Apr. 2002 [37] Barraza, Camilo (2015): acorde.onl. Proyecto de grado de Ingeniería de Sistemas y Computación. (Dir. Hernández, J. T.). Universidad de los Andes, Bogotá, Colombia.