metodología para evaluación de srsc centrada en el usuario, basada en características de...

cnológico

Centro Nacional de Investigación y Desarrollo Tecnológico

Subdirección Académica

Cuernavaca, Morelos, México. Junio de 2014.

Subsecretaría de Educación Superior Dirección General de Educación Superior Tecnológica

Coordinación Sectorial Académica Dirección de Estudios de Posgrado e Investigación

Departamento de Ciencias Computacionales

TESIS DE MAESTRÍA EN CIENCIAS

Metodología para Evaluación de SRSC Centrada en el Usuario, Basada en Características de Efectividad, Confianza y Satisfacción Mediante

Interfaces Multimodales sobre Dispositivos Móviles Multisensoriales

presentada por

Ing. Julia Yazmín Arana Llanes

como requisito para la obtención del grado de Maestra en Ciencias de la Computación

Director de tesis Dr. Juan Gabriel González Serna

Dedicator ias .

A mis abuelos que han sido un gran ejemplo y pilar en mi vida; sus palabras de aliento siempre presentes durante esta etapa.

A mis padres que me han dado la oportunidad de vivir experiencias maravillosas y siempre me han apoyado y guiado de la mejor manera para lograr mis metas y sueños sin soltarme de la mano.

A toda mi amada familia que siempre ha estado presente impulsando mis sueños, en especial a mis tías Lili y Peque.

A mis hermanas, Marycarmen (Bebe incluído) y Giovanna, que cada día me han demostrado que las cosas grandes y todos los sueños son posibles de alcanzar.

A mi novio y gran amigo Mario que me ha apoyado ayudandome a alcanzar metas y a crear nuevos sueños.

A todos mis amigos y compañeros de CENIDET que siempre han estado ahí en las buenas y en las malas intercambiando experiencias, alegrias y crecimiento. A la gran generación 2012-2014 Juan Carlos e Hiram.

AGRADECIMIENTOS

En primer lugar quiero agradecer al Consejo Nacional de Ciencia y Tecnología (CONACYT) ya que sin el apoyo económico brindado no hubieran sido posibles el desarrollo de esta tesis y una estancia de investigación en el extranjero.

Agradezco también al Centro Nacional de Investigación y Desarrollo Tecnológico (CENIDET) por haberme permitido realizar los estudios de una Maestría en Ciencias. A su personal académico por su gran aporte y experiencias que han influenciado en mi formación académica. Deseo Agradecer también a mi Director de Tesis el Dr. Juan Gabriel González Serna por el tiempo empleado para guiarme y apoyarme durante todo el periodo de mi estancia en CENIDET. A mis revisores el Dr. Máximo López Sánchez, el Dr. Javier Ortiz Hernández y la Dra. Azucena Montes Rendón, quienes me regalaron su tiempo de revisiones, correcciones, consejos y sugerencias acerca del trabajo desarrollado.

A la UNIVERSITY OF CALIFORNIA, Irvine. En especial al Dr. Alfred Kobsa y el estudiante de doctorado Bart Knijnenburg que me ofrecieron una estancia muy provechosa en un ambiente de confianza y lleno de conocimiento. Al Gobierno del Estado de Querétaro y al Gobernador José Calzada Rovirosa, por el apoyo económico brindado para la publicación de un artículo y asistencia al congreso internacional CSCI’14 derivado del trabajo de investigación de esta Tesis.

A todos, !Muchas Gracias!

i

Resumen

En este documento se habla acerca de la importancia de realizar evaluaciones centradas en el usuario para conocer la experiencia de este durante la interacción con un Sistema de Recomendación Sensible al Contexto (SRSC), operado desde un dispositivo móvil multisensorial, considerando que la principal función de un sistema de recomendación es facilitar la toma de decisiones a los usuarios.

Dentro de este documento podemos encontrar la definición de técnicas de evaluación previamente aplicadas por los expertos y los instrumentos que conllevan cada una, así como la adaptación y combinación para la aplicación dentro del estudio de las características de efectividad, confianza y satisfacción percibidas por el usuario en uso de sistemas de recomendación similares a Find-it!1.

Por otra parte, es definido el orden asignado a cada una de las técnicas para lograr la depuración de aspectos negativos encontrados durante la evaluación; siendo posible con esto observar como se realiza el acompañamiento mano a mano de la evaluación con el diseño y desarrollo del SRSC, tomando en cuenta todas las recomendaciones brindadas en cada etapa de la metodología propuesta.

Este trabajo de investigación fué aplicado directamente durante el diseño y desarrollo del sistema Find-it! obteniendo como resultado la corrección de diversos aspectos negativos encontrados que afectaban directamente la experencia de los usuarios.

Algunos de los aspectos encontrados fueron corregidos inmediatamente después de recibir la recomendación logrando una mejoría notoria durante la siguiente etapa de evaluación.

La aplicación de otras de las recomendaciones han quedado pendientes para trabajos futuros en el desarrollo del sistema Find-it!.

1" Find'it!" es" un" Sistema"de" Recomendación" Sensible" al" Contexto" (SRSC)" desarrollado" dentro" del" grupo" de"CARS" (Contex'Aware"Recommender"System)"del"departamento"de"Sistemas"Distribuídos"en"CENIDET."Este"Sistema"de" Recomendación" brinda" recomendaciones" sobre" ítems" encontrados" en" Institutos" de" Educación"Superior"(IES)"basadas"en"el"contexto"del"usuario."

ii

Abstract

This document discusses the importance of user-centered evaluation about the experience during the interaction with a Context-Aware Recommender System (CARS), operated from a multisensory mobile device, considering that the main function of a recommender system is to facilitate the decision-making of the users.

Within this document we can find the definition of evaluation techniques that the experts previously applied and the tools used, as well as the adaptation and combination of this techniques and tools for their application in the study of the characteristics of effectiveness, confidence and satisfaction perceived by the user in the use of similar Recommender Systems to Find-it!2.

Moreover, it is defined the order assigned to each of the techniques to achieve the purification of negatives aspects found during the evaluation; with the application of this evaluation it is possible to see the performed design and the development of the CARS considering all the recommendations provided in each stage of the proposed methodology.

This research was applied directly during the design and development of Find-it!, allowing the corrections of various negatives aspects that affect directly the users experience (UX).

Some of the issues found were corrected immediately after receiving the recommendation of the solution required to the bad aspects, this noticeable improvement has been perceived during the next stage of the evaluation.

The implementation of other recommendations improvement, remain outstanding for future work during the development of Find-it system!.

2" Find'it!" is" a" Context'Aware" Recommender" System" (CARS)" developed" within" the" group" of" CARS" at" the"department"of"Distributed"Systems"at"CENIDET."This"Recommendation"System"provides" recommendations"of"items"found"in"Higher"Education"Institutes"(HEIs)"based"on"the"user's"context."

iii

Contenido

1" Introducción ........................................................................................................................ 2

1.1" Antecedentes .............................................................................................................. 3"

1.2" Planteamiento del Problema ...................................................................................... 5"

1.3" Objetivo ...................................................................................................................... 6"

1.4" Justificación ............................................................................................................... 6"

1.1.1" ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados? ............. 7"

1.5" Beneficios .................................................................................................................. 8"

1.6" Estructura del Documento .......................................................................................... 9"

2" Fundamento Teórico ....................................................................................................... 11"

2.1" Definición de Características a Evaluar ................................................................... 12"

2.2" Tipos de Test ............................................................................................................ 12"

2.3" Test de Evaluación Controlada ................................................................................ 13"

2.4" Test de Evaluación en Campo .................................................................................. 13"

2.5" Test de Evaluación Remota ..................................................................................... 13"

2.6" Tipos de Técnicas e Instrumentos ............................................................................ 13"

2.7" Técnicas de Evaluación Formativa .......................................................................... 14"

2.7.1" Técnica de Evaluación Heurística ..................................................................... 14"

2.7.2" Técnica de Think-Aloud o Pensando en voz alta .............................................. 14"

2.7.3" Técnica de Cognitive Walkthrough ................................................................... 15"

2.7.4" Técnica de Entrevistas ....................................................................................... 16"

2.8" Técnicas de Evaluación Sumativa ........................................................................... 17"

2.8.1" Técnica de Cuestionarios .................................................................................. 17"

2.9" Sistemas de Recomendación .................................................................................... 18"

2.10" Sistemas de Recomendación Sensibles al Contexto (SRSC) ................................... 19"

3" Estado del Arte ............................................................................................................... 22"

3.1" Características a Evaluar: Efectividad, Confianza y Satisfacción ........................... 22"

3.2" A Cross-Cultural User Evaluation of Product Recommender Interfaces (Pu L. C., 2008) ................................................................................................................................. 23"

iv

3.3" Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu, Chen, & Pearl, 2011) ........................................................................................................ 23"

3.4" Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design (Tsoi, 2011) ....................................................................................................................... 24"

3.5" Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking (Seix, 2012) ..... 25"

3.6" Arquitectura para la Evaluación de la Usabilidad de Interfaces Multimodales (Hernández, 2005) ............................................................................................................. 26"

3.7" User Evaluation Framework of Recommender Systems (Chen & Pu, 2010) .......... 27"

3.8" Do We Really Need Traditional Usability Lab for UX Practice? (Sharma, 2013) .. 28"

3.9" Lost in Time: The Meaning of Temporal Aspects in User Experience (Kujala, Vogel, Pohlmeyer, & Obrist, 2013) .................................................................................. 29"

3.10" Analysis in Practical Usability Evaluation: A Survey Study (Følstad, Law, & Hornbæk, 2012) ................................................................................................................ 30"

3.11" Changing Perspectives on Evaluation in HCI: Past, Present, and Future (MacDonald & Atwood, 2013) ......................................................................................... 30"

3.12" State of the Art on the Cognitive Walkthrough Method, Its Variants and Evolutions (Thomas, Mouldi, & Christophe, 2010) ............................................................................ 32"

3.13" Designing and Evaluating Explanations for Recommender Systems (Tintarev & Masthoff, 2011) ................................................................................................................. 32"

3.14" User-Centered Design of a Web Site for Library and Information Science Students: Heuristic Evaluation and Usability Testing (Manzari & Trinidad-Christensen, 2013) .... 33"

3.15" Context Relevance Assessment and Exploitation in Mobile Recommender Systems (Baltrunas, Ludwig, Peer, & Ricci, 2012) ........................................................................ 33"

3.16" Explaining the User Experience of Recommender Systems (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) ................................................................. 34"

3.17" Tabla Comparativa de Trabajos Relacionados ........................................................ 37"

4" Descripción de la Metodología ....................................................................................... 39"

4.1" Describiendo la Metodología ................................................................................... 40"

4.1.1" Etapa1.- Conociendo al Usuario ........................................................................ 40"

4.1.2" Etapa 2.- Aplicación de la Técnica de Evaluación Heurística .......................... 41"

4.1.3" Etapa 3.- Aplicación de la Técnica Think-Aloud .............................................. 42"

4.1.4" Etapa 4.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 43"

4.1.5" Etapa 5.- Aplicación de la Técnica de Walk Through + Think-Aloud ............. 43"

v

4.1.6" Etapa 6.- Aplicación de Recomendaciones en Mejoras al Sistema ................... 45"

4.1.7" Etapa 7.- Aplicación de la Técnica de Cuestionarios ........................................ 45"

4.1.8" Etapa 8.- Aplicación de la Técnica de Entrevista .............................................. 46"

4.2" Metodología Final Propuesta ................................................................................... 46"

5" Implementación de la Metodología ................................................................................ 49"

5.1" Framework de Uso de la Metodología ..................................................................... 50"

5.2" Planeación de Pruebas .............................................................................................. 53"

5.2.1" Evaluación Heurística de Nielsen ..................................................................... 53"

5.2.2" Evaluación Think – Aloud ................................................................................ 54"

5.2.3" Conociendo al Usuario ...................................................................................... 55"

5.2.4" Cognitive Walk Through + Think – Aloud ....................................................... 56"

5.2.5" Cuestionarios ..................................................................................................... 57"

5.2.6" Entrevista ........................................................................................................... 57"

5.3" Aplicación de Evaluaciones ..................................................................................... 58"

5.3.1" Aplicación de la Evaluación Heurística ............................................................ 58"

5.3.2" Aplicación de la Evaluación Think- Aloud ....................................................... 58"


5.3.4" Aplicación de la Evaluación Cognitive Walk Through + Think-Aloud ........... 60"

5.3.5" Aplicación de Cuestionarios .............................................................................. 63"

5.3.6" Aplicación de Entrevista ................................................................................... 64"

6" Pruebas y Resultados ...................................................................................................... 67"

6.1" Evaluación Heurística .............................................................................................. 67"

6.2" Evaluación Think-Aloud .......................................................................................... 68"

6.2.1" Conociendo al usuario ....................................................................................... 68"

6.3" Aplicación y Resultados de Think-Aloud ................................................................ 71"

6.4" Cognitive Walk Through + Think-Aloud ................................................................ 73"

6.5" Cuestionarios ............................................................................................................ 81"

6.5.1" Cuestionario de Entendimiento ......................................................................... 81"

6.5.2" Cuestionario de Esfuerzo Cognitivo Percibido ................................................. 82"

6.5.3" Cuestionario de Confianza ................................................................................ 83"

6.5.4" Cuestionario de Satisfacción ............................................................................. 84"

vi

6.5.5" Cuestionario de Efectividad .............................................................................. 85"

6.5.6" Cuestionario de Calidad Percibida en las Recomendaciones ............................ 86"

6.6" Entrevista ................................................................................................................. 87"

7" Conclusiones ................................................................................................................... 93"

7.1" Conclusiones por Técnica Aplicada ......................................................................... 93"

7.1.1" Evaluación Heurística ....................................................................................... 93"

7.1.2" Evaluación Think-Aloud ................................................................................... 94"


7.1.4" Mejoras al Sistema ............................................................................................ 95"

7.1.5" Evaluación Cognitive Walk Through ................................................................ 95"

7.1.6" Evaluación con Cuestionarios ........................................................................... 95"

7.1.7" Evaluación con Entrevista ................................................................................. 96"

7.2" Conclusión General .................................................................................................. 96"

8" Anexos ............................................................................................................................ 99"

8.1" Plantilla para Reporte de Aspectos de Usabilidad (UAR) ....................................... 99"

8.2" Cuestionario “Conociendo al Usuario” .................................................................. 102"

8.3" Actividades Cognitive Walk Through Descritas ................................................... 104"

8.4" Lista de actividades Cognitive Walk Through ....................................................... 107"

8.5" Preguntas Cognitive Walk Through ....................................................................... 108"

8.6" Cuestionario ........................................................................................................... 109"

8.7" Entrevista ............................................................................................................... 111"

9" Referencias ................................................................................................................... 113"

vii

Índice de Tablas Tabla 3-1Preguntas para medir aspectos subjetivos ............................................................. 28"Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI .................. 31"Tabla 3-3 Preguntas retomadas y adaptadas de (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) ................................................................................................................... 36"Tabla 3-4 Tabla Comparativa de Trabajos relacionados ...................................................... 37"Tabla 5-1 Características de Tablets con sistema Find-it! .................................................... 55"Tabla 5-2 CWT Abrir aplicación .......................................................................................... 60"Tabla 5-3 CWT Registro de usuario ..................................................................................... 60"Tabla 5-4 CWT Inicio de sesión ........................................................................................... 60"Tabla 5-5 CWT Ayuda ......................................................................................................... 61"Tabla 5-6 CWT Más información ........................................................................................ 61"Tabla 5-7 CWT Recomendaciones textuales ........................................................................ 61"Tabla 5-8 CWT Realidad Aumentada .................................................................................. 61"Tabla 5-9 CWT Mapas SVG ................................................................................................ 62"Tabla 5-10 Preguntas de Entrevista ...................................................................................... 65"Tabla 6-1 Resultados evaluación Heurística de Nielsen ...................................................... 68"Tabla 6-2 Resultados de evaluación Think-Aloud ............................................................... 72"Tabla 7-1 Aspectos encontrados y Heurística afectada ........................................................ 93"Tabla 7-2 Aspectos que pudieron evitarse con las recomendaciones basadas en la Heurística de Nielsen. Sección 6.1 ......................................................................................................... 94"Tabla 7-3 Problemas persistentes ......................................................................................... 95"

viii

Índice de Gráficos Gráfico 6-1 Sexo ................................................................................................................... 69"Gráfico 6-2 Edad .................................................................................................................. 69"Gráfico 6-3 Educación .......................................................................................................... 69"Gráfico 6-4 Área de conocimiento ....................................................................................... 69 Gráfico 6‑5 Uso de dispositivos móviles……………………………………………………………..69 Gráfico 6-6 Uso de tablets……………………………………………………………………………….69 Gráfico 6-7 Conoce SR…………………………………………………………………….…………….70 Gráfico 6-8 SR conocidos……………………………………………………………………………….70 Gráfico 6-9 Estudio Científico……………………………………………………………...…………. 70 Gráfico 6-10 Abrir aplicación Find-it! ................................................................................. 73"Gráfico 6-11 Registro de usuario .......................................................................................... 74"Gráfico 6-12 Inicio de sesión ................................................................................................ 75"Gráfico 6-13 Abrir, Leer ayuda y Cerrar ayuda ................................................................... 76"Gráfico 6-14 Visualizar más información ............................................................................ 77"Gráfico 6-15 Recomendaciones textuales ............................................................................ 78"Gráfico 6-16 Realidad aumentada ........................................................................................ 79"Gráfico 6-17 Mapas SVG ..................................................................................................... 80"Gráfico 6-18 Entendimiento ................................................................................................. 81"Gráfico 6-19 Esfuerzo cognitivo .......................................................................................... 82"Gráfico 6-20 Confianza ........................................................................................................ 83"Gráfico 6-21 Satisfacción ..................................................................................................... 84"Gráfico 6-22 Efectividad ...................................................................................................... 85"Gráfico 6-23 Calidad en las recomendaciones ..................................................................... 86"Gráfico 6-24 Funcionalidad .................................................................................................. 87"Gráfico 6-25 Ítems de interés ............................................................................................... 88"Gráfico 6-26 Más información ............................................................................................. 88"Gráfico 6-27 Problemas encontrados ................................................................................... 89"Gráfico 6-28 Recomendación ............................................................................................... 90"Gráfico 6-29 Usuario de Sistema Operativo ......................................................................... 91"Gráfico 7-1 Porcentajes obtenidos ........................................................................................ 96"

ix

Índice de Figuras Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P. Knijnenburg et al. ................................................................................................................... 8"Figura 2-1 Ejemplos de escalas Likert ................................................................................. 17"Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se refiere a la posición de una recomendación) (Tsoi, 2011). .................................................. 24"Figura 3-2 Modelo de continuidad de UX ............................................................................ 30"Figura 3-3 Framework para evaluación centrada en el usuario de SR ................................. 35"Figura 4-1 Conociendo al usuario ........................................................................................ 40"Figura 4-2 Evaluación Heurística ......................................................................................... 42"Figura 4-3 Think-Aloud ........................................................................................................ 43"Figura 4-4 Aplicación de mejoras al sistema ........................................................................ 43"Figura 4-5 Lentes espía SungLasses ..................................................................................... 44"Figura 4-6 Cognitive Walkthrough + Think-Aloud ............................................................. 45"Figura 4-7 Aplicación de mejoras al sistema ........................................................................ 45"Figura 4-8 Cuestionarios ...................................................................................................... 46"Figura 4-9 Entrevista ............................................................................................................ 46"Figura 4-10 Metodología final propuesta ............................................................................. 47"Figura 5-1 Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales ......................................................................... 49"Figura 5-2 ............................................................................................................................. 50"Figura 5-3 ............................................................................................................................. 51"Figura 5-4 ............................................................................................................................. 52"Figura 5-5 Lentes espía SungLasses ..................................................................................... 56"Figura 5-6 Cuestionario Conociendo al usuario ................................................................... 59"

CAPÍTULO I Introducción

Capítulo I. Introducción

2

1 Introducción Actualmente la computación ubicua3 se ha convertido en algo indispensable para la vida diaria de los seres humanos, los dispositivos móviles y sus aplicaciones han pasado a ser parte de las actividades normalmente realizadas, desde el simple entretenimiento, hasta el control de sistemas inteligentes dentro de las empresas o el hogar.

En este documento en particular hablaremos sobre la importancia de conocer la experiencia de los usuarios ante la interacción con un sistema de recomendación manipulado desde un dispositivo móvil; teniendo en cuenta que la función principal de un sistema de recomendación es facilitar el proceso para la toma de decisiones del usuario.

Se ha observado dentro de la literatura, que los estudios acerca de las evaluaciones de sistemas de recomendación en su gran mayoría son basadas únicamente en la evaluación a la calidad de las recomendaciones y el funcionamiento del algoritmo de recomendación utilizado (Salazar G. & Ortega L., 2010), En (HERLOCKER, KONSTAN, TERVEEN, & RIEDL, 2004) por mencionar un ejemplo, son evaluadas las tareas realizadas por el usuario, la calidad de las predicciones en las recomendaciones, los tipos de análisis y bases de datos que se utilizan, dejando de lado la experiencia que el usuario ha tenido al interactuar con el sistema en busca de ayuda para la toma de decisiones.

En el grupo de desarrollo de Context-Aware Recommender Systems, en adelante CARS, dentro del Centro Nacional de Investigación y Desarrollo Tecnológico (CENIDET), se han iniciado investigaciones relacionadas con este tipo de sistemas de recomendación.

Partiendo de diversos estudios ha sido creado un CARS que cuenta con distintas características que lo hace un tanto diferente a lo existente en el mercado, consta de algoritmos de recomendación de ítems heterogéneos, técnicas de explicación acerca de las recomendaciones realizadas, servicios de mapas SVG e interfaces multimodales con realidad aumentada, además de ser creado para el uso exclusivo en dispositivos móviles multisensoriales permitiendo al usuario obtener recomendaciones justo en el momento y lugar donde lo requiere el usuario.

Debido al desarrollo de este CARS actualmente llamado Find-it!, surgió la necesidad de evaluar la experiencia del usuario durante la interacción con el sistema, dando lugar a esta investigación.

3 Se"entiende"en"general"por"computación"ubicua"la"integración"de"la"informática"en"el"entorno"de"la"persona,"de"forma"que"los"ordenadores"no"se"perciban"como"objetos"diferenciados."


3

El objetivo de esta investigación fue la combinación de diferentes técnicas existentes para diseñar una metodología que se aplique en el estudio de las características de efectividad, confianza y satisfacción percibida por los usuarios en el uso de sistemas de recomendación similares.

1.1 Antecedentes La evaluación centrada en el usuario del sistema de recomendación (SR) Find-it!, no ha sido efectuada hasta el momento, por lo cual, no existe un antecedente relacionado con el tema de esta tesis, es por ello que se mencionan como antecedentes los trabajos de tesis que se llevan a cabo y se han realizado entorno al CARS Find-it! los cuales se mencionan a continuación.

Actualmente dentro de CENIDET existe un grupo dedicado al desarrollo de un CARS llamado Find-it!, con el fin de recomendar personas, lugares, actividades, servicios, objetos de conocimiento y cualquier otro elemento relacionado con las instituciones de educación superior. Este proyecto se conforma de distintos bloques y etapas de desarrollo que se describen a continuación:

El primer acercamiento al CARS fue realizado por (González, 2012), en esta tesis se desarrolló un CARS para asociar personas, actividades, servicios, objetos de conocimiento, instalaciones, localización geoespacial y ubicación temporal, de manera que se infieran recomendaciones para un usuario, extrayendo sus atributos de una ontología de perfiles, para asociarlos a los conceptos de una ontología de dominio, de tal manera que se identifiquen y seleccionen los ítems que sean de su interés.

A la par del desarrollo del CARS de (González, 2012)se desarrolló un trabajo de tesis que permitió identificar y ubicar a un usuario dentro del contexto de las instalaciones de una organización, en esta tesis se utilizaron tecnologías como RFID, QRCODE, Wi-Fi y Bluetooth. El objetivo del trabajo de tesis de (Yris P., 2012), fue desarrollar métodos de localización en interiores basados en evaluación de señales electromagnéticas para encapsularlos dentro de clases que a su vez formen librerías de programación API.

Otro elemento clave del sistema Find-it! fue la implementación de la tecnología de Realidad Aumentada, dando al sistema un tipo de interactividad espacial del usuario con el sistema y los puntos de interés que rodean al mismo, siendo estos mostrados en 10 orientaciones distintas, es decir los 8 puntos cardinales más las alineaciones arriba y abajo (Morán, 2012).

La función de esta etapa permite al usuario activo posicionado en un punto cualquiera dentro de las instalaciones de la institución, ubicar los puntos de interés de acuerdo a la dirección de enfoque de la cámara del dispositivo multisensorial, visualizando en la pantalla íconos e información relevante sobre dichos puntos.


4

Siendo los anteriores el comienzo del CARS creado por el grupo de desarrollo de CARS (por sus siglas en inglés Context-Adware Recommender System) de CENIDET se han definido nuevos aspectos a tomar en cuenta para aplicar el Find-it! con los siguientes trabajos:

En primer lugar se desarrolló una arquitectura basada en componentes reutilizables que integra una serie de algoritmos de recomendación y un modelo heurístico que permite seleccionar, en tiempo de ejecución, de un repositorio de algoritmos de recomendación el mejor o los mejores con base en cada una de las clases de un repositorio de ítems heterogéneos tomando el tipo de usuario hacia al que van dirigidas las recomendaciones y el contexto en el que se encuentre, dentro de la tesis desarrollada por (Lozano R., 2012).La integración de este trabajo dentro del CARS permitió la automatización de las recomendaciones de los ítems registrados dentro de la institución que puedan ser recomendados según los parámetros contextuales brindados por el usuario.

Se realizó la tesis por (Galán M., 2014)en la que se desarrolló un repositorio de algoritmos de explicación, para cada uno de estos algoritmos se diseñaron plantillas de texto con campos variables que se complementan automáticamente para generar texto argumentativo para cada clase de ítem contenido en el repositorio heterogéneo organizacional.

Otro trabajo de tesis relacionado es el de (Rodríguez Maldonado, 2014), en el que se desarrolló e implementó una metodología para el desarrollo de aplicaciones multimodales adaptativas aplicadas a CARS, con el fin de adaptar el CARS a un conjunto de interfaces o vistas que presenten y combinen diferentes técnicas de presentación e interacción centradas en el usuario, esta tesis evaluó técnicas de Interacción Humano-Computadora (IHC) y las adaptó a un CARS.

La última de las etapas y la que concierne a esta tesis “Metodología para evaluación de CARS centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, con la que se pretende evaluar tres aspectos que definirán la percepción del usuario ante el CARS, realizando la investigación acerca de las mejores técnicas conocidas para evaluar aspectos subjetivos y transformarlos en aspectos cuantificables para determinar el grado de satisfacción logrado en el usuario, evaluando la conjunción de todas las etapas anteriores. Cabe mencionar que las evaluaciones a sistemas de recomendación actuales caen en la valoración de los algoritmos utilizados para la realización de recomendaciones y no en la percepción del usuario, que al final del proceso es quien toma o no en cuenta la recomendación para su propio beneficio.


5

1.2 Planteamiento del Problema De acuerdo a la revisión de la literatura, los trabajos que se encargan de realizar la evaluación de sistemas de recomendación (SR) se basan en dos paradigmas: evaluación centrada en el algoritmo de recomendación y evaluación centrada en el usuario.

El paradigma predominante es el centrado en el algoritmo de recomendación, donde se supone que a mayor eficiencia del algoritmo, mejor experiencia del usuario. Sin embargo, la evaluación de la eficiencia del algoritmo sólo corresponde a una pequeña fracción de la experiencia del usuario. Bajo este paradigma, no se contemplan características como la confianza que el usuario tiene con respecto a una recomendación, la utilidad de la recomendación, la satisfacción del usuario con el sistema, entre otras. De esta forma, se presenta la falta de evaluación de la retroalimentación del usuario (Alejandres S., 2013)

Por ejemplo, en (Martin, 2009) Strands Inc. presenta una distribución del impacto de los elementos de un SR (base de conocimiento, aplicación de procesamiento del conocimiento, reglas de negocio e interfaz de usuario) sobre su rendimiento general y apreciación de utilidad para el usuario. Inicialmente, el paradigma de evaluación centrado en algoritmos distribuye equitativamente el porcentaje de impacto sobre cada componente (25% para cada aspecto).

Después de un análisis a lo largo de 9 años de desarrollo de productos, se concluye que esta distribución de impacto debe modificarse. Como resultado, se obtiene que el componente con mayor impacto es la interfaz de usuario, ya que de acuerdo a este estudio representa el 50% de la experiencia del usuario sobre el SR, mientras que el algoritmo de recomendación (aplicación de procesamiento de conocimiento) tan solo es relevante en un 5%.

Los trabajos basados en el paradigma centrado en el usuario, que se encargan de evaluar la retroalimentación, representan la minoría en el campo de los SR (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011). Dado que la mayoría de los SR que se utilizan hoy en día pertenecen al dominio del comercio electrónico, los trabajos existentes bajo este paradigma se enfocan en una sola característica de la experiencia del usuario: persuasión (Swearingen & Sinha, 2002) y (Jones & Pu, 2007). Esto se debe a que, dada la naturaleza del SR de comercio electrónico, es necesario persuadir al usuario para que regrese a comprar, observar, descargar los productos que maneja el sistema con el fin de incrementar el beneficio económico. Sin embargo, estos trabajos aún omiten el resto de los aspectos subjetivos de la experiencia del usuario: confianza, satisfacción, efectividad, utilidad, escrutabilidad, eficacia y transparencia.

En este contexto, el problema del presente trabajo de investigación pretende solventar la falta de evaluación en la retroalimentación del usuario mediante la creación de una metodología de evaluación centrada en el usuario.


6

1.3 Objetivo Desarrollar una metodología de evaluación basada en las mejores técnicas existentes, adaptándolas para el caso de estudio Find-it!, estas técnicas serán analizadas y adaptadas según las necesidades propias del estudio, determinando las mayormente funcionales y con resultados exitosos, cabe mencionar que existe la posibilidad del desarrollo de nuevas técnicas que permitan la obtención de resultados más precisos para fines de la investigación.

Al conocer que el CARS Find-it!, cuenta con distintas secciones, perfiles de usuario, interfaces, algoritmos de recomendación y explicación, deberán ser evaluadas cada una de estas intentando determinar, en caso de ser necesario, cuál de ellas es la que causa problemas y reportarlo a los creadores del SRSC (Sistema de recomendación Sensible al Contexto) para ser corregido y así finalmente tener un CARS de total agrado y ayuda para los usuarios finales.

1.4 Justificación La literatura estudiada demuestra que las evaluaciones a Sistemas de Recomendación (SR) centradas en el usuario se basan en una evaluación establecida en el criterio de persuasión y principalmente o en su mayoría a SR destinados al comercio electrónico.

Dada la necesidad de evaluar el Sistema de Recomendación Sensible al Contexto (SRSC) Find-it! elaborado dentro de CENIDET, este trabajo de investigación propone la creación de una metodología para definir un modelo de evaluación centrada en el usuario, enfocada a las características del SRSC Find'it! como lo son, las interfaces multimodales, la valoración del contexto para realizar las recomendaciones y explicaciones, así como la recomendación de ítems heterogéneos sobre los tres criterios definidos como efectividad, confianza y satisfacción.

En lo que compete a esta “Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, permite realizar una evaluación tal, que arroje datos de información totalmente relevante para los desarrolladores del SR. Es necesario mencionar que el SRSC consta de distintos tipos de usuario los cuales deben ser caracterizados o contextualizados antes de realizar la evaluación, predefiniendo que aquellos que compartan el mismo perfil de usuario compartirán también intenciones, necesidades, intereses, entre otros, ante el uso del Find-it! y a pesar de ser usuarios distintos, existirán aspectos en común entre ellos, al compartir ciertas características, logrando así que la evaluación no se limite al estudio de un caso particular, si no que pueda hacer diferencia del comportamiento según el Perfil de Usuario-SRSC.

El llevar a cabo una evaluación implementando la metodología propuesta, permite dar a conocer a los creadores, programadores y diseñadores de los SR y SRSC aquellos puntos


7

débiles que afectan las expectativas de los usuarios durante su uso para así realizar las modificaciones pertinentes y lograr que el sistema sea aceptado en un grado elevado por todos los usuarios que lo utilicen e interactuén con el.

Al mencionar la baja de expectativas del usuario se hace referencia a la falta de efectividad, confianza y/o satisfacción brindada hacia el mismo usuario por parte del uso del SRSC. Cabe mencionar que este trabajo de investigación se basará totalmente en el enfoque centrado en el usuario, para determinar si se cumplen estos tres elementos de usabilidad identificando cuáles son de ayuda para el usuario final.

La creación de esta metodología permitirá definir la estructura de procedimientos que se aplicarán para realizar la evaluación centrada en el usuario, así como el orden y conjunto de herramientas e instrumentos que permitirán obtener información acerca de la experiencia obtenida por cada usuario en la interacción entre el mundo real a través del dispositivo móvil multisensorial y el conjunto de interfaces multimodales del SRSC.

Este trabajo de tesis pretende ir más allá de una evaluación convencional, que como ya se ha mencionado se centran en función del algoritmo de recomendación utilizado, y enfrentarse a las expectativas que tiene el usuario sobre el uso del sistema y las recomendaciones obtenidas así como la experiencia del uso del sistema en un dispositivo móvil multisensorial.

1.1.1 ¿Por Qué la Elección de los 3 Criterios de Evaluación Seleccionados? Particularmente la evaluación de los aspectos de efectividad, confianza y satisfacción han sido elegidos debido al tipo de SRSC (Sistemas de Recomendación Sensibles al Contexto) que se evaluarán con esta metodología y el enfoque que tiene la misma, ya que la literatura nos ha presentado datos como que el componente más relevante es la interfaz de usuario, ya que de acuerdo a (Martin, 2009)representa el 50% de la experiencia del usuario sobre el SR. Por otra parte se ha detectado dentro de la mayor parte de la literatura que las evaluaciones realizadas son enfocadas principalmente al estudio de la métrica de persuasión originado por la naturaleza de los SR, que han sido aplicados a comercio electrónico; haciendo esto la diferencia de lo que se quiere evaluar con la metodología propuesta y lo que es evaluado actualmente.

Es por ello, que esta evaluación se enfoca a los tres criterios mencionados con anterioridad, los cuales se encuentran directamente relacionados con la experiencia del usuario y arrojan información relevante sobre cómo se ha sentido el usuario al interactuar con el SRSC y cuáles son los aspectos que habrá que mejorar y tomar en cuenta para la creación de los mismos. Por otra parte, la literatura se enfoca generalmente a la evaluación de cada aspecto de manera individual, y para este estudio se tomaron en cuenta los tres criterios en forma conjunta.


8

Cabe mencionar que para realizar las pruebas a este trabajo se evaluó un SRSC (Sistema de Recomendación Sensible al Contexto) llamado Find-it!, para poder realizar las mejoras necesarias y que éste tenga el grado de usabilidad necesario para sus usuarios, manteniendo el proceso de mejora continua de su servicio.

1.5 Beneficios Los beneficios que se pretenden lograr con esta tesis son los siguientes. Enfocar la evaluación totalmente a la experiencia del usuario, dándole la importancia que realmente requiere. Como es sabido, los SR son creados para la interacción de los usuarios, brindándoles ayuda en la toma de decisiones, más no para complicar el entendimiento del uso del sistema generando una pérdida de tiempo en el usuario sin obtener buenos resultados. Al evaluar aquellos aspectos que pueden generar frustración en los usuarios durante la interacción con las interfaces del sistema en etapas tempranas del desarrollo del mismo, se puede prevenir la existencia de insatisfacción en el usuario, que el sistema no brinde la confianza requerida para regresar a su uso y la percepcion de inefectividad, situaciones muy comunes en el uso de sistemas computacionales actuales, ya que no es suficiente evaluar el sistema desde el punto de vista del programador debido a que la mayoría de las veces solo se siguen requerimientos técnicos y no de uso real del usuario final.

La creación de la metodología propuesta se ha realizado partir de la investigación previa relacionada a los Frameworks que existen para evaluaciones de SRSC, lo cual proporcionó sensatez y fundamentos para el inicio de este trabajo, intentando mejorar lo ya existente. Por otra parte, la metodología se desarrolló para el caso de estudio del SRSC Find-it!, pero adaptable a otros Sistemas de Recomendación Sensibles al Contexto y a otro tipo de sistemas, sin sufrir de adaptaciones complejas. Como ejemplo se puede observar la Figura 1-1 que muestra el Framework para la evaluación centrada en el usuario de sistemas de recomendación propuesta en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011)

Figura 1-1 Framework for the user-centric evaluation of recommender systems, Bart P. Knijnenburg et al.


9

1.6 Estructura del Documento El presente documento se encuentra organizado en siete capítulos, los cuales describen el trabajo de investigación en sus diversas etapas como se indica a continuación:

En el capítulo II: Fundamento Teórico, se abordan los temas relevantes para la presente investigación.

En el capítulo III: Estado del Arte, se presenta la información obtenida de la investigación sobre los enfoques actuales en la existencia de técnicas de evaluación centradas en el usuario.

En el capítulo IV: Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales

En el capítulo V: Implementación de la Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales, tomando como base las fases presentados en el capítulo anterior.

En el capítulo VI: Pruebas y Resultados, se muestran las pruebas realizadas y los resultados obtenidos. Con la finalidad de brindar resultados confiables, se realizaron pruebas con la metodología definida al SRSC Find-it!.

Finalmente en el capítulo VII, se presentan las conclusiones, se identifican las contribuciones realizadas y los trabajos futuros de la presente investigación.

CAPÍTULO II Fundamento teórico

Capítulo II. Fundamento teórico

11

2 Fundamento Teórico Buscando la elaboración de la metodología que nos permita realizar evaluaciones centradas en el usuario de CARS, se han estudiado distintas técnicas que ayudan a obtener información referente a la percepción del usuario durante la interacción con el sistema.

Se ha encontrado información basada en el comportamiento del usuario ante el modelo de presentación de las recomendaciones en un sistema de recomendación (SR), en el trabajo de (Chen & Tsoi, Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design, 2011), se realizó un estudio relacionado a las decisiones tomadas por los usuarios dentro de un sistema de recomendación influenciadas por el tipo de interfaces en que las recomendaciones son mostradas.

En el trabajo de (Alva Obeso, 2005), se realizó una evaluación centrada en el usuario a sistemas web, con ayuda de instrumentos, como lo son los cuestionarios SUMI, WAMMI y QUIS, que serán retomados y adaptados para el propósito de nuestra investigación.

En la búsqueda del estado del arte sobre evaluaciones a sistemas de recomendación nos hemos encontrado con distintos especialistas en el tema, en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) se propone un framework para realizar evaluaciones centradas en el usuario de sistemas de recomendación, donde expone los 4 pasos principales para realizar evaluaciones centradas en el usuario de sistemas de recomendación.

• Decidir que se evaluará, después asignar aleatoriamente las condiciones a los usuarios.

• Durante la interacción, registrar el comportamiento del usuario. • Después de la interacción, preguntar a los usuarios acerca de su experiencia. • Analizar los datos obtenidos para conocer la influencia de los aspectos del sistema

en la experiencia del usuario.

Por otra parte, se ha encontrado que en la actualidad es difícil de evaluar la usabilidad en dispositivos móviles por las características específicas que estos conllevan, como lo son el tamaño y resolución de la pantalla, la movilidad para la cual han sido creados, la cantidad y tipo de sensores que puedan incluir estos dispositivos.

Se han realizado pocos estudios en usabilidad móvil hasta el momento (Cuadrat Seix, 2012) en “Estudio sobre evaluación de la usabilidad móvil y propuesta de un método para tests de usabilidad cuantitativos basado en técnicas de eye-tracking” presenta soluciones durante la aplicación de evaluaciones en dispositivos móviles utilizando una computadora de escritorio como medio para mostrar la interfaz del dispositivo móvil.


12

Para la elaboración de nuestra metodología se han encontrado distintos instrumentos y técnicas que nos permitirán conocer y obtener datos con cada uno de ellos, sobre la evaluación del CARS Find-it!.

También se ha concluido que cada una de las técnicas debe ser establecida en un tipo de test específico: controlado, en campo o remoto (Cuadrat Seix, 2012), es decir existen distintas etapas durante la evaluación de un sistema computacional ejecutado en dispositivos móviles, de los cuales se obtendrán distintos tipos de datos, formativos o sumativos.

2.1 Definición de Características a Evaluar Partiendo de la definición de usabilidad por el ISO/IEC 9241, se define Usabilidad como la efectividad, eficiencia y satisfacción con la que un producto permite alcanzar objetivos específicos a usuarios específicos en un contexto de uso específico" citado en (Rodríguez, 2008), a continuación se definirán los conceptos a evaluar dentro del desarrollo de esta tesis.

En lo que refiere a la Efectividad se define como la precisión y la plenitud con las que los usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en la medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la disposición del sistema para recordar las funcionalidades y los procedimientos.

Para definir Confianza retomaremos las reglas de oro de usabilidad (UNIVERSIDAD AUTONOMA DE CIUDAD JUAREZ, 2011), donde se menciona que “la confianza es algo que cuesta mucho ganar y se pierde con un mal enlace”. Lo anterior se explica definiendo que no es posible perder ni un solo usuario debido a que algún componente del SR no se encuentre correctamente definido. Es mejor comenzar con componentes sencillos e irlos complicando poco a poco, que especular en que pudiera suceder. También se hace mención de que versiones 1.0 son buenas mientras lo que sea propuesto esté bien asentado y genere confianza. Poco a poco y con el feedback de los usuarios, se podrá ir mejorando. Se menciona que es mejor asegurar el buen funcionamiento antes de arriesgar a una mala experiencia en el usuario.

Con respecto a la Satisfacción debemos definir que este aspecto es de clase subjetiva, ya que se refiere a la opinión que tiene el usuario acerca del uso del sistema, es decir, las reacciones y sentimientos que en la manipulación del mismo puedan generarse.

2.2 Tipos de Test Existen algunas variantes en los test de usabilidad, los test de usabilidad controlados, los test remotos y los test en campo. Los test remotos y los test en campo pueden considerarse una especialización de los test de usabilidad.


13

A continuación se describe cada uno de los tipos de test aplicables a evaluaciones en un dispositivo móvil.

2.3 Test de Evaluación Controlada Este tipo de test se aplica en ambientes controlados y/o dentro de laboratorios, ofrecen la posibilidad de obtener datos tanto cualitativos como cuantitativos. Pero no permiten evaluar la usabilidad en un contexto real de uso del dispositivo móvil.

2.4 Test de Evaluación en Campo En (Cuadrat Seix, 2012) se menciona que la mayoría de las investigaciones realizadas en el tema llegan a la conclusión de que casi en todos los casos de la aplicación de los test en campo se obtienen únicamente datos cualitativos.

También, se concluye que existen problemas directamente relacionados con el dispositivo utilizado, como por ejemplo, falta de visibilidad de la pantalla debido a la exposición a la luz natural o la dificultad de poder manejar con una sola mano el dispositivo.

2.5 Test de Evaluación Remota Este tipo de test es considerado buenos para conocer la satisfacción y las dificultades de uso por parte del usuario final. Evitan la sensación de ser observados teniendo la libertad de desenvolverse en el uso del sistema, ya que en la mayoría de estos test el observador no se encuentra presente.

2.6 Tipos de Técnicas e Instrumentos A continuación se describen las diferencias entre las técnicas analizadas así como a qué tipo de evaluación corresponden, formativa o sumativa.

En (Paramythis, Weibelzahl, & Masthoff, 2010) se define el objetivo de la evaluación formativa como el identificar las deficiencias o errores en un sistema con el fin de mejorarlo y también como medio de orientación en el diseño y desarrollo del sistema. Por otra parte, la evaluación sumativa tiene como objetivo determinar el valor o el impacto de un sistema.

La evaluación formativa va mano a mano con el principio de HCI, con la participación de los usuarios tan pronto como sea posible en el proceso de diseño, y es vital para descubrir qué y cómo mejorar un sistema interactivo. En la siguiente sección se muestra una breve descripción de las técnicas estudiadas.


14

2.7 Técnicas de Evaluación Formativa

2.7.1 Técnica de Evaluación Heurística En (Nielsen & Molich, Heuristic Evaluation of User Interfaces, 1990) se describe la evaluación Heurística como un método informal para realizar análisis de usabilidad, donde una serie de evaluadores visualizan una serie de interfaces diseñadas y se les pide comentar acerca de ellas.

La evaluación Heurística se basa en observar la interfaz y comentar acerca de los aspectos buenos y malos encontrados en ella, estos comentarios son acordes a la existencia de las 10 reglas de usabilidad diseñadas por Jakob Nielsen en (Nielsen, 10 Heuristics for User Interface Design: Article by Jakob Nielsen, 1995), estos aspectos encontrados deben ser reportados dentro de un formato conocido como Usability Aspect Report (UAR).

Instrumentos Necesarios para Realizar una Evaluación Heurística

Dentro de la investigación realizada se encontró un formato utilizado para reportar los problemas identificados en una evaluación heurística.

El usability aspect report (UAR) es un documento donde son descritos los aspectos buenos y malos encontrados en la evaluación Heurística, basados en el conocimiento de la Heurística de usabilidad de Jakob Nielsen, los expertos observan las interfaces y determinan si la interfaz cumple con la heurística, si encuentras aspectos buenos deben describir cuáles son y porqué son buenos y deben permanecer, en caso contrario además de explicar cuáles son los aspectos que no cumplen la heurística, en qué escala y cómo el diseñador o desarrollador pudiera resolverlos (Myers & Jhon).

2.7.2 Técnica de Think-Aloud o Pensando en voz alta Esta técnica es usada para obtener datos para una evaluación formativa, Jakob Nielsen menciona que el Thinking-Aloud es la herramienta #1 dentro de la evaluación de usabilidad.

Esta técnica se describe en (Nielsen, Usability Engineering, 1993) como “En un test de think-aloud se pide al usuario que utilice el sistema mientras habla en voz alta continuamente, esto es, simple verbalización de sus pensamientos mientras navega por la interfaz del sistema”.

Instrumentos Necesarios para Realizar una Evaluación Think-Aloud

Para el caso del reporte de Think-Aloud los aspectos descritos son comentados dentro del formato UAR; la diferencia reside en que se debe identificar al formato con las iniciales “TA” mientras que para la evaluación Heurística debe ser con “HE”.


15

Para esta técnica dentro del reporte UAR son descritos los aspectos encontrados dentro de los comentarios de los usuarios mientras se ha dado la interacción con el sistema durante la evaluación.

2.7.3 Técnica de Cognitive Walkthrough El Cognitive Walkthrough o recorrido cognitivo ha sido desarrollado como una técnica adicional dentro la ingeniería de usabilidad, esto con el fin de dar al equipo de evaluación la oportunidad de evaluar mockups (“bocetos”) en etapas tempranas y de diseño rápido. Para esta técnica no se requiere un prototipo funcional por lo tanto ayuda a identificar problemas ligados con la interacción con el sistema (Rieman, Franzke, & Redmiles, 1995).

En (Jacobsen & John, 2000) es mencionado que el Cognitive Walkthrough consiste en dos fases: Preparación y Ejecución.

Dentro de la etapa de preparación el analista debe seleccionar las tareas que serán usadas durante la evaluación, así como definir el conocimiento, experiencia y habilidades que se espera que tenga el usuario que desarrollará la tarea. Para cada tarea se debe especificar la forma correcta de realizar la tarea y el feedback que brinda el sistema tras realizar la tarea.

En la etapa de ejecución el evaluador debe examinar de manera cercana la secuencia de desarrollo de la tarea y contestar las 4 preguntas siguientes:

• ¿El usuario trató de lograr el efecto deseado? • ¿El usuario notó que la acción se encontraba disponible? • ¿El usuario asoció correctamente la acción con el efecto que intentaba obtener? • Si se realiza la acción correcta, ¿el usuario puede ver que se está avanzando hacia la

solución de la tarea? (Wharton et al., 1994, p. 112)

Instrumentos Necesarios para Realizar una Evaluación Cognitive Walkthrough

El instrumento para esta técnica es un reporte a base de 4 preguntas que deben ser respondidas con un “Si” o un “No” y de la descripción de lo sucedido, ya sea un caso de éxito o sucedido durante la interacción usuario-interface al intentar realizar la tarea solicitada.

Cuando todas las preguntas han sido respondidas con historias de éxito, se considera que el usuario no tuvo ninguna dificultad para completar las acciones o tareas indicadas. Por otro lado, si para cualquiera de las preguntas la respuesta del evaluador es negativa, además de una descripción de la etapa de fracaso al intentar realizar la tarea, es razón para indicar que un problema ha sido identificado (Jacobsen & John, 2000).


16

2.7.4 Técnica de Entrevistas En el libro “Usability Engineering” de Jakob Nielsen (Nielsen, Usability Engineering, 1993), se dice que las entrevistas son usadas correctamente para estudios exploratorios donde aún no se sabe qué es lo que se busca.

Las entrevistas son desarrolladas de forma tal que el entrevistador lee las preguntas al entrevistado, el entrevistado responde las preguntas y el entrevistador registra las respuestas.

Nielsen menciona que las entrevistas tienen la ventaja de ser flexibles, debido a que el entrevistador puede explicar las preguntas difíciles que no han sido entendidas o que han generado dudas en el entrevistado, por otra parte, la entrevista puede ser adaptada según la situación que se está desarrollando.

Las entrevistas incluyen muchas preguntas abiertas y cerradas donde los usuarios son animados a explicar a profundidad sus respuestas.

Con las preguntas abiertas es recomendable pedirle al usuario los incidentes existentes en el uso del sistema (Nielsen, Usability Engineering, 1993).

Por otra parte, Nielsen dice “Para diseñar una interfaz fácil de usar, se debe prestar atención a lo que los usuarios hacen, no a lo que los usuarios dicen. Los reportes previos al uso no son confiables, ya que el usuario comienza a especular en las acciones que se pueden realizar durante la interacción.”, entonces ¿Cuándo es preferible recolectar datos brindados por el usuario?, la respuesta es que sólo después de que el usuario haya usado el diseño y después haber tenido una experiencia real que dé fundamento a sus comentarios (Nielsen, First Rule of Usability? Don't Listen to Users, 2001).

Instrumentos Necesarios para Realizar una Evaluación de Entrevistas

Para esta técnica son necesarios los formatos con las preguntas a realizar que se aplicarán a los usuarios durante la entrevista.

Es importante definir que es lo que se quiere obtener realmente de la experiencia del usuario a través de las entrevistas; las preguntas deben ser escritas en una forma simple, de tal manera que el usuario las comprenda.

Por ninguna razón se debe intentar influir en las respuestas del usuario, esto solo afectará los resultados finales.


17

2.8 Técnicas de Evaluación Sumativa

2.8.1 Técnica de Cuestionarios Dentro de los cuestionarios existen preguntas de tipo abierto en donde los usuarios son invitados a responder con sus propias palabras, pero a menudo los usuarios no se molestan en hacerlo.

Por lo tanto, los cuestionarios son basados, en gran medida, en preguntas cerradas, donde los usuarios tienen que suministrar un solo hecho (como el número de horas trabajadas con el sistema a la semana), algunas listas de verificación (como indicación de los tipos de tareas que cada usuario realiza con el sistema) o el expresar su opinión en una escala de calificación.

Las escalas de calificación, conocidas como escalas Likert, son normalmente usadas para preguntar a los usuarios qué tanto les gustan algunos aspectos del sistema o qué tan usables encuentran las distintas características del sistema (Nielsen, Usability Engineering, 1993).

Es importante destacar que para esta técnica es necesario determinar qué preguntas son realmente relevantes y en qué grado las respuestas harán una diferencia en el desarrollo del proyecto.

Instrumentos Necesarios para Realizar una Evaluación Basada en Cuestionarios

Los instrumentos que esta técnica ocupa, son cuestionarios para solicitar a los usuarios sus respuestas con relación a la experiencia que tuvieron en el uso o interacción con el sistema.

Dentro de [ (Chin, Diehl, & Norman, 1988) citado en (Nielsen, Usability Engineering, 1993)] se hace mención de que los cuestionarios para la medición de la satisfacción del usuario “pueden ser muy sofisticados, tal es el caso del método QUIS (Questionnaire for User Interface Satisfaction)”, también se hace mención de la importancia de determinar las preguntas que realmente sean relevantes para el estudio de experiencia del usuario. Para que los cuestionarios puedan arrojar datos estadísticos, las preguntas deben ser de tipo cerrado, es decir, brindando una serie de opciones posibles donde únicamente se elija una de ellas; para evaluar estas respuestas es necesario solicitar al usuario que responda con ayuda de alguna escala Likert de 5, 7 o 10 valores. Estas escalas son determinadas con valores como los ejemplos presentados en la Figura 2-1:

Figura 2-1 Ejemplos de escalas Likert


18

Cabe mencionar que en la actualidad existen algunos cuestionarios elaborados para realizar evaluaciones centradas en el usuario con el fin de determinar la satisfacción de los usuarios en el uso de sistemas computacionales. Los cuestionarios que se han tomado en cuenta dentro de este trabajo son SUMI, WAMMI y QUIS.

A continuación se describen brevemente cada uno de los cuestionarios mencionados.

2.8.1.1 Cuestionario SUMI El cuestionario SUMI es un cuestionario pre-elaborado utilizado para medir la satisfacción y valorar la percepción del usuario de la calidad del software. Este cuestionario esta realizado tomando en cuenta los estándares ISO 9241-10 dialogue principles y el ISO 9126 Software product evaluation (Kirakowski).

2.8.1.2 Cuestionario QUIS El QUIS es un cuestionario cuyo objetivo es medir el grado de satisfacción de los usuarios en relación con la usabilidad de sistemas informáticos. Trata de obtener información acerca de la percepción que los usuarios tienen de la usabilidad de la interfaz (Human-Computer Interaction Lab (HCIL) at the University of Maryland at College Park).

2.8.1.3 Cuestionario WAMMI WAMMI significa Website Analysis and Measurement Inventory (Análisis de Sitio Web e Inventario de medición). Se basa en la experiencia adquirida en la evaluación de software para los estándares de usabilidad y software internacional. (Claridge & Kirakowski)

Para ayudar a lograr sus objetivos, WAMMI:

• Mide la experiencia web del usuario en función de las reacciones de los visitantes. • Los puntos de referencia de su sitio web con respecto a otros sitios web en nuestra

base de datos estandarizada internacional. • Genera datos objetivos para su gestión en un informe digital de fácil lectura. • Los análisis cualitativos comentarios y reacciones hacia su página web los

visitantes. • Interpreta los datos cuantitativos y cualitativos para determinar lo que debe mejorar

y cuánto invertir.

2.9 Sistemas de Recomendación Los sistemas de recomendación (SR) son herramientas de software que proveen un mecanismo útil para sugerir ítems que son de interés para el usuario (Burke, Hybrid web recommender systems, 2007) (Mahmood & Ricci, 2009) (Resnik & Varian, 1997). Estas recomendaciones se relacionan con varios procesos para la toma de decisiones como: ¿qué ítems comprar?, ¿qué música escuchar? o ¿qué noticias leer? Ítem, es el termino general utilizado para nombrar los elementos que el sistema recomienda al usuario.


19

Generalmente, un SR se enfoca a un determinado tipo de ítem (música, películas, noticias, etc.) y, de acuerdo al diseño del mismo, la interfaz de usuario y la técnica de recomendación utilizada para la emisión de recomendaciones se personalizan para ofrecer recomendaciones útiles y efectivas para cada tipo de ítem.

En (Rodríguez Maldonado, 2014) se menciona que las recomendaciones se ofrecen normalmente como una lista ordenada de ítems, también conocida como ranking. Cada ítem dentro de la lista obtiene una valoración o rating de acuerdo a la técnica utilizada por el recomendador. La asignación del rating es un proceso en el cual el SR trata de predecir cuales son los elementos más adecuados con base en las preferencias y restricciones del usuario. Con este fin, el SR recolecta las preferencias de los usuarios de manera explícita, como valoraciones de productos, o implícita, mediante el análisis de las acciones del usuario. Por ejemplo, un SR puede considerar el tiempo que un usuario permanece visualizando la descripción de un ítem, interpretando este tiempo como una señal implícita de preferencia o rechazo hacia el ítem descrito.

Los SR son subconjunto de los sistemas expertos, por lo que heredan sus características y componentes básicos. De esta forma, un SR se compone de cinco elementos:

• Base de conocimientos (Knowledge base): Conocimiento extraído del diálogo con un experto.

• Base de hechos: Información explícita sobre una entidad o problema que se ha descubierto durante el análisis.

• Motor de inferencia: Modela el proceso de razonamiento humano. • Módulos de argumentación: Explica el razonamiento utilizado por el sistema para

llegar a una determinada conclusión. • Interfaz de usuario: Interacción entre el SR y el usuario.

2.10 Sistemas de Recomendación Sensibles al Contexto (SRSC) Dentro de (Galán M., 2014) se menciona que los sistemas de recomendación semánticos basan su proceso de recomendación sobre una base de hechos, normalmente definida a través de un esquema de conceptos (como una taxonomía o un tesauro) o una ontología, y además, para ser considerados como adaptables al contexto, este tipo de sistemas deben tomar en consideración diferentes factores (temporales, de lugar, nivel de experiencia del usuario, dispositivo que se está utilizando en el momento de recibir la recomendación, etc.) para inferir el contexto en que se encuentra el usuario y adaptar las recomendaciones a esas circunstancias, facilitando el acceso de los usuarios a la información que necesitan (Peis, Morales del Catillo, & Delgado Lopez, 2008).

Para realizar este proceso de inferencia, las técnicas utilizadas por los SRSC usan lo que en (Burke, «Hybrid Recommender Systems: Survey and Experiments,» User Modeling and User-Adapted Interaction, 2002) se considera conocimiento funcional, es decir, se tiene


20

conocimiento acerca de cómo un elemento en particular responde a una necesidad particular del usuario, y por lo tanto, se puede razonar sobre la relación entre una necesidad y una posible recomendación.

En un sistema de recomendación, el contexto del usuario puede tomar diversas acepciones como la localización del usuario, identidad de las personas y objetos alrededor del usuario (Theimer & Schilit, 1994), fecha, estación del año, temperatura (Brown, Bovey, & Chen, 1997), información que puede caracterizar la interacción entre un usuario y una aplicación (Dey, Abowd, & Salber, 2001) o bien el nivel de experiencia del usuario, dispositivos utilizados y sus características (Peis, Morales del Catillo, & Delgado Lopez, 2008).

En un sistema de recomendación la información que puede obtenerse de las acciones del usuario puede ser explícita o implícita. La información explicita hace referencia a la información que el usuario proporciona de forma directa como votar o contestar una pregunta y la información implícita es aquella que se obtiene del usuario de forma indirecta a través de la interacción del usuario con un objeto (Ferran & Minguillon, 2005), por ejemplo, cuando el usuario visita una página el SR puede obtener información sobre qué ítems o enlaces ha visitado y cuáles no, durante cuánto tiempo, además de que puede comparar esa información con el resto de la información obtenida de los diferentes usuarios. Por otra parte, considerando la información contextual se puede obtener información adicional como la disponibilidad de algún ítem con respecto al horario, los ítems a recomendar dependiendo al tipo de usuario, etc.

La inclusión del contexto permite mejorar la calidad de las recomendaciones entregadas al usuario (Adomavicius & Tuzhilin, 2011) ya que se realiza una ponderación del contexto específico en el cual, se encuentra inmerso el usuario y a partir de la información contextual es posible descubrir información implícita no contenida en un perfil de usuario.

CAPÍTULO III Estado de arte

Capítulo III. Trabajos relacionados

22

3 Estado del Arte La recopilación de los trabajos documentados para el desarrollo de la tesis: “Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales”, se ha basado a partir de la investigación de técnicas para realizar interfaces para la presentación de ítems recomendados dentro de un Sistema de Recomendación (SR), esto con el fin de obtener el conocimiento de las mejores técnicas existentes para presentar la información. Una vez teniendo como base el conocimiento obtenido es posible observar las interfaces de usuario e interactuar con el SR por primera ocasión para fines de este trabajo intentando predecir los resultados que se obtendrán sobre las ventajas o deficiencias del diseño establecido dentro del SRSC a evaluar y sobre qué fortalezas del diseño será necesario recomendar que no se aplique ningún cambio.

3.1 Características a Evaluar: Efectividad, Confianza y Satisfacción

Resumen

Dentro de (Barros, 2008), Efectividad se define como la precisión y la plenitud con las que los usuarios alcanzan los objetivos especificados, se asocia a la facilidad de aprendizaje en la medida en que ésta sea lo más amplia y profunda posible, al control de errores y a la disposición del sistema para recordar las funcionalidades y los procedimientos.

Para definir Confianza, en (Corritore, Kracher, & Wiedenbeck, 2003) se identifican tres factores perceptivos que repercuten en la Confianza del usuario en los sistemas On-line: la percepción de la credibilidad, la facilidad de uso y el riesgo. También se menciona que la confianza On-line puede surgir en numerosas relaciones fideicomitente / fideicomisario. Sin embargo, no es obvio que todas las formas de relaciones de confianza en línea se puede entender a través de una definición. Por lo tanto, restringen la definición de la confianza On-line a una forma de relación, es decir, la confianza que se produce por una persona individual hacia un sitio web transaccional o informativo específico.

En (Barros, 2008) se hace mención de que por satisfacción, siendo esta un factor de naturaleza subjetivo, se entiende la ausencia de incomodidad y la actitud positiva en el uso del producto, se valoriza el concepto de calidad en el uso en tanto que se refiere a cómo el usuario realiza tareas específicas en escenarios específicos con efectividad.

Similitud De estos trabajos han sido tomadas las definiciones de cada una de las características que se han de tomar en cuenta durante la aplicación de la evaluacion. En la sección 1.4.1 se define la razón por la cual se han elegido estas tres características para realizar la evaluación.


23

3.2 A Cross-Cultural User Evaluation of Product Recommender Interfaces (Pu L. C., 2008)

Resumen Este documento plasma un estudio realizado para determinar si la diferencia cultural de las personas puede influir en cómo perciben los usuarios al sistema, proponiendo 2 tipos de presentación de ítems, organizado y en lista, así como qué tanto es de su agrado.

Esta publicación habla sobre sistemas de recomendación de e-commerce y principalmente evalúa cómo reaccionan los usuarios sobre la muestra de recomendaciones.

Al final del trabajo se concluye que la presentación de ítems no causa diferencia de acuerdo a los aspectos culturales.

Similitud Este trabajo se ha tomado en cuenta para conocer que tipo de aspectos es necesario evaluar, así como para intentar predecir la reacción de los usuarios en cuanto a los diferentes perfiles existentes dentro del sistema Find-it!. Por medio de este trabajo, se pudo conocer que este tipo de organización de ítems no causa mayor impacto nos cuestionamos si influye de la misma manera dentro de Find-it!, ya que los ítems mostrados son de tipo heterogéneo, es decir, no son de la misma clase, se recomiendan ítems del tipo persona, objetos de conocimiento, edificios, puntos de interés, actividades, etc. lo que pudiera modificar totalmente la conclusión del trabajo previo y por lo cual consideraremos estos aspectos utilizando una clasificación de usuarios similar a la de la publicación.

3.3 Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces (Pu, Chen, & Pearl, 2011)

Resumen En este trabajo se presenta un análisis acerca del patrón visual de los usuarios dentro de los sistemas de recomendación, el estudio se realizó en 3 diferentes tipos de organización de ítems recomendados, LIST, ORG-V y ORG-Q. También muestra un estudio Hotspot sobre los 3 tipos de organización con el fin de descubrir desde cuál de ellas el campo visual del usuario es más amplio pudiendo visualizar mayor cantidad de ítems recomendados.

Similitud Este trabajo es tomado como referencia al igual que el artículo “A Cross-Cultural User Evaluation of Product Recommender Interfaces”, para conocer aspectos relacionados con la posible reacción de los usuarios y para extraer criterios de evaluación que pudieran afectar la experiencia del usuario al usar el sistema de recomendación Find-it!. Por otra parte, cabe mencionar que esta tesis se desarrolló a la par de la tesis “Interfaz Multimodal para Dispositivos Móviles Multisensoriales aplicada en Sistemas de Recomendación Semánticos


24

Sensibles al Contexto”, donde se desarrollaron las interfaces de usuario para el SRSC en cuestión, por tal motivo este tipo de artículos ayudaron en las dos tesis para comprender las necesidades visuales del usuario e intentar predecir la reacción del usuario.

3.4 Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design (Tsoi, 2011)

Resumen En este artículo se realizó un estudio sobre la influencia de la interfaz en el comportamiento de decisión de los usuarios dentro del sistema de recomendación. Dicho análisis se realizó con respecto a 3 tipos de presentaciones visuales de los ítems mostrados, estas formas son list, grid y pie, Figura 3-1.

Figura 3-1 Tres esquemas de trazado para la interfaz de recomendación (el número se refiere a la posición de una

recomendación) (Tsoi, 2011).

Dentro del documento de (Tsoi, 2011) se concluye que el usuario interactúa de manera más amplia con el sistema al mostrarse los ítems en forma de pie (Figura 3-1 c.Pie), a diferencia de La forma de List y Grid (Figura 3-1 a.List y b.Grid).

Similitud Para esta tesis el documento al igual que los dos antes mencionados dentro del estado del arte, proporcionan idea de la reacción del usuario ante distintas técnicas visuales.

Con este tipo de artículos se pretende adaptar la evaluación a la efectividad, confianza y satisfacción del usuario con respecto a las interfaces mostradas en el sistema.


25

3.5 Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eye-tracking (Seix, 2012)

Resumen

En este artículo se presentan los resultados de la investigación de evaluación de sistemas dentro de dispositivos móviles, en particular con la técnica eye-tracking. En este trabajo se describen algunos problemas existentes en el uso de dispositivos móviles como lo son la conectividad, el tamaño de pantalla, el brillo de pantalla en contraste con la luz natural, entre otros, lo cual genera problemas para realizar una evaluación con estos dispositivos.

Por otra parte, hace mención del tipo de test aplicables y en qué situaciones existe la posibilidad de ser aplicados. Además de la técnica para realizar la evaluación descrita en este trabajo, hacen mención de otras maneras en que los expertos han intentado llevar a cabo este tipo de evaluaciones, cabe mencionar que todas las técnicas mencionadas son a través de computadoras de escritorio simulando el dispositivo móvil.

También se hace mención de algunos dispositivos mecánicos para adaptar al dispositivo móvil una serie de cámaras que permitan filmar el rostro del usuario y la interacción dentro del dispositivo.

Similitud En esta tesis se desarrolló una metodología de evaluación centrada en el usuario aplicada sobre dispositivos móviles, hay coincidencias con algunos de los puntos mencionados en este trabajo, como el hecho de ciertas limitantes existentes al realizar la evaluación en campo y no en un ambiente controlado.

Por otro lado, retomamos la definición del tipo de test aplicables (Controlado, Remoto y en Campo). Concluimos que la forma en la que es resuelto el problema dentro de este estudio no compensa una evaluación en campo con usuarios reales; es por ello que en esta tesis a diferencia de este trabajo, se propone el uso de dispositivos externos, que permitan capturar información durante la interacción usuario-interfaz por medio de la grabación de video y análisis del mismo.

Aunque se considera esfuerzo extra, tanto económico como el tipo de análisis posterior a la captura del video, consideramos que es necesario afrontarlo ya que lo que se busca es realizar una evaluación “centrada en el usuario” donde es necesario conocer la percepción del usuario en un uso del Sistema de Recomendación analizado, y la dependencia del “contexto” para la generación de recomendaciones y funcionamiento del sistema. Es por ello que se descarta llevar a cabo la evaluación como es propuesta dentro de este trabajo.


26

3.6 Arquitectura para la Evaluación de la Usabilidad de Interfaces Multimodales (Hernández, 2005)

Resumen

Este trabajo describe la arquitectura diseñada para realizar evaluaciones a interfaces multimodales. Presenta los beneficios que las interfaces multimodales puedan brindar al sistema que las implementa y cómo este tipo de interfaces son divididas en los tres niveles de gestión de la interacción, de dificultad creciente según el consorcio W3C:

• Multimodalidad secuencial: en cada interacción solo es posible un modo. • Multimodalidad simultánea no-coordinada: contempla la activación de más de una

modalidad por interacción pero con un procesado independiente de las mismas. • Multimodalidad simultánea coordinada: ésta contempla la activación simultánea de

varios modos y un procesado complementario de la información provenientes de estos modos.

También menciona la ayuda que puede ser brindada por parte de la multimodalilad en la recuperación de errores como:

• Los usuarios seleccionan el modo o modos de interacción que juzgan más robustos

para sus características o entornos de operación. • Como resultado de lo anterior los usuarios hacen uso de un lenguaje de interacción

más simple. • Los usuarios tienden a cambiar de modalidad ante la presencia de errores. • El grado de frustración frente a errores es inferior en interfaces multimodales que en

unimodales incluso para niveles de precisión iguales.

En relación con la colecta de datos para estudios de evaluación, se hace mención del uso de escalas Likert de 7 valores para ser calificadas por parte de los usuarios realizando preguntas relacionadas con el uso de las interfaces multimodales y el uso del método de Test exactos de Fisher4.

Similitud En relación a esta tesis de evaluación el documento nos ha ayudado a definir las interfaces multimodales, dejando abierta la posibilidad de incluir un cuestionario en relación a la percepción a este tipo de interfaces. 4"El"test"exacto"de"Fisher"permite"analizar"si"dos"variables"dicotómicas"están"asociadas"cuando"la"muestra"a"estudiar"es"demasiado"pequeña"y"no"se"cumplen"las"condiciones"necesarias"para"que"la"aplicación"del"test"χ2"sea"adecuada"(Pértega Díaz & Pita Fernández)"


27

3.7 User Evaluation Framework of Recommender Systems (Chen & Pu, 2010)

Resumen En este documento se realiza la exploración de la evaluación de sistemas de recomendación.

Dentro de este estudio se propone un framework para la evaluación de sistemas de recomendación basado en la medición de características como: precisión de las recomendaciones, esfuerzo cognitivo aplicado por el usuario y confianza percibida.

Dentro de este documento se hace mención de los cuestionarios que se desarrollaron para la medición de estas características en su framework.

Similitud

De este documento hemos retomado algunas de las preguntas aplicadas en relación con el esfuerzo cognitivo aplicado por el usuario. En la tabla 3-1 se muestran las preguntas utilizadas dentro del artículo “User Evaluation Framework of Recommender Systems”.

Magnitud de Medición

Preguntas respondidas dentro de una escala Likert con 5 valores desde "muy en desacuerdo" a "totalmente de acuerdo"

Percepciones subjetivas de las características del diseño del sistema

Transparencia Entiendo por qué los productos son

devueltos a través de las explicaciones de la interfaz.

Calidad de Recomendaciones Esta interfaz me dio algunas buenas recomendaciones.

Control de Usuario Me siento en control de especificar

y modificar mis preferencias en la interfaz.

Percepción general de lo competente del sistema

Facilidad de Uso Percibida Encuentro esta interfaz fácil de usar.

Utilidad Percibida

Esta interfaz es competente para ayudarme a encontrar efectivamente los productos que realmente me gustan.

Me parece que esta interfaz es útil para mejorar mis compras.

Disfrute Encontré agradable la visita a esta interfaz.

Confianza de Decisión Confío en que el producto que acabo de adquirir es realmente la mejor


28

opción para mí. Esfuerzo Percibido Encontré fácilmente la

información que buscaba. Buscar un artículo usando esta

interfaz requiere demasiado esfuerzo (escala inversa).

Integridad

Confianza en las Recomendaciones

Siento que esta interfaz es digna de confianza.

Confío en que los productos recomendados son consistentes con mis preferencias.

Satisfacción Mi total satisfacción con la interfaz es alta.

Confiabilidad de las actividades a realizar

Intención de Compra Me gustaría comprar el producto

que acabo de elegir si tuviera la oportunidad.

Intención de Devolución

Si tuviera que buscar por un producto online en el futuro y una interfaz como esta estuviera disponible, me encantaría usarla.

No me gusta esta interfaz, no la usaría de Nuevo (escala inversa).

Intención de Ahorrar Esfuerzo en la Próxima Visita

Si tuviera oportunidad de usar esta interfaz de nuevo, es probable que hiciera mi elección más rápido.

Tabla 3-1Preguntas para medir aspectos subjetivos

3.8 Do We Really Need Traditional Usability Lab for UX Practice? (Sharma, 2013)

Resumen

En este documento se hace referencia a la necesidad de un laboratorio para la evaluación de UX (user experience) y de usabilidad. Se comenta que alrededor del mundo muchas empresas se jactan de tener laboratorios de usabilidad y experiencia del usuario, aunque estos laboratorios normalmente son subutilizados, generando un gran costo de mantenimiento de los laboratorios comparado con las evaluaciones que realizan.

Este documento analiza los diversos aspectos y modelos de negocio que pueden ayudar a una empresa a decidir si va a poner en marcha un laboratorio de usabilidad o no, y lo que puede ser un modelo ideal para sostenerlo.


29

Se menciona también que en ausencia de laboratorio de usabilidad, los diseñadores y especialistas en usabilidad comienzan a creer que saben todo lo que hace falta durante un desarrollo, esto les da confianza y, a veces el exceso de confianza puede llegar a obstruir la solución para satisfacer las necesidades de los usuarios finales. Los diseños producidos fuera del proceso de UCD (user centered design), normalmente rápidos y sucios, pueden verse bien pero pueden no ser eficaces cuando se trata de la intuición y facilidad de uso. También se hace comparación de algunas técnicas de evaluación de UX y usabilidad, así como los costos que pudieran implicar.

Similitud De este documento se identificaron algunas de definiciones de UX, de usabilidad y de cómo diferenciarlas. Permitió también identificar la importancia de la elaboración de evaluaciones de usabilidad y de experiencia del usuario. Aunque este documento habla de laboratorios de usabilidad y de experiencia del usuario, se encontraron técnicas e instrumentos que no requieren de un laboratorio para ser aplicadas, además de la propuesta de utilizar algunos dispositivos que pueden ayudar a recolectar información necesaria para las evaluaciones que se pretende desarrollar en esta tesis.

3.9 Lost in Time: The Meaning of Temporal Aspects in User Experience (Kujala, Vogel, Pohlmeyer, & Obrist, 2013)

Resumen En este trabajo es evaluada la UX (user experience) en base al tiempo de

aprendizaje del usuario que se puede requerir para el sistema evaluado, así como si el sistema implica mayor esfuerzo para el recuerdo y cómo se ve afectada la satisfacción del mismo.

También se hace mención del ciclo de UX (user experience) en donde se menciona que “La experiencia del usuario seguirá, siempre y cuando recuerde la última experiencia adquirida”.

En la figura 3-2 se muestra el Modelo de continuidad de UX propuesto en (Kujala, Vogel, Pohlmeyer, & Obrist, 2013)


30

Figura 3-2 Modelo de continuidad de UX Similitud

Este trabajo describe cómo influye el tiempo de aprendizaje del sistema en aspectos de UX (user experience), y cómo puede afectar el que el sistema sea nuevamente utilizado o recomendado a otros. El modelo de continuidad de UX (user experience), que presenta redefine la importancia de la experiencia previa del usuario durante la interacción actual.

3.10 Analysis in Practical Usability Evaluation: A Survey Study (Følstad, Law, & Hornbæk, 2012)

Resumen

Este documento presenta un estudio de los tipos evaluación ya sea de análisis o estadística. Por otra parte, el tipo de evaluación que realizan se hace por medio de cuestionarios con escalas Likert. En este trabajo se presenta un análisis de expertos de usabilidad, se analiza el comportamiento en la última evaluación de usabilidad realizada. Se presentan los datos sobre cómo es apoyado el análisis, cómo se identifican los problemas de usabilidad, y cómo se integran la evaluación y rediseño.

Similitud Dentro del estudio en este documento se identificaron algunas de las técnicas más utilizadas, además de conocer la forma en la que llevaron acabo el estudio por medio de cuestionarios. Cabe mencionar que dentro de nuestra metodología se utiliza la técnica de cuestionarios para obtener la evaluación sumativa.

3.11 Changing Perspectives on Evaluation in HCI: Past, Present, and Future (MacDonald & Atwood, 2013)

Resumen

Este trabajo explica cómo la evaluación en Human Computer Interaction (HCI) ha ido evolucionando a través de los tiempos. También mencionan aspectos relacionados con líneas de investigación que marcarán el futuro de la evaluación.


31

En la tabla 3-2 se aborda la situación actual de la evaluación de HCI mediante las categorías: métodos de prueba de usuario, métodos de control y métodos de campo.

Prueba de usuario Métodos de control Métodos de campo Think Aloud Evaluación Heurística Observaciones de

Comportamiento Evaluación de Post Uso Con Cuestionarios de

Usabilidad Tutoriales Log Analysis

Eye- Tracking

Cognitive Walkthrough Feedback de los Usuarios

Mouse-Tracking

Respuestas Emocionales

Entrevistas

Cuestionarios de Post Uso sobre las Características

Más Populares como, Estética, Placer y

Compromiso Emocards Mapas

Software de Estudio Facial

Reacciones Psicológicas Tabla 3-2 Métodos y/o Técnicas utilizados actualmente en evaluación de HCI Similitud

Este documento permitió conocer un resumen de la historia de la evaluación de HCI (Human Computer Interaction), así como identificar algunas de las técnicas comúnmente utilizadas en la actualidad. Dentro de la metodología que se propone en esta tesis se retomaron algunas de estas técnicas cubriendo las 3 categorías mencionadas en este artículo, pruebas de usuario, métodos de control y métodos de campo.


32

3.12 State of the Art on the Cognitive Walkthrough Method, Its Variants and Evolutions (Thomas, Mouldi, & Christophe, 2010)

Resumen

Este artículo presenta la evolución que ha tenido el método de evaluación Cognitive Walkthrough (Recorrido cognitivo). En este artículo también se muestra además de un tutorial de uso de la técnica, un comparativo para elegir la variante necesaria según el proyecto a evaluar.

Similitud

Para esta tesis el uso de este método o técnica con una variante en su funcionamiento, tomando en cuenta que la evaluación que se aplicará se realizará con un dispositivo móvil, con las complicaciones de uso en campo que este conlleva, tuvimos que adaptar la técnica con ayuda de otros dispositivos y fusionarla con la técnica Think Aloud para los fines de nuestro estudio.

3.13 Designing and Evaluating Explanations for Recommender Systems (Tintarev & Masthoff, 2011)

Resumen

En este artículo se presenta la evaluación a las explicaciones brindadas en un sistema de recomendación referentes a las recomendaciones dadas. Sugiere directrices para evaluar estas explicaciones. Con las evaluaciones realizadas se Identifica cómo algunos beneficios de las explicaciones mejoran la experiencia del usuario en un sistema de recomendación.

Similitud

Este documento es relevante para esta tesis porque evalúa componentes importantes que se consideran dentro del sistema de recomendación al que se aplicará la metodología de evaluación propuesta.

En este documento aplican la técnica de Think Aloud para identificar cuáles son los beneficios de las explicaciones brindadas, cabe mencionar que esta técnica se aplica directo con los usuarios, haciendo una especie de feedback de lo que va sucediendo durante la interacción existente con la situación a evaluar, en este caso las explicaciones.


33

3.14 User-Centered Design of a Web Site for Library and Information Science Students: Heuristic Evaluation and Usability Testing (Manzari & Trinidad-Christensen, 2013)

Resumen

Este estudio describe el ciclo de vida de un sitio web de biblioteca, creado con un proceso de diseño centrado en el usuario para aplicar en una escuela de postgrado de biblioteconomía y documentación.

Este estudio se realizó a partir de la técnica de Evaluación Heurística, demostrando cómo un diseño centrado en el usuario es complementado con este tipo de evaluación en la obtención de resultados positivos.

Similitud

Dentro de la metodología propuesta se llevará a cabo la práctica de evaluación heurística como primer acercamiento de evaluación. Este tipo de documentos permite conocer cómo llevar a cabo la evaluación y el tipo de resultados que podemos obtener con esta técnica.

3.15 Context Relevance Assessment and Exploitation in Mobile Recommender Systems (Baltrunas, Ludwig, Peer, & Ricci, 2012)

Resumen

Este trabajo se encarga de evaluar la importancia del uso del contexto en un sistema de recomendación a través de un dispositivo móvil. Dentro de este artículo se demuestra a través de la técnica de cuestionarios que son aplicados en dos situaciones diferentes, una realizando recomendaciones basadas en el contexto y la otra pidiendo al usuario que imagine algunas de las situaciones, que la influencia del contexto mejora las calificaciones positivas a los puntos de interés recomendados dentro de un sistema de recomendación consiente del contexto, a diferencia de aquellos no contextuales en donde el usuario debe imaginar las razones por las cuales se le han hecho ese tipo de recomendaciones.

Similitud Este documento es relevante debido a que el estudio realizado muestra un sistema de recomendación similar al que se evaluará con la metodología resultado de esta tesis.

Por otra parte, se identificó la forma en que se de aplica la evaluación por medio de cuestionarios con escalas Likert, al igual que se propone en esta tesis en una de las etapas finales de la metodología. También se pudo conocer el proceso para análisis de los resultados obtenidos.


34

3.16 Explaining the User Experience of Recommender Systems (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011)

Resumen

En este artículo se propone un framework para la evaluación centrada en el usuario a sistemas de recomendación. El objetivo principal del framework es proporcionar un conjunto de conceptos relacionados estructuralmente que se pueden utilizar en los estudios empíricos para describir y medir la experiencia del usuario de los sistemas de recomendación. También consideran el contexto de la interacción en términos de características personales y situacionales.

En este artículo se puede conocer cómo por medio del framework se puede realizar una evaluación centrada en el usuario por medio de cuatro pasos que ellos definen como:

1.- Decidir que se evaluará y entonces asignar aleatoriamente las condiciones a los usuarios.

2.- Durante la interacción, registrar el comportamiento del usuario.

3.- Después de la interacción, preguntar a los usuarios acerca de su experiencia.

4.- Analizar los datos obtenidos para conocer la influencia de los aspectos del sistema en la experiencia del usuario.

En la Figura 3-3 se muestra el Framework para la evaluación centrada en el usuario de sistemas de recomendación propuesta en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011)


35

Figura 3-3 Framework para evaluación centrada en el usuario de SR Similitud

La evaluación realizada por medio de este trabajo esta basada en una serie de cuestionarios para evaluar diferentes características dentro de un Sistema de Recomendación con el fin de determinar qué características subjetivas pudieran influir en la percepción del usuario, de los cuales hemos retomado y adaptado algunas de ellas para fines de nuestro estudio (Véase en Tabla 3-3).

No Pregunta Característica Adaptación

1 Entiendo como TasteWeights hace las recomendaciones

Entendimiento Entiendo como Find-it! hace las recomendaciones

2 No estoy seguro de cómo fueron generadas las recomendaciones

Entendimiento No estoy seguro de cómo fueron generadas las recomendaciones

3 El proceso de recomendación es claro para mi

Entendimiento El proceso de recomendación es claro para mi

4 TasteWeights me enseña de donde vienen las recomendaciones

Entendimiento Find-it! me enseña de donde vienen las recomendaciones


36

5 No tengo ninguna razón para confiar en la fuente de las recomendaciones

Confianza No tengo ninguna razón para confiar en el elemento recomendado en relación con la explicación brindada

6 Confío en las personas en las que se basan las recomendaciones

Confianza Confío en que el ítem sobre los cuales se basan las explicaciones

Tabla 3-3 Preguntas retomadas y adaptadas de (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011)


37

3.17 Tabla Comparativa de Trabajos Relacionados A continuación en la tabla 3-3 se muestran en resumen las similitudes entre los artículos mencionados dentro del capitulo III y este trabajo de Tesis como parte del estado del arte.

Tabla 3-4 Tabla Comparativa de Trabajos relacionados

CAPÍTULO IV Diseño de la Metodología para evaluación

de SRSC

Capítulo IV. Descripción de la metodología

39

4 Descripción de la Metodología Esta metodología ha sido elaborada con el fin de ayudar a los diseñadores y desarrolladores de sistemas de recomendación sensibles al contexto (SRSC) a evaluar la experiencia del usuario durante la creación y desarrollo del SR.

La metodología propuesta se compone de dos etapas de evaluación: Evaluación Formativa y Evaluación Sumativa.

Dentro de la sección de la Evaluación Formativa se incluyen tres técnicas: Evaluación Heurística, Think-Aloud y Cognitive Wall Rough, que permiten encontrar aspectos que influirán de manera negativa y positiva a los usuarios que interactúen con el SR. Esta etapa de evaluación lleva de la mano al desarrollador y diseñador del sistema, para que tomen en cuenta elementos dentro de las interfaces que pueden causar problemas y prevenirlos antes de que el SR sea utilizado por usuarios reales. Además de la implementación de estas técnicas se propone dejar un espacio para la aplicación de las mejoras propuestas al SR, llevando la evaluación de tal forma que permita al diseñador y desarrollador ir depurando aquellos problemas que causan conflictos directamente a los usuarios y manteniendo aquellos aspectos buenos encontrados que brindan un mejor nivel de satisfacción, confianza y efectividad percibidas en el uso del Sistema de Recomendación.

En la sección de la Evaluación Sumativa se propone utilizar dos técnicas: Cuestionarios y Entrevista. Dentro de esta etapa de evaluación se pretende evaluar el resultado de todas las técnicas previas aplicadas, es decir, el grado de satisfacción, confianza y efectividad percibida por los usuarios reales en la interacción con el SR después de realizar las mejoras recomendadas.

Cabe mencionar que con la técnica de Cuestionarios es posible obtener datos de tipo estadístico, permitiéndonos medir los porcentajes obtenidos de la evaluación de las características definidas en el estudio deseado. Por otra parte, la evaluación con entrevistas permite conocer de viva voz del usuario la experiencia que ha tenido en el uso del sistema, si encuentra algún tipo de error que no fue percibido por los desarrolladores y evaluadores previamente. Esta técnica es adaptable a las necesidades en tiempo real de ser aplicado, es decir, es posible modificar el número de preguntas así como el contenido en caso de ser necesario para obtener información relevante durante el proceso de evaluación.


40

A continuación se describe cada una de las etapas a detalle.

4.1 Describiendo la Metodología

4.1.1 Etapa1.- Conociendo al Usuario Como primer paso dentro de la metodología propuesta se menciona que se debe determinar el tipo de usuarios que tendrá el sistema a evaluar, es decir, caracterizarlos en cuestiones de conocimiento, etnológicas, edad, sexo, etc.

En (CHIN, 2001) citado en (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) se hace mención de que la experiencia del usuario no puede ser atribuida totalmente al sistema de recomendación, debido a que esto también depende de las características propias del usuario (Personal Characteristics, or PC) y a la situación en la que el usuario interactúa con el sistema (Situational Characteristics, or SC).

En (Nielsen, Usability Engineering, 1993) se menciona que es necesario saber qué tipo de personas harán uso del sistema. Teniendo en cuenta el conocimiento del usuario dentro de su experiencia laboral, nivel académico, edad y el conocimiento computacional previo, es posible anticipar las dificultades de aprendizaje en cierta medida, así como fijar mejor los límites adecuados para la complejidad de la interfaz de usuario.

Para la evaluación del sistema “Find-it!!”, en (González, 2012) se describen los usuarios del sistema, clasificándolos en 3 grupos: estudiante, profesor/investigador y empresario. Para esta etapa de la evaluación se elaboró un cuestionario para registrar los datos individuales de los usuarios y poder categorizarlos dentro del grupo al que pertenezcan. En la Figura 4-1 se observa las entradas de información que se requiere (lado izquierdo), las herramientas (parte superior) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).(Ver Anexo 2)

Figura 4-1 Conociendo al usuario

Con la búsqueda realizada en la literatura, encontramos que es importante definir el tipo de evaluación que requerimos, es decir, una evaluación formativa o sumativa.


41

Basándonos en los resultados del estudio realizado en (Paramythis, Weibelzahl, & Masthoff, 2010), se determinó que el componente más relevante es la interfaz de usuario, ya que de acuerdo a (Martin, 2009)representa el 50% de la experiencia del usuario sobre el SR.

Basándonos en la información previa y al tipo de Sistema de Recomendación para el que se diseñó esta metodología, se determinó comenzar con una evaluación de tipo formativa, para determinar el tipo de mejoras necesarias, así como la realización de las mismas, previas a las evaluaciones directas con usuarios.

En las siguientes secciones se describirán las técnicas aplicadas y el orden establecido de aplicación dentro de la metodología de evaluación y lo que se pretende lograr con cada una de ellas.

4.1.2 Etapa 2.- Aplicación de la Técnica de Evaluación Heurística En esta etapa se aplica la evaluación Heurística. Este tipo de evaluación garantiza que las interfaces que existen dentro del SR cumplen con los lineamientos de usabilidad establecidos por Jakob Nielsen.

Según el análisis de la literatura y de las necesidades propias del sistema a evaluar, esta técnica puede ser aplicada en la etapa inicial de diseño del sistema, utilizando un prototipo en papel, con el fin de que los resultados de dicha evaluación permitan mejorar el diseño, antes de implementar un prototipo funcional y evaluar la interacción con usuarios reales.

Cabe mencionar que esta técnica también puede ser aplicada a un prototipo funcional, con la diferencia de que la corrección de problemas relacionados con las reglas heurísticas, impliquen modificar el diseño de interfaces del sistema implementado, otra posible situación es cuando el sistema se encuentra en una etapa de desarrollo avanzada, se puede complicar o retrasar el rediseño de las interfaces. Esto no implica un riesgo innecesario, es altamente recomendable realizar este tipo de evaluación para prevenir aspectos que podrían perjudicar la experiencia del usuario con el sistema.

Esta técnica debe ser aplicada por expertos en las reglas Heurísticas de Nielsen descritas en (Nielsen, 10 Heuristics for User Interface Design: Article by Jakob Nielsen, 1995). La metodología recomienda que esta evaluación se realice por lo menos por 4 expertos (Nielsen, Usability Engineering, 1993), cada uno de ellos debe revisar las interfaces del Sistema de Recomendación y evaluarlas dependiendo de si cumplen o no con las reglas de Jakob Nielsen, el resultado de esta evaluación debe registrarse en el formato UAR (Ver Anexo 1).

La siguiente actividad es recopilar todos los comentarios, buenos y malos, observados en la actividad de evaluación heurística, estos comentarios deben ser entregados al diseñador/desarrollador para que las mejoras sugeridas sean aplicadas al prototipo. En la Figura 4-2 se observa las entradas de información que se requiere (lado izquierdo), las herramientas (parte superior) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).


42

Figura 4-2 Evaluación Heurística

4.1.3 Etapa 3.- Aplicación de la Técnica Think-Aloud Con la aplicación de esta técnica se pueden conocer los detalles funcionales y de diseño que pudieran afectar la evaluación de la aplicación por parte usuario. En esta etapa se le solicita al usuario que realice actividades con el prototipo o sistema a evaluar, el usuario debe relatar en voz alta todas las actividades y sensaciones que experimenta con uso del prototipo.

Antes de iniciar esta evaluación, es necesario explicar al usuario que no se le está evaluando a él, si no al sistema o prototipo, también es necesario explicar que la función del evaluador es únicamente para escuchar y observar las actividades, el evaluador no podrá intervenir en ningún momento con la interacción entre el usuario y el sistema, tampoco podrá responder preguntas acerca del funcionamiento del sistema, sin embargo, en el caso de que existan dudas es de suma importancia que sean expresadas al evaluador para que éstas sean tomadas en cuenta en los resultados de la evaluación.

El evaluador de esta técnica debe estar cerca del usuario, anotando cualquier duda o comentario relevante por parte del usuario. Para esta técnica el evaluador no debe interferir con la interacción del usuario, simplemente debe ser un observador.

De esta técnica se pueden obtener datos relevantes, por ejemplo, que las instrucciones o explicaciones que proporciona el prototipo no se entienden o no describen lo que el desarrollador pretende, o si los instrucciones a seguir para realizar alguna tarea son complejas o generan la pérdida de interés por parte del usuario.

Las observaciones obtenidas en cada evaluación deben ser registradas en el formato UAR (Ver Anexo 1), posteriormente se hace un concentrado de información y se entrega al diseñador/desarrollador para que realice las correcciones necesarias. En la Figura 4-3 se observa las entradas de información que se requiere (lado izquierdo), las herramientas (parte superior) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).


43

Figura 4-3 Think-Aloud

4.1.4 Etapa 4.- Aplicación de Recomendaciones en Mejoras al Sistema Este espacio dentro de la metodología da tiempo al diseñador y/o desarrollador del SR para implementar los cambios y mejoras que fueron recomendadas como resultado de la aplicación de evaluación de las técnicas anteriores.

En la Figura 4-4 se observa las entradas de información que se requiere (lado izquierdo) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).

Figura 4-4 Aplicación de mejoras al sistema

4.1.5 Etapa 5.- Aplicación de la Técnica de Walk Through + Think-Aloud En esta etapa de la evaluación se fusionan 2 técnicas formativas, es decir, se aplican las técnicas Walk Through + Think-Aloud. La razón por la que se aplican estas dos técnicas es porque basándonos en el conocimiento obtenido en el estudio de la literatura, se encontró que la dificultad de evaluar un sistema de recomendación dentro de dispositivos móviles en campo es diferente a la existente en la evaluación de sistemas convencionales, esto debido a diferentes variables como lo son: tamaño de pantalla en la que se despliega el sistema, dificultad de visibilidad con luz natural, dificultad de conexión a internet, batería en el dispositivo, etc. que hay que tomar en cuenta durante la evaluación. Debido a estos factores, es necesario realizar las evaluaciones con test de campo, es decir en ambiente real del dispositivo y sistema, que permitirán conocer algunos aspectos que pudieran influir en la satisfacción, confianza y efectividad percibida por el usuario.

Una vez implementadas las correcciones solicitadas en el sistema y se encuentra en un status de desarrollo final, se propone la aplicación de la tercer y última técnica formativa propuesta dentro de esta metodología. La técnica que se propone en esta metodología es un híbrido de 2 técnicas, una de ellas es el Think-Aloud y la otra es llamada Walk Through. La Técnica


44

Cognitive Walk Through, también conocida como Recorrido cognitivo, permite obtener datos de efectividad en el sistema identificando problemas de usabilidad, centrándose en la facilidad percibida por los nuevos usuarios al realizar tareas con el sistema.

Esta técnica se aplica con una evaluación en campo, sin interferir en la interacción del usuario con el sistema. La técnica Cognitive Walk Through se realiza proporcionando al usuario una lista de tareas (Anexo 4) para realizar con el sistema, el evaluador observa al usuario cuando realiza dichas tareas y lo compara con la descripción previa de dichas tareas (Anexo 3). Al culminar las tareas, el evaluador debe aplicar 4 preguntas:

1.- ¿El usuario trató de lograr el efecto deseado?

2.- ¿El usuario notó que la acción se encontraba disponible?

3.- ¿El usuario asoció correctamente la acción con el efecto que intentaba obtener?

4.- Si se realiza la acción correcta, ¿el usuario puede ver que se está avanzando hacia la solución de la tarea? (Wharton et al., 1994, p. 112)

Las preguntas anteriores deben ser respondidas con un Si o un No, acompañado de la descripción de la situación que da origen a la respuesta según lo observado. Cualquier pregunta negativa mostrará un problema de eficiencia en el sistema.

Para aplicar esta técnica es recomendable utilizar dispositivos especiales que permitan grabar audio y video, esta información es necesaria para las evaluaciones en campo.

Para realizar esta evaluación se utiliza un dispositivo con una cámara inalámbrica ubicada de tal forma que permita la grabación en video de la interacción del usuario con la interfaz. Se pueden utilizar lentes con una cámara de video adaptada ubicada en el centro de un armazón, este tipo de instrumento tiene la capacidad de almacenar dos horas de audio y video almacenados en una tarjeta SD. Como se muestra en la Figura 4-5.

Figura 4-5 Lentes espía SungLasses

Por esta razón, la técnica se considera hibrida ya que la interacción entre el usuario y la aplicación se graba video y el audio de todos los comentarios que el usuario realice durante la interacción. (Ver Anexo 5)


45

En la Figura 4-6 se observa las entradas de información que se requiere (lado izquierdo), las herramientas (parte superior) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).

Figura 4-6 Cognitive Walkthrough + Think-Aloud

4.1.6 Etapa 6.- Aplicación de Recomendaciones en Mejoras al Sistema Por segunda ocasión dentro de la metodología existe este para dar tiempo al diseñador y/o desarrollador del SR para implementar los cambios y mejoras que fueron recomendadas como resultado de la aplicación de evaluación de las técnicas anteriores.

En la Figura 4-7 se observa las entradas de información que se requiere (lado izquierdo) y lo que se obtendrá al utilizar la técnica (lado inferior derecho).

Figura 4-7 Aplicación de mejoras al sistema

4.1.7 Etapa 7.- Aplicación de la Técnica de Cuestionarios La siguiente etapa en la metodología consta de una evaluación remota, esta evaluación se realiza por medio de cuestionarios con preguntas relacionadas a la evaluación de las características de efectividad, confianza y satisfacción.

Esta evaluación es una evaluación sumativa, ya que genera datos de tipo estadístico. Para esta etapa de la metodología se generan una serie de cuestionarios basados en la adaptación de preguntas utilizadas en los cuestionarios SUMI, WAMMI, QUIS (ver en Capítulo II )y en los trabajos (Knijnenburg, Willemsen, Gantner, Soncu, & Newell, 2011) y (Chen & Pu, User Evaluation Framework of Recommender Systems, 2010).

Es importante mencionar que estos cuestionarios se utilizaran en la tesis doctoral de (Alejandres S., 2013)que se basa en el framework de (Knijnenburg, Willemsen, Gantner,


46

Soncu, & Newell, 2011), es por ello que se han tomado en cuenta otras características en los cuestionarios además de las tres definidas para este tema de investigación, efectividad, confianza y satisfacción. (Ver Anexo 6).

Cabe mencionar que se desarrolló un cuestionario para la evaluación de un componente específico dentro del CARS “Find-it!!” que se aplicó en (Galán M., 2014).


Figura 4-8 Cuestionarios

4.1.8 Etapa 8.- Aplicación de la Técnica de Entrevista Por último, una vez terminada la interacción del usuario con el sistema, se debe realizar una entrevista a los usuarios. Esta metodología de evaluación es centrada en el usuario, es importante conocer la opinión directa del usuario acerca de las recomendaciones obtenidas, si fueron de su agrado y si era lo que esperaba como resultado, también es necesario conocer la opinión sobre el sistema en general.


Figura 4-9 Entrevista

4.2 Metodología Final Propuesta Evaluando el tipo de técnicas para la evaluación centrada en el usuario de Sistemas de Recomendación Sensibles al Contexto (SRSC) y el tipo de información que es posible obtener de cada una de ellas se ha establecido que la metodología se encuentre dividida en dos secciones.


47

La primera de las secciones de evaluación es la etapa Formativa, en donde las técnicas de evaluación ayudan a prevenir y a identificar problemas durante el desarrollo del Sistema en cuestión. Estas técnicas son posibles de aplicar en cualquier etapa de la vida del desarrollo del SR, pero es recomendable que se apliquen en etapas tempranas para ahorrar costos en la solución de los aspectos negativos.

La segunda de las etapas es la Sumativa, en donde se puede evaluar el resultado en uso real, es decir con usuarios reales en situaciones reales, de la experiencia del usuario una vez habiendo interactuado con el sistema. Esta etapa de evaluación, debido a la naturaleza de la técnica empleada, es posible obtener datos cuantificables acerca de la satisfacción, confianza y efectividad percibida por el usuario.

En la Figura 4-10 es posible observar la estructura final de la metodología propuesta.

Figura 4-10 Metodología final propuesta

CAPÍTULO V Implementación de la Metodología

Capítulo V. Implementación de la metodología

49

5 Implementación de la Metodología En este capítulo se muestra la estructura de la metodología final propuesta y el procedimiento de cada una de las evaluaciones realizadas al SRSC Find-it! (véase Figura 5-1).

Dentro de este capítulo se dan a conocer los agentes involucrados en cada una de las etapas de la metodología, las herramientas y los formatos utilizados para reportar los aspectos buenos y malos encontrados. En la sección 5.1 Framework de uso de la metodología se observa el papel que juega cada uno de los agentes y el resultado de cada una de las técnicas aplicadas, haciendo referencia a los formatos necesarios para realizarlas. Véase en ilustraciones 5-2, 5-3 y 5-4.

Figura 5-1 Metodología para evaluación de SRSC centrada en el usuario, basada en características de efectividad, confianza y

satisfacción mediante interfaces multimodales sobre dispositivos móviles multisensoriales

Capítulo V

. Implem

entación de la metodología

50

5.1 Fram

ework de U

so de la Metodología

Dentro de la Figura 5-2 es posible apreciar las prim

eras 3 técnicas a aplicar durante la evaluación centrada en el usuario a SRSC

. De

las primeras 2 técnicas se obtendrán recom

endaciones acerca de cambios al sistem

a para prevenir problemas que afecten la experiencia

del usuario en el futuro. En la etapa número 3 son entregadas esas recom

endaciones al diseñador / desarrollador del SR.

Figura 5-2

Capítulo V

. Implem


51

En la Figura 5-3 se muestra el orden de aplicación, los agentes involucrados y los form

atos requeridos para llevar a cabo las etapas de evaluación 4, 5 y 6 pertenecientes a la m

etodología propuesta (Figura 5-1). Con la aplicación de la técnica C

ognitive Walk Through se

obtendrán resultados de una interacción real, es decir con esta técnica se pretende que el usuario utilice el sistema en un am

biente real, enfrentando tareas reales y posibles dentro del sistem

a. En la etapa número 5 se entregan los resultados y recom

endaciones obtenidas de la aplicación de la técnica C

ognitive Walk Through. Para la etapa núm

ero 6, los usuarios deberán responder los cuestionarios elaborados previam

ente de manera rem

ota; estos cuestionarios darán el grado de Satisfacción, Confianza y Efectividad del SR

percibidos por los usuarios, para que el usuario pueda responder los cuestionarios es necesario que haya interactuado con el SR

previam

ente.

Figura 5-3

Capítulo V

. Implem


52

Dentro de la Figura 5-4 se m

uestra la última de las técnicas aplicadas durante la evaluación centrada en el usuario a SR

SC donde se

obtendrá información de propia voz de usuarios. En esta etapa es posible conocer inform

ación como que algún concepto no ha

quedado claro o que les parece poco entretenido el uso del sistema.

Figura 5-4


53

5.2 Planeación de Pruebas En este capítulo se describen los requerimientos para la aplicación de cada una de las técnicas que se realizaran como pruebas de la metodología propuesta.

5.2.1 Evaluación Heurística de Nielsen Para realizar esta actividad es necesario el conocimiento previo de la heurística de Nielsen, la cual consta de 10 puntos que deben ser tomados en cuenta al desarrollar cualquier sistema o aplicación computacional para asegurar la satisfacción del usuario final, así como evitar problemas de comunicación y entendimiento. Una vez que el experto evaluador tiene conocimiento y dominio de la heurística de Nielsen, evaluara cada una de las interfaces existentes en el sistema comparando los elementos presentados con cada uno de los puntos de la heurística, determinando así si las interfaces cumplen con cada uno de los puntos para dar las recomendaciones necesarias al desarrollador / diseñador del SR para que realice los cambios necesarios para la mejora del sistema. Estas recomendaciones deben ser descritas dentro del formato UAR (Anexo 1) para ser entregados como evidencia de los aspectos buenos y malos encontrados durante la evaluación.

Para realizar este tipo de evaluaciones es necesario contar con las definiciones de cada una de la heurísticas y las interfaces existentes del sistema, ya sea en un prototipo en papel5 o un prototipo semis - funcional o funcional.

A continuación se describen cada uno de los puntos que integran la heurística de Jakob Nielsen:

5.2.1.1 Heurística de Nielsen 1.- Visibilidad del estado del sistema: Dar a los usuarios retroalimentación de lo que sucede en el sistema en tiempo real.

2.- Utilizar el lenguaje de los usuarios: usar lenguaje del mundo real, conceptos familiares para los usuarios en el orden natural y lógico.

3.- Control y libertad para el usuario: Permitir a los usuarios recuperarse de errores realizados por equivocación o salir de estados no deseados con opciones como deshacer, rehacer y salir.

4.- Consistencia y estándares: Utilizar palabras consistentes al sistema así como situaciones y acciones. Ejemplo de ello puede ser utilizar un ícono con forma de casa para retornar al home del sistema y no en su lugar un ícono con forma de balón.

5"Los"prototipos"de"papel"son"una"forma"de"crear"una"imagen"palpable"de"lo"que"será"una"futura"aplicación"o"sitio"web."Su"creación"y"manipulación"es"rápida"y"elástica"y"permite"a"los"usuarios"imaginarse"lo"que"será"la"futura"aplicación"en"funcionamiento."


54

5.- Prevención de errores: Evitar los problemas que se producen, eliminar las condiciones propensas a errores o detectar antes de que los usuarios realicen la acción.

6.- Reconocimiento antes que recuerdo: Hacer los objetos, acciones y opciones visibles en tiempo apropiado para minimizar el uso de memoria de los usuarios y facilitar sus decisiones.

7.- Flexibilidad y eficiencia de uso: Hacer al sistema eficiente para diferentes niveles de conocimiento usando atajos (comandos), herramientas avanzadas y frecuencia de acciones.

8.- Diseño estético y minimalista: No mostrar información irrelevante o raramente usada. Cada elemento extra disminuye la relevancia de otros.

9.- Ayudar a los usuarios a reconocer, diagnosticar y recuperarse de los errores: Expresar los errores en mensajes en lenguaje sencillo (no en código) para indicar el problema y sugerir la solución.

10.- Documentación: Realizar la ayuda y documentación necesaria fácil de encontrar y buscar.

5.2.2 Evaluación Think – Aloud

Para realizar esta evaluación es necesario contar con el prototipo del sistema en papel o funcional. Para el caso de Find-it! en el momento de aplicación de la prueba Think – Aloud ya existía un prototipo semi-funcional el cual fue instalado en los dispositivos móviles. Además del prototipo, se requiere contar con los usuarios que realizarán la prueba.

A continuación en la tabla 5-1 se describen las características de los dispositivos móviles en donde será realizada la prueba Think – Aloud al sistema Find-it!:

Marca SAMSUNG GALAXY Tab 2 10.1” Wi-Fi (GT-P5110)

Sistema Operativo Android 4.1.2 (Jelly Bean)

Cámara

Resolución Cámara Trasera

3 Megapíxeles

Zoom Digital/Óptico

Zoom Digital x4

Modo Disparo

Normal / Autodisparo


55

Efectos Fotográficos

Gris, Negativo, Sepia

Balance de Blancos

Auto / Luz de Día/ Incandescente / Fluorescente / Nuboso

ISO

Auto

Pantalla Interna

Tecnología : PLS TFT LCD

Resolución : 1280 x 800

Tamaño : 10.1" Memoria Interna 16GB

Memoria Externa Hasta 32GB (microSD)

Especificaciones Físicas Dimensiones (AlXAnXProf)

256.6 x 175.3 x 9.7 mm

Tabla 5-1 Características de Tablets con sistema Find-it! La cantidad de usuarios dependerá de la aplicación a evaluar (como mínimo 4 [ (Nielsen, Usability Engineering, 1993)]). Para este caso de uso se ha decidido trabajar con la cantidad de 10 usuarios. Observando que a partir de 6 usuarios los problemas detectados comienzan a repetirse. La evidencia de los aspectos encontrados deben ser reportados dentro del formato UAR (Anexo 1), el cual permitirá al diseñador / desarrollador consultar cada uno de los aspectos, ejemplos de solución y la justificante del evaluador de por qué debe ser modificado o mantenido dentro del SR.

5.2.3 Conociendo al Usuario Para conocer a los usuarios es necesario realizar un cuestionario que permita clasificarlos en grupos similares y poder determinar las similitudes en apreciación de interacción con el sistema. Para obtener esta información se ha decidido realizar un cuestionario que nos permita clasificarlos etnológicamente (Anexo 2).


56

5.2.4 Cognitive Walk Through + Think – Aloud Para esta técnica es necesaria la descripción de las actividades a solicitar al usuario (Anexo 3) para definir si el sistema es efectivo y eficiente, así como para obtener información de complicaciones existente durante el uso del sistema en el dispositivo móvil que pueden afectar la satisfacción y confianza del mismo.

Al usuario sólo se le entrega un listado con el nombre de la actividad a realizar (Anexo 4) y el evaluador tendrá las actividades descritas paso a paso para alcanzar la meta solicitada (Anexo 3), con esto el evaluador podrá comprobar si el usuario pudo concretar la meta de acuerdo a los pasos establecidos y las 4 preguntas de la técnica Cognitive Walk Through (Anexo5).

Para la evaluación de esta técnica se ha considerado el apoyo de hardware extra que permita obtener información en un test “Remoto” para permitir al usuario la libertad de interacción con el sistema. A continuación se hace una breve descripción del hardware extra utilizado (Véase Figura 5-5) y las actividades tomadas en cuenta, cabe mencionar que estas actividades están ampliamente relacionadas con las pruebas de funcionalidad realizadas en (Rodríguez Maldonado, 2014)

5.2.4.1 Descripción Camera SungLasses Modelo:

JVE3107F

Especificaciones:

Soporta MP1/2/3, WMA, WAV, formatos musicales

Calidad de Lente de los fabricantes de marca polaroid

Botón de operación de uso sencillo para un fácil control

Ranura TF para tarjeta Micro SD

Conexión fácil con PC y Laptop, no requiere controladores

Graba en tiempo real

Resolución 640x480

Figura 5-5 Lentes espía SungLasses


57

5.2.5 Cuestionarios Una vez terminada la evaluación Cognitive Walk Through + Think-Aloud, se solicitará inmediatamente al usuario que responda una serie de preguntas (Anexo 6). El cuestionario solicitado remotamente, pertenece a la etapa Sumativa de la metodología, con el análisis de las respuestas obtenidas que se hará (Alejandres S., 2013) se podrán identificar aspectos como:

• Entendimiento • Esfuerzo cognitivo percibido • Confianza brindada • Satisfacción • Efectividad • Calidad percibida en las recomendaciones

Para el caso de resultados de esta tesis, se realizará un estudio estadístico básico mostrando los porcentajes de las respuestas obtenidas. Esta muestra solo será demostrativa para la presentación de la metodología, debido a que a la cantidad de usuarios a la que se aplicará no dará información significativa. Los resultados que arrojará para esta tesis, mostrarán el grado de Satisfacción, Confianza y Efectividad percibidas por los usuarios al haber interactuado con el sistema después de haber hecho las mejoras recomendadas durante todas las evaluaciones de la etapa formativa.

5.2.6 Entrevista Una vez concluida la etapa de cuestionarios, se debe realizar una entrevista a los usuarios para cerrar el círculo de interacción y evaluación del sistema Find-it!. Recordemos que esta evaluación es centrada en el usuario por eso mencionamos el cierre del circulo de evaluación, conociendo la opinión directa del usuario acerca de las recomendaciones obtenidas, si fueron de su agrado y si era lo que se encontraba buscando, así como preguntar la opinión sobre el sistema en general (Anexo 7). Con esta técnica realizada de manera personal a cada uno de los usuarios es posible obtener datos como que problemas encontraron dentro de la interacción con el SR, si las recomendaciones o lo que encontraron en el no fueron de su agrado, etc.

Esta entrevista consta de 5 preguntas abiertas, las cuales pueden adaptarse en el momento de la entrevista, así como hacer la inclusión de otras más [ (Nielsen, Usability Engineering, 1993)].


58

5.3 Aplicación de Evaluaciones

5.3.1 Aplicación de la Evaluación Heurística Esta evaluación se aplicó durante la observación de las interfaces que contiene el sistema, determinando los aspectos heurísticos cumplidos o no tomados en cuenta.

Cabe mencionar que durante el periodo de evaluación se llevo a cabo un taller de User Experience (UX) con la finalidad de transmitir la enseñanza de las técnicas propuestas en metodología, en donde se dieron a conocer los 10 puntos de la heurística de Nielsen y donde se pidió a los asistentes evaluar las interfaces implementando el conocimiento obtenido. Siendo 6 evaluadores los que aplicaron la técnica de Evaluación Heurística encontrando y reportado los aspectos coincidentes identificados por los evaluadores.

La evaluación Heurística se llevó a cabo del 20 de Agosto al 24 de Septiembre de 2013 encontrando 18 aspectos importantes reportados al diseñador / programador del sistema Find-it! (Rodríguez Maldonado, 2014) y al asesor de proyecto el Dr. Juan Gabriel González Serna por medio de los formatos UAR (Anexo 1).

5.3.2 Aplicación de la Evaluación Think- Aloud Esta evaluación es realizada en un test de tipo “controlado”, es decir, mientras el usuario interactúa con el sistema el evaluador debe estar observando y tomando nota de lo que acontece.

En esta evaluación se le es solicitado al usuario que mientras interactúe con las interfaces del sistema vaya relatando los pasos que realiza, así como también en caso de existir dudas las exprese o cualquier otro tipo de comentario que tenga acerca de lo que esta realizando. Es importante mencionar al usuario que durante la interacción el evaluador no puede responder ninguno de sus comentarios o dudas ya que lo que se busca es crear un ambiente lo más real posible al uso del sistema. También es importante aclarar al usuario que lo que se evalúa es al sistema y no a el como usuario, dándole total libertad de comportamiento ante el sistema.

La evaluación Think-Aloud se llevó a cabo del 30 de Septiembre al 01 de Octubre de 2013 encontrando 21 aspectos importantes reportados al diseñador / programador del sistema Find-it! (Rodríguez Maldonado, 2014) y al asesor de proyecto el Dr. Juan Gabriel González Serna por medio de los formatos UAR (Anexo 1).

La técnica Think-Aloud también ha sido probada durante el periodo del taller UX brindado al grupo de trabajo de SRSC en CENIDET.


59

5.3.3 Conociendo al Usuario En la Figura 5-6 se muestra el cuestionario aplicado a los usuarios antes de realizar la evaluación Think-Aloud. Este cuestionario debe ser aplicado para determinar si la condición etnológica del usuario influye en los aspectos percibidos durante la interacción que realiza con el sistema.

Figura 5-6 Cuestionario Conociendo al usuario


60

5.3.4 Aplicación de la Evaluación Cognitive Walk Through + Think-Aloud A continuación se describen paso a paso 8 actividades que serán solicitadas al usuario (Véanse Tablas 5-3 a la 5-10). Tengamos en cuenta que al usuario solo se le hará entrega de un listado con el nombre de las actividades a realizar:

Actividad 1 Título de actividad: Abrir la aplicación Find-it!

No. Paso Descripción 1.- Deslizar el dedo a la derecha o izquierda en la pantalla del

dispositivo móvil buscando el ícono de la aplicación Find-it!. 2.- Dar click sobre el ícono de Find-it!. Tabla 5-2 CWT Abrir aplicación

Actividad 2 Título de actividad: Realizar registro de usuario en la aplicación

Find-it! No. Paso Descripción

1.- Ocultar el teclado. 2.- Buscar el botón “crear cuenta”. 3.- Dar click sobre el botón “crear cuenta”. 4.- Rellenar campos de datos de usuario y tomar foto de perfil. 5.- Rellenar campo de datos personales. 6.- Rellenar campos de formación académica. 7.- Seleccionar uno más tópicos de interés. 8.- Seleccionar o no un color de personalización. 9.- Dar click sobre el botón “Guardar”. Tabla 5-3 CWT Registro de usuario

Actividad 3 Título de actividad: Iniciar sesión en la aplicación Find-it!

No. Paso Descripción 1.- Introducir usuario 2.- Introducir contraseña 3.- Dar click en botón “iniciar” Tabla 5-4 CWT Inicio de sesión


61

Actividad 4 Título de actividad: Leer ayuda, cerrar ayuda y volver a abrir

ayuda No. Paso Descripción

1.- Entrar a la interfaz y observar la ayuda en la interfaz de inicio. 2.- Presionar botón “Entendido” para cerrar ayuda. 3.- Presionar botón “Settings” (Esquina superior derecha). 4.- Presionar botón “Ayuda”. Tabla 5-5 CWT Ayuda Actividad 5 Título de actividad: Visualizar más información del Lugar

No. Paso Descripción 1.- Identificar la sección de información del lugar. 2.- Dar click sobre información del lugar. 3.- Dar click en cualquier otro lugar para cerrar la ventana

emergente. Tabla 5-6 CWT Más información Actividad 6 Título de actividad: Ingresar a recomendaciones textuales y buscar

actividades disponibles No. Paso Descripción

1.- En menú de selección presionar ícono de “Recomendaciones textuales”.

2.- Ubicar y deslizar el swipe para encontrar las actividades disponibles.

3.- Leer la lista de actividades y dar click en alguna. Tabla 5-7 CWT Recomendaciones textuales Actividad 7 Título de actividad: Dirigirse a la entrada del edificio, Ingresar a

Realidad aumentada, seleccionar “Entrada”, ocultar los ítems a excepción de personas y obtener más información

No. Paso Descripción 1.- Dar click sobre el ícono de “Realidad aumentada” 2.- Cambiar ubicación a “Entrada” 3.- Girar el dispositivo móvil para encontrar puntos de interés. 4.- Ocultar ítems a excepción de personas. 5.- Dar click en alguno de los Puntos de interés de personas para

obtener más información. Tabla 5-8 CWT Realidad Aumentada


62

Actividad 8 Título de actividad: Ingresar a Mapas, cambiar mapa, acercar

mapa, restaurar, cambiar mapa por otro, obtener más información

No. Paso Descripción 1.- Seleccionar el ícono de “Mapas” en la interfaz principal o de

selección. 2.- Seleccionar otro mapa a mostrar en la lista de mapas disponibles. 3.- Acercar el mapa haciendo click en el botón “+” ubicado en la

parte inferior del mapa mostrado. 4.- Dar click en el botón “Restaurar Mapa” para regresarlo a su

tamaño original. 5.- Seleccionar el mapa “Rojo” en la lista de mapas disponibles. 6.- Presionar el botón “Detener / Mover”. 7.- Presionar dentro del mapa para obtener más información. Tabla 5-9 CWT Mapas SVG

Una vez dada la lista de actividades a los usuarios, ellos deberán intentar realizarlas. Es importante resaltar que esta evaluación se realizará dentro de un test remoto (a distancia del evaluador, procurando el contexto de uso real), por lo tanto se pedirá a los usuarios que mientras sean realizadas las actividades porten los lentes con cámara, de esta manera quedarán registrados cada uno de los pasos que realicen al intentar lograr las actividades indicadas previamente.

Posteriormente las grabaciones en audio y video serán analizadas y comparadas con los pasos descritos para cada actividad determinando si las metas fueron alcanzadas. Para ello se requieren las preguntas de la técnica Cognitive Walk Through:


2.- ¿El usuario notó que la opción correcta estaba disponible?


4.- Si se realiza la acción correcta, ¿El usuario puede ver que se está avanzando hacia la solución de la tarea?

Las cuales deberán ser respondidas con una respuesta afirmativa o negativa y la historia descrita de lo sucedido para definir por que ocurrió el problema de efectividad y eficiencia en el sistema identificados por el usuario real.


63

5.3.5 Aplicación de Cuestionarios Esta técnica será aplicada inmediatamente después de que el usuario haya interactuado con el sistema Find-it!, ya que es necesario para poder responder la serie de preguntas que le serán solicitadas. El análisis de los resultados de esta técnica sumativa mostrará el grado de Satisfacción, confianza y Efectividad percibida por los usuarios durante su interacción con el SR.

A continuación se muestran las preguntas que serán aplicadas a los usuarios:

5.3.5.1 Preguntas de Entendimiento: 1.- Las recomendaciones son claras.

2.- La manera en que es presentada la información en el sistema es comprensible.

3.- Entiendo como Find-it! Hace las recomendaciones.

4.- No estoy seguro de como son hechas las recomendaciones.

5.- El proceso de recomendación es claro para mí.

6.- Find-it! Me muestra de donde vienen las recomendaciones.

7.- Puedo entender y actuar en la información mostrada por Find-it!

8.- Usar Find-it! Por primera vez es fácil.

9.- Tengo que seguir consultando las guías de ayuda.

10.- Jamás entenderé a usar todo lo que ofrece Find-it!

5.3.5.2 Preguntas de Esfuerzo Cognitivo Percibido 1.- Find-it! Me ayuda a encontrar lo que estoy buscando

2.- Tomar decisiones usando Find-it! es una tarea rápida

3.- Buscar algún ítem usando Find-it! requiere mucho esfuerzo

4.- Toma mucho tiempo tomar una decisión usando las recomendaciones de Find-it!

5.3.5.3 Preguntas de Confianza 1.- Siento que Find-it! es confiable

2.- Confío en los ítems recomendados

3.- No tengo ninguna razón para confiar en los recursos de las recomendaciones

4.- Confío en las razones en las que están basadas las recomendaciones


64

5.- Estoy seguro que puedo basar mis decisiones en las recomendaciones de Find-it!

5.3.5.4 Preguntas de Satisfacción 1.- Recomendaré Find-it! a otros

2.- Me siento bien usando Find-it!

3.- Find-it! es inútil

4.- Usar Find-it! es una experiencia placentera

5.- Find-it! No me beneficia

5.3.5.5 Preguntas de Efectividad

1.- Usar Find-it! es una perdida de tiempo

2.- Mi satisfacción en general con Find-it! es alta

3.- Se requieren muchos pasos para encontrar un ítem de mi interés

4.- Me siento eficiente cuando uso este sistema

5.- Find-it! es competente para ayudarme a encontrar con eficacia los ítems que me gustan

6.- Find-it! me hace más consiente de las opciones posibles a elegir

5.3.5.6 Preguntas de Calidad Percibida en las Recomendaciones 1.- Las recomendaciones concuerdan con mis preferencias

2.- Las recomendaciones han sido bien elegidas

3.- Las recomendaciones recibidas son relevantes

4.- El sistema hace varias recomendaciones malas

5.- NO me gusto ninguna de las recomendaciones

5.3.6 Aplicación de Entrevista Para esta técnica se han definido 5 preguntas, todas ellas con posibilidad de añadir otras en caso de ser necesario durante la entrevista con el usuario. Con estas preguntas se pretende saber directamente del usuario aquellas dudas o inquietudes que tengan los usuarios acerca del SR, al entrevistar al usuario se dará la confianza de opinar cualquier aspecto que haya sido encontrado y las recomendaciones que hacen para mejorar el sistema.

En la tabla 5-10 se muestran las 5 preguntas que componen la entrevista que se hará a los usuarios:


65

Pregunta Objetivo 3 ¿Describe la finalidad del

sistema Find-it!? - Con el fin de conocer si quedo

claro el motivo de existencia de este sistema durante la interacción.

4 ¿Descubriste algún ítem de

tu interés? y ¿Por qué crees que sucedió esto?

– Con el fin de conocer si las recomendaciones están totalmente relacionadas con el contexto percibido por el sistema.

5 ¿Deseas conocer o saber

más sobre algunos de los ítems que se te recomendaron? y ¿Por qué?

– Con el fin de conocer la confianza brindada por los ítems recomendados y el interés despertado en el usuario para aplicar las recomendaciones brindadas.

6 ¿Encontraste algún

problema en el uso del sistema? – Con el fin de percibir si el

usuario se sintió frustrado por alguna acción realizada que pudiera afectar su satisfacción.

7 ¿Tienes alguna

recomendación de lo que te gustaría que hiciera el sistema?

– Con el fin de conocer si el usuario considera que le hace falta algún sector de información o algún componente que mejore las recomendaciones brindadas.

Tabla 5-10 Preguntas de Entrevista

CAPÍTULO VI Pruebas y resultados

Capítulo VI. Pruebas y Resultados

67

6 Pruebas y Resultados En este capítulo se presentan los resultados y el análisis de los mismos, obtenidos de la aplicación de la metodología de evaluación al SRSC Find-it!.

6.1 Evaluación Heurística A continuación en la tabla 6-1 se enlistan los 18 aspectos heurísticos encontrados y reportados6 por 6 evaluadores, resultado de la evaluación realizada en el periodo de del 20 de Agosto al 24 de Septiembre de 2013, también se indica la heurística afectada con cada uno de ellos. Esta evaluación fue realizada por 6 evaluadores entrenados durante un curso de UX (user experience) brindado dentro del grupo de CARS en CENIDET. Los aspectos encontrados fueron reportados al desarrollador y diseñador del sistema (Rodríguez Maldonado, 2014) y al asesor Dr. Juan Gabriel González Serna.

Nombre del Aspecto Nombre del documento Nombre de la Heurística Cambio de Estado del Sistema al Modificar la Orientación del Dispositivo

HE-inicio01 Prevención de Errores

Desligue y Cierre del Sistema HE-sist02 Control y Libertad del Usuario

Etiquetas de Ayuda HE-inicio03 Ayuda a Reconocer Visibilidad del Estado del Sistema en la Pantalla de Login

HE-inicio04 Validación y Estado del Sistema

Validación de Registro de Usuarios HE-registro05 Prevención de Errores

Identificar Ítem Seleccionado HE-textual06 Estado del Sistema URL Solicitada HE-mapas07 Relación con el Mundo Real Botones Deshabilitados HE-registro08 Prevención de Errores Botones Deshabilitados HE-todas09 Prevención de Errores Colapso de Sistema desde RA HE-coordenadas10 Prevención de Errores

Nula Ayuda o Documentación

HE-ayudaDocumentacion11 Ayuda y Documentación

Referencia de Selección de Opción HE-opciones12 Estado del Sistema

Colapso de Sistema Desde RA HE-realidadAumentada13 Prevención de Errores

Ubicación Inadecuada HE-realidadAumentada14

Estética y Diseño Minimalista

Espacio Disponible HE-realidadAumentada15 Estética y Diseño Minimalista

Íconos Pequeños HE-realidadAumentada16 Estética y Diseño 6"Las"evidencias"en"formato"UAR"de"la"técnica"Evaluación"Heurística,"se"encuentran"en"el"CD"adjunto."


68

Minimalista Color de Personalización de Interfaz HE-colorInterfaz17 Estética y Diseño

Minimalista

Opciones Disponibles HE-comboPerfil18 Control y Libertad del Usuario

Tabla 6-1 Resultados evaluación Heurística de Nielsen

6.2 Evaluación Think-Aloud

6.2.1 Conociendo al usuario Dentro de los siguientes Gráficos (véase Gráfico 6-1 al 6-8) se muestran los resultados obtenidos a la aplicación del cuestionario “Conociendo al usuario” (véase Anexo 2) de una población de 10 usuarios con los que se trabajó esta técnica. Con la aplicación de este cuestionario es posible conocer el perfil de los usuarios y más adelante, determinar si sus condiciones influyen en el uso del sistema y las pruebas aplicadas.

Capítulo V

I. Pruebas y Resultados

69

G

ráfico 6-1 Sexo

G

ráfico 6-2 Edad

G

ráfico 6-3 Educación

G

ráfico 6-4 Área de conocim

iento

30%$

70%$

0%$

20%$

40%$

60%$

80%$

Femenino$M

asculino$

Indique(su(Sexo(Indique$su$Sexo$

0$0$

9$

1$0$

0$0$

17$o$18$=20$21$=$29$30$=$39$40$=$49$50$=59$

60$o$mas$

0$ 2$ 4$ 6$ 8$10$

Rango(de(edad(Rango$de$edad$

0$

80%$

20%$

0$0.5$ 1$

Nivel(m

áximo(de(

educación(Nivel$m

áximo$

de$educación$

100%$

0%$

0%$

0%$

50%$

100%$

150%$

Área(en(que(se(desenvuelve(Área$en$que$

se$desenvuelve$

0$0$ 10%

$ 80%$10%

$

No$uso$

bajo$

medio$

alto$

extremo$

0$

0.5$ 1$ Uso(de(disposi;vos(

móviles(

Uso$de$

disposiMvos$móviles$

70%$

30%$

0%$

50%$

100%$

Si$No$

Ha(usado(disposi;vos(Tablet(

Ha$usadodisposiMvos$Tablet$

Gráfico 6-5 U

so de dispositivos móviles

Gráfico 6-6 U

so de tablets

Capítulo V

I. Pruebas y Resultados

70

20%$

80%$

Si$No$

0%$

20%$

40%$

60%$

80%$

100%$ ¿Conoce(algún(SR?(

¿Conoce$algún$SR?$

2$1$

$1$$

0$ 1$ 2$ 3$

Si(la(respuesta(anterior(fue(posi;va,(

menciónelos(Si$la$

respuesta$anterior$fue$posiMva,$menciónelos$

40%$

60%$

0%$

50%$

100%$

Si$No$

Ha(par;cipado(en(un(estudio(cienFfico(

Ha$parMcipado$en$un$estudio$cienVfico$

Gráfico 6-7 C

onoce SR

Gráfico 6-8 SR

conocidos

Gráfico 6-9 Estudio C

ientífico


71

6.3 Aplicación y Resultados de Think-Aloud Posteriormente se solicitó a los usuarios que interactuarán con el SRSC Find-it! y comentarán las actividades que realizaban o intentaban realizar, así como sus dudas y comentarios. Antes de comenzar con esta evaluación es necesario comentar a los usuarios participantes que la evaluación va dirigida hacia el SR y no hacia ellos como usuarios, por ello es importante que comenten cualquier aspecto negativo o positivo que encuentren en el uso del sistema, también es necesario hacer la mención de que las dudas que surjan durante la evaluación no podrán ser resueltas en el momento, pero es de suma importancia que sean mencionadas cuando surjan. En la tabla 6-3 se muestran los resultados obtenidos de la evaluación aplicada Think-Aloud7. Esta evaluación fue aplicada a 9 usuarios. Los aspectos encontrados fueron reportados al desarrollador y diseñador del sistema (Rodríguez Maldonado, 2014) y al asesor Dr. Juan Gabriel González Serna.

Nombre del Aspecto Nombre del documento 1.- No Encuentran Ícono del Sistema

TA-icono01

2.- Falta de Instrucciones TA-instrucciones02

3.- Inquietud con Mapa SVG TA-mapa03

4.- Información Solicitada TA-información04

5.- Retorno de Interfaces TA-volver05

6.- Cerrar Sesión TA-cerrarSesión06

7.- Tipo y Cantidad de Caracteres TA-tipoCaracteres07

8.- Ocultar Teclado Virtual TA-teclado08

9.- No Inicia con Mayúscula TA-mayúsculas09

10.- Datos de Perfil TA-datosPerfil10

11.- Relación de Conceptos TA-relacionDeConceptos11

12.- Botón Home TA-botonHome12

13.- Íconos Ra TA-iconosRA13

14.- Recuadro de Más Información RA

TA-masInfoRA14

7"Las"evidencias"en"formato"UAR"de"la"técnica"Think9Aloud,"se"encuentran"en"el"CD"adjunto."


72

15.- Colapso de Sistema Desde RA

TA-colapsoRA15

16.- Demora de Inicio o Cambio de Interfaz

TA-demoraDelSistema16

17.- Parpadeo y Acciones de Mapas

TA-mapa17

18.- Botón Settings Sin Funcionalidad

TA-botonSetting18

19.- Datos de Formación Académica

TA-formaciónAcadémica19

20.- Tópicos de Interés TA-tópicosInterés20

21.- Concepto Competencias TA-conceptoCompetencias21

Tabla 6-2 Resultados de evaluación Think-Aloud


73

6.4 Cognitive Walk Through + Think-Aloud A continuación se muestran los resultados obtenidos de la observación de los videos8 obtenidos durante la interacción de usuario con el sistema Find-it! divididos en cada una de las 8 actividades solicitadas a los usuarios.

En el Gráfico 6-9 se muestran los resultados obtenidos por perfil de usuario de la actividad “Abrir la aplicación Find-it!”.

Conclusión: 6 de 6 usuarios lograron abrir la aplicación e identificar el ícono de la misma sin ningún problema. No se reporta ningún aspecto negativo dentro de la evaluación de esta tarea.

Gráfico 6-10 Abrir aplicación Find-it!

8" " Las" evidencias" en" video" y" respuestas" de" la" técnica" Cognitive" Walk" Through," se" encuentran" en" el" CD"adjunto."

2" 2" 2"

0"

Empresario" Estudiante" Profesor" Tarea"inconclusa"

0"

0.5"

1"

1.5"

2"

2.5"

Abrir%la%aplicación%find%it!%

Abrir"la"aplicación"find"it!"


74

En el Gráfico 6-10 se muestran los resultados obtenidos por perfil de usuario de la actividad “Realizar registro de usuario en la aplicación Find-it!”.

Conclusión: La mayoría de los usuarios tienen como problema inicial encontrar la opción de registro en el sistema.

Una vez que se recuperan los usuarios pueden almacenar sus datos personales.

Los usuarios empresarios concuerdan con que el flujo de introducción de información y la ubicación del botón guardar no es estándar.

Gráfico 6-11 Registro de usuario

2" 2" 2"

0"0"

0.5"

1"

1.5"

2"

2.5"

Empresario" Estudiante" Profesor" Inconclusa"

Realizar%registro%de%usuario%en%la%aplicación%find%it!%

Realizar"registro"de"usuario"en"la"aplicación"find"it!"


75

En el Gráfico 6-11 se muestran los resultados obtenidos por perfil de usuario de la actividad “Iniciar sesión en la aplicación Find-it!”.

Conclusión: 6 de 6 usuarios pudieron concretar esta actividad sin ningún inconveniente.

Gráfico 6-12 Inicio de sesión

2" 2" 2"

0"

Empresario" Estudiante" Profesor" Inconclusa"0"

0.5"

1"

1.5"

2"

2.5"

Iniciar%sesión%en%la%aplicación%find%it!%

Iniciar"sesión"en"la"aplicación"find"it!"


76

En el Gráfico 6-12 se muestran los resultados obtenidos por perfil de usuario de la actividad “Abrir y leer ayuda, cerrar ayuda”.

Conclusiones: 5 de 6 usuarios tuvieron problemas para encontrar la ubicación de la opción de ayuda, sin embargo los 6 lograron realizar la actividad con éxito.

Gráfico 6-13 Abrir, Leer ayuda y Cerrar ayuda

2" 2" 2"

0"0"

0.5"

1"

1.5"

2"

2.5"


Abrir%y%leer%ayuda,%cerrar%ayuda%%

Abrir"y"leer"ayuda,"cerrar"ayuda""


77

En el Gráfico 6-13 se muestran los resultados obtenidos por perfil de usuario de la actividad “Visualizar más información del lugar”.

Conclusiones: Aunque un usuario mostró dificultades, 6 de 6 usuarios pudieron concluir la tarea solicitada.

Gráfico 6-14 Visualizar más información


0.5"

1"

1.5"

2"

2.5"

Visualizar%más%información%del%Lugar%

Visualizar"más"información"del"Lugar"


78

En el Gráfico 6-14 se muestran los resultados obtenidos por perfil de usuario de la actividad “Ingresar a recomendaciones textuales y buscar actividades disponibles”.

Conclusiones: 5 de 6 usuarios lograron concretar la actividad. Al parecer el usuario que no logró visualizar las actividades disponibles no comprendió la tarea asignada o la definición de “actividades” en el contexto del sistema.

Gráfico 6-15 Recomendaciones textuales

2" 2"

1" 1"


0.5"

1"

1.5"

2"

2.5"

Ingresar%a%recomendaciones%textuales%y%buscar%ac@vidades%disponibles%

Ingresar"a"recomendaciones"textuales"y"buscar"acTvidades"disponibles"


79

En el Gráfico 6-15 se muestran los resultados obtenidos por perfil de usuario de la actividad “Ingresar a Realidad aumentada, seleccionar “Entrada”, ocultar los ítems a excepción de personas y obtener más información”.

Conclusiones: 4 de 6 usuarios lograron concluir la tarea asignada. 4 de 6 usuarios no conocen a ciencia cierta a que se refiere el término de realidad aumentada. Los usuarios que no pudieron concluir la tarea son de perfil “Empresario”, posiblemente por no estar relacionado su perfil con el uso de este tipo de tecnologías. Sólo dos de los usuarios consultaron la ayuda (Empresario1 y Estudiante2).

Gráfico 6-16 Realidad aumentada

1"

2" 2"

1"

0"

0.5"

1"

1.5"

2"

2.5"


Ingresar%a%Realidad%aumentada,%seleccionar%“Entrada”,%ocultar%los%ítems%a%excepción%de%

personas%y%obtener%más%información%

Ingresar"a"Realidad"aumentada,"seleccionar"“Entrada”,"ocultar"los"ítems"a"excepción"de"personas"y"obtener"más"información"


80

En el Gráfico 6-16 se muestran los resultados obtenidos por perfil de usuario de la actividad “Ingresar a Mapas, cambiar mapa, acercar mapa, restaurar, obtener más información”.

Conclusiones: 6 de 6 usuarios lograron entrar a la sección de mapas SVG, pero 6 de 6 usuarios no pudieron concluir con la actividad solicitada. 1 de 6 usuarios siguió el tutorial de ayuda pero el sistema no contiene información cargada.

Gráfico 6-17 Mapas SVG

0" 0" 0"

6"

0"

1"

2"

3"

4"

5"

6"

7"


Ingresar%a%Mapas,%cambiar%mapa,%acercar%mapa,%restaurar,%obtener%más%información%%

Ingresar"a"Mapas,"cambiar"mapa,"acercar"mapa,"restaurar,"obtener"más"información"


81

6.5 Cuestionarios En la siguiente sección se muestran los resultados por característica (Entendimiento, Esfuerzo cognitivo percibido, Confianza, Satisfacción, Efectividad y Calidad percibida en las recomendaciones) obtenidos con la aplicación de la técnica de cuestionarios9 (Anexo 6) a los 6 usuarios a los que les fue aplicada la técnica Cognitive Walk Through + Think-Aloud previamente. Los usuarios han sido elegidos de acuerdo a los perfiles de uso disponibles dentro del sistema, Estudiante, Profesor/Investigador y Empresario.

6.5.1 Cuestionario de Entendimiento En el Gráfico 6-17 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Entendimiento. A partir de este análisis se ha determinado que existe un nivel de 58% de Entendimiento percibido por los usuarios.

Gráfico 6-18 Entendimiento

9"Las"evidencias"y"respuestas"de"la"técnica"Cuestionarios,"se"encuentran"en"el"CD"adjunto."

0%"10%"20%"30%"40%"50%"60%"70%"80%"

Entendimiento%

Entendimiento"


82

6.5.2 Cuestionario de Esfuerzo Cognitivo Percibido En el Gráfico 6-18 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Esfuerzo cognitivo percibido. A partir de este análisis se ha determinado que existe un nivel de 44% de Esfuerzo cognitivo percibido por los usuarios, lo cual quiere decir que en un 56% siendo la mayoría, los usuarios consideran que no es necesario aplicar un alto nivel de Esfuerzo cognitivo.

Gráfico 6-19 Esfuerzo cognitivo

0%"

10%"

20%"

30%"

40%"

50%"

60%"

70%"

Ayuda"a"encontrar"

Es"una"tarea"rápida"

Requiere"esfuerzo"

Toma"mucho"Tempo"

Esfuerzo%Cogni@vo%percibido%

Esfuerzo"CogniTvo"percibido"


83

6.5.3 Cuestionario de Confianza En el Gráfico 6-19 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Confianza. A partir de este análisis se ha determinado que existe un nivel de 74% de Confianza percibida por los usuarios. Los resultados de este cuestionario indican que lo que los usuarios apreciaron dentro del sistema les generó un nivel alto de confianza.

Gráfico 6-20 Confianza

0%"

10%"

20%"

30%"

40%"

50%"

60%"

70%"

Es"confiable" Con_o" No"existe"razón"

Confñia"en"las"razones"

Puedo"basar"mis"decisiones"

Confianza%

Confianza"


84

6.5.4 Cuestionario de Satisfacción En el Gráfico 6-20 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Satisfacción. A partir de este análisis se ha determinado que existe un nivel de 53% de Satisfacción percibida por los usuarios. Estos resultados muestran un nivel de satisfacción medio percibido por los usuarios durante la interacción con el SRSC Find-it!.

Gráfico 6-21 Satisfacción

0%"

10%"

20%"

30%"

40%"

50%"

60%"

70%"

Lo"recomiendan"

Se"siente"bien"usuándolo"

Es"inúTl" Experiencia"placentera"

No"me"bene_cia"

Sa@sfacción%

SaTsfacción"


85

6.5.5 Cuestionario de Efectividad En el Gráfico 6-21 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Efectividad. A partir de este análisis se ha determinado que existe un nivel de 59% de Efectividad percibida por los usuarios. Estos resultados muestran un nivel de Efectividad medio percibido por los usuarios durante la interacción con el SRSC Find-it!.

Gráfico 6-22 Efectividad

0%"

10%"

20%"

30%"

40%"

50%"

60%"

70%"

Es"una"perdida"de"Tempo"

SaTsfacción"en"find"it!"

se"requieren"muchos"pasos"

Me"siento"eficiente"

Es"competente"

Consiente"de"las"

opciones"

Efec@vidad%

EfecTvidad"


86

6.5.6 Cuestionario de Calidad Percibida en las Recomendaciones En el Gráfico 6-22 se muestran los porcentajes obtenidos al computar los resultados de la aplicación del cuestionario de Calidad percibida. A partir de este análisis se ha determinado que existe un nivel de 51% de Calidad percibida por los usuarios.

Gráfico 6-23 Calidad en las recomendaciones

48%"50%"52%"54%"56%"58%"60%"62%"64%"66%"

Calidad%percibida%en%las%recomendaciones%

Calidad"percibida"en"las"recomendaciones"


87

6.6 Entrevista En esta sección se muestra el análisis realizado a las respuestas obtenidas de las entrevistas10 (Anexo7) directas que se realizaron a los usuarios del sistema, cabe mencionar que estos 6 usuarios son los mismos que presentaron la prueba Cognitive Walk Through y Cuestionarios.

En el Gráfico 6-23 se muestra el resultado obtenido a la pregunta número 1 “Describe la finalidad del sistema Find-it!” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 6 de 6 usuarios lograron definir la finalidad del sistema Find- it. Esta pregunta es relevante para saber si a cada usuario le quedo clara la funcionalidad del sistema sin tener mayor información acerca de lo que se puede hacer con ayuda del mismo.

Gráfico 6-24 Funcionalidad

10""Las"Respuestas"de"la"técnica"Entrevista,"se"encuentran"en"el"CD"adjunto."

0%"

50%"

100%"

150%"

Si" No"

Puede%describir%la%finalidad%de%FindKit%

Describe"la"finalidad"de"Find9it"


88

En el Gráfico 6-24 se muestra el resultado obtenido a la pregunta número 2 “¿Descubriste algún ítem de tu interés? y ¿Por qué crees que sucedió esto?” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 4 de 6 usuarios descubrieron algún ítem o funcionalidad de su interés dentro del SRSC Find-it!, mientras que 2 de 6 usuarios con perfil de empresarios no encontraron ningún ítem que fuera de su interés.

Gráfico 6-25 Ítems de interés

En el Gráfico 6-25 se muestra el resultado obtenido a la pregunta número 3 “¿Deseas conocer o saber más sobre algunos de los ítems que se te recomendaron?” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 5 de 6 usuarios tienen interés por conocer acerca de funciones que pueden ser realizadas dentro del SRSC Find-it!. El usuario que respondió negativamente a esta pregunta comenta que sólo encontraba opciones dentro de la interfaz y no información de su interés.

Gráfico 6-26 Más información

0"1"2"3"4"5"

Si" No"

Ítem%de%su%interés%

Ítem"de"su"interés"

0"

2"

4"

6"

Si" No"

¿Desea%conocer%más?%

Desea"conocer"más"


89

En el Gráfico 6-26 se muestra el resultado obtenido a la pregunta número 4 “¿Encontraste algún problema en el uso del sistema? ¿Por qué?” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 6 de 6 usuarios encontraron problemas relacionados con:

• El registro • Cierre del sistema en RA • Cierre del sistema durante el registro • Ubicación del botón ayuda • Al interactuar con la sección de Mapas SVG

Gráfico 6-27 Problemas encontrados

0"

2"

4"

6"

8"

Si" No"

¿Encontró%algún%problema?%

Encontraste"algún"problema"


90

En el Gráfico 6-27 se muestra el resultado obtenido a la pregunta número 5 “¿Tienes alguna recomendación de lo que te gustaría que hiciera el sistema?” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 6 de 6 usuarios tienen recomendaciones para mejorar el sistema:

• Interfaz más amena • Hacerlo más intuitivo • Más llamativo para el usuario • Información más clara • Que las recomendaciones sean enviadas al correo para no olvidarlas • Contar con más información en la sección de Mapas SVG y poder acceder a ella

Gráfico 6-28 Recomendación

0%"

500%"

1000%"

1500%"

Si" No"

Tiene%alguna%recomendación%%

Tiene"alguna"recomendación""


91

En el Gráfico 6-28 se muestra el resultado obtenido a la pregunta número 5 “¿Tienes alguna recomendación de lo que te gustaría que hiciera el sistema?” de la entrevista realizada a los 6 usuarios que presentaron la prueba, 2 usuarios por cada uno de los perfiles, se concluye que 6 de 6 usuarios conocen y han utilizado el SO Android, 3 de 6 han utilizado iOS, 1 de 6 ha utilizado Win 8, 2 de 6 han utilizado Black Berry y 2 de 6 han sido usuarios de windows phone dentro de sus dispositivos móviles.

Gráfico 6-29 Usuario de Sistema Operativo

Para la pregunta número 7 de la entrevista realizada a 6 usuarios, “Comentarios adicionales”, se obtuvo como resultado lo siguiente:

• Es un sistema muy pobre o incompleto no brinda la calidad suficiente. • Me gustaría tener la versión Beta instalada en mi dispositivo para iOS y Android. • Que se agregara la función de Facebook o twitter, que ligue tus cuentas. • Verificar la ortografía de los menús, dice se “muestra”. • Los recuadros donde aparece la información parecen botones y da la impresión de

que es lo que se tiene que seleccionar para acceder a las opciones de recomendación.

0"1"2"3"4"5"6"7"

¿De%qué%SO%es%usuario?%

Usuario"de"qué"SO"

CAPÍTULO VII Conclusiones

Capítulo VII. Conclusiones

93

7 Conclusiones Dentro de este capítulo daremos a conocer las conclusiones obtenidas a raíz de la aplicación de las pruebas realizadas al SRSC Find-it!.

7.1 Conclusiones por Técnica Aplicada

7.1.1 Evaluación Heurística Con esta técnica descubrimos la existencia de aspectos negativos que afectan la confianza y satisfacción del usuario así como la eficacia de uso. A continuación en la tabla 7-1 se mencionan los aspectos encontrados y que Heurística de Nielsen se veía afectada antes de ser corregidos.

Nombre del Aspecto Nombre de la Heurística Afectada

Nombre del Aspecto

Nombre de la Heurística Afectada

Cambio de Estado del Sistema al Modificar la Orientación del Dispositivo

Prevención de Errores

Colapso de Sistema desde RA


Desligue y Cierre del Sistema

Control y Libertad del Usuario

Nula Ayuda o Documentación

Ayuda y Documentación

Etiquetas de Ayuda Ayuda a Reconocer Referencia de Selección de Opción

Estado del Sistema

Visibilidad del Estado del Sistema en la Pantalla de Login

Validación y Estado del Sistema

Colapso de Sistema desde RA


Validación de Registro de Usuarios


Ubicación Inadecuada


Identificar Ítem Seleccionado Estado del Sistema Espacio Disponible Estética y Diseño

Minimalista

URL Solicitada Relación con el Mundo Real Íconos Pequeños Estética y Diseño

Minimalista

Botones Deshabilitados


Color de Personalización de Interfaz


Botones Deshabilitados


Opciones Disponibles

Control y Libertad del Usuario

Tabla 7-1 Aspectos encontrados y Heurística afectada

Hemos descubierto que al tomar la heurística de Nielsen, cada uno de los 10 puntos establecidos durante el diseño de las interfaces del sistema, se puede prevenir gran cantidad de problemas relacionados con entendimiento de manejo del sistema y mejorar la interacción humano – computadora.


94

7.1.2 Evaluación Think-Aloud Esta técnica nos reveló que algunos de los problemas detectados por los usuarios pudieron prevenirse al haberse tomado las recomendaciones Heurísticas previamente descritas o al realizar un diseño centrado en el usuario de la aplicación o sistema. A continuación, en la Tabla 7-2 se mencionan los aspectos encontrados, aquellos aspectos que pudieron ser evitados aplicando las recomendaciones dadas basadas en la Heurística de Nielsen son aquellos resaltados con color azul.

Nombre del Aspecto 1.- No Encuentran Ícono del Sistema 2.- Falta de Instrucciones 3.- Inquietud con Mapa SVG 4.- Información Solicitada 5.- Retorno de Interfaces 6.- Cerrar Sesión 7.- Tipo y Cantidad de Caracteres 8.- Ocultar Teclado Virtual 9.- No Inicia con Mayúscula 10.- Datos de Perfil 11.- Relación de Conceptos 12.- Botón Home 13.- Íconos Ra 14.- Recuadro de Más Información RA 15.- Colapso de Sistema desde RA

16.- Demora de Inicio o Cambio de Interfaz

17.- Parpadeo y Acciones de Mapas 18.- Botón Settings Sin Funcionalidad 19.- Datos de Formación Académica 20.- Tópicos de Interés 21.- Concepto Competencias

Tabla 7-2 Aspectos que pudieron evitarse con las recomendaciones basadas en la Heurística de Nielsen. Sección 6.1

7.1.3 Conociendo al Usuario Esta etapa de la metodología permite saber el tipo de usuarios con que se evalúa el sistema y nos puede brindar información de aspectos encontrados relacionados con la etnología, por dar un ejemplo, descubrimos que los usuarios femeninos rotaban el dispositivo de horizontal a vertical a diferencia de usuarios masculinos que mantenían el dispositivo en horizontal


95

7.1.4 Mejoras al Sistema Dentro de esta etapa hemos descubierto que la evidencia obtenida en las evaluaciones anteriores y entregada al desarrollador / diseñador del sistema, es posible aclarar los aspectos encontrados y que se propone mejorar o mantener, brindando al desarrollador / diseñador una base de conocimiento de lo que sucede con el usuario al entrar en contacto con el sistema.

7.1.5 Evaluación Cognitive Walk Through Durante esta evaluación pudimos apreciar que algunos de los problemas que se reportaron con las evaluaciones anteriores y fueron corregidos, no se volvieron a presentar, a excepción de la consulta de ayuda en la interfaz de realidad aumentada, al parecer el usuario no se encuentra familiarizado con los conceptos.

Por otra parte, se observó que los problemas reportados y NO fueron corregidos, siguieron presentándose afectando a los usuarios e impidiéndoles culminar las tareas solicitadas o retrasándolos en tiempo y provocando que los usuarios se esforzaran más para poder concluir las tareas. En la tabla 7-3 se mencionan los problemas persistentes encontrados a causa de las recomendaciones NO aplicadas.

Nombre del Aspecto 1.- Inquietud con Mapa SVG 2.- Datos de Perfil 3.- Relación de Conceptos 4.- Colapso de Sistema desde RA 5.- Datos de Formación Académica 6.- Concepto Competencias 7.- Tópicos de Interés

Tabla 7-3 Problemas persistentes

Se ha descubierto que tal como fué planeado al desarrollar la metodología, los aspectos reportados en la parte formativa previenen problemas que realmente afectan la Efectividad, Satisfacción, y Confianza percibida por los usuarios en interacción con el sistema.

7.1.6 Evaluación con Cuestionarios Como es comentado en la conclusión de la evaluación Cognitive Walk Through, los aspectos malos reportados y no corregidos influyen en la Experiencia del usuario. Con esta técnica pudimos darnos cuenta de los niveles bajos obtenidos a través de las respuestas de los usuarios. Recordemos que con esta metodología buscamos ir depurando los problemas encontrados y evitar una mala experiencia de uso, al no tomarse en cuenta todas las recomendaciones, durante la interacción con los usuarios finales se ven nuevamente reflejados estos problemas.


96

Recomendamos tomar en cuenta cada una de las propuestas de mejora, debido a que estas evaluaciones son realizadas con usuarios reales que no tienen motivos para destruir o elogiar el sistema que se esta evaluando, por tal motivo el Desarrollador / Diseñador, no debe considerar las recomendaciones como algo que solo intenta afectar o denigrar su trabajo, sino mas bien, como algo que le ayudará a mejorarlo.

A continuación en el Gráfico 7-1 se mencionan los porcentajes obtenidos del análisis de las respuestas de los usuarios.

Gráfico 7-1 Porcentajes obtenidos

7.1.7 Evaluación con Entrevista Con esta evaluación pudimos platicar directamente con el usuario, permitiéndole expresarse sobre lo que percibieron en el uso del SRSC, obtuvimos de ellos inquietudes, recomendaciones, y pudimos conocer a que tipo de dispositivos y SO están familiarizados para poder evaluar si eso ha influido con su percepción del uso del SRSC.

Algunos usuarios presentaron aparente satisfacción por el uso previo del sistema, otros totalmente en contra. Al parecer influye el perfil de los usuarios en la percepción de Efectividad, Confianza y Satisfacción.

7.2 Conclusión General Con este trabajo de investigación pudimos conocer de primera mano los problemas a los que se enfrenta un desarrollador y/o diseñador de sistemas y que en muchas ocasiones no toma en cuenta para ser reparados y dar como resultado un sistema que cumpla con características que permitan a los usuarios finales obtener grados positivos de Efectividad, Confianza y Satisfacción.

Hemos tenido la oportunidad de evaluar el desarrollo de un SRSC para ir afinando los aspectos malos encontrados y depurar los problemas, permitiendo un desarrollo enfocado a las necesidades de los usuarios finales quienes serán los beneficiados o afectados directos en el uso del sistema.

0%"20%"40%"60%"80%"

Porcentajes%obtenidos%

Porcentajes"obtenidos"


97

También tuvimos la oportunidad de conocer los puntos de vista encontrados de Diseñador / Desarrollador Vs. Usuario, exponiendo causas reales con pruebas tangibles del porqué de las recomendaciones dadas para realizar correcciones no solo funcionales si no también de conceptos, descriptivas e icónicas, que pueden afectar la comprensión del usuario según su etnología u otros aspectos que normalmente no son tomados en cuenta durante el desarrollo de los SRSC y sistemas en general.

Pudimos apreciar como es necesario reportar los aspectos buenos encontrados durante la evaluación, para que con ello el Desarrollador mantenga las utilidades positivas que el usuario percibe en el sistema.

Consideramos que con ayuda de la aplicación de la metodología los SRSC y sistemas en general durante su desarrollo, pueden ser mejor planeados y concluidos de manera satisfactoria y con gran usabilidad para el usuario final.

CAPÍTULO VIII Anexos

Anexo 1. Formato UAR (Usability Aspect report)

99

8 Anexos

8.1 Plantilla para Reporte de Aspectos de Usabilidad (UAR)

Complete este formato una sola vez, como primera página del reporte:

Nombre del producto: <Nombre del producto o cosa que esta siendo estudiada> Fecha del estudio: <Cuando es llevado a cabo> Nombres de los experimentadores: <Nombres del experimentador o experimentadores que presentan> ID del tema: < Identificador anónimo para el tema. Por lo general, un número. No se utiliza para HE >

Complete esta forma para cada problema o aspectos bueno observado. (Una forma vacía, apta para el uso real se encuentra situada al final de este documento. Estas son solo las instrucciones).

No. <El tipo de evaluación (HE or UE) e identificador único> (HE=Heuristic evaluation; UE=User Evaluation)

Problema/Aspecto bueno < mencione cuál >

Nombre: <Breve pero descriptivo y distintivo para el problema o aspecto bueno.> Evidencia: Heurística: < Para la evaluación heurística, liste el nombre de la heurística (Ej., “Consistencia”) > Aspectos de interfaz: <Donde el problema se encuentra. Incluya hechos relevantes sobre la interfaz. Además de los datos de la interfaz, las imágenes son casi siempre necesarias y por lo general es más rápido de producir que las palabras por sí solas, a menos que usted sea muy hábil en proporcionar palabras de imágenes > Explicación: <La explicación de los aspectos malos y buenos acerca de estas interfaces. Para el análisis heurístico, Describa en la explicación como la heurística es cumplida o violada. Si la aplicación de la heurística consiste en hacer afirmaciones sobre el usuario (Ej., de lo que el


100

usuario va o no va a estar familiarizado con), incluir reclamaciones y cualquier prueba / razonamiento para apoyar estas afirmaciones. Utilizar descripciones como, "El usuario [experto, principiante] probablemente ... porque ..." o "Será poco probable que los usuarios ... porque ..." es apropiado en este caso > Gravedad o Beneficio:

Rating: <número + descripción. Use los ratings de Nielsen: (Consulte http://www.useit.com/papers/heuristic/severityrating.html)

0 = No es un problema: No estoy de acuerdo en que esto sea del todo un problema de usabilidad. 1 = Problema Cosmético solamente: No requiere ser resuelto, a menos que exista tiempo extra en el proyecto. 2 = Problema de usabilidad Menor: Resolver esto es de baja prioridad. 3 = Problema de usabilidad Mayor: Resolver esto es de suma importancia, se debe dar alta prioridad. 4 = Catástrofe de usabilidad: imprescindible resolver este problema antes de que el producto sea liberado. > Justificación (Frecuencia, Impacto, Persistencia, Valoraciones): Frecuencia: <Común o raro ¿Por qué? ¿Cuantos usuarios (de qué tipo—nuevo, causante, experimentación, son probablemente asociados a la experiencia del usuario? ¿Por qué? ¿Es esto algo que la mayoría de los usuarios, algunos usuarios, apenas algunos usuarios probablemente querrán hacer? ¿Por qué?)> Impacto: <Es fácil o difícil que el usuario se recupere? Por qué? Si es difícil recuperarse, si es poco probable que el usuario sea capaz de lograr los objetivos o probablemente pierda mucho tiempo.> Persistencia: <Es un problema que aparece en una sola ocasión (una vez que los usuarios saben sobre él pueden superarlo, no importa lo difícil que es detectar y superar) o los usuarios van a ser afectados repetidamente por él? ¿Por qué? (Si no pueden detectarlo y superarlo, entonces persiste)> Como mido los factores: <Justificar la valoración numérica proveyendo las evaluaciones y razonando acerca de lo siguiente: frecuencia, impacto, y persistencia, y el peso dado a estos factores dentro de la valoración global. Por ejemplo, Un problema relativamente raro, fácil de superar y de baja persistencia podría justificar calificación como un problema de usabilidad menor; un problema de baja frecuencia, pero crítico (Ej., No se puede guardar) sería motivo para dar una calificación alta intensidad, a pesar de ser de baja frecuencia. Si este es un buen aspecto, entonces Rating es "N/A", pero es necesario describir los beneficios para el usuario que se pueden ver desde este aspecto. > Posible solución y/o recomendaciones:


101

<Si existe un problema, hay que proponer una posible solución. Es necesario incluir las recomendaciones para ser creíble. Si no puede pensar en recomendaciones, menciónelo. Si es un aspecto bueno, las recomendaciones serán apropiadas > Relaciones: <Referencias cruzadas con otros formatos UAR. Relacionado con (si los hay). Incluya un número y un nombre. Si la relación al otro formato UAR no es obvio, entonces es necesario dar razones del porque se muestra de esa manera (porque …) >

Anexo 2. Cuestionario “Conociendo al usuario”

102

8.2 Cuestionario “Conociendo al Usuario”

1.- Indique su sexo

o Femenino o Masculino

2.- ¿Cuál es su categoría de edad?

o 17 o menos o 18-20 o 21-29 o 30-39 o 40-49 o 50-59 o 60 o más

3.- ¿Cuál es su nivel máximo de educación?

o Escuela preparatoria o Estudios universitarios o Estudios de posgrado

4.- ¿Describa el área en el que se desenvuelve? (Computación, Arquitectura, Derecho, Mecánica, etc...)

R=

5.- Nivel de uso de dispositivos móviles

o No uso dispositivos móviles o Uso bajo (llamadas, mensajes) o Uso medio (llamadas, mensajes, correo) o Uso alto (llamadas, mensajes, correo, aplicaciones móviles) o Uso extremo (Mis actividades diarias son realizadas a través de un dispositivo

6.- ¿Ha utilizado dispositivos tablet?

o Si o No

Anexo 2. Cuestionario “Conociendo al usuario”

103

7.- ¿Conoce algún sistema de recomendación?

o Si o No

8.- Si la respuesta anterior fue Si, ¿Qué sistemas de recomendación ha utilizado?

R=

9.- ¿Ha participado en un estudio científico con anterioridad?

o Si o No

Anexo 3. Actividades CWT Descritas

104

8.3 Actividades Cognitive Walk Through Descritas

Actividad 1 Título de actividad: Abrir la aplicación Find-it!

No. Paso Descripción 1.- Deslizar el dedo a la derecha o izquierda en la pantalla del dispositivo

móvil buscando el ícono de la aplicación Find-it!.

2.- Dar click sobre el ícono de Find-it!.

Actividad 2 Título de actividad: Realizar registro de usuario en la aplicación Find-it!

No. Paso Descripción 1.- Ocultar el teclado.

2.- Buscar el botón “crear cuenta”.

3.- Dar click sobre el botón “crear cuenta”.

4.- Rellenar campos de datos de usuario y tomar foto de perfil.

5.- Rellenar campo de datos personales.

6.- Rellenar campos de formación académica.

7.- Seleccionar uno más tópicos de interés.

8.- Seleccionar o no un color de personalización.

9.- Dar click sobre el botón “Guardar”.

Actividad 3 Título de actividad: Iniciar sesión en la aplicación Find-it!

No. Paso Descripción 1.- Introducir usuario

2.- Introducir contraseña

3.- Dar click en botón “iniciar”


105

Actividad 4 Título de actividad: Leer ayuda, cerrar ayuda y volver a abrir ayuda

No. Paso Descripción 1.- Entrar a la interfaz y observar la ayuda en la interfaz de inicio.

2.- Presionar botón “Entendido” para cerrar ayuda.

3.- Presionar botón “Settings” (Esquina superior derecha).

4.- Presionar botón “Ayuda”.

Actividad 5 Título de actividad: Visualizar más información del Lugar

No. Paso Descripción 1.- Identificar la sección de información del lugar.

2.- Dar click sobre información del lugar.

3.- Dar click en cualquier otro lugar para cerrar la ventana emergente.

Actividad 6 Título de actividad: Ingresar a recomendaciones textuales y buscar

actividades disponibles No. Paso Descripción

1.- En menú de selección presionar ícono de “Recomendaciones textuales”.

2.- Ubicar y deslizar el swipe para encontrar las actividades disponibles.

3.- Leer la lista de actividades y dar click en alguna.

Actividad 7 Título de actividad: Dirigirse a la entrada del edificio, Ingresar a Realidad

aumentada, seleccionar “Entrada”, ocultar los ítems a excepción de personas y obtener más información

No. Paso Descripción 1.- Dar click sobre el ícono de “Realidad aumentada”

2.- Cambiar ubicación a “Entrada”

3.- Girar el dispositivo móvil para encontrar puntos de interés.


106

4.- Ocultar ítems a excepción de personas.

5.- Dar click en alguno de los Puntos de interés de personas para obtener más información.

Actividad 8 Título de actividad: Ingresar a Mapas, cambiar mapa, acercar mapa,

restaurar, cambiar mapa por otro, obtener más información

No. Paso Descripción 1.- Seleccionar el ícono de “Mapas” en la interfaz principal o de selección.

2.- Seleccionar otro mapa a mostrar en la lista de mapas disponibles.

3.- Acercar el mapa haciendo click en el botón “+” ubicado en la parte inferior del mapa mostrado.

4.- Dar click en el botón “Restaurar Mapa” para regresarlo a su tamaño original.

5.- Seleccionar el mapa “Rojo” en la lista de mapas disponibles.

6.- Presionar el botón “Detener / Mover”.

7.- Presionar dentro del mapa para obtener más información.

Anexo 4. Actividades CWT Solicitadas

107

8.4 Lista de actividades Cognitive Walk Through

1.- Abrir la aplicación Find-it!

2.- Realizar registro de usuario en la aplicación Find-it!

3.- Iniciar sesión en la aplicación Find-it!

4.- Leer ayuda, cerrar ayuda y volver a abrir ayuda

5.- Visualizar más información del Lugar

6.- Ingresar a recomendaciones textuales y buscar actividades disponibles

7.- Dirigirse a la entrada del edificio, Ingresar a Realidad aumentada, seleccionar “Entrada”, ocultar los ítems a excepción de personas y obtener más información

8.- Ingresar a Mapas, cambiar mapa, acercar mapa, restaurar, cambiar mapa por otro, obtener más información

Anexo 5. Preguntas CWT

108

8.5 Preguntas Cognitive Walk Through


2.- ¿El usuario notó que la opción correcta estaba disponible?


4.- Si se realiza la acción correcta, ¿El usuario puede ver que se está avanzando hacia la solución de la tarea?

Anexo 6. Cuestionario

109

8.6 Cuestionario

Preguntas de Entendimiento:

o Las recomendaciones son claras o La manera en que es presentada la información en el sistema es comprensible o Entiendo como Find-it! Hace las recomendaciones o No estoy seguro de como son hechas las recomendaciones (escala inversa) o El proceso de recomendación es claro para mi o Find-it! Me muestra de donde vienen las recomendaciones o Puedo entender y actuar en la información mostrada por Find-it! o Usar Find-it! Por primera vez es fácil o Tengo que seguir consultando las guías de ayuda (escala inversa) o Jamás entenderé a usar todo lo que ofrece Find-it! (escala inversa)

Preguntas de Esfuerzo cognitivo percibido:

o Find-it! Me ayuda a encontrar lo que estoy buscando o Tomar decisiones usando Find-it! es una tarea rápida o Buscar algún ítem usando Find-it! requiere mucho esfuerzo (escala inversa) o Toma mucho tiempo tomar una decisión usando las recomendaciones de Find-it!

(escala inversa)

Preguntas de Confianza:

o Siento que Find-it! es confiable o Confío en los ítems recomendados o No tengo ninguna razón para confiar en los recursos de las recomendaciones (escala

inversa) o Confío en las razones en las que están basadas las recomendaciones o Estoy seguro que puedo basar mis decisiones en las recomendaciones de Find-it!

Anexo 6. Cuestionario

110

Preguntas de Satisfacción:

o Recomendaré Find-it! a otros o Me siento bien usando Find-it! o Find-it! es inútil (escala inversa) o Usar Find-it! es una experiencia placentera o Find-it! No me beneficia (escala inversa)

Preguntas de Efectividad

o Usar Find-it! es una perdida de tiempo (escala inversa) o Mi satisfacción en general con Find-it! es alta o Se requieren muchos pasos para encontrar un ítem de mi interés (escala inversa) o Me siento eficiente cuando uso este sistema o Find-it! es competente para ayudarme a encontrar con eficacia los ítems que me

gustan o Find-it! me hace más consiente de las opciones posibles a elegir

Preguntas de Calidad percibida en las recomendaciones:

o Las recomendaciones concuerdan con mis preferencias o Las recomendaciones han sido bien elegidas o Las recomendaciones recibidas son relevantes o El sistema hace varias recomendaciones malas (escala inversa) o NO me gusto ninguna de las recomendaciones (escala inversa)

Anexo 7. Entrevista

111

8.7 Entrevista

Pregunta Objetivo

¿Describe la finalidad del sistema Find-it!?

- Con el fin de conocer si quedo claro el motivo de existencia de este sistema durante la interacción.

¿Descubriste algún ítem de tu interés? y ¿Por qué crees que sucedió esto?

– Con el fin de conocer si las recomendaciones están totalmente relacionadas con el contexto percibido por el sistema.

¿Deseas conocer o saber más sobre algunos de los ítems que se te recomendaron? y ¿Por qué?

– Con el fin de conocer la confianza brindada por los ítems recomendados y el interés despertado en el usuario para aplicar las recomendaciones brindadas.

¿Encontraste algún problema en el uso del sistema?

– Con el fin de percibir si el usuario se sintió frustrado por alguna acción realizada que pudiera afectar su satisfacción.

¿Tienes alguna recomendación de lo que te gustaría que hiciera el sistema?

– Con el fin de conocer si el usuario considera que le hace falta algún sector de información o algún componente que mejore las recomendaciones brindadas.

CAPÍTULO IX Referencias

9 Referencias

Adomavicius, G., & Tuzhilin, A. (2011). Contet-Aware Recommender Systems.

Alejandres S., H. (2013). Avance de Tesis Doctoral: Evaluación centrada en el usuario de sistemas de recomendación semánticos sensibles al contexto: efecto de interfaces multimodales interactivas y esquemas de argumentación en la experiencia del usuario.

Alva Obeso, M. E. (2005). Tesis Doctoral: Metodología de Medición y Evaluación de la Usabilidad en Sitios Web Educativos.

Baltrunas, L., Ludwig, B., Peer, S., & Ricci, F. (2012). Context relevance assessment and exploitation in mobile recommender systems. 507-526.

Barros, D. R. (2008). DISEÑO DE INTERFACES Y CONDICIONES DE USABILIDAD Definición de pruebas heurísticas para evaluar la usabilidad en sitios web sobre gestión cultural.

Brown, P. J., Bovey, J. D., & Chen, X. (1997). Context-Aware Applications: From the laboratory to the Marketplace. 4 (5).

Burke, R. (2002). «Hybrid Recommender Systems: Survey and Experiments,» User Modeling and User-Adapted Interaction.

Burke, R. (2007). Hybrid web recommender systems. The Adaptative Web , 377-408.

Chen, L., & Pu, P. (2010). User Evaluation Framework of Recommender Systems.

Chen, L., & Pu, P. (2010). User evaluation framework of recommender systems. 10.

Chen, L., & Tsoi, H. K. (2011). Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design.

Chin, D. N. (2001). Empirical Evaluation of User Models and User-Adapted Systems. 181-194.

Chin, J. P., Diehl, V. A., & Norman, K. L. (1988). Development of an instrument measuring user satisfaction of the human-computer interface. 213-218.

Claridge, N., & Kirakowski, D. (s.f.). WAMMI. Recuperado el 2012, de WAMMI Copyright © 2013 WAMMI: http://www.wammi.com/about.html

Corritore, C. L., Kracher, B., & Wiedenbeck, S. (2003). On-line trust: concepts, evolving themes, a model. International Journal of Human-Computer Studies, 58(6) , 737-758.

Cuadrat Seix, C. (2012). Tesis Doctoral: Estudio sobre evaluación de la usabilidad móvil y propuesta de un método para tests de usabilidad cuantitativos basado en técnicas de eyetracking.

Dey, A., Abowd, G. D., & Salber, D. (2001). A Conceptual Framework and a Toolkit for Supporting the Rapid Prototyping of Context-Aware Applications. 16.

Ferran, N., & Minguillon, J. (2005). Información cualitativa sobre el uso de los objetos de aprendizaje.

Følstad, A., Law, E., & Hornbæk, K. (2012). Analysis in practical usability evaluation: a survey study. 2127-2136.

Galán M., J. I. (2014). Tesis de Maestria: Framework adaptativo de algoritmos de argumentación para sistemas de recomendación semánticos sensibles al contexto.

González, N. (2012). Sistema de Recomendación Contextual Basado en Ontologías para Ambientes Organizacionales y de Usuario en Entornos de Cómputo Móvil.

Herlocker, J. L., Konstan, J. A., Terveen, L. G., & Rield, J. T. (2004). Evaluating Collaborative Filtering Recommender Systems. 22, 5-53.

Hernández, Á. F. (2005). Arquitectura para la evaluación de la usabilidad de interfaces multimodales.

Human-Computer Interaction Lab (HCIL) at the University of Maryland at College Park. (s.f.). QUIS. Recuperado el 2012, de QUIS : http://www.lap.umd.edu/quis/

Jacobsen, N. E., & John, B. E. (2000). Two Case Studies in Using Cognitive Walkthrough for Interface Evaluation.

Jones, N., & Pu, P. (2007). User Technology Adoption Issues in Recommender Systems,» de Networking and Electronic Commerce Research Conference (NAEC2007).

Kirakowski, P. (s.f.). SUMI. Recuperado el 2012, de SUMI: http://sumi.ucc.ie

Knijnenburg, B. P., Willemsen, M. C., Gantner, Z., Soncu, H., & Newell, C. (2011). Explaining the user experience of recommender systems. 22.

Kujala, S., Vogel, M., Pohlmeyer, A. E., & Obrist, M. (2013). Lost in time: the meaning of temporal aspects in user experience. 559-564.

Lozano R., O. E. (2012). Avance de Tesis de Maestria: Framework adaptativo de algoritmos de recomendación para sistemas de recomendación semánticos sensibles al contexto.

MacDonald, C. M., & Atwood, M. E. (2013). Changing perspectives on evaluation in HCI: past, present, and future. 1969-1978.

Mahmood, T., & Ricci, F. (2009). Improving recommender systems with adaptive conversational strategies. 73-82.

Manzari, L., & Trinidad-Christensen, J. (2013). User-centered design of a web site for library and information science students: Heuristic evaluation and usability testing. 163-169.

Martin, F. (2009). Top 10 lessons learned developing, deploying, and operating real-world recommender systems. ACM Recsys .

Morán, R. (2012). Tesis de Maestria: Servicios de recomendación contextual para IES mediante realidad aumentada utilizando smartphones y ontologías organizacionales. CENIDET .

Myers, B. A., & Jhon, B. (s.f.). UAR Template.

Nielsen, J. (1993). Usability Engineering.

Nielsen, J. (1993). Usability Engineering.

Nielsen, J. (1993). Usability Engineering. Morgan Kaufmann.

Nielsen, J. (1995). 10 Heuristics for User Interface Design: Article by Jakob Nielsen.

Nielsen, J. (2001). First Rule of Usability? Don't Listen to Users.

Nielsen, J., & Molich, R. (1990). Heuristic Evaluation of User Interfaces.

Paramythis, A., Weibelzahl, S., & Masthoff, J. (2010). Layered evaluation of interactive adaptive systems: framework and formative methods.

Peis, E., Morales del Catillo, J., & Delgado Lopez, J. A. (2008). Sistemas de Recomendación Semánticos: Un análisis del estado de la cuestión,[ En línea]. Available: http://www.upf.edu/hipertextnet/numero-6/recomendacion.html.

Pértega Díaz , S., & Pita Fernández, S. (s.f.). Asociación de variables cualitativas: El test exacto de Fisher y el test de McNemar.

Pu, Chen, L., & Pearl. (2011). Users’ Eye Gaze Pattern in Organization-based Recommender Interfaces.

Pu, L. C. (2008). A Cross-Cultural User Evaluation of Product Recommender Interfaces.

Resnik, P., & Varian, H. R. (1997). Recommender Systems. Communications of the ACM , 56-58.

Rieman, J., Franzke, M., & Redmiles, D. (1995). Usability Evaluation with the Cognitive Walkthrough.

Rodríguez Maldonado, J. (2014). Tesis de maestría: Metodología para el diseño de interfaces multimodales para dispositivos móviles multisensoriales con aplicación en sistemas de recomendación sensibles al contexto.

Rodríguez, D. (2008). DISEÑO DE INTERFACES Y CONDICIONES DE USABILIDAD Definición de pruebas heurísticas para evaluar la usabilidad en sitios web sobre gestión cultural.

Salazar G., E. J., & Ortega L., O. (2010). Sistema de búsqueda personalizada y recomendación de documentación científica. 030, 25-42.

Seix, C. C. (2012). Estudio sobre Evaluación de la Usabilidad Móvil y Propuesta de un Método para Tests de Usabilidad Cuantitativos basado en Técnicas de Eyetracking.

Sharma, A. (2013). Do We Really Need Traditional Usability Lab for UX Practice? 399-409.

Swearingen , K., & Sinha, R. (2002). Interaction design for recommender systems,» de Interactive Systems (DIS2002).

Theimer, B., & Schilit, M. (1994). Disseminating Active Map Information to Mobile Hosts. 8 (5).

Thomas, M., Mouldi, S., & Christophe, K. (2010). State of the Art on the Cognitive Walkthrough Method, Its Variants and Evolutions. 741-785.

Tintarev, N., & Masthoff, J. (2011). Designing and evaluating explanations for recommender systems. 479-510.

Tsoi, L. C. (2011). Users’ Decision Behavior in Recommender Interfaces: Impact of Layout Design.

Universidad Autónoma de Ciudad Juárez. (2011). Reglas de oro sobre la usabilidad, la usabilidad y el diseño web.

Yris P., M. (2012). Tesis de Maestria: API para servicios de localización en interiores basada en tecnología Wi-Fi, Bluetooth, RFID y QRCode.