Workshop: cómo hacer un test de usabilidad de un sitio.

Planificación, selección de usuarios, pruebas, reporte y análisis.

Por Eduardo Mercovich (edumerco@gaiasur.com.ar)

La última versión de este documento se puede encontrar en:
http://planeta.gaiasur.com.ar/infoteca/test-de-usabilidad-de-un-sitio.html.

1. Introducción a este Workshop

1.1. Acerca de este documento

Este documento contiene las notas del Workshop sobre Cómo hacer un test de usabilidad de un sitio, por Eduardo Mercovich, presentado en SIGGRAPH ’99 en Buenos Aires, Argentina.

Este workshop es el tercer módulo de tres, que forman juntos una introducción y práctica al tema de Interfaces, Diseño y Usabilidad.

Estas notas no pretenden ser una referencia profunda ni una bibliografía extensa, sino evitar la toma de apuntes durante la ponencia, para que los asistentes puedan brindar su atención a los contenidos y a su discusión.

1.2. Acerca de este Workshop

Para ver los objetivos, audiencia y resumen del contenido de este workshop, vea por favor la presentación de los 3 módulos donde está esta información presentada en contexto.

1.3 Tabla de contenidos

  1. Introducción a este Workshop
    1. Acerca de este documento
    2. Acerca de este workshop
    3. Tabla de contenidos
  2. Contenidos del Workshop
    1. Interfaces y usabilidad
    2. Tests de Usabilidad
    3. Práctica del test de usabilidad
    4. Síntesis y agradeciminento
  3. Apéndices
    1. Encuesta post-workshop
    2. Notas

2. Contenidos del Workshop

2.1. Interfaces y usabilidad

Interfaces de usuario

Cuando uno usa una herramienta, o accede e interactúa con un sistema, suele haber “algo” entre uno mismo y el objeto de la interacción.

En un auto, ese “algo” son los pedales y el tablero. En una puerta, es el picaporte. En una máquina expendedora o un ascensor, son los botones. En una computadora (atención, que no digo un producto sino una computadora), son el teclado, el monitor, el mouse, y otros periféricos.

Este “algo” nos informa qué acciones son posibles, el estado actual del objeto y los cambios producidos, y nos permite actuar con o sobre el sistema o la herramienta.

Ese “algo”, que es a la vez un límite y un espacio común entre ambas partes, es la interfaz.

Vea una ampliación acerca de este tema y su importancia en la ponencia sobre Diseño de Interfaces y Usabilidad en http://planeta.gaiasur.com.ar/infoteca/diseno-de-interfaces.html

¿Qué es Usabilidad?

Definimos usabilidad de un sistema o herramienta como una medida de su utilidad, facilidad de uso, facilidad de aprendizaje y apreciación para una tarea, un usuario y un entorno dado.

Si bien no está incluida en la definición usual de usabilidad, se está comenzando a hablar también de la evolución de estos factores a lo largo del tiempo (la adaptabilidad de una interfaz). Por ejemplo, cómo puede adaptarse al crecimiento en eficiencia y conocimientos de un usuario.

Utilidad La utilidad es la capacidad de una herramienta de ayudar a cumplir tareas específicas. Aunque esta afirmación parece obvia, es importante observar que una herramienta que es muy usable para una tarea, puede ser muy poco usable para otra, aún incluso si se trata de una tarea similar pero no idéntica.
Un martillo y una maza son muy similares. Sin embargo, cada uno de ellos es adecuado para una tarea y muy poco usable para otras.
Facilidad de uso La facilidad de uso está en relación directa con la eficiencia o efectividad, medida como velocidad o cantidad de posibles errores.
Una herramienta muy fácil de usar permitirá a su usuario efectuar más operaciones por unidad de tiempo (o menor tiempo para la misma operación) y disminuirá la probabilidad de que ocurran errores.
Ninguna herramienta o sistema es perfecto, pero una alta probabilidad de error puede llegar incluso a derivar en una imposibilidad de uso por falta de calificación, según cuáles sean los criterios para evaluar la herramienta o sistema(3).
Un caso especial de estas necesidades extremas son las herramientas de misión crítica como por ejemplo diagnóstico médico y aeronavegación. Son áreas que típicamente suelen requerir altísimos grados de eficiencia y precisión. Una falla en este tipo de aplicaciones puede tener serias consecuencias.
Sin embargo, atención: la facilidad de uso no debe confundirse con la facilidad de aprendizaje.
Facilidad de aprendizaje La facilidad de aprendizaje es una medida del tiempo requerido para trabajar con cierto grado de eficiencia en el uso de la herramienta, y alcanzar un cierto grado de retención de estos conocimientos luego de cierto tiempo de no usar la herramienta o sistema.
Si bien la facilidad de aprendizaje suele tener una relación directa con la usabilidad, estrictamente hablando esto no necesariamente es así. La facilidad de aprendizaje debería ser una medida relativa, ya que hay sistemas muy complejos que no pueden ser aprendidos rápidamente. Que un software para control y monitoreo de maquinaria de producción requiera 6 meses de aprendizaje para un usuario típico, no quiere decir que es poco usable. Dada la complejidad del tema, difícilmente podría aprenderse en menos tiempo.
Por lo tanto, lo importante es comparar entre varias posibles interfaces y ver cuál es la que requiere menos tiempo y/o queda mejor retenida.
Si la versión siguiente, sin aumento en la complejidad del servicio brindado tomara 8 meses de aprendizaje, ahora sí estaríamos frente a un problema de usabilidad.
Apreciación La apreciación es una medida menos objetiva que las anteriores, pero sin embargo, no menos importante.
Es una medida de las percepciones, opiniones, sentimientos y actitudes generadas en el Usuario por la herramienta o sistema; una medida, si se quiere, de su seducción o elegancia.
Lo importante de esta medida no es tenerla en forma absoluta sino, otra vez, compararla o analizarla en forma relativa. Esta comparación puede ser contra la competencia, contra la versión anterior del mismo producto, contra otras posibilidades que se estén tomando en cuenta.
El otro punto importante respecto de la apreciación es tratar de analizar hasta donde “tiñe” el resto de las medidas.
Un usuario al que no le “gusta” una interfaz, puede generar mas errores, o tardar más en aprenderla. Debemos aprender a separar las medidas estrictas de las que puedan tener desviaciones debidas a una apreciación negativa.

2.2. Tests de usabilidad

Medidas de la usabilidad

Existen varios métodos para conocer la usabilidad de una herramienta o sistema:

Evaluación heurística Un análisis teórico de un experto en el área de interfaces. Se hace siguiendo guías y verificando el cumplimiento de algunas reglas básicas (ver el apéndice correspondiente de la Ponencia sobre Diseño de Interfaces y Usabilidad en http://planeta.gaiasur.com.ar/infoteca/diseno-de-interfaces.html#9.4).
Test de usabilidad Una medida objetiva y empírica de la usabilidad de una herramienta, sitio o aplicación (tema tratado con mayor profundidad en ¿Qué es un test de usabilidad?)

Estos métodos, o enfoques, no son contrapuestos sino complementarios.

Estudios recientes en el área de Interfaces Humano–Computadora indican que los Tests de usabilidad muestran dónde están los problemas mientras que el análisis heurístico es más eficiente para proponer posibles soluciones.

¿Qué es un Test de Usabilidad?

Un test de usabilidad es una medida empírica de la usabilidad de una herramienta, sitio o aplicación, tomada a partir de la observación sistemática de usuarios llevando a cabo tareas reales.

El test de usabilidad de un sitio, nos permitirá:

Recursos necesarios para llevar a cabo un test

Roles necesarios

Para llevar a cabo un test, debe haber por lo menos 3 roles:

Plazos

¿Cuánto tiempo creen que puede necesitarse para un test de usabilidad de un sitio? ¿Un mes, dos meses? Una semana. :-)

Un test con 6 usuarios incluyendo el test piloto requiere entre 40 y 50 horas de un especialista con algo de ayuda del staff de desarrollo.

Espacio físico y otros requerimientos

Un laboratorio completo de usabilidad es caro y complicado. Requiere mucho espacio (en m2), una habitación con un espejo de un solo sentido dividiéndola, equipo de grabación de audio y video, etc.

Si embargo, en el enfoque llamado Discount usability engineering(1) se plantea una manera mucho más simple y menos costosa de hacer tests, basándose en la regla 80/20: el 80% de los conocimientos y hallazgos de un test completo con el 20% de la inversión.

Para este tipo de tests sólo necesitamos una oficina o espacio amplio, una mesa, sillas, y el objeto del test.

En esta práctica, utilizaremos este enfoque y haremos de cuenta que nos encontramos en una oficina amplia y tranquila.

Etapas de un test de usabilidad

Las principales etapas de un test de usabilidad (2) son:

  1. Planificación: desarrollo del plan del test, selección de participantes y preparación de los materiales.
  2. Test: Prueba piloto, ajustes y test definitivo.
  3. Conclusión: análisis de los datos, elaboración del informe y recomendaciones.

Planificación

Desarrollo del Plan del Test El Plan del Test documenta los pasos a seguir, permite coordinar los esfuerzos de todos los participantes y definir claramente el rol de cada uno. Además, detalla otros recursos necesarios y sirve como herramienta de comunicación dentro de la organización para con otras áreas o personas que no están directamente relacionadas.
Selección de Participantes Durante esta etapa se analiza la audiencia del sitio y se definen los criterios y cuestionario de selección. También se verifican las diferentes fuentes de participantes y, mediante el screening, se arma la lista final.
Es muy importante que los participantes sean lo más representativos posible ya que, normalmente, no hay posibilidad de trabajar con grandes muestras para hacer las pruebas; en consecuencia, cada usuario es un recurso precioso.
Típicamente, se suele comenzar con un test piloto y 4 ó 5 usuarios. Esta cantidad permite encontrar aproximadamente entre el 65 y el 75% de los problemas importantes de usabilidad.
Preparación de los materiales Durante esta etapa se preparan todos los elementos que se utilizarán durante el test. Entre otros están el cuestionario pre y post test, la introducción para el Participante, las definiciones y escenarios para las Tareas, otros elementos necesarios vinculados con las tareas y los temas del interrogatorio post test.

Test

Prueba piloto En esta etapa, se prueba el diseño del test con un participante que puede tener menos requerimientos que los que utilizarán en el Test definitivo. Puede ser una persona de la misma empresa u organización, que no participe directamente del proyecto del sitio.
La prueba piloto sirve para verificar que todo funciona como corresponde y todos (Observadores, Facilitador y Participante) conocen sus roles y tareas y las cumplen a la perfección.
Al finalizar se hace un pequeño análisis para determinar si es necesario hacer modificaciones al protocolo del Test. Para poder hacerlo con tranquilidad, es que el test piloto suele llevarse a cabo un día completo antes de comenzar con el test definitivo.
Test definitivo Se lleva a cabo el Test con los participantes elegidos.
Generalmente, se plantea un mínimo de 4 o 5 usuarios. Excepto casos muy particulares, no tiene mucho sentido hacer más de 8 o 10 usuarios, ya que el número de hallazgos por usuario disminuye significativamente y los usuarios son un recurso caro y difícil de encontrar.
Para cada participante, se le da la bienvenida, se le explica lo que se va a hacer, se plantean ejecutan las tareas, se hace el interrogatorio post test y se lo despide. Se suele entregar alguna muestra de reconocimiento a los
participantes, dependiendo de quiénes son y qué tan importantes son para el test.

Conclusión

Análisis de los datos Luego de los Tests, se reúnen los datos de los observadores, se analizan estadística y semánticamente, y se discuten sus posibles implicancias.
En la discusión participan los observadores, el facilitador y –opcionalmente– otros integrantes del staff de desarrollo.
Elaboración del Informe y recomendaciones Sobre las observaciones efectuadas y el análisis de los datos, se elaborará un informe que contendrá los resultados y las recomendaciones para mejorar el sitio de acuerdo a lo observado.
Este informe no sólo cumple con la formalidad de terminar el test, sino que es el respaldo para explicar a otras personas que no estuvieron involucradas los motivos de nuestras acciones y decisiones.

2.3. Práctica del test de usabilidad

Preparación

En esta etapa, nos dividiremos en grupos y cada uno hará el test de un sitio; antes, prepararemos las tareas y el material necesario.

Haremos una competencia en la que ganará el grupo que sume más puntos, según el tipo de error y los valores de la siguiente tabla.

Error Puntos Descripción
Fatales 40 Errores conceptuales, aplicación de un modelo mental erróneo o errores que impiden terminar la tarea exitosamente.
Graves 15 Errores que causan tal confusión en el usuario que ponen en peligro el éxito de la tarea.
Leves 5 Situaciones que pueden confundir momentáneamente al usuario pero muy raramente afectan el éxito de la tarea.
Cosméticos 1 Opiniones o cambios que no impactan en el diseño o performance del sitio sino en su apreciación.

Los mitos

Todos tenemos ideas preconcebidas acerca de cómo los usuarios van a usar (o no podrán hacerlo) un sitio o sistema. Muchas veces estas ideas no están basadas en observaciones objetivas sino en sensaciones, comentarios, etc.

Estos preconceptos son llamados mitos. Afectan, y son a su vez afectados, por la percepción de los hechos de un test.

Antes de comenzar el test, cada uno escriba en una hoja (sin comentar con los demás) sus mitos. Al final, los compararemos con las observaciones.

Tareas y escenarios

Cada grupo redactará un escenario y una tarea específica que involucre las siguientes consignas:

Cada tarea tiene que tener un tiempo máximo y un criterio de éxito (aunque no siempre hay uno sólo, como en el caso de un juicio de valores).

Una recomendación: armen tareas que no excedan los 4 ó 5 minutos o no tendrán tiempo para terminar todo.

Test

Haremos 4 ciclos de 15 minutos en los cuales, 4 personas de cada grupo funcionarán como participantes en los tests de los otros grupos.

Cada usuario completará las tareas que pueda hacer en ese tiempo.

Cuando un usuario termine la tarea debe avisarlo. En ese momento, o si se pasa el plazo máximo de la tarea, se cuenta el tiempo utilizado.

Para cada tarea y a medida que el usuario está avanzando con ella, los observadores deben anotar el tiempo empleado, si la tarea se cumplió con éxito, si hubo errores y de qué tipo, y cualquier otra observación o hecho de valor (exclamaciones o expresiones del usuario, puntos difíciles, etc.).

Conclusión

Al terminar, cada grupo:

  1. Hará una síntesis de los errores encontrados y sumará su puntaje.
  2. Comparará los mitos con las observaciones.
  3. Sugerirá cambios que reduzcan los errores de usabilidad observados, por orden de gravedad desde el mayor al menor.

2.4. Síntesis y agradecimiento

No basta con que un sitio sea bonito y le guste al cliente (que muchas veces no es el Usuario): es importante hacer tests de usabilidad para saber si el sitio cumple con los objetivos y tareas que se supone que debe hacer.

Hoy probamos hacer un test de usabilidad ya que no hay tiempo ni profesionales suficientes para una evaluación heurística. Sin embargo, recordemos que los diseñadores no son usuarios y los usuarios no son diseñadores.

Trabajar como diseñador no tiene vuelta atrás: una vez que estoy dentro de un proyecto, no puedo retomar una visión ingenua y fresca del mismo.

Por otro lado, los usuarios pueden ayudarnos a ver cosas que para nosotros eran obvias, pero raramente son buenos para proponer soluciones adecuadas.

Por último, quería dejarles un mensaje simple: nada es obvio y nada es tan fácil como nos parece. Si tienen una duda, hagan un test.

Les agradezco el tiempo invertido en este workshop y les ruego que llenen la encuesta para ayudarnos a mejorarlo en su próxima versión.

Muchas gracias. :-)

3. Apéndices

3.1. Cuestionario post–workshop

Su opinión nos interesa mucho. Gracias a ella, podremos ayudarlo mas y mejorar estos Workshops.
Si Usted recibió una copia en papel de este workshop, por favor use directamente el formulario que se encuentra en el documento en línea, en http://planeta.gaiasur.com.ar/infoteca/test-de-usabilidad-de-un-sitio.html#7.

Muchas gracias. :-)

Acerca del Workshop

¿Estuve presente en el workshop o lo encontró en nuestro sitio?
Elección de los temas tratados:
Profundidad de los temas tratados:
Aplicabilidad de los temas cubiertos en su tarea profesional:
En su opinión: ¿le ha resultado útil el workshop?
¿Que tema tratados le resultaron de especial interés y le parecería importante ampliar?
¿Que temas no tratados le parecen importantes y deberían agregarse?

Acerca del dictado (sólo si asistió personalmente)

Nivel de conocimientos del disertante:
Aplicación de su experiencia profesional a la conferencia:
Velocidad de la exposición:
Profundidad de la exposición:
Algún mensaje o recomendación en particular para el disertante:

Acerca de Usted (opcionales)

Los siguientes datos son opcionales y no serán entregados a terceros bajo ningún motivo.

Nombre y apellido:
Empresa u organización:
Responsabilidad o cargo:
¿Desea que le avisemos cuando haya futuras ponencias o workshops?
¿Qué temas son los que le interesan que le avisemos?
Dirección, teléfono o e-mail para avisarle:

3.2. Notas

(1) El creador de este enfoque es Jackob Nielsen, ver las referencias de la ponencia sobre Diseño de interfaces y usabilidad en http://planeta.gaiasur.com.ar/infoteca/diseno-de-interfaces.html.

(2) Según Jeffrey Rubin; How to plan, design, and conduct effective tests, de la colección Wiley Technical Communication Library; editorial John Wiley & Sons.