Aula 5 -Avaliação de interfaces de usuário - testes com usuários
4 gostaram3,125 visualizações
O documento trata da avaliação de usabilidade em interfaces de usuário, abordando métodos como testes de exploração, avaliação, validação e comparação. Destaca a importância de usuários reais, planejamento cuidadoso e coleta de dados qualitativos e quantitativos para otimização da usabilidade. Apresenta ainda diretrizes para seleção de participantes, desenvolvimento de tarefas e análise de resultados.
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
- 1. Avaliação de Usabilidade Parte 2 Prof. André Constantino da Silva IHC Baseado nos slides da Prof. Dr. Heloísa Vieira da Rocha
- 2. • Compreender a importância da avaliação em um processo de desenvolvimento de interfaces de usuário • Conhecer e aplicar dois métodos de avaliação de usabilidade Objetivo das Aulas
- 3. Teste de Usabilidade – Processo empírico que visa avaliar a usabilidade de um produto observando os usuários durante a sua utilização – Método fundamental de usabilidade –Tem o objetivo de aprimorar a usabilidade do produto –Os participantes do teste devem ser usuários reais, executando tarefas reais –Realizado com 4 a 5 usuários representativos, já traz resultados satisfatórios
- 4. Teste de Usabilidade – Tipos de Teste Tipos de Teste: • Teste de Exploração • Teste de Avaliação • Teste de Validação • Teste de Comparação
- 5. Teste de Usabilidade – Teste de Exploração Teste de Exploração Quando usar: fases iniciais do design. Que funcionalidades incluir? Objetivo: Explorar o modelo mental do usuário a respeito das tarefas em questão. Verificar se o usuário aprova as funcionalidades propostas e da maneira proposta. Metodologia: Walkthrough. O usuário explora o modelo da interface dando sugestões para o avaliador. Exemplo: O usuário é apresentado a um problema concreto e estimulado a falar sobre suas expectativas suposições e intenções para a resolução do problema. http://www.youtube.com/watch?v=0aHGLCAhxYY
- 6. Teste de Usabilidade – Teste de Avaliação Teste de Avaliação Quando usar: nas fases intermediárias do ciclo de design. Objetivo: Determinar se os modelos conceituais foram implementados adequadamente. Busca verificar se o usuário consegue realizar as tarefas. Visa identificar problemas de usabilidade. Metodologia: O usuários executa tarefas e o avaliador observa sem interferir. Alguns dados quantitativos de eficiência de uso são anotados (tempo, quantidade erros, etc), mas é dado mais ênfase ao comportamento do usuário. Exemplo: Usuário é solicitado a renovar um livro no sistema on-line da biblioteca.
- 7. Teste de Usabilidade – Teste de Validação Teste de Validação Quando usar: na fase final, perto do lançamento do produto. Objetivo: Certificar que o produto está de acordo com o que foi especificado e se enquadra nos padrões de usabilidade e performance definidos. Metodologia: Determinar tempos para as tarefas e verificar se o usuário consegue realizá-las dentro daquele tempo. Exemplo: Tarefa: renovar livro na biblioteca (tempo previsto 1 min). http://www.youtube.com/watch?v=46fdXjLXhw8
- 8. Teste de Usabilidade – Teste de Comparação Teste de Comparação Quando usar: em qualquer estágio do ciclo de design. Nos primeiros estágios pode ser usado para comparar designs alternativos, nos estágios intermediários pode ser usado para medir a efetividade de um elemento da interface e no final pode ser usado para comparar se o produto atinge um concorrente. Objetivo: Comparar soluções alternativas entre si e determinar qual delas é mais fácil de usar. Metodologia: Um teste exploratório onde diversas soluções são comparadas entre si. O resultado é um produto que combina o melhor dessas idéias. Exemplo: Localize onde se encontra o help nos seguintes sites...
- 9. Teste de Usabilidade – Duas maiores preocupações: • Confiabilidade: grau de certeza de que o mesmo resultado será obtido se o teste for repetido • Validade: o fato dos resultados de teste refletirem os aspectos de usabilidade que se deseja testar – 2 fases principais: • Planejamento • Execução
- 10. Teste de Usabilidade – Planejamento (i) – Estabelecer a equipe • Quem participará da parte de planejamento? • Quem serão os experimentadores? – Características e tipo de teste – Público-alvo • Quem serão os usuários e como serão conseguidos? • Quantos usuários são necessários?
- 11. Teste de Usabilidade – Planejamento (ii) –Recursos necessários para a realização do teste • Quando e onde o teste irá acontecer? • Qual a duração prevista de cada sessão de teste? • Qual o suporte computacional necessário? • Quais softwares precisam estar a disposição? • Qual deverá ser o estado do sistema no início do teste? – Objetivos e métricas • O que se deseja obter através do teste? • Quais dados serão coletados?
- 12. Teste de Usabilidade – Planejamento (iii) –Cenários e tarefas • Quais as tarefas que serão solicitadas aos usuários? • Quanto o experimentador poderá ajudar o usuário durante o teste? – Definição de como será a análise dos resultados • Como os dados serão analisados uma vez que tenham sido coletados? • Qual critério será utilizado para definir que os usuários terminaram cada tarefa corretamente? • Qual o critério para determinar que a interface é um sucesso?
- 13. Teste de Usabilidade – Os experimentadores – Escolha usuários significativos – Envolva usuários reais – Se não for possível, selecione usuários tão próximos quanto possível – Idade – Nível educacional – Experiência com computadores – Conhecimento do domínio da tarefa – Erro comum: interface para público em geral e recrutar alunos de computação como usuários nos testes
- 14. – Devem ter conhecimento extenso sobre a aplicação e sobre a interface – Não precisam saber como o sistema foi implementado • Mas devem estar prontos para lidar com problemas que afetam o teste (sistema ‘travar’) – Podem ser os designers, desde que mantenham isenção Teste de Usabilidade – Os usuários
- 15. Teste de Usabilidade – Métricas – Tempo de cada tarefa – Porcentagem de tarefas completadas – Porcentagem de tarefas não-completadas – Números de erros – Tempo de navegação para encontrar uma informação – Número de passos – Número de cliques – Quantidade de informações encontradas – Número de acessos ao help – ...
- 16. Teste de Usabilidade – Dados qualitativos Dados qualitativos são coletados oralmente, por escrito, por questionário ou através de perguntas feitas para o usuário As percepções e a satisfação, apesar de dados qualitativo (subjetivos) podem ser quantificados usando-se “notas” para: – Facilidade de uso – Facilidade de navegação – Utilidade – Facilidade de aprendizagem – Facilidade de se recuperar de um erro – Help
- 17. Teste de Usabilidade – Tarefas – Tarefas mais representativas possíveis – Cobertura razoável das partes mais significativas da interface – As tarefas devem poder ser completadas no tempo definido para o teste – Grau de dificuldade gradativo – Planejar para que possam ser interrompidas a qualquer momento, caso o usuário deseje – Descreva a tarefa da forma mais realista possível • Evite redigi-las na linguagem do produto, elas devem estar na linguagem do usuário • Exemplo: “A partir da página do IBGE na Internet, identifique em que estado do Brasil reside a maior concentração de pessoas com mais de 60 anos” – As tarefas devem estar inseridas em um cenário
- 18. –Questionário de pré-teste: para definir o perfil dos participantes –Questionário pós-teste: geralmente utilizado para obter a satisfação do usuário e opinião –Autorização (termo de consentimento): declaração de que o usuário está de acordo em participar dos teste e que esses dados serão utilizados para um determinado fim “X”, mantendo-se o anonimato das informações Teste de Usabilidade – Documentos de apoio
- 19. –Preparação • Preparar o ambiente e equipamentos –Introdução • Explicar que não é o participante e sim a interface que será testada • Não devem se preocupar em ferir sentimentos dos experimentadores (designers) com suas observações • Os resultados do teste servirão para melhorar a interface do usuário • Relembrar que o sistema é confidencial e não deve ser comentado com outros (que inclusive podem vir a ser futuros usuários em outros testes) • A participação no teste é voluntária e podem parar a qualquer tempo • Os resultados do teste não serão colocados publicamente e o anonimato do participante estará garantido Teste de Usabilidade – Execução (i)
- 20. –Introdução (cont.) • Explicar sobre o uso de gravações de vídeo ou áudio que estarão sendo feitas (o ideal é não gravar a face do usuário) • Explicar que podem fazer qualquer pergunta durante o teste, mas que nem sempre o experimentador irá ajudá-los ou responder suas questões • Informar ao participante sobre o tempo de duração do teste • Solicitar a leitura e assinatura do termo de consentimento • Explicar como o teste vai acontecer • Explicar a técnica de “thinking aloud” (se for utilizada) • Perguntar se existem e esclarecer dúvidas • Solicitar o preenchimento do pré-teste Teste de Usabilidade – Execução (ii)
- 21. –Teste • Apresentar o cenário e as tarefas por escrito • Iniciar a gravação (se houver) e anotar os tempos • Lembrar ao usuário sobre “thinking aloud” durante o teste • Solicitar que o usuário indique quando completar e mudar de tarefa • evite qualquer tipo de comentário ou expressões sobre a performance ou observações do usuário • evite ajudar o usuário, a não ser que ele esteja realmente em dificuldades muito graves –Sessão final • convidados a fazerem comentários ou sugestões gerais, ou a responderem um questionário específico (questionário de pós-teste) Teste de Usabilidade – Execução (iii)
- 22. Thinking aloud (pensando em voz alta): – Usuário verbaliza seus pensamentos – Permite observar como o usuário interpreta cada item da interface – Não adequado quando se deseja medidas de performance – Principal objetivo é mostrar o que os usuários estão fazendo e porque estão fazendo, enquanto estão fazendo, evitando as racionalizações posteriores – Torna o teste muito mais difícil de ser realizado • usuários ficam mais lentos mas cometem menos erros quando pensam em voz alta Teste de Usabilidade – Thinking aloud
- 23. –O avaliador tem que levar o usuário a falar sempre e nunca interferir no uso do sistema pelo usuário • O que você está pensando agora? • O que você acha que essa mensagem significa ? (depois do usuário notar a mensagem) –– Se o usuário pergunta se pode fazer alguma coisa: • O que você acha que vai acontecer se fizer isso? –– Se o usuário se mostra surpreso: • Era isso que você esperava que iria acontecer? O que esperava? Teste de Usabilidade – Thinking aloud
- 24. Interação construtiva – 2 ou mais usuários trabalhando conjuntamente –problema: diferenças de estilo de interação dos usuários –Indicado: para testar interfaces para crianças Retrospective testing – usuário comenta sua ação gravada em vídeo – todo teste demora pelo menos o dobro do tempo – não indicado para usuários caros Coaching Method – manter o usuário no caminho correto – focado no usuário novato –bom para testar help/manual, etc.. Teste de Usabilidade – Thinking aloud - alternativas
- 25. Teste de usabilidade - JEMS
- 26. Atividades Preparação dos testes – Seleção dos usuários – Desenvolvimento das tarefas dos usuários – Definir critérios da observação/avaliação – Elaborar formulário dos experimentadores – Preparação do ambiente de teste • Execução dos testes • Análise dos resultados Teste de usabilidade - JEMS
- 27. – Análise dos perfis de usuários que utilizam o sistema • Chair • Avaliadores de artigos • Autores de artigos – Quantos usuários? 7 no total • 2 Chairs • 3 avaliadores de artigos • 3 escritores de artigos – Por que 8? Por que estas proporções? Seleção dos Usuários (i)
- 28. – 7 usuários • 2 no papel de “Chair” – um doutorando em Ciência da Computação e outro professor doutor na mesma área • 3 no papel de “Avaliadores de artigos” – Um dos usuários foi o mesmo doutorando que participou dos testes como usuário-coordenador, os demais foram uma doutoranda em Pedagogia, que costuma submeter e revisar artigos para congressos e periódicos da área de informática na educação, e um mestrando em Ciência da Computação • 3 no papel de “Autores de artigos” – três usuários estudantes de graduação em Ciência da Computação, participantes de projetos de pesquisa, portanto possíveis candidatos à submissão de artigos para conferências, embora nenhum deles havia utilizado o JEMS anteriormente Seleção dos Usuários (ii)
- 29. Desenvolvimento das tarefas dos usuários Documento entregue para o Usuário com a definição das tarefas
- 30. Desenvolvimento das tarefas dos usuários Definição das tarefas a serem executadas por cada usuário A definição de um percurso de execução de cada tarefa facilitou identificar se o usuário estava no caminho certo
- 31. Elaborar formulário dos experimentadores softwares que capturam em áudio e vídeo a interação do usuário Formulário para ser preenchido pelos experimentadores
- 32. • Realizados em um laboratório improvisado, contendo um computador com acesso à internet, com microfone e programas para capturar o áudio e o vídeo da interação O Ambiente
- 33. 3 experimentadores • 1 fazendo esclarecimentos, tirando dúvidas, etc • 2 observando e fazendo anotações O que foi observado/registrado: • Completude das tarefas • Tempo de execução • Erros (tipos e descrição dos erros) • Dúvidas, comentários • Comportamento (navegação) Métodos Utilizados • Thinking aloud • Captura da interação em áudio e vídeo • Observação Desenvolvimento dos testes
- 34. Dados coletados: • Anotações dos avaliadores (tempo, número de erros, acesso ao help, solicitação de ajuda e comentários) + Vídeo Análise: – Compilação das anotações de cada avaliador identificando os problemas registrados e comentários dos usuários – Os vídeos foram observados apenas quando se pretendia resgatar algum evento específico ocorrido durante os testes – Elaboração de uma lista de problemas ordenada (mais grave –> menos grave) – Unificação da lista – Elaboração do relatório de problemas – Sugestões para solução dos problemas Análise dos Resultados
- 35. Análise dos Resultados Um relatório de avaliação também tem que ter “boa usabilidade” ? Quem é o usuário do relatório?
- 36. Teste Ferramenta Educacional Estúdio de Cinema
- 37. Atividades • Preparação do teste: – Seleção dos usuários; – Elaboração de uma atividade; – Elaboração dos questionários; – Preparação do ambiente (instalação e teste); – Implementação do log da interação; • Execução • Análise dos resultados Teste Ferramenta Educacional Estúdio de Cinema
- 38. Usuários • Grupo 1 (26 alunos – 6 a 8 anos) • Grupo 2 (31 alunos – 10 a 12 anos) • Atividade – 90 minutos para cada grupo. Métodos e Dados coletados • Respostas aos questionários; • Log da interação; • Observação do avaliador; • Material produzido pelos alunos; Teste Ferramenta Educacional Estúdio de Cinema
- 39. Teste Ferramenta Educacional Estúdio de Cinema Emoticons Linguagem Escala de valores
- 40. Análise das Respostas do questionário: Teste Ferramenta Educacional Estúdio de Cinema
- 41. Teste Ferramenta Educacional Estúdio de Cinema Análise do log
- 42. Análise Combinada dos três elementos Teste Ferramenta Educacional Estúdio de Cinema
- 43. Teste Ferramenta Educacional Estúdio de Cinema
- 44. Laboratórios
- 45. • Avaliação Remota de Usabilidade • Métodos Síncronos – Usuário e Avaliador (locais diferentes), testes realizados através de vídeo conferência e compartilhamento de desktop; • Métodos Assíncronos – Usuário e Avaliador (local e tempo diferentes). • Captura de log da interação – a avaliação do log da interação é feita posteriormente e pode ser feita “manualmente” pelo avaliador ou de forma automática/semi-automática com auxílio de ferramentas; • Envio de Incidentes críticos pelo usuário – o usuário utiliza o sistema e relata os problemas obtidos; Ex: algo como o Bugzilla. Novas Abordagens
- 46. Equipamentos
- 47. • Estamos lidando com pessoas! – http://www.youtube.com/watch?v=7vG67i1P vA4&NR=1 Cuidado!