Teste para dispositivos móveis - EATS Manaus 2014

Teste para Dispositivos
Móveis
Luana Lobão
Test Developer II
1/5/2015Luana Lobão | lulobaum@gmail.com 1

Apresentação
Luana Lobão
 Mestranda em Ciência da Computação (UFAM - PPGI/ICOMP)
 CTFL – Certified Test Foundation Level (BSTQB/ISTQB)
 CSD – Certified Scrum Developer (Scrum Alliance)
 Mais de 6 anos na área de Teste de Software (Planejamento e Execução de
Processo de Teste)
 Publicações: SBQS, ICTSS, SAST, Revista Engenharia de Software Magazine – ESM
(DEVMedia), TDC, ENCOSIS, ERIN.
 E-mail: lulobaum@gmail.com
 Linkedin: http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57
 Facebook: https://www.facebook.com/luana.lobao.1

Tópicos
 Dispositivos Móveis
 Principais Plataformas
 Lojas de Aplicativos
 Desafios e Características
 Teste para Dispositivos Móveis
 Critérios de Teste para as Lojas
 Tipos de Teste para dispositivos móveis
 Boas práticas

Dispositivos Móveis
O que é dispositivo móvel ?
 É um computador de bolso habitualmente equipado com uma pequena tela
(saída) e um teclado em miniatura (entrada).
 Smartphone;
 PDAs;
 Celular;
 Console portátil;
 Ultrabook;
 Notebook;
 Netbook;
 Laptop;

Dispositivos Móveis
Tipos de Dispositívos móveis
 Telemóvel
 PDA
 Smartphone
 Console portátil
 Ultra mobile PC

Principais Plataformas
Smartphones – Windows Phone, IOS e
Android
 Desenvolvido pela Microsoft. Sucessor do Windows Mobile;
 Principais fabricantes: Nokia (Microsoft Mobile*), HTC, ZTE, Samsung…
 Apresenta interface baseada no sistema de design “Metro”;
 Tela principal composta por “mosaicos dinâmicos” (live tiles)
customizáveis e atualizados em tempo real.
Interface
do
utilizador
(Metro)
Introdução
de texto
Mensagens
(conversas)
Navegação
na Internet
Multitarefa
Email,
Contatos
Multimídia Jogos Pesquisa
Reconhecimento
de
voz
Sync Bluetooth

Smartphones – Windows Phone, IOS e
Android
 Desenvolvido pela Apple;
 Usado para todos os produtos Apple, como: Iphone, Ipad, Apple TV;
 Não é licenciado para instalação em outros fabricantes;
 ObjectiveC é a linguagem utilizada para desenvolvimento;
 Qualidade gráfica e facilidade de usabilidade;
 Interface baseada no conceito de manipulação direta, utilizando multi-
touch;
Multitarefa
Elementos
de
interface
Notification
center
Home
Screen
Acelerômetros Bluetooth

Smartphones – Windows Phone, IOS e Android
 SO de código aberto baseado em Linux (adquirido pelo Google em 2005);
 Customizado para vários hardwares de vários fabricantes: Samsung, LG, Asus,
Motorola, Sony, etc;
 Interface baseada em manipulação direta;
 Interface customizável;
Acelerômetros
Sensores
de
Proximidade
Gerenciamento
de
memória
Navegação
na Internet
MultimídiaJogos Bluetooth Multitarefa

Lojas de Aplicativos
 Lojas de Aplicativos são um tipo de plataforma de distribuição
digital de software, muitas vezes fornecido como um
componente de um sistema operacional em um computador
pessoal ou dispositivo móvel.
 As lojas apresentam as aplicações categorizadas: negócios,
entretenimento, jogos e etc.
 O usuário escolhe as aplicações e instala no seu dispositivo.
 A maioria das lojas exigem que as submissões de aplicações
passem por um processo de aprovação.
 As aplicações são inspecionados pelo cumprimento de certas
diretrizes (como os de controle de qualidade e censura ).
 Principais lojas:
 IOS App Store
 Google Play Store
 BlackBerry World
 Windows Phone Store
 Amazon Appstore
 Samsung Apps
 Etc...

Lojas de Aplicativos – IOS App Store
 A App Store é loja de aplicações móveis da plataforma iOS, mantida pela Apple Inc.
 Os aplicativos podem ser baixados diretamente para um dispositivo iOS, ou em um
computador pessoal via iTunes.
 Os aplicativos podem ser baixados de graça ou por um custo definido, e podem incluir
monetização in-app através da publicidade.
 A Apple leva 30% de todas as receitas geradas através de aplicativos.
 Submissão de Apps:
 As aplicações IOS devem ter a interface de acordo com o padrão definido pela UI Guidelines
Apple.
https://developer.apple.com/library/ios/documentation/UserExperience/Conceptual/MobileHIG
/index.html
 A app deve obedecer aos critérios de teste para ser aceita na loja.
http://www.appqualityalliance.org/AQuA-test-criteria-for-iOS-apps

Lojas de Aplicativos – Google Play Store
 O Google Play, anteriormente Android Market, é uma loja de aplicativos da
plataforma Android. É atualmente mantida pelo Google.
 Os usuários também podem comprar equipamentos como Chromebooks,
dispositivos móveis Google Nexus, Chromecasts e acessórios.
 A partir de julho de 2013, o Google Play Store chegou oficialmente mais de 1
milhão de aplicativos publicados e mais de 50 milhões de downloads.
 Catálago: Play Music, Play Books, Play Movies & TV, Play Games, Applications.
 O Android possui sistema de antivírus automático para identificar aplicações
maliciosas, o Google Bouncer.
 Para submeter aplicações, estas devem obedecer a um conjunto de critérios de teste.
Esses critérios estão disponíveis em:
http://developer.android.com/distribute/googleplay/publish/preparing.html

Lojas de Aplicativos – Windows Phone Store
 Windows Phone Store (anteriormente Windows Phone Marketplace) é uma loja de
aplicativos desenvolvida e mantida pela Microsoft para a plataforma Windows
Phone .
 Como grande parte dos novos produtos Windows, ele também apresenta o " Metro
UI “.
 A loja também conta com downloads de jogos 3D para Xbox Live conectividade e
recursos integrados.
 A submissão de aplicativos para a loja Windows phone pode demorar até uma semana,
pois a aplicação é submetida a testes para certificar que ela obedece a política da
Microsoft.
http://msdn.microsoft.com/en-
us/library/windowsphone/develop/hh184844(v=vs.105).aspx
 A Microsoft disponibiliza no VisualStudio a ferramenta Store Test Kit, onde o
desenvolvedor pode fazer pré-testes na aplicação antes de enviar à loja.

Smartphones
Desafios e Características
 Variedade de dispositivos: Dispositivos móveis diferem em tamanhos de tela,
métodos de entrada e interação e diferentes capacidades de hardware.
 Fragmentação: Os softwares para dispositivos móveis estão mudando,
diversificando e evoluindo assim como seus dispositivos (celulares, tablets,
smartphones, Smart TV).
 Urgência: Com o mercado cada vez mais competitivo, as empresas precisam
que o desenvolvimento móvel seja ágil. As equipes precisam projetar,
compilar, testar e liberar software em intervalos muito pequenos.
 Risco: Aplicativos com falhas causam insatisfação do usuário que avalia as
aplicações atribuindo notas e resenhas.

Smartphones
Desafios e Características
 Complexidade: Os aplicativos móveis se tornam mais complexos e dependentes
de novas tecnologia, como por exemplo a geolocalização, comunicação de campo
de proximidade (NFC), eventos em tempo real e pop-ups. Com isso os testes se
tornam mais complexos.
 Padrões da Industria: Teste para aplicações para dispositivos móveis devem estar
de acordo com os padrões das plataformas e dos fabricantes para serem aceitos.
Exemplo, critérios de teste da Nokia, Microsoft, IOS e etc.
 Ferramentas para automatizar teste: as ferramentas de automação de teste não
suprem todas as necessidades de teste para esses aplicativos.
 A quantidade de ferramentas boas é pouca e o custo é alto, o que faz com que o testador recorra a
testes manuais e repetitivos.
 Profissionais qualificados: Há poucos profissionais especializados em testes de
dispositivos móveis, pois o profissional deve conhecer as características das
plataformas, as ferramentas disponíveis e as técnicas de teste.

Testes para dispositivos móveis
Introdução
 Testes de software para dispositivos móveis é um processo pelo qual aplicativo de
software é testado para validar a sua funcionalidade, usabilidade e consistência.
 O Teste para Dispositivos Móveis deve considerar:
 Plataformas de sistemas operacionais do fabricante,
 Os modelos de aparelho,
 Operações com a rede e
 As certificações.
 Mobile Testing: Refere-se a diferentes tipos de teste:
 Aplicações nativas e aplicações web mobile

Introdução
 As atividades de teste para dispositivos móveis possuem:
 Métodos e ferramentas bem definidos
 As atividades de teste para dispositivos móveis asseguram:
 Funcionalidade
 Comportamento
 Performance
 Qualidade de serviço
 Usabilidade
 Interoperabilidade
 Connectividade
 Segurança
 Privacidade

Formas de Teste
Testes em
emulador
Testes no
dispositivo
Testes em
Cloud Crowd test

Teste no Emulador
 Baixo custo (não é necessário laboratório e
nem dispositivos)
 Poucas possibilidades de interação
 Um emulador nunca é 100% fiel ao
dispositivo real.
 É difícil simular browsers diferentes,
conexões de rede diferentes e interferências
externas.

Teste no Dispositivo
 Alto custo (é necessário laboratório e
dispositivos)
 Muitas possibilidades de interação
 Ambiente de produção
 Protótipos de aparelhos com software ainda
instável interferem no teste
 A equipe deve responder rápido a mudanças na
plataforma
 Realizar teste em larga escala é mais difícil

Teste em Cloud
 Abordagem de fábricas de teste
 A idéia básica é a construção de um dispositivo de nuvem móvel
que pode suportar serviços de testes em larga escala.
 Modelo de negócio pay-as-you-go
 Ele também permite que diferentes usuários móveis para
fornecimento de seus ambientes de teste exigidos por meio de
um serviço de aluguel.
 Em comparação com outras técnicas, oferece larga escala com
melhor custo-benefício

Crowd Testing
 Envolve o uso de freelance ou testes contratados ou uma
comunidade de usuários finais, como uTest (www.utest.com) e
um servidor de gerenciamento de serviços para suportar
diversos usuários.
 Gerenciamento de teste tradicional
 Serviço de testes e relatórios de erros.
 As operações são geridas de uma forma ad hoc,
 Limitação de ferramentas de automação.
 Esta abordagem oferece a benefícios de in-the-wild testes sem
a necessidade de investir em um laboratório ou comprar ou
alugar equipamentos, mas com o risco de testes de qualidade
baixa e uma programação de validação incerta.

Breve Resumo
 Entradas do Processo
 Protótipo de Telas e Navegação
 Requisitos Funcionais e não
funcionais
 Cronograma de entrega de Projeto
 Definição de quais dispositivos e
plataformas são o foco do projeto
a ser testado
 Etapas de um Processo de Teste de Software
Análise e
planejamento
do que será
testado, como
será testado,
quais os
recursos e
ambientes
necessários,
riscos, etc
Projeto de
Casos de Teste
considerando:
requisitos do
sistema, casos
de uso, estórias
de usuário,
navegação das
telas.
Execução dos
casos de teste e
análise dos
resultados.
Ocorrências,
incidentes e
falhas devem ser
reportadas e
analisadas.
Métricas devem
ser colhidas.
Fase aonde o
relatório de
falhas é feito e
compartilhado
com o time para
que ações de
correção sejam
feitas. Resultados
de métricas são
compartilhadas
com todos do
time.

Critérios de Teste para as lojas
Windows Store Test Kit
 O Windows Store Test Kit fornece um conjunto de testes automatizados e
manuais para ajudar a preparar aplicativos para serem aceitos na loja do
Windows Phone.
 O Test Kit ajuda a identificar e corrigir problemas antes da submissão do
aplicativo, o que economiza tempo no processo de submissão. É possível
utilizar o kit através doVisual Studio e acessando o link:
http://msdn.microsoft.com/en-

Windows Store Test Kit - testes automáticos

Windows Store Test Kit - testes manuais

AQuA – App Quality Alliance
 Aqua é um grupo sem fins lucrativos, liderada por membros das principais
indústrias de eletrônicos - AT & T, LGE, Motorola, Nokia, Oracle, Samsung e
Sony Mobile.
 http://www.appqualityalliance.org/
 Este grupo promove a divulgação dos critérios de qualidade dos aplicativos
para dispositivos móveis.
 Principais dcumentos para Download:
 Aqua Testing Criteria for Androip Apps
 Aqua Testing Criteria for IOS apps
 Aqua Gest Practice guide
 Essential Mobile Testing

Itens Críticos – (AQuA)
 Instalação e Desinstalação de
Aplicação
 Inicialização de Aplicação
 Download de Código Extra (N)
 Uso de Memória durante execução
 Tratar a suspensão e reinicialização
do aplicativo
 Estado Inativo
 Cancelar operação
 Download
 Manipulação de Eventos
 Mensagens e Ligações
 Enviar e Receber Mensagem
 Receber Ligação
 Múltipla entrada de dados (teclado
qwerty, teclado virtual...)
 Seleção Manual de linguagem
(internacionalização)
 Performance
 Tarefas de Background

 Compartilhamento de recursos e de
banco de dados
 Teste de Sanidade do aplicativo
 Recurso ou conteúdos ocultos
 Rolagem de Menu
 Conectividade
 Perda de conexão de rede ou
conexão lenta
 Modo Avião
 Pausa
 Deletar Dados
 Teclas do Dispositivo
 Pressionar teclas simultâneas ou
toque múltiplo
 Pressionar mais de uma tecla ou
multi touch
 Fechar e Abrir tampa do Dispositivo
 Estabilidade
 O comportamento do aplicativo após
forçar desligamento
 Preservar o estado de um jogo
 Modificar Registro

 Segurança
 Criptografia
 Senha
 App Metadata
 Política de Privacidade
 Permissões de Localização
 Conteúdo Multiplayer
 Multiplayer – conectar e desconectar
players
 Multiplayer – Pausar e desconectar players
 Multiplayer conectado via bluetooth

Tipos de Teste para Dispositivos Móveis
Mais conhecidos
 Teste Funcional
 Teste Exploratório
 Teste em Laboratório
 Teste de Desempenho
 Teste de Vazamento de
Memória
 Teste de MTBF (Mean time
between failures)
 Teste de Interrupção
 Teste de Usabilidade
 Teste de
Internacionalização
 Teste de Instalação
 Teste de Compatibilidade
 Teste de Sincronismo
 Teste de Segurança

Teste Funcional
 O teste funcional garante que o aplicativo faz o que está
especificado pelos requisitos. A maior parte desses testes
é executado através da interface e no dispositivo final.
 Caso o dispositivo final não esteja disponível, um
emulador ou simulador deve ser utilizado.

Teste Exploratório
 Testes Exploratórios é o Processo interativo e concorrente
de aprendizagem, escrita e execução de testes.
 Exige criatividade, concentração, intuição e experiência.
 É necessário conhecer os requisitos funcionais e não
funcionais do software,
 O teste exploratório é complemento na execuçào de casos
de teste.
 O teste exploratório produz informações que melhoram os
casos de teste.

Teste Exploratório
 Elementos do teste exploratório
 Tempo, testador, produto, missão, heurísticas e relatórios de
resultados.
 O teste exploratório deve responder às questões que
satisfaça a missão do teste.
 Planejar os cenários a serem explorados na aplicação.
 Os testes são aplicados e os resultados são
comparados com a especificação do sistema

Teste Exploratório – Fatores que afetam
 Missão do Teste
 Estratégia de teste
 Objetivo da seção de teste
 Papel do testador
 Habilidades e experiência do
testador
 Disponibilidade de recursos
 Disponibilidade de tempo
 Disponibilidade de dados de teste
 Requisitos do sistema
 O que é importante para o cliente
 O produto e sua interface,
comportamento, estado,
testabilidade e propósito.
 O conhecimento do testador sobre o
negócio.
 Conhecimento dos riscos que
envolvem o produto
 Conhecimento sobre as mudanças do
produto.
 Como produtos similares se
comportam

Teste Exploratório – Processo
 Preparação do ambiente de teste e recursos
necessários.
 Criação de Uma hipótese a ser explorada.
 Definição básica dos cenários a serem
exercitados, podendo ser em formato de lista ou
checklist.
 Execução dos cenários de teste definidos.
 Executar variações possíveis dos cenários de
teste entro do tempo estimado da sessão.
 Registro de defeitos encontrados.

Teste Exploratório – Bom explorador
 Conhece bem as funcionalidades, requisitos do sistema, criou e
executou os casos de teste para o sistema.
 Possui a capacidade de analisar um produto, avaliar o risco,
usar ferramentas, e pensa criticamente.
 Presta atenção nos detalhes e no comportamento do sistema.
 Investiga as falhas encontradas.
 É criativo e produz novas idéias de teste e utilizam heurísticas
para atingir o objetivo do teste.
 Brainstorm entre o time de teste.
 Excelentes exploradores constroem inventário de ferramentas,
fontes de informação, dados de teste para recorrer.

Teste Exploratório – Para DM
 O primeiro passo para explorar o aplicativo é conhecer suas
funcionalidades básicas, o seu objetivo e o público alvo que irá
utilizar o software.
 Estabelecer perfis de usuário
 Domínio das funções macro do sistema
 Domínio de como deve ser o comportamento da aplicação
 Domínio da plataforma e suas limitações
 Entender os componentes da plataforma e resposta destes
componentes
 Visão do usuário do sistema
 Visão do comportamento e ações do usuário no sistema

Teste em laboratório
 Os testes em laboratório geralmente são realizados por
operadoras de rede, é feito através da simulação de uma
rede sem fio completa.
 Este teste é realizado para descobrir quaisquer falhas
quando um aplicativo móvel usa voz e / ou conexão de
dados para executar algumas funções.

Teste de Desempenho
 Esse teste é realizado para verificar o desempenho e o
comportamento da aplicação sob certas condições, tais
como bateria fraca, cobertura de rede ruim, pouca
memória disponível, o acesso simultâneo ao servidor de
aplicação por vários usuários.
 O desempenho de uma aplicação pode ser afetado a partir
de dois lados: do lado do servidor do aplicativo e do lado
do cliente. O teste de desempenho é realizada para
verificar ambos.

Teste de Desempenho
Métricas
 Tempo de instalação,
 Tempo de inicialização,
 Consumo de memória,
 Maior pico de memória,
 Vazamento de memória,
 Tempo de transição de tela,
 Tempo de busca de resultados,
 Tempo de cálculo de GPS
 Tempo para fechar a aplicação

Teste de Vazamento de Memória
 Verifica se o aplicativo gerencia a memória que é alocada
resultando em falhas “crash” no dispositivo e desempenho
ruim da aplicação, além de desaceleração global do
sistema

Teste de MTBF
 Verifica a capacidade de um software de manter-se
executando durante um determinado período de tempo
sem apresentar falhas.
 Estes testes também são chamados de teste de
confiabilidade de software
 Cenários funcionais devem ser fornecidos e normalmente
são automatizados usando ferramentas específicas. A
execução desse tipo de teste leva em torno de 120 horas.

Teste de Interrupção
Tipos de interrupções
 Mensagens SMS e MMS
 Chamadas recebidas e efetuadas
 Notificações recebidas
 Remoção da bateria
 Cabo Inserção e remoção para
transferência de dados
 Interrupção de rede e recuperação
 Media Player on / off
 Ciclo de energia Dispositivo
 Transferência de dados via
bluetooth ou NFC.

Teste de Usabilidade
 Os testes de usabilidade são realizados para verificar se a
aplicação atinge os seus objetivos, é fácil de usar e obtém
uma resposta favorável dos usuários.
 Deve ser feito por profissionais de usabilidade e interação
homem-máquina.
 Um conjunto de usuários representando o público alvo utiliza
o aplicativo no dia a dia durante um período de tempo.
 Esse grupo responde um questionário sobre as impressões da
utilização.
 As respostas são analisadas e ações de melhoria são inseridas
no aplicativo.

Teste de Internacionalização
 Verifica se o aplicativo está disponível para mais de uma
linguagem.
 O conjunto básico de casos de teste deve ser executado para
todas as linguagens que o aplicativo suporta.
 Testes com palavras grandes e símbolos comuns da
linguagem, acentos devem ser feitos para assegurar a
integridade da interface da aplicação.

Teste de Instalação
 Verifica se o processo de instalação ocorre sem
problemas, sem o usuário ter que enfrentar
qualquer dificuldade.
 Este processo de teste abrange a instalação,
atualização e desinstalação de um aplicativo.

Teste de Compatibilidade
 O objetivo é garantir que o software funcione
corretamente com os modelos de dispositivos finais.
 Por exemplo, um aplicativo que deve funcionar para a
plataforma Android deverá ser testado em vários
aparelhos diferentes (Samsung, LG, Motorola..).
 Esse teste é feito executando a suíte de testes funcionais
em diferentes modelos de dispositivos suportados.

Teste de Sincronismo
 O teste de sincronismo verifica se os dados do
aplicativo estão sincronizados com o servidor.
 Esse tipo de teste é importante para aplicações
que acessam dados armazenados em nuvens.

Teste de Segurança
 Através desses testes é possível evitar invasões e
ataques em razão de controles de cache
insuficientes e injeção de código malicioso para
roubar dados.
 Exemplo de ferramenta: HP Fortify.

Boas práticas
 Obter o guia de teste da plataforma que o software está sendo desenvolvido
(windows market place criteria, nokia test criteria...).
 Automatizar testes se o custo for menor que executá-los manualmente.
 Testar os aplicativos que usam rede em diferentes tipos e condições de rede.
 No planejamento deve-se deixar claro o tempo necessário para especificar e
executar todos os tipos de teste necessários para validar a aplicação.
 Os testes funcionais para validar a aplicação devem sempre ser feitos nos
dispositivos finais (todas as marcas e modelos).
 Testes exploratórios podem revelar falhas do aplicativo com a plataforma que
podem ser impeditivas para entregar o software.
 Documentar testes exploratórios.
 Acompanhe as avaliações e os comentários dos usuários.
 Acompanhe a evolução das plataformas e sistemas operacionais.

Perguntas ? Obrigada ! ;)
Luana Lobão
 E-mail: lulobaum@gmail.com
 Linkedin: http://www.linkedin.com/pub/luana-lob%C3%A3o/51/a64/a57
 Facebook: https://www.facebook.com/luana.lobao.1

Referências
 Comparação entre plataformas: http://myphonedeals.co.uk/blog/33-the-
smartphone-os-complete-comparison-chart#
 AQuA – App Quality Alliance: http://www.appqualityalliance.org/
 Google Play Store Criterias:
http://developer.android.com/distribute/googleplay/publish/preparing.html
 IOS UI Guideline:
https://developer.apple.com/library/ios/documentation/UserExperience/Concept
ual/MobileHIG/index.html
 IOS App Store Criterias: http://www.appqualityalliance.org/AQuA-test-criteria-for-
iOS-apps
 Windows Store Test Kit: http://msdn.microsoft.com/en-

Teste para dispositivos móveis - EATS Manaus 2014

Mais conteúdo relacionado

Mais procurados

Semelhante a Teste para dispositivos móveis - EATS Manaus 2014

Mais de Luana Lobão

Teste para dispositivos móveis - EATS Manaus 2014