4° Encontro Mensal ALATS: Automação de Teste - Mitos e Verdades
7 gostaram2,015 visualizações
Este documento discute automação de testes de software, abordando tópicos como: o que é teste de software, desafios da automação, mitos e expectativas em relação à automação, ferramentas de automação, retorno de investimento na automação e como a TestAnywhere pode ajudar empresas a automatizar testes.
4° Encontro Mensal ALATS: Automação de Teste - Mitos e Verdades
- 1. www.testanywhere.com.br AUTOMAÇÃO DE TESTES - MITOS E VERDADES
- 2. • Outsourcing • Treinamento • Consultoria • Automação de testes
- 3. Introdução AGENDA – O que é Teste de Software? – Desafios – O que é Automação de Teste? – Expectativas Engenheiro de Teste – O que faz um Engenheiro de Teste? – Qual o conhecimento necessário – Quanto ganha um Engenheiro de Teste Fornecedores de Ferramentas de Teste – Pagas – Free/OpenSource Retorno de Investimento – Exemplo – Considerações Como a TestAnywhere pode ajudar você
- 4. INTRODUÇÃO O que é teste de software?
- 5. INTRODUÇÃO Desafios do teste de software manual
- 6. INTRODUÇÃO O que é automação de testes?
- 7. INTRODUÇÃO Falsas expectativas Testabili-oquê? Você quer dizer que para criar testes automatizados será necessário modificar o sistema? Uma ferramenta de Testes testes automatizados é automatizados é a moleza. Basta gravar solução de todos os a digitação e os problemas de cliques do mouse e qualidade. depois executar o script.
- 8. INTRODUÇÃO A ferramenta não é a solução de todos os problemas
- 9. INTRODUÇÃO Falso senso de segurança Testes automatizados revelam apenas cerca de 15% dos defeitos enquanto testes manuais revelam cerca de 85% dos defeitos (James Bach, 1997) Analogia adaptada de Brian Marick/James Bach
- 10. INTRODUÇÃO Forte dependência da estabilidade da interface gráfica • As ferramentas não são infalíveis
- 11. INTRODUÇÃO A automação de testes não exclui o fator humano
- 12. Testes manuais X Automação de testes INTRODUÇÃO
- 13. INTRODUÇÃO Testes manuais X Automação de testes
- 14. INTRODUÇÃO Automação de testes não se limita a apenas testes automatizados A automação pode ser aplicada em todas as fases do ciclo de vida de desenvolvimento de software por meio de ferramentas de gestão, controle e suporte às atividades de testes.
- 15. INTRODUÇÃO Ferramentas X Ciclo de vida (Modelo em V) Guide to the CSTE Common Body of Knowledge. QAI, 2006
- 16. CASOS DE TESTES Testes candidatos (recomendados)
- 17. CASOS DE TESTES Testes candidatos (não recomendados)
- 18. ENGENHEIRO DE TESTES Quem automatiza os testes: Engenheiro de testes Sua função é criar estratégias de teste que serão utilizadas em produtos, aplicando toda e qualquer técnica de teste em um produto em desenvolvimento. Dentro da organização costuma: • Criar e executar testes funcionais e não funcionais • Estimar e preparar o ambiente necessário • Automatizar os testes funcionais/não funcionais • Criar cenários de teste mais abrangentes
- 19. ENGENHEIRO DE TESTES O que um Engenheiro de testes precisa saber? • Linguagem de programação • Sistemas Operacionais • Conhecimento avançado das Técnicas de Teste • Ferramentas de Automação • Linguagem SQL • Arquitetura de Software • Configuração de Ambientes • Execução de Testes não Funcionais • Habilidade de comunicação com pessoas técnicas
- 20. FORNECEDORES Fornecedores comerciais mais importantes Fornecedores mais importantes segundo um estudo do Forrester Research em 2006. Forrester Wave: Functional Testing Solution, Q2 – 2006 (Forrester Research, Inc)
- 21. FORNECEDORES Fornecedores comerciais mais importantes
- 22. FORNECEDORES Ferramentas OpenSource Prós Ganhando mercado pela facilidade de utilização Facilidade de instalação Sem custos diretos Ferramentas colaborativas Contras Falta de integração entre ferramentas relacionadas Funcionalidades não tão bem desenvolvidas Gastos com tempo de aprendizado e treinamento
- 23. FORNECEDORES Fornecedores free/openSource mais importantes Ferramentas de Automação Funcional Nome BadBoy Selenium Watir http://www.badboy.co http://selenium.openqa.o http://wtr.rubyforge. Site m.au/ rg/ org Tecnologia Web Web Web Automação por Suíte de ferramentas para Automação de testes Finalidade capture/replay na Web automação de páginas para páginas Web via com suporte a Ajax Web via capture/replay programação (Ruby)
- 24. FORNECEDORES Fornecedores free/openSource mais importantes Ferramentas de Performance, Carga e Stress Nome JMeter OpenSTA WebLOAD http://jakarta.apache.org http://www.webload.or Site /jmeter/ http://www.opensta.org/ g/ Tecnologia Java C++ C++ Performance para Performance baseados em Perfomance para Finalidade conteúdo estático e arquitetura CORBA aplicações Web dinâmico para Java
- 25. ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação RETORNO DE INVESTIMENTO ROI = Benefício / Custo ROI = (Custo Manual – Custo Automação) / Custo Automação KELLY Michael. The ROI of Test Automation.
- 26. ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação Exemplo de ROI para um pequeno website que é atualizado RETORNO DE INVESTIMENTO semanalmente Item Custo Tempo Publicar website e executar testes Semanalmente Desenvolver testes manuais para o site 1 tester @ R$ 50 h 4 dias Executar testes manuais para o site 2 testers @ R$ 50 h 1 dia Desenvolver testes automatizados para o 1 tester @ R$ 50 h 10 dia site Executar testes automatizados para o site 1 tester @ R$ 50 h 1 h para revisar logs Manter os casos de teste manuais 1 tester @ R$ 50 h 1 dia a cada duas semanas Manter scripts de testes automáticos 1 tester @ R$ 50 h 1 dia a cada semana Hardware para a execução dos teste 2 computadores @ R$ 1,000 Software de teste e licenças 2 licenças@ R$ 2,000
- 27. ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação Sabemos que o website é atualizado semanalmente para o RETORNO DE INVESTIMENTO próximo ano. Custo da Automação = valor do hardware + valor do software + tempo para desenvolver os scripts + (tempo para manter os scripts x tempo total de execução dos scripts) + (tempo para executar os scripts x tempo total de execução dos scripts) Custo da Automação = 2 computadores@ R$ 1,000 + 2 licenças @ R$ 2,000 + 10 dias @ R$ 50 h +(1 dia @ R$ 50 h x 52 semanas) + (1 h @ R$ 50 x 52 semanas) Custo da Automação = R$ 2,000 + R$ 4,000 + R$ 4,000 + R$ 20,800 + R$ 2,600 Custo da Automação = R$ 33,400
- 28. ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação RETORNO DE INVESTIMENTO Custo Manual = tempo para desenvolver casos de teste + (tempo para manter os casos de teste x tempo total de execução dos casos de teste) + (tempo para executar testes manuais x tempo total de execução dos testes) Custo Manual = 4 dias@ R$ 50 h + (1 dia @ R$ 50 x 26 semanas) + (1 dia @ R$ 100 x 52 semanas) Custo Manual = R$ 1,600 + R$ 10,400 + R$ 41,600 Custo Manual = R$ 53,600 ROI = benefícios/ custos ROI = (custo manual – custo da automação) / custo da automação ROI = (R$ 53,600 - R$ 33,400) / R$ 33,400 ROI = cerca de 61% ao longo do ano
- 29. ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação O que tem de errado com esse exemplo? RETORNO DE INVESTIMENTO Não podemos comparar diretamente testes manuais com automatizados pois não são os mesmos e não proporcionam a mesma informação Testes Automatizados não são tão eficazes como um teste manual complexo Técnicas de Testes diferentes são executadas Testes Automatizados irão encontrar erros diferentes da execução manual. Testes de Performance são um exemplo
- 30. RETORNO DE INVESTIMENTO ROI – RETORNO DE INVESTIMENTO ROI – Retorno de Investimento da Automação
- 31. TESTANYWHERE Como podemos ajudá-lo? O FastAutomation é um pacote de consultoria em automação de teste de software onde realizamos uma prova de conceito para identificar a melhor ferramenta que se adeque as necessidades e orçamento da sua empresa. Com base no nesta prova de conceito, sugerimos a adoção de uma ferramenta, treinamos o time de testes e implantamos a ferramenta. O TestExpress é um pacote de consultoria onde alocamos um time de profissionais especializados em automação de testes para automatizar os testes dos sistemas da sua empresa. A ferramenta de automação pode ser a ferramenta do cliente ou a ferramenta sugerida pelos nossos especialistas.
- 32. Elias Nogueira [email protected] www.testanywhere.com.br