Undertanding snapshot testing in practice

Abstract

O teste de snapshot é uma técnica de teste de software na qual a saída de um componente—como uma interface de usuário renderizada em tags ou uma estrutura de dados— é capturada e salva como um snapshot. Este snapshot serve como ponto de referência e é posteriormente comparado com saídas de futuras execuções para identificar rapidamente alterações não intencionais, ajudando a consistência nas atualizações da aplicação. Apesar de sua ampla adoção industrial, há uma escassez de literatura acadêmica explorando suas nuances e melhores práticas. Esta dissertação de mestrado visa ajudar a preencher essa lacuna, fornecendo uma análise detalhada da literatura cinzenta e conduzindo um estudo empírico sobre a prática de testes de snapshot. Inicialmente, buscamos e analisamos 50 documentos da literatura cinzenta para obter uma compreensão mais clara do status atual desse tipo de teste dentro da comunidade de software. Essa análise esclareceu os benefícios e desvantagens, identificou melhores práticas, destacou componentes arquiteturais prevalentes que adotam essa abordagem e revelou as ferramentas mais comumente utilizadas para sua implementação. Revelamos também que os testes de snapshot são populares porque são fáceis de implementar e previnem regressões, especialmente em aplicações frontend, predominantemente usando o framework de teste Jest. No entanto, desvantagens como a fragilidade e falta de contexto podem levar a falsos positivos, dificultando a interpretação dessas falhas pelos desenvolvedores. Para mitigar esses problemas, são recomendadas melhores práticas, como tratar os resultados dos snapshots como parte da base de código da aplicação e escrever snapshots pequenos e focados. Subsequentemente, avaliamos as práticas de teste de snapshot com Jest através de um estudo empírico. Conduzimos uma investigação abrangente sobre o uso dessa prática em 569 projetos de código aberto, analisando uma amostra aleatória de 380 testes. Nosso objetivo foi identificar as principais características dos testes de snapshot em termos dos componentes sendo testados, o formato dos snapshot gerados e seu tamanho em linhas de código. Identificamos dois padrões comuns de testes de snapshot e quatro casos menos comuns, incluindo dois test smells. Baseado nisso, documentamos dois métodos de refatoração para eliminar tais smells. Além disso, realizamos um estudo quantitativo sobre o comportamento dinâmico dos testes de snapshot, medindo os resultados de seu uso em ferramentas de integração contíınua. Como contribuição¸ principal deste trabalho, apresentamos diretrizes práticas para a implementação de testes de snapshot, as quais podem ajudar os esenvolvedores a usar esses testes de forma mais eficaz e frequente.