Evaluating testing strategies for configurable software systems
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Avaliação de estratégias de testes para sistemas configuráveis de software
Primeiro orientador
Membros da banca
Marco Túlio de Oliveira Valente
André Cavalcante Hora
Vander Ramos Alves
Ivan do Carmo Machado
André Cavalcante Hora
Vander Ramos Alves
Ivan do Carmo Machado
Resumo
Configurable software systems allow developers to maintain a unique platform and address a diversity of deployment contexts and usages. Testing configurable systems is essential because configurations that fail may potentially hurt users and degrade the project reputation. However, testing configurable systems is challenging due to the number of configurations to run with each test suite, leading to a combinatorial explosion in the number of configurations and tests. Currently, several testing strategies have been proposed to deal with this challenge, but their potential practical application remains largely unexplored. In fact, existing comparisons of testing strategies do not rely on a uniform dataset of configurable software systems. Based on a large dataset of 30 configurable systems, this thesis compares several strategies for testing configurable systems found by a systematic mapping study on two empirical studies. In the first study, we designed and performed a comparative empirical study of the two main sound testing tools, namely VarexJ and SPLat. We also compare sixteen t-wise testing strategies in a second empirical study. With the experience we have in the empirical studies, we propose a list of ten challenges faced when creating test suites for configurable systems and dealing with a test suite for our dataset systems. Our list includes, for instance, the challenges of testing high coupled classes and of determining metrics for measuring the quality of the test suite. Results of the empirical studies indicate which and when strategies are faster and more effective on identifying faults in configurable software systems. Overall, we believe that practitioners acquire the necessary knowledge to choose a testing strategy that best fits their needs with our results and also benefit from our work, observing our solutions for each challenge.
Abstract
Sistemas de software configuráveis permitem que desenvolvedores mantenham uma plataforma única atendendo a uma diversidade de contextos, usos e implantações. Os testes de sistemas configuráveis são essenciais porque as configurações que falham podem prejudicar os usuários e degradar a reputação do projeto.
No entanto, testar sistemas configuráveis é muito desafiador devido ao número de configurações a serem executadas em cada teste, levando a uma explosão combinatória do número de configurações e testes. Atualmente, várias estratégias de teste foram propostas para lidar com esse desafio, mas suas potenciais aplicações práticas permanecem amplamente inexploradas. Na verdade, as comparações preliminares existentes de estratégias de testes não visam um conjunto uniforme de sistemas configuráveis. Com base em um grande conjunto de dados de 30 sistemas configuráveis, esta tese compara várias estratégias para testar sistemas configuráveis encontrados por um estudo de mapeamento sistemático. No primeiro estudo, foi projetado e realizado um estudo empírico comparativo com as duas principais ferramentas de teste sólido, chamadas VarexJ e SPLat. Em um segundo estudo empírico foram comparadas dezesseis estratégias de testes pareados.
Com a experiência adquirida por meio dos estudos empíricos foi proposta uma lista de dez desafios enfrentados ao criar as suítes de teste para sistemas configuráveis. Ainda, foi relatado como os autores lidaram com as suítes de teste para o conjunto de sistemas descritos nesta tese. A lista proposta inclui, por exemplo, os desafios de testar classes de alto acoplamento e de determinar métricas para medir a qualidade do conjunto de testes. Os resultados dos estudos empíricos indicam quais e quando as estratégias de testes são mais rápidas e eficazes para identificar falhas em sistemas configuráveis. No geral, os autores acreditam que os profissionais podem adquirir o conhecimento necessário por meio dos resultados alcançados, a fim de escolherem uma estratégia de teste que melhor se adapte às suas necessidades e ainda, os profissionais podem se beneficiar com as soluções propostas para cada desafio.
Assunto
Computação – Teses., Software – Ferramentas – Testes – Teses., Sistemas configuráveis – Testes – Teses
Palavras-chave
Testing Configurable Systems, Testing Tools for Configurable Software Systems, Feature Interactions Faults