Use este identificador para citar ou linkar para este item:
http://hdl.handle.net/1843/75915
Tipo: | Dissertação |
Título: | Identificação de smells em testes fim-a-fim implementados usando a ferramenta Cypress |
Título(s) alternativo(s): | Identification of smells in end-to-end tests implemented using the Cypress tool |
Autor(es): | Larissa de Cássia Nazaré Bicalho |
Primeiro Orientador: | Marco Túlio de Oliveira Valente |
Primeiro Coorientador: | João Eduardo Montadon de Araújo Filho |
Primeiro membro da banca : | Eduardo Magno Lages Figueiredo |
Segundo membro da banca: | André Cavalcante Hora |
Resumo: | Considerando que o sistema é uma das construções humanas mais complexas já realizadas, é natural que uma variedade de erros e inconsistências possam ocorrer. Para evitar que tais problemas cheguem aos usuários finais e causem prejuízos, são necessárias atividades de teste em projetos de desenvolvimento de software. Um dos métodos mais comuns é o teste fim-a-fim, que visa verificar o comportamento dos requisitos do sistema como um todo. Para implementar esse tipo de teste, os desenvolvedores contam com várias ferramentas, como Selenium, Cypress e Playwright, entre outras. Apesar do aumento no uso dessas ferramentas, poucos estudos avaliam más práticas associadas ao seu uso. Para abordar esse assunto, esta pesquisa investigou as más práticas relacionadas com o uso do framework Cypress, um framework JavaScript para testes fim-a-fim. Inicialmente, foi realizado um estudo para catalogar os smells mais comuns em tais testes por meio de uma Revisão Sistemática da Literatura (SLR) e uma Revisão da Literatura Cinza (GLR), resultando na identificação de 14 smells específicos de testes fim-a-fim implementados com o Cypress. Em seguida, avaliou-se métodos para identificar automaticamente esses smells. Para isso, recorreu-se aos Modelos de Linguagem de Grande Escala (LLMs), como o ChatGPT, que são utilizados para automatizar uma variedade de tarefas, incluindo aquelas pertinentes ao desenvolvimento de software. A capacidade do ChatGPT em identificar esses problemas foi avaliada por meio de um estudo de caso e um estudo com aplicações GitHub. No estudo controlado, o ChatGPT conseguiu identificar com sucesso 12 dos 14 smells catalogados. Oito dos smells considerados no estudo foram detectados após a primeira solicitação (67%). O estudo de campo avaliou testes fim-a-fim implementados em três sistemas de código aberto: Pigallery2, Livewire e GlobaLeaks. Os resultados mostraram que o sistema Pigallery2 teve uma precisão de 0.31 e um recall de 0.62. Para o Livewire, os valores foram de 0.24 para precisão e 0.44 para recall. Por fim, o GlobaLeaks apresentou o pior desempenho, com uma precisão de 0.15 e um recall de 0.31. A principal causa para os baixos índices de precisão e recall obtidos nesse segundo estudo foi devido à ineficiência na detecção de certos smells, como o Brittle Selectors. A pesquisa obteve resultados promissores ao integrar um estudo da SLR e GLR, com isso determinando um catálogo de smells para os testes desenvolvidos com o Cypress. Em relação a detecção dos smells pode-se concluir que o ChatGPT não é eficiente para detecção destes. |
Abstract: | Considering that software systems are among the most complex human constructions ever made, it is natural for a variety of errors and inconsistencies to occur. To prevent such issues from reaching end-users and causing harm, testing activities are necessary in software development projects. One of the most common methods is end-to-end testing, which aims to verify the behavior of system requirements as a whole. To implement this type of testing, developers rely on various tools such as Selenium, Cypress, ndPlaywright, among others. Despite the increasing use of these tools, few studies evaluate the bad practices associated with their use. To address this issue, this research investigated the bad practices related to the use of the Cypress framework, a JavaScript framework for end-to-end testing. Initially, a study was conducted to catalog the most common smells in such tests through a Systematic Literature Review (SLR) and a Grey Literature Review (GLR), resulting in the identification of 14 specific smells in end-to-end tests implemented with Cypress. Subsequently, methods for automatically identifying these smells were evaluated. Large Language Models (LLMs), such as ChatGPT, which are used to automate a variety of tasks, including those relevant to software development, were utilized. The ability of ChatGPT to identify these problems was assessed through a case study and a study with GitHub applications. In the controlled study, ChatGPT successfully identified 12 of the 14 cataloged smells. Eight of the smells considered in the study were detected after the first request (67%). The field study evaluated end-to-end tests implemented in three open-source systems: Pigallery2, Livewire, and lobaLeaks. The results showed that the Pigallery2 system had a precision of 0.31 and a recall of 0.62. For Livewire, the values were 0.24 for precision and 0.44 for recall. Finally, GlobaLeaks had the worst performance, with a precision of 0.15 and a recall of 0.31. The main cause for the low precision and recall rates obtained in this second study was due to inefficiency in detecting certain smells, such as Brittle Selectors. The research yielded promising results by integrating an SLR and GLR study, thus de- termining a catalog of smells for tests developed with Cypress. Regarding the detection of smells, it can be concluded that ChatGPT is not efficient in detecting them. |
Assunto: | Computação – Teses Engenharia de software– Teses Software – Avaliação - Teses JavaScript (Linguagem de programação de computador) – Teses |
Idioma: | por |
País: | Brasil |
Editor: | Universidade Federal de Minas Gerais |
Sigla da Instituição: | UFMG |
Departamento: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
Curso: | Programa de Pós-Graduação em Ciência da Computação |
Tipo de Acesso: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/75915 |
Data do documento: | 5-Jul-2024 |
Aparece nas coleções: | Dissertações de Mestrado |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Dissertação_Larissa (38).pdf | 1.29 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.