Please use this identifier to cite or link to this item: http://hdl.handle.net/1843/35456
Type: Monografia (especialização)
Title: Uso da teoria de resposta ao item para validação do teste de autoavaliação de competência comunicativa (TACCOM)
Other Titles: Use of item response theory for validation of the communicative competence self-assessment test (COMCST)
Authors: Vanessa Veis Ribeiro
First Advisor: Marcos Antônio da Cunha Santos
First Referee: Ilka Afonso Reis
Second Referee: Anna Alice Figueiredo de Almeida
Abstract: Objetivo: desenvolver evidências de validade do Teste de Autoavaliação de Competência Comunicativa (TACCOM) por meio da Teoria de Resposta ao Item (TRI) para análise da habilidade de competência comunicativa. Metodologia: Participaram do estudo 778 pacientes que responderam o TACCOM. O TACCOM mede o construto de competência comunicativa. A versão inicial era composta por 20 itens politômicos que mensuram comportamentos de fala e escuta relacionados a habilidade de competência comunicativa. Na versão original cada item possuía as opções de resposta politômicas ordenadas da seguinte forma: 1 – não, 2 – mais ou menos, 3 – sim. Para a validação utilizou-se a Teoria de Resposta ao Item (TRI) e o modelo logístico de dois parâmetros para itens politômicos denominado Modelo de Resposta Gradual (GRM). As suposições do teste foram analisadas por meio da Análise Fatorial Exploratória (AFE), gráficos scree-plot e matrizes de correlação tetracóricas. A consistência interna foi analisada por meio do Alfa de Cronbach. O ajuste e as comparação dos modelos GRM foi realizada por meio do Teste de Máxima Verossimilhança. Os itens foram analisados de forma descritiva quanto a frequência de categoria e aos parâmetros dos itens discriminação, dificuldade, Curva Característica do Item (CCI) e Curva de Informação (CI) dos itens e do teste. Foi realizada também a extração e análise descritiva dos θ. Foram utilizados os softwares IBM SPSS 25.0 e o RStudio 1.3.1073. Considerou-se o nível de significância de 5% para as análises inferenciais. Resultados: Em decorrência de problemas observados na análise preliminar, optou-se por recategorizar as opções de resposta dos itens do instrumento TACCOM de forma dicotômico ordinal. No formato dicotômico os itens 1 e 2 passaram a constituir o item 1 – sim, enquanto o item 3 passou a ser codificado como 2 – não. Observou-se nas CCI que o item 9 apresentava problemas e não acrescentava informação ao instrumento, optando-se pela sua exclusão. O TACCOM no formato dicotômico com 19 itens mostrou características de unidimensionalidade no gráfico scree-plot e na análise da matriz tetracórica. O coeficiente Alfa de Chronbach mostrou um valor de consistência interna do instrumento de 0,711. Todos os itens apresentaram correlação item-total (CIT) superior a 0,284. Os parâmetros de discriminação dos itens ficaram entre 0,560 e 1,505 e os parâmetros de dificuldade entre b=-2,725 e b=0,612. O Teste de Razão de Verossimilhança mostrou que o modelo que se ajustou melhor aos dados foi o modelo sem restrições. As curvas de informação (CCI) mostraram mais informação para indivíduos com menor habilidade θ. Os valores do construto θ observados foram de -2,621 a 1,765, sendo a média da habilidade de comunicação igual a -0,027. Conclusão: O TACCOM com 19 itens e escala de resposta dicotômica é um instrumento válido pela TRI para análise da habilidade de competência comunicativa.
Abstract: Objective: develop evidence of validity of the Communicative Competence Self-Assessment Test (COMCST) through Item Response Theory (IRT) to analyze the communicative competence skills. Methodology: 778 patients who responded to COMCST participated in the study. The COMCST aims to evaluate the construct of communicative competence. The initial version consisted of 20 polytomous items that measure speech and listening behaviors related to communicative competence skills. In the original version, each item had polytomous response options ordered as follows: 1 - no, 2 - more or less, 3 - yes. The IRT and the two-parameter logistic model for polytomous items called the Gradual Response Model (GRM) was used for validation. The assumptions of the test were analyzed using Exploratory Factor Analysis (EFA), eigenvalues graphs and tetrachoric correlation. Internal consistency was analyzed using Cronbach's alpha. Adjustment and comparison of the GRM models was performed using the Likelihood Ratio Test. The items were analyzed in a descriptive way as to the category frequency and the parameters of the items discrimination, difficulty, Item Characteristic Curves (ICC) and Information Functions of the items and the test. The extraction and descriptive analysis of θ was also performed. The software IBM SPSS 25.0 and RStudio 1.3.1073 were used. The level of significance was set at 5% for inferential analyzes. Results: Due to problem observed in the preliminary analysis of the ICC, it was decided to recategorize the response options for the COMCST instrument items in an ordinal dichotomous way. In the dichotomous format, items 1 and 2 became item 1 - yes, while item 3 was coded as 2 - no. It was observed in the ICC that item 9 presented problems and did not add information to the instrument, opting for the exclusion of the item. COMCST in the dichotomous format with 19 items showed unidimensional in the eigenvalues graph and in the analysis of the tetrachoric correlation. The Chronbach's alpha coefficient showed an internal consistency value of the instrument of 0.711. All item-total correlation (ITC) were greater than 0.284. The items discrimination parameters were between a = 0.563 and 1.505 and the difficulty of the items was between b = -2.725 and b = 0.612. The Likelihood Ratio Test showed that the model that best fitted the data was with the model without restrictions. The ICC obtained more information from individuals with lesser ability. The θ ranged from -2.621 to 1.765, with an average communication skill of -0.027. Conclusion: The COMCST with 19 items and dichotomous response scale is a valid instrument by the IRT for the analysis of communicative competence skills.
Subject: Estatística.
Autoavaliação.
Estudo de validação.
Teoria de resposta ao Item.
language: por
metadata.dc.publisher.country: Brasil
Publisher: Universidade Federal de Minas Gerais
Publisher Initials: UFMG
metadata.dc.publisher.department: ICEX - INSTITUTO DE CIÊNCIAS EXATAS
metadata.dc.publisher.program: Curso de Especialização em Estatística
Rights: Acesso Restrito
URI: http://hdl.handle.net/1843/35456
Issue Date: 18-Dec-2020
metadata.dc.description.embargo: 18-Dec-2021
Appears in Collections:Especialização em Estatística

Files in This Item:
File Description SizeFormat 
Monografia VVR pós defesa final com ficha catalográfica.pdf
???org.dspace.app.webui.jsptag.ItemTag.restrictionUntil??? 2021-12-17
1.51 MBAdobe PDFView/Open    Request a copy


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.