A Network approach to deal with the problem of examinee choice under item response theory
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Erica Castilho Rodrigues
Allbens Atman Picardi Faria
Marcos Antonio da Cunha Santos
Martin Gomez Ravetti
Allbens Atman Picardi Faria
Marcos Antonio da Cunha Santos
Martin Gomez Ravetti
Resumo
Em uma situação típica de avaliação utilizando questões de prova, os candidatos não podem escolher quais itens preferem responder. A principal razão é um problema técnico em se obter estimativas confiáveis para as habilidades dos candidatos e as dificuldades dos itens. Este trabalho propõe uma nova representação dos dados utilizando análise de redes. As questões de prova, e os itens selecionados, para cada candidato, são codificados como camadas, vértices e arestas em uma rede multicamadas. Dessa forma, um novo modelo de Teoria de Resposta ao Item (TRI), que incorpora a informação obtida a partir da rede multicamadas utilizando modelagem Bayesiana, é proposto. Diversos estudos de simulação, nos quais os candidatos podem escolher um subconjunto de itens, foram realizados. Os resultados mostram uma melhora substancial na recuperação dos parâmetros utilizando o modelo proposto em comparação ao modelo convencional de TRI. Este modelo é a primeira proposta que permite obter estimativas satisfatórias em cenários críticos reportados naliteratura
Abstract
In a typical questionnaire testing situation, the examinees are not allowed to choose which items they would rather answer. The main reason is a technical issue in obtaining satisfactory statistical estimates of examinees' abilities and items' difficulties. This paper introduces a new Item Response Theory (IRT) model that incorporates information from a novel representation of the questionnaire data, using network analysis. The questionnaire data set is coded as layers, the items are coded as nodes and the selected items are connected by edges. The new proposed Item Response Theory (IRT) model incorporates networkinformation using Bayesian estimation. Several simulation studies in which examinees are allowed to select a subset of items were performed. Results show substantial improvements in the parameters' recovery over the standard model. To the best of our knowledge, this is the first proposal to obtaining satisfactory IRT statistical estimates in some critical scenarios reported in literature.
Assunto
Teoria da resposta do item, PERT (Análise de redes), Teoria bayesiana de decisão estatistica, Engenharia de produção
Palavras-chave
Análise de Redes, Seleção de itens, Medidas de Centralidade, Teoria de, Resposta ao Item, Modelagem Bayesiana