ANÁLISE COMPARATIVA DO EXAME NACIONAL DO ENSINO MÉDIO (ENEM) VIA TEORIA CLÁSSICA DOS TESTES E TEORIA DE RESPOSTA AO ITEM

Tese apresentada ao Programa de Pós Graduação em Educação da Universidade Federal do Ceará, como requisito parcial à obtenção do título de Doutor em Educação. Área de concentração: Avaliação Educacional.

Resumo:

As avaliações educacionais em larga escala, entre elas o Exame Nacional do Ensino Médio (Enem), são importantes medidas de desempenho escolar realizadas atualmente no Brasil. Por muito tempo a Teoria Clássica dos Testes (TCT) foi dominantemente utilizada. Nesse contexto, o Enem desde a sua criação, em 1998, até 2008 utilizou-se desse paradigma de análise. No entanto, a partir da década de 1990 parte dos procedimentos da TCT têm sido substituídos pela Teoria de Resposta ao Item (TRI). Dessa forma, em 2009 esse exame passou a utilizar a TRI. Com isso, questionamos se há diferenças nas medidas a partir da TCT e TRI, portanto, se há comparabilidade entre os parâmetros dos itens e escores dos participantes. Dessa forma, esta pesquisa teve o objetivo de avaliar os resultados do Enem de 2017 a partir da TCT e TRI. Trata-se de uma pesquisa de abordagem quantitativa e com objetivo exploratório. Participaram da pesquisa uma amostra de 10.000 participantes selecionados por amostragem aleatória simples. A análise da dimensionalidade das provas do exame foi realizada com o teste de Análise Paralela e Análise Fatorial de Informação Plena. Posteriormente, foram estimados os parâmetros dos itens e dos participantes do exame a partir da TCT e TRI (1, 2 e 3 parâmetros) e comparados a partir do coeficiente de correlação de Pearson (r) e regressão linear simples. Para todas as análises foram utilizados pacotes estatísticos do Software R. Os resultados encontrados a partir da Análise Paralela indicaram evidências de haver uma dimensão dominante em cada prova do exame. A Análise Fatorial de Informação Plena indicou que a maioria dos itens apresentaram cargas fatoriais elevadas em um único fator. Mas alguns itens apresentaram cargas fatoriais baixas (<0,30). Após o ajuste de um modelo unidimensional e estimação dos parâmetros dos itens e dos participantes pela TCT e TRI, encontrou-se forte correlação entre os parâmetros de dificuldade e discriminação dos itens pela TCT e modelos de TRI de 1 e 2 parâmetros. Os valores de correlação decrescem com o modelo de 3 parâmetros. O mesmo ocorre na comparação entre os escores dos participantes. Em ambos os casos o modelo de regressão simples ajustado foi significativo. Conclui-se que há alta comparabilidade entre os parâmetros dos itens e escores dos participantes pela TCT e modelos de TRI. Entretanto, a comparabilidade torna-se mais frágil com o modelo de TRI de 3 parâmetros. Assim, questiona-se a necessidade do modelo de TRI para as finalidades desta avaliação.

Link para a Tese na íntegra: http://repositorio.ufc.br/bitstream/riufc/48275/3/2019_tese_lasousa.pdf