Que conhecimentos e habilidades mede o ENEM?

Escrevo desde o auditório do Palácio de Convenções de Girona, na Espanha, na abertura do congresso da revista Enseñanza de las Ciências, depois de ter participado do congresso europeu de ensino de Ciências, organizado pela Associação Europeia de Ensino de Ciências (ESERA), em Nicosia, no Chipre.

Logo mais, junto com Paulo Sérgio Garcia e Luiz Caldeira Brant de Tolentino Neto, apresentaremos o poster com o trabalho sobre o estudo do ENEM, escrito ainda com Ana Maria Santos Gouw e Paulo Henrique Nico Monteiro.

O trabalho pode ser baixado da internet sem custo no seguinte link:

http://www.sendspace.com/file/dkwv67  (copie o link e cole em seu navegador).

No Chipre apresentamos o modelo experimental e o método estatístico. Neste congresso apresentamos a hipótese que explica o que denominamos PIR (Performance Induzida Reversa), ou seja, que a leitura do texto de apoio da questão PREJUDICA o desempenho do estudante. Os dois artigos foram bem avaliados nos dois congressos, com dois avaliadores independentes em cada evento. Um membro da equipe do PISA assistiu nossa apresentação no Chipre e combinamos de encaminhar mais dados sobre nossos achados. Essa pesquisadora nos adiantou que a equipe do PISA tem realizado estudos que indicam resultados similares, embora ainda não os tenham publicado. Um estatístico da Diretoria de Avaliação da Educação Básica do INEP esteve presente `a apresentacão na Espanha e tivemos uma discussão sobre o artigo que poderia ser chamada de "acalorada". Ele se prontificou a propor a seu chefe um seminário onde possamos apresentar o estudo de maneira serena para a equipe central que trabalha com o ENEM.

Na oportunidade reli textualmente as conclusões do estudo, que dizem ser necessário tomar medidas de reforma da educação brasileira baseadas nesse exame com cuidado e que estudos posteriores são necessários. Em nenhum momento o estudo pretendeu lançar um juízo final negativo sobre o ENEM, mas, ao contrário, como concordou a colega ligada ao PISA, ele poderá aperfeiçoar a pré-testagem dos itens, identificando aqueles em que for encontrada Performance Induzida Reversa.

O trabalho foi tema do noticiário da TV Globo em SP e a matéria pode ser encontrada no site G1, da Globo, na aba SPTV 2a. edição, na matéria do dia 3 de setembro. Por contato da jornalista Renata Cafardo, o INEP recebeu o trabalho e respondeu que "não desqualifica o estudo da USP", mas que realiza "testes similares com resultados positivos". Na oportunidade, não nos foram pedidas informações adicionais.

O link é:

http://g1.globo.com/videos/sao-paulo/sptv-2edicao/t/edicoes/v/pesquisa-mostra-que-perguntas-complexas-do-enem-atrapalham-em-vez-de-ajudar/2800729/

O trabalho apresenta resultados surpreendentes sobre o desempenho dos estudantes e apresenta duas hipóteses para explicar os resultados obtidos. Uma delas foi denominada "despistamento" e outra "falta de coesão" entre texto de apoio e comandos.