Área do Usuário

Login

Como funciona o cálculo da nota do Enem 2010? Veja

Por Robson

Será que eu passo ou não? Ou melhor, será que eu fui bem ou não?
Essa é a questão que fica na cabeça de todos quando se trata de ENEM.

È de muito difícil compreensão a teoria de Resposta ao Item, metodologia do novo Enem, exige conhecimento estatístico para o cálculo da nota do aluno

Confira esta matéria escrita por Rubem Barros e Filipe Jahn para o UOL

Cerrca de quase 5 milhões de alunos inscritos no Enem que fizeram a prova no ano de 2009 não poderão, ao terminá-la, cotejar suas respostas com o gabarito e saber qual a pontuação que atingiram. Isso porque a nota não será resultado direto de seus acertos, e sim de um cálculo, derivado da utilização da Teoria de Resposta ao Item, que visa estimar o grau de proficiência dos alunos em relação às habilidades requeridas pela prova.

Esta decisão de adotar esse instrumento pela primeira vez para uma prova de processo seletivo no Brasil foi tomada, segundo Reynaldo Fernandes, presidente do Instituto Nacional Estudos e Pesquisas Educacionais (Inep), por vários motivos. Um deles é aprimorar o processo, de modo a escolher os alunos mais capacitados. Outro é a questão da segurança da prova em termos de fraude. Nesse sentido, Reynaldo diz que o próximo passo é fazer provas diferentes.

E tem mais,  há ainda a possibilidade de o Enem ser utilizado em substituição à prova de ingresso do Exame Nacional de Desempenho de Estudantes (Enade), aferindo a chamada linha de base dos calouros universitários no momento de seu ingresso. Isso permitirá a comparação com suas habilidades ao final do curso, para medir o que foi adquirido em seu decorrer. Hoje, o Enade dos ingressantes é feito ao final do 1º ano. Outra razão é que a TRI permite a realização de séries históricas da prova, o que ajuda a análise de desempenho dos alunos do ensino médio ao longo do tempo.

Diz o presidente do Inep, é possível que a introdução da nova metodologia traga, efetivamente, algum nível de confusão e de contestação por parte dos alunos, que não saberão como calcular sua nota. "Sabemos que vamos ter problemas de comunicação. É difícil explicar a TRI, porque ela tem outra lógica, outro conceito, difícil de explicar para uma pessoa não iniciada em estatística", diz Reynaldo.

Salomão Ximenes, da ONG Ação Educativa, lembra que é direito do aluno, segundo o Estatuto da Criança e do Adolescente, o de contestar critérios avaliativos, podendo recorrer a instâncias superiores.

No objetivo de tentar melhorar essa questão, o Inep publicará os parâmetros de cada item (questão), o que permitirá que aqueles que têm o conhecimento estatístico necessário (e acesso ao software), calculem o resultado de cada aluno. O órgão, responsável pela prova, também promete investir em comunicação para tentar explicar os princípios da TRI para imprensa e população. Segundo Fernandes, a área jurídica do MEC deu aval para adoção da metodologia.

Segundo Ocimar Alavarse, professor da Faculdade de Educação da USP e especialista em avaliação, membro da equipe que formulou a Provinha São Paulo, da rede municipal de educação, a TRI é, efetivamente, um bom instrumento. Mas sua adoção neste momento, para um universo tão grande de alunos pode ser um "passo arriscado". "Seria mais prudente testar seus resultados em paralelo com uma avaliação clássica e ir implantando aos poucos, já que as evidências mostram que o resultado não muda muito".

Mariana Curi, professora de estatística na mesma universidade que trabalha na aplicação da metodologia, acredita que o fato de o aluno não saber quanto vale cada questão na hora da prova não influencia no processo seletivo. "É uma metodologia extremamente confiável".

Fernandes lembra que a TRI é utilizada em exames seletivos nos EUA, como o Toefl, teste que mede a proficiência de estrangeiros em língua inglesa, e o SAT (Scholastic Assessment Test, ou Teste de Avaliação Escolar), um dos critérios para ingresso nas universidades norte-americanas. Nenhum deles, no entanto, é o único critério de seleção, como será em algumas universidades federais brasileiras. (Rubem Barros e Filipe Jahn).

PARA ENTENDER COMO FUNCIONA A NOTA DO ALUNO

Uma das maiores dificuldades para o entendimento público das notas do novo Enem (que indicarão a proficiência do aluno), com a utilização da Teoria de Resposta ao Item (TRI), é que essas notas não derivam diretamente do número de acertos do candidato, como ocorre tradicionalmente nas provas de vestibular, mas sim da proficiência estimada do aluno. Essa estimativa é aferida por meio de um processo que começa com a escolha de itens de diferentes complexidades.

Passa, a seguir, pela verificação de um padrão gerado pela análise das respostas de todos os candidatos, que propiciará a definição da curva característica de cada item, com a qual será cotejado cada um dos acertos de todos os candidatos para gerar o índice de proficiência individual. Esse processo permite estimar a proficiência de cada aluno, observando-se quais - mais do que quantos - itens acertou, levando-se em conta as proficiências que eram exigidas pelo modelo da TRI cuja expressão gráfica é a curva característica do item.

Como explica o professor Ocimar Alavarse, da Feusp, cada item (ou questão da prova) deve avaliar uma habilidade específica - ou descritor, segundo a terminologia adotada pelo Inep. A proficiência estimada do aluno, como resultado final da prova, expressa o domínio de habilidades e competências que foram exigidas para responder corretamente aos itens que compuseram a prova. É estimada porque retrata o desempenho do aluno naquele dado momento e para aquele conjunto de itens de sua prova. Essa estimativa depende da quantidade e da qualidade dos itens da prova: com poucos itens fica difícil estabelecer um padrão razoável de respostas.

A curva característica de um item é uma representação gráfica da probabilidade de acerto que alunos com diferentes graus de proficiência teriam, estatisticamente, com as características de cada item, pela determinação de cada um de seus parâmetros - discriminação, dificuldade e acerto ao acaso. No gráfico acima, a coordenada P equivale à probabilidade de acerto, e a ? equivale à proficiência do aluno. A letra C na coordenada P indica a chance mínima de um aluno com baixa proficiência para esse item: acertá-lo seria um acerto ao acaso (ou "chute"), que é de 20% (considerando cinco alternativas possíveis).

No caso da questão do gráfico, as chances de acerto começam a aumentar com candidatos que tenham índice a partir de 180 e chegam a cerca de 60% no ponto da escala horizontal onde está B. Os alunos com proficiência a partir de 400 tenderiam a ter quase 100% de probabilidade de acerto do item. A pequena separação entre a curva e o que falta para 100% indica que, apesar da alta proficiência, pode haver chance de erro, mas esse eventual erro não seria "descontado" do respondente, como costuma ocorrer tradicionalmente. Esse erro pode ser creditado a desvios como uma pequena desatenção ou cansaço do aluno, variáveis que não se repetiriam com vários itens de dificuldade semelhante para o mesmo aluno.

Definida a curva de cada item, o que só pode ser feito após a realização da prova, o conjunto de respostas do aluno será cotejado com a curva de cada item, gerando a estimativa de proficiência. Ou seja, serão observados quais itens acertou. Caso tenha acertado, por exemplo, muitos itens difíceis e errado poucos ou nenhum item fácil, pode-se afirmar que tem uma maior proficiência do que um aluno com o mesmo padrão para itens fáceis, mas com poucos acertos nos difíceis. Nesse caso, estima-se que os tenha acertado mais ao acaso do que com a devida proficiência.

Bookmark and Share

Compartilhe esta notícia, selecione o site de sua preferência

Banner Cursos Br