Pouco depois de ter saído o resultado do ENEM, alguns dos
meus amigos no Facebook compartilharam uma mensagem muito parecida com isso:
Infelizmente não consegui achar a
figura original, mas era isso mesmo que ela dizia: mostrando dois gráficos,
reclamava que muita gente havia recebido notas diferentes mesmo tendo feito o
mesmo número de questões e alegava que a nota de um candidato deveria ser
proporcional ao número de questões que ele havia acertado.
Ocorre que o modelo estatístico que o ENEM
usa para calcular as notas dos candidatos é a TRI, Teoria da Resposta ao Item,
que leva em conta, entre outras coisas, a dificuldade de cada questão. Não
reclame se o atual namorado da sua ex
acertou o mesmo número de questões que você e tirou uma nota maior: é que ele
acertou mais questões difíceis que você.
Aliás,
para classificar as questões como fáceis ou difíceis é indispensável testá-las
com uma amostra significativa de estudantes, num “pré-teste”. Foi isso o que aconteceu
naquele episódio envolvendo o Christus: alguns estudantes tinham feito o
pré-teste e, uma semana depois, encontraram as mesmas questões na prova
definitiva – que surpresa boa! Claro que isso aconteceu por incompetência da
organização do teste. Nos Estados Unidos, uma questão só aparece em um teste
pelo menos cinco anos depois de ter constado no pré-teste que a classificou.
O.K.,
a nota do ENEM não depende apenas do número de questões corretas. Mas a
probabilidade de que um aluno acerte determinada questão deve ser diretamente
proporcional à habilidade do aluno, certo? Errado! Segundo a Teoria de Resposta
ao Item, o melhor é que esta não seja uma relação direta (isto é, linear) como poderiam
argumentar protestos no Facebook. Antes, a probabilidade P(θ) que um examinando
de habilidade θ acerte uma questão é modelada por uma curva em forma de S:
Vejamos o porquê. Uma questão benfeita
(agradeço à Deborha por me ensinar que é assim que se escreve agora) é aquela
que discrimina bem os examinandos. Se determinada questão deve ter dificuldade
5, numa escala de 0 a 10, seria perfeito se todo candidato que tem habilidade
maior que 5 tivesse 100% de chance de acertá-la, enquanto todos os outros
errassem. Nestas condições, a curva característica seria assim:
Agora fica mais claro que se a
relação entre P(θ) e θ fosse linear, a questão não discriminaria nada bem, pois
a probabilidade de acerto mudaria lentamente ao longo de todo o intervalo de
habilidades possíveis.
Se você estiver disposto, pode testar o que aprendeu
respondendo às três perguntas abaixo, que poderiam até ser problemas do ENEM,
já que envolvem interpretação de gráficos. Se não estiver com paciência para
pensar, pule um parágrafo.
O item c é a resposta de todas as três
perguntas. Na primeira delas, a curva verde representa uma questão bem difícil:
veja que até quando a habilidade do examinando é muito alta, a probabilidade que
ele acerte a questão ainda está lá pelos 70 ou 80%. A segunda pergunta você
responderia facilmente se entendeu o parágrafo anterior. A terceira é mais
interessante: veja que quando um aluno tem baixa habilidade, ainda assim tem
20% de chance de acerto. Se você não sabe nada e ainda tem uma chance em cinco
de acertar, é porque a questão tem cinco alternativas. A nota do ENEM leva em
conta o acerto casual, e por isso ninguém tira zero. A menor nota que se pode
tirar depende do desempenho de todos os examinandos.
De
acordo com o INEP, para cada questão do ENEM constrói-se um modelo representado
pelos três parâmetros mencionados na figura acima: a discriminação, o grau de
dificuldade e o acerto casual. Mais especificamente, é usado o modelo logístico de três parâmetros, ou
ML3. Para o caso pouco provável de você se interessar, é dada abaixo a equação
que rege o modelo.
Curiosidade: A curva em forma de S do gráfico, a função
logística, é muito usada para modelar o crescimento de plantas e animais, desde
seu nascimento até a maturidade, desde 1844. Só foi usada como modelo na Teoria
de Resposta ao Item por volta dos anos 1950 e, devido a sua simplicidade, se
tornou o modelo preferido.
Se você for professor, note que
para se fazer um teste justo há toda uma ciência. Os estatísticos é que sabem
extrair os dados para atribuir graus de dificuldade numa questão e fazer testes que realmente meçam o conhecimento dos alunos. Você não sabe. Talvez seus pupilos saibam mais do que parece, por isso é bom pensar em pegar mais leve com eles.
Fontes:
The Basics of Item Response Theory, de Frank B. Baker.
Teoria de Resposta ao Item: conceitos e aplicações, de Dalton Francisco de Andrade.
Página do INEP: www.inep.gov.br/
Pra mim não importa como esse excremento (para não dizer mer.. mesmo) que é a correção do Enem é feita, só acho que é ação que prostitutas fazem (na linguagem popular) uma pessoa fazer 43 questões de 45 e ter uma nota de 630 e pouco. Isso é uma injustiça!!!! E ainda tem gente que acha isso justo?! Por mim o que interessa é se eu acertei mais questões ou na, se eu acertei mais difíceis ou fáceis! (Até parece que só porque esse T.R.I ai avalia o meu parâmetro de discriminação, o parâmetro de dificuldade da questão, parâmetro de acerto casual, meu nível de habilidade e esse monte de coisa sem sentido vai impedir os chutes) e realmente uma pessoa que fez quase 20 questões a menos do que eu merece uma nota maior em quase 40 pontos só porque o gráfico dela é mais bonitinho?! Ahh, vá tomar no ** Não acho a prova do Enem ruim não (mesmo que ele me faça de idiota, me canse muito e despreze todo o meu conhecimento) acho ruim é esse T.R.I , e olhe que eu também não estou falando nem da redação também (afinal eu não seu escrever P.N que preste) mas já escutei vários casos de injustiça quanto as notas. Vou parar logo de falar desse Enem antes que o estresse que esse assunto faça eu quebrar meu computador.
ResponderExcluirCom uma chama de revolta no fundo da minha alma, seu primo Isaac.
vc ´´e burro e nunca acertou 43 questoes, A TRI nao consegue fazer sua nota diminuir como mencionou.
ResponderExcluir