E eis que então a UFRGS se manifestou, através da página oficial do Vestibular 2011, e confirmou as especulações lançadas ontem neste mesmo blog. (Se você não leu o artigo anterior, é altamente recomendável que faça isso antes de ler o artigo abaixo — para acessá-lo, basta seguir este link.)
Os Esclarecimentos da UFRGS
Antes de mais nada, é importante compararmos, textualmente, os esclarecimentos prestados pela UFRGS a respeito do aproveitamento da nota do ENEM nos últimos dois vestibulares. Tomei a liberdade de destacar os trechos mais importantes e acrescentar, em vermelho, meus comentários após cada esclarecimento.
2010 (acesse aqui o esclarecimento original)
"Entendendo o Resultado do ENEM
O resultado do ENEM divulgado pelo INEP para cada uma das provas realizadas é um valor entre 0 e 1000 produzido de acordo com a Teoria de Resposta ao Item (TRI). Este valor não representa e tampouco é proporcional ao número de acertos dos candidatos nas diferentes provas. Segundo a Teoria, um candidato com número de acertos menor poderá produzir resultado superior a candidato com número de acertos maior, em razão do nível de dificuldade das questões (se você quiser saber mais clique aqui).
O resultado do ENEM divulgado pela UFRGS como escore bruto é a soma do número de acertos de cada uma das provas objetivas do ENEM. Este número pode ser conferido pelos candidatos pela simples soma do número de acertos obtidos em cada uma das provas objetivas realizadas. Com base nos escores brutos dos candidatos da UFRGS optantes pelo uso do ENEM, é calculada a média e desvio padrão destes escores. O escore padronizado relativo ao ENEM divulgado pela UFRGS é o resultado da padronização deste escore bruto com base nesta média e desvio padrão calculados e divulgados, da mesma forma como é feito em todas as outras provas da UFRGS, conforme Manual do Candidato."
(O texto deixa claro que as notas divulgadas pelo INEP não são proporcionais aos números de acertos dos candidatos nas provas e, portanto, não podem ser tomados como sinônimos ou substitutos de escores brutos. A partir daí, a UFRGS adota a soma do número de acertos nas 4 provas objetivas do ENEM como sinônimo de escore bruto — em outras palavras, trata tal soma como uma única grande prova de 180 questões.)
2011 (acesse aqui o esclarecimento original)
"Informações sobre a utilização do Resultado do ENEM
Para todos os candidatos do Concurso Vestibular 2011 que fizeram a opção de utilização do ENEM de 2010, a UFRGS utiliza o resultado alcançado pelo candidato no conjunto das quatro provas objetivas realizadas no ENEM (Ciências Humanas e suas Tecnologias, Ciências da Natureza e suas Tecnologias, Linguagens, Códigos e suas Tecnologias e Matemática e suas Tecnologias).
Os resultados do ENEM para cada uma das quatro provas objetivas realizadas em 2010 foram divulgados pelo INEP de acordo com a Teoria de Resposta ao Item (TRI).
Para calcular o resultado do candidato no ENEM, a UFRGS divide por 10 o escore obtido pelo candidato em cada uma das quatro provas objetivas e calcula a média das mesmas, resultando valores compreendidos entre 0 e 100.
Assim, o resultado do ENEM divulgado pela UFRGS como escore bruto corresponde à média dos resultados divulgados pelo ENEM, de acordo com a Teoria de Resposta ao Item, convertidos para uma escala entre 0 e 100.
Com base nesses escores brutos calculados para os candidatos da UFRGS optantes pelo uso do ENEM, foram calculados a média e o desvio padrão desses escores. O escore padronizado relativo ao ENEM utilizado pela UFRGS é o resultado da padronização deste escore bruto, da mesma forma como é feito em todas as outras provas da UFRGS, conforme o Manual do Candidato do CV 2011."
(Em outras palavras, a UFRGS confirma os cálculos que publiquei ontem no blog e, contradizendo a argumentação de 2010, toma a média das notas do ENEM calculadas segundo a TRI como sinônimo de escore bruto em 2011. Porém, a alegação de que o cálculo é feito da mesma forma que em todas as outras provas da UFRGS presumiria a utilização do número de acertos como escore bruto, e não da média das notas do ENEM em questão, já que as notas do ENEM são, naturalmente, padronizadas segundo os princípios da TRI.)
Mas, afinal de contas, o que é “Escore Bruto”?
Em minhas buscas na Internet, não localizei definições em português para o termo “Escore Bruto”. Porém, para o equivalente em inglês (“Raw Score”) há várias definições em sites de organizações respeitadas no meio científico. Uma delas é o Dicionário de Ciência e Tecnologia da editora McGraw-Hill, cujo conteúdo está disponível no site http://accessscience.com. Segundo a definição original em inglês, que tomei a liberdade de traduzir livremente, “Escore Bruto” é sinônimo de “Qualquer número como originalmente aparece em um experimento; por exemplo, ao avaliar resultados de testes, os escores brutos expressam o número de respostas corretas, não corrigidas para posicionamento na população de referência.”
(Ora, vejam só! Se o que a nota do ENEM obtida a partir da TRI fornece é justamente uma correção dos escores brutos dos candidatos para posicionamento no universo de participantes do ENEM, então tais notas não podem voltar a ser utilizadas como escores brutos!)
Definições semelhantes estão disponíveis nos sites da Merriam-Webster, da Dictionary.com, que se baseia no consagrado dicionário Random House, e, é claro, da Wikipedia (embora eu seja sempre receoso de tomar essa última fonte como referência, mas incluo para fins de entretenimento!). Todas as definições, sem exceção, convergem no que diz respeito ao fato de que um escore bruto não pode ter sido transformado ou submetido a qualquer ajuste estatístico — como, por exemplo, a geração de uma nota associada segundo a Teoria da Resposta ao Item.
Embora as definições dos elementos estatísticos utilizados no Vestibular 2011 não estejam disponíveis na página do concurso, no edital ou no manual do candidato, a própria UFRGS define Escore Bruto em um documento de esclarecimentos publicado no longínquo Vestibular 2001 e ainda disponível online:
"É o número de acertos do candidato em uma prova. Com exceção da Redação, este escore estará compreendido entre 0 e 30, que é o número de questões das provas." (em 2001, as provas da UFRGS ainda eram realizadas em 5 dias, e cada prova tinha 30 questões)
O Resumo da Ópera
Ao que tudo indica, estamos diante de algumas inconsistências históricas e, possivelmente, também formais:
— A UFRGS considera, no edital e no manual do candidato, que os escores padronizados de cada prova são calculados a partir dos escores brutos, ou seja, segundo as definições acima, a partir do número de acertos dos candidatos em cada prova.
— Em 2010, a UFRGS confirmou a definição de escore bruto, adotando-o como sinônimo de "soma do número de acertos de cada uma das provas objetivas do ENEM" ao mesmo tempo em que afirma que o resultado de cada prova do ENEM segundo a TRI "não representa e tampouco é proporcional ao número de acertos dos candidatos nas diferentes provas".
— Em 2011, a UFRGS retrocede e resolve adotar a "média dos resultados divulgados pelo ENEM, de acordo com a Teoria de Resposta ao Item, convertidos para uma escala entre 0 e 100" como nota do ENEM, o que evidentemente contradiz tanto a definição de escore bruto utilizada tradicionalmente pela Universidade quanto a justificativa para a não-adoção das notas do ENEM em 2010.
O Precedente Perigoso
Em uma única frase: “flexibilizar o conceito de escore bruto e interpretá-lo como sinônimo de uma média calculada a partir de resultados estatisticamente transformados e que, ainda por cima, não são diretamente proporcionais ao número de acertos do candidato”.
Isso não tem paralelo nem na redação, cuja correção é obviamente subjetiva, mas resulta, ainda assim, em um escore bruto. Além disso, mesmo na redação, quem faz mais pontos recebe a maior nota. No ENEM, segundo a TRI, não é essa a realidade.
A Conclusão Preocupante
O mais surpreendente disso tudo é que a UFRGS, nossa principal e mais respeitada Universidade, resolveu abrir mão de sua definição tradicional de escore bruto e tomá-lo como sinônimo de notas estatisticamente transformadas, cujo cálculo é revestido de muita nebulosidade. Afinal, embora a transformação estatística seja evidente, o INEP não publica nenhum esclarecimento detalhado a respeito de como tais notas são calculadas.
Tive a honra e o prazer de ser aluno da UFRGS e, portanto, me sinto plenamente à vontade para, mais uma vez, insistir: é a credibilidade do mais tradicional processo seletivo do Estado, responsável pela seleção dos alunos de nossa Universidade de referência, que está em jogo.