Bomba-relógio, capítulo 2: Esclarecimento da UFRGS confirma as especulações, mas os problemas continuam
24 de janeiro de 2011 29E eis que então a UFRGS se manifestou, através da página oficial do Vestibular 2011, e confirmou as especulações lançadas ontem neste mesmo blog. (Se você não leu o artigo anterior, é altamente recomendável que faça isso antes de ler o artigo abaixo — para acessá-lo, basta seguir este link.)
Os Esclarecimentos da UFRGS
Antes de mais nada, é importante compararmos, textualmente, os esclarecimentos prestados pela UFRGS a respeito do aproveitamento da nota do ENEM nos últimos dois vestibulares. Tomei a liberdade de destacar os trechos mais importantes e acrescentar, em vermelho, meus comentários após cada esclarecimento.
2010 (acesse aqui o esclarecimento original)
"Entendendo o Resultado do ENEM
O resultado do ENEM divulgado pelo INEP para cada uma das provas realizadas é um valor entre 0 e 1000 produzido de acordo com a Teoria de Resposta ao Item (TRI). Este valor não representa e tampouco é proporcional ao número de acertos dos candidatos nas diferentes provas. Segundo a Teoria, um candidato com número de acertos menor poderá produzir resultado superior a candidato com número de acertos maior, em razão do nível de dificuldade das questões (se você quiser saber mais clique aqui).
O resultado do ENEM divulgado pela UFRGS como escore bruto é a soma do número de acertos de cada uma das provas objetivas do ENEM. Este número pode ser conferido pelos candidatos pela simples soma do número de acertos obtidos em cada uma das provas objetivas realizadas. Com base nos escores brutos dos candidatos da UFRGS optantes pelo uso do ENEM, é calculada a média e desvio padrão destes escores. O escore padronizado relativo ao ENEM divulgado pela UFRGS é o resultado da padronização deste escore bruto com base nesta média e desvio padrão calculados e divulgados, da mesma forma como é feito em todas as outras provas da UFRGS, conforme Manual do Candidato."
(O texto deixa claro que as notas divulgadas pelo INEP não são proporcionais aos números de acertos dos candidatos nas provas e, portanto, não podem ser tomados como sinônimos ou substitutos de escores brutos. A partir daí, a UFRGS adota a soma do número de acertos nas 4 provas objetivas do ENEM como sinônimo de escore bruto — em outras palavras, trata tal soma como uma única grande prova de 180 questões.)
2011 (acesse aqui o esclarecimento original)
"Informações sobre a utilização do Resultado do ENEM
Para todos os candidatos do Concurso Vestibular 2011 que fizeram a opção de utilização do ENEM de 2010, a UFRGS utiliza o resultado alcançado pelo candidato no conjunto das quatro provas objetivas realizadas no ENEM (Ciências Humanas e suas Tecnologias, Ciências da Natureza e suas Tecnologias, Linguagens, Códigos e suas Tecnologias e Matemática e suas Tecnologias).
Os resultados do ENEM para cada uma das quatro provas objetivas realizadas em 2010 foram divulgados pelo INEP de acordo com a Teoria de Resposta ao Item (TRI).
Para calcular o resultado do candidato no ENEM, a UFRGS divide por 10 o escore obtido pelo candidato em cada uma das quatro provas objetivas e calcula a média das mesmas, resultando valores compreendidos entre 0 e 100.
Assim, o resultado do ENEM divulgado pela UFRGS como escore bruto corresponde à média dos resultados divulgados pelo ENEM, de acordo com a Teoria de Resposta ao Item, convertidos para uma escala entre 0 e 100.
Com base nesses escores brutos calculados para os candidatos da UFRGS optantes pelo uso do ENEM, foram calculados a média e o desvio padrão desses escores. O escore padronizado relativo ao ENEM utilizado pela UFRGS é o resultado da padronização deste escore bruto, da mesma forma como é feito em todas as outras provas da UFRGS, conforme o Manual do Candidato do CV 2011."
(Em outras palavras, a UFRGS confirma os cálculos que publiquei ontem no blog e, contradizendo a argumentação de 2010, toma a média das notas do ENEM calculadas segundo a TRI como sinônimo de escore bruto em 2011. Porém, a alegação de que o cálculo é feito da mesma forma que em todas as outras provas da UFRGS presumiria a utilização do número de acertos como escore bruto, e não da média das notas do ENEM em questão, já que as notas do ENEM são, naturalmente, padronizadas segundo os princípios da TRI.)
Mas, afinal de contas, o que é “Escore Bruto”?
Em minhas buscas na Internet, não localizei definições em português para o termo “Escore Bruto”. Porém, para o equivalente em inglês (“Raw Score”) há várias definições em sites de organizações respeitadas no meio científico. Uma delas é o Dicionário de Ciência e Tecnologia da editora McGraw-Hill, cujo conteúdo está disponível no site http://accessscience.com. Segundo a definição original em inglês, que tomei a liberdade de traduzir livremente, “Escore Bruto” é sinônimo de “Qualquer número como originalmente aparece em um experimento; por exemplo, ao avaliar resultados de testes, os escores brutos expressam o número de respostas corretas, não corrigidas para posicionamento na população de referência.”
(Ora, vejam só! Se o que a nota do ENEM obtida a partir da TRI fornece é justamente uma correção dos escores brutos dos candidatos para posicionamento no universo de participantes do ENEM, então tais notas não podem voltar a ser utilizadas como escores brutos!)
Definições semelhantes estão disponíveis nos sites da Merriam-Webster, da Dictionary.com, que se baseia no consagrado dicionário Random House, e, é claro, da Wikipedia (embora eu seja sempre receoso de tomar essa última fonte como referência, mas incluo para fins de entretenimento!). Todas as definições, sem exceção, convergem no que diz respeito ao fato de que um escore bruto não pode ter sido transformado ou submetido a qualquer ajuste estatístico — como, por exemplo, a geração de uma nota associada segundo a Teoria da Resposta ao Item.
Embora as definições dos elementos estatísticos utilizados no Vestibular 2011 não estejam disponíveis na página do concurso, no edital ou no manual do candidato, a própria UFRGS define Escore Bruto em um documento de esclarecimentos publicado no longínquo Vestibular 2001 e ainda disponível online:
"É o número de acertos do candidato em uma prova. Com exceção da Redação, este escore estará compreendido entre 0 e 30, que é o número de questões das provas." (em 2001, as provas da UFRGS ainda eram realizadas em 5 dias, e cada prova tinha 30 questões)
O Resumo da Ópera
Ao que tudo indica, estamos diante de algumas inconsistências históricas e, possivelmente, também formais:
— A UFRGS considera, no edital e no manual do candidato, que os escores padronizados de cada prova são calculados a partir dos escores brutos, ou seja, segundo as definições acima, a partir do número de acertos dos candidatos em cada prova.
— Em 2010, a UFRGS confirmou a definição de escore bruto, adotando-o como sinônimo de "soma do número de acertos de cada uma das provas objetivas do ENEM" ao mesmo tempo em que afirma que o resultado de cada prova do ENEM segundo a TRI "não representa e tampouco é proporcional ao número de acertos dos candidatos nas diferentes provas".
— Em 2011, a UFRGS retrocede e resolve adotar a "média dos resultados divulgados pelo ENEM, de acordo com a Teoria de Resposta ao Item, convertidos para uma escala entre 0 e 100" como nota do ENEM, o que evidentemente contradiz tanto a definição de escore bruto utilizada tradicionalmente pela Universidade quanto a justificativa para a não-adoção das notas do ENEM em 2010.
O Precedente Perigoso
Em uma única frase: “flexibilizar o conceito de escore bruto e interpretá-lo como sinônimo de uma média calculada a partir de resultados estatisticamente transformados e que, ainda por cima, não são diretamente proporcionais ao número de acertos do candidato”.
Isso não tem paralelo nem na redação, cuja correção é obviamente subjetiva, mas resulta, ainda assim, em um escore bruto. Além disso, mesmo na redação, quem faz mais pontos recebe a maior nota. No ENEM, segundo a TRI, não é essa a realidade.
A Conclusão Preocupante
O mais surpreendente disso tudo é que a UFRGS, nossa principal e mais respeitada Universidade, resolveu abrir mão de sua definição tradicional de escore bruto e tomá-lo como sinônimo de notas estatisticamente transformadas, cujo cálculo é revestido de muita nebulosidade. Afinal, embora a transformação estatística seja evidente, o INEP não publica nenhum esclarecimento detalhado a respeito de como tais notas são calculadas.
Tive a honra e o prazer de ser aluno da UFRGS e, portanto, me sinto plenamente à vontade para, mais uma vez, insistir: é a credibilidade do mais tradicional processo seletivo do Estado, responsável pela seleção dos alunos de nossa Universidade de referência, que está em jogo.
Criando polêmica somente para atrair mais alunos. Você sabe muito bem que a UFRGS utiliza os procedimentos que ela bem entende, e azar dos prejudicados. Mais sorte na próxima encarnação.
Gustavo, sou professor de Física e passei em Eng Mecânica e logo que abri meu boletim já me dei conta da trapalhada que estava sendo apresentada ali. A questão que quero te colocar é que considerando o \"TRI\" ou considerando \"ESCORE BRUTO\" haveria pequenas mudanças, sutis na minha opinião, mas que poderiam alterar as colocações de muitos cursos. No meu caso particular minha nota UFRGS foi 574,00 com o ENEM fiquei com 595,00. Mesmo sem a nota da ENEM eu passaria pelo sistema de cotas. Mas acho que se alguém resolver calcular novamente a nota, utilizando as médias e desvios dos ESCORES BRUTOS das provas do ENEM pode ajudar ou prejudicar muita gente. Esses dados estão em poder da UFRGS e certamente não liberarão ao grande público. Lamentável episódio.
Oi Bela,
O conteúdo do teu comentário fala por si só. Lembro aos demais visitantes do blog que esse é um espaço livre, tanto para manifestações de qualquer natureza quanto para o exercício da atribuição de valor aos comentários alheios aqui revelados.
Abraços,
Gustavo
Gustavo, tenho uma dúvida e não encontrei em lugar nenhum a resposta: em caso de desistência de um candidato cotista, o novo candidato aprovado será o próximo cotista? E caso o candidato desistente esteja classificado no ingresso universal, e a sua saída faça com que um cotista já aprovado entre na lista de ingresso universal, isso abriria vaga para o próximo cotista?
Abraço e parabéns pelo blog.
Marcelo
Gustavo, eu me senti prejudicado pelo procedimento utilizado pela UFRGS em relação ao ENEM, se fosse do mesmo modo de 2010 eu poderia ter passado. Tu sabes me dizer como eu faço pra recorrer?
Oi Luciano,
é possível, pois embora não se possa dizer que há uma relação direta em cada prova vinculando a nota do ENEM calculada segundo a TRI e o escore bruto dos candidatos, certamente há uma correlação positiva. Em tese, nesses casos, mais acertos sugerem notas maiores, mas não necessariamente – e é exatamente aí que reside o problema.
Considerando a tradição da UFRGS de manter a transparência e o rigor formal dos cálculos envolvidos em seus processos seletivos, compartilho contigo a lamentação.
Abraços
Gustavo
Fui prejudicada pela correção do ENEM pela UFRGS, e agora?!?1?!?!
O Mandado de Segurança é a única saída? Aguardo tua resposta.
Roberta Gomes.
Oi Marcelo,
Muito boas as tuas perguntas. Vou responder com base em minha livre interpretação do conteúdo do edital, mas sugiro que você entre em contato com a COPERSE para confirmar. A primeira hipótese é válida: se um cotista desistir, o novo aprovado será o próximo cotista pertencente à mesma categoria, se houver. Isso se confirma na segunda hipótese: caso um candidato de acesso universal desista, o próximo classificado da lista universal ocupa sua vaga. Lembre que somente egressos de ensino público autodeclarados negros concorrem a 100% das vagas, ou seja, todas as vagas oferecidas pela UFRGS. Egressos do ensino público em geral concorrem a 85% dessas vagas, e os candidatos do acesso universal têm acesso a 70% delas.
Abraços,
Gustavo
Oi Lucas,
Certamente não sou a pessoa mais credenciada para te orientar juridicamente. Sugiro que entre em contato com alguém da área.
Abraços,
Gustavo
Oi Roberta,
considere a resposta que acabei de dar ao Lucas com tua também!
Abraços,
Gustavo
Oi Gustavo,
Primeira vez que estou lendo este teu blog, e achei muito interessante o assunto abordado neste post. Eu estudo na UFRGS, faço Direito, ingressei nesta universidade em 2008 logo após ter saído do colégio em 2007, e acho lamentável toda essas confusões que estamos tendo a cada ano que se passa na nossa educação. Cada dia que passa é uma novidade, assim como essa que você passou para todos nós, e só tenho a ficar desapontado pela credibilidade da faculdade em que eu estudo, e tida como a melhor faculdade do estado estar em jogo.
Agradeço desde já por estar deixando todo mundo sempre informado sobre assuntos que todos nós deveríamos nos interessar e ir atrás.
Obrigado
Oi Lucas,
Obrigado pela leitura e pelo comentário. Fico feliz de saber que consigo atingir não só os que ainda estão na luta pelo ingresso no Ensino Superior, mas também os que já tiveram sucesso em suas jornadas pessoais.
Abraços,
Gustavo
Olá Gustavo,
Gostaria de saber se você sabe da existência de alguma ação coletiva em relação a esse episódio da UFRGS. Quando vi as minhas notas nas provas do ENEM 2010, fiquei muito decepcionada, pois mesmo obtendo um escore bruto em cada uma das provas maior que o ano passado, a minha nota foi inferior. Para você ter idéia acertei 80% na prova de linguagens e minha nota foi 652.....acho muito pouco para 36 acertos...e essa nota foi devido ao método TRI. Sabendo agora que a UFRGS considerou as notas pelo método TRI, confesso que fiquei triste, por existir a possibilidade de ter ido melhor. Se souberes de algo, comunique-me. Não sei muito bem como abriria uma ação contra esse episódio e acho que se me juntasse a outras pessoas que também se sentiram prejudicadas, com união, teríamos uma chance.
Oi Andrea,
Lamento por sua história, mas você certamente não está sozinha. Não sei da existência de nenhuma ação e não me sinto habilitado a oferecer aconselhamento em nível jurídico. Sugiro que você procure um profissional da área.
Abraços,
Gustavo
Gustavo,é evidente que a UFRGS errou
Mas,nao passou pela tua cabeça que o INEP possa nao ter repassado os escores brutos pra ufrgs(sabemos como sao desorganizados)?
Nesse caso,acho que a ufrgs nao tem esolha...nao vejo interesse dela em nao usar os escores brutos,pode ter sido o INEP mesmo...nesse caso,claro que a UFRGS nao admitiria tambem,afinal ela contou com o INEP,deveria ter certeza antes de botar no edital
obs 1 : voce parece ser contra o TRI no enem....voce tem algum embasamento do por que ser contra?eu nao sou nem a favor nemk contra pq nao sei perfeitamente como funciona,mas sei que é usado em varios paises desenvolvidos do mundo...nao que isso garante credibilidade,mas algo de bom deve ter né
2: se puder responder meu e-mail que te mandei na sexta,querendo saber sobre seu programa de apoio a faculdade,fico grato
e continue assim,denunciando,é bom que alguem com lugar na midia como voce se preocupe com isso
abraço
Oi Rodrigo,
Em primeiro lugar, desculpe a demora para responder teus emails. A repercussão dos artigos no blog atrasou tudo essa semana. Prometo respondê-los assim que possível.
Penso que o INEP possa não ter fornecido os escores brutos, mas se os disponibilizou em 2010, é evidente que podia ter repetido a dose em 2011. Nessa hipótese, a UFRGS teria certamente se precipitado ao divulgar o listão sem insistir no acesso aos escores brutos. O \"jogo de empurra\", nesse caso, não beneficia ninguém e nem tampouco resolve o problema da interpretação de uma média de escores padronizados como um escore bruto.
Não sou contra o uso da TRI nem qualquer outra teoria. Sou contra a falta de transparência no compartilhamento dos detalhes de como essa teoria é posta em prática.
Abraços,
Gustavo
Tudo bem,tranquilo,achei que talvez nao tivesse chegado o e-mail,por isso falei até
quanto ao TRI,voce considera falta de transparencia?pelo que sei,eles explicam como funciona,só nao passam o calculo...mas pelo que sei é um calculo bem complexo,talvez disponibilzar isso fosse causar mais confusao ainda nos estudantes que nao iam entender nada(muitos nao entendem sequer desvio padrao)
e é provavel que tenha sido isso mesmo
claro que o inep tem condiçoes de divulgar,mas desorganizados do jeito que sao,podem até ter se enganado e enviado somente os escores do tri a ufrgs....que,pra entregar o listao logo,deve ter deixado assim mesmo
achando que ninguem fosse perceber
Gustavo, sou aluno da estatistica da UFRGS e achei interessante levantares esses pontos.
Se o ENEM for utilizado, que seja com a idéia original (e correta) da TRI. Erro absurdo não terem feito isso ano passado: a prova foi planejada tendo-se em mente uma coisa e a análise (nota) foi feita a partir de outra premissa.
Sobre a transformação de escores: não vejo grande problema na transformação feita pela Ufrgs além de eventuais questões de interpretação do edital (que acaba sendo o ponto central). Para efeitos de inclusão no cálculo da nota do candidato, a nota do ENEM pode ser considerada como \"escore bruto\": esse é o dado que apareceu no resultado do experimento (ENEM). Creio que a idéia da COPERSE foi essa, mas como esse termo é usado de outra forma em outro lugar (mas também em outro contexto), gera-se essa confusão. De fato, para a Universidade não interessa (a partir desse ano, ao menos) quantas questões o aluno acertou, e sim qual a nota dele no ENEM.
Oi Rodrigo,
O cálculo do escore padronizado da UFRGS, por exemplo, é descrito em edital. Por mais complexos que sejam os cálculos que conduzem à nota TRI, eles deviam estar publicados -- na pior das hipóteses, referência a bibliografia complementar devia estar disponível. Nas atuais circunstâncias, nada nos impede de suspeitar, por exemplo, que tais notas possam ser alteradas diretamente na base de dados do INEP.
Note bem, isso não é uma denúncia, mas apenas uma especulação.
Abraços,
Gustavo
Oi Gennaro, tudo bem?
hehehehe
Passei tuas informações de contato ontem para o pessoal da RBS sem pedir tua autorização, tomara que isso não tenha sido um problema!
Com relação ao escore bruto, parece que vamos acabar visitando o terreno do quão ampla pode ser a interpretação de uma definição. Você levanta a hipótese de que as notas do ENEM podem ser tratadas como escores brutos, uma vez que são o resultado do experimento ENEM. Nesse caso, partiríamos do princípio de que escores padronizados podem ser considerados como brutos para experimentos sucessivos, embora isso tenha duas consequências imediatas: 1) todo escore, em última análise, ou é bruto ou pode ser interpretado como tal, dependendo da transformação seguinte a que seja submetido, e 2) a definição de escore bruto é falha, pois presume que o resultado do experimento não tenha passado por nenhum ajuste estatístico.
Em outras palavras: quero sair convencido de que o posicionamento de um candidato em relação à população de referência usando qualquer método, inclusive a TRI, permite que os resultados desse processo continuem sendo interpretados como brutos. A contradição, nesse momento, é evidente.
Se você dispuser de bibliografia que expanda a definição de escore bruto a ponto de permitir a aceitação de resultados transformados por processos estatísticos preliminares, estou curioso para tê-la como referência. Afinal, isso tudo, no mínimo, terá sido uma grande oportunidade de aprendizado para todos nós.
Abraços,
Gustavo
Gustavo, admiro tua coragem e teu conhecimento. Quero te dizer que minha filha teve o segundo dia do Enem sem notas e por consequência a redação anulada. Depois de pressões, o motivo foi não ter pintado a cor da prova ou...porém, minha filha afirma não ter feito isso, então, entrei com processo para assegurar um direito já adquirido como cidadã de ter vistas a folha de respostas para confirmar o feito ou não e simplesmente não ser condenada sem o direito de defesa). O Ministro fala que os que RECLAMAM (defendem seus direitos) são os maus alunos (será que permitiriam a mim entrar com outro processo de calúnia e difamação?). Eles os governantes e até o judiciário cassaram nossos direitos e se orgulham disto. Para o meu desespero, minha filha sem a nota do ENEM ficou e 63 das 60 vagas normais de Odonto/diurno, penso que com esta nota ela entraria. Não sei se o que denuncia será bom ou ruim para minha filha, pois não consigo mais raciocinar de tanta decepção e tristeza que estes DITADORES VELADOS me proporcionaram, porém estou de acordo e apoio teu empenho e dar voz aos que realmente ficaram prejudicados mediante esta situação. Gustavo, não desista de ir adiante, quem sabe a falta de vergonha e a omissão daqueles que podem te dar maior apoio e espaço de lugar a um gesto de humanidade e justiça ao próximo.
agora vai aparecer gente de todos os lados dizendo que teria passado.... somos humanos e os erros acontecem a todo instante e isso não quer dizer que as coisas não avancem e que o resultado não é válido. Há muitos interesses por trás do modo como as falhas (sempre existem falhas nesses procesos) são abordados!
Hey, rola um link pra feed RSS?
Oi Paula,
Lamento muito por sua filha. Não é caso isolado. Infelizmente as regras costumam mudar durante o jogo. Mas acredito que, independentemente do que acontecer em relação à lista de classificados, sua filha continuará fora em função de não dispor da nota do ENEM. Com essa nota, não há a menor dúvida de que ela teria passado.
Abraços,
Gustavo
Oi Gabriela,
ofereço a ti a mesma resposta que dei à Sabrina Lovatto em outro comentário:
\"Não resta dúvida de que a situação envolve uma disputa particular entre os que se sentem lesados e os atuais beneficiados. É da natureza humana tentar preservar benefícios, independente da legitimidade dos meios que permitiram sua obtenção, assim como reivindicar direitos diante de situações que sugerem injustiças.\"
O direito à reivindicação é tão legítimo e inalienável quanto a determinação dos beneficiados em defender os direitos adquiridos.
Abraços,
Gustavo
Olá, Boa Tarde Gustavo, eu gostaria muita da sua ajuda, e se possível me manda-se seu email, é que eu tomei um susto enorme quando olhei o meu maldito boletim da ufrgs, e pra minha surpresa não consta a nota da redação. Gostaria de saber como devo proceder e porque cargas d\' água não me deram a nota. Por favor me ajude.
Atenciosamente Aline G.
Oi Aline,
manda teu boletim pra mim. Meu email é gustavo@gustavoreis.com
Abraços,
Gustavo
Meu filho ficou na posiçao 61 da classificaçao final no curso de engenharia de Produção, no cv 2012 tem 60 vagas ele tem chance de 2ª chamada? Ou serão chamadaos os alunos cotistas antes.
Aguado retorno .
Obrigado . Celoni
Bom dia, Celoni,
Acho improvável que seu filho seja chamado. A Engenharia de Produção tem 42 vagas universais. Isso significa que muito provavelmente há outros candidatos universais classificados entre as posições 43 e 60 e que, portanto, têm precedência sobre seu filho.
Lamento por não ter notícias melhores. Abraço,
Gustavo