BlogBlogs.Com.Br

Mesa Redonda: Vestibular

Mesa redonda de discussão sobre a situação atual dos vestibulares, experiências alternativas e novas propostas de formato.
Web Hit Counter
Orlando Payday Loan

terça-feira, julho 11, 2006

 

Comparativo de Desempenho Acadêmico de Alunos USP com Notas FUVEST

Prof. Adilson Simonis e Profa. Eunice Durhan
NUPPs - Núcleo de Pesquisa de Políticas Públicas
- USP

SãoPaulo, 11 - 7 - 2006.
Propostas de alterações no processo vestibular devem, além de procurar mensurar consequências das medidas adotadas, considerar indicadores históricos para alguma comparação do que era e do que pode vir a ser o novo cenário. Em particular, o estudo do impacto nos indicadores do desempenho discente nos parece relevante.

Tem aparecido com frequência, na grande imprensa, a idéia de que candidatos ao Ensino Superior com notas de ingresso similares no vestibular, poderiam ter desempenho diferenciado caso fossem egressos do ensino médio público ou do sistema privado, justificando ações afirmativas bem-intencionadas.

Difícil sermos conclusivos sobre o tema. Nosso objetivo é o de fornecer subsídios para uma discussão que nos parece polêmica e que deve ser tratada com a seriedade que a sociedade brasileira exige. Apoiar ou não as iniciativas de quotas de ingresso e de projetos de inclusão social, tais como o favorecimento no processo seletivo das principais universidades do país, poderá ser um subproduto de um debate que por si só, trará certamente novas nuances e novas perspectivas, avançando políticas públicas para um ensino de qualidade a servico da sociedade.

A Universidade de São Paulo, hoje, organiza o principal vestibular do país e é, segundo diversos indicadores, a principal universidade de pesquisa . Portanto é obrigada a pensar e repensar a polêmica que hoje ocorre em diversos setores da sociedade. Sabemos que a qualidade do ensino fundamental e médio deixa muito a desejar, como demonstram os estudos recentes do INEP. A exclusão sócio-econômica-geográfica-étnica, a concentração da riqueza nacional nas mãos de poucos, a falta de oportunidades de ascenção, a violência das grandes cidades, assim como as próprias escolas, tem papel decisivo na criação e manutenção das desigualdades. A possibilidade de alteração desse quadro lamentável, que poderia diminuir com a formação de cidadãos plenos, são problemas nacionais, e portanto também são da USP.

Existem diversas metodologias, que podem ser aplicadas, para mensurar o desempenho acadêmico segundo a classificação no processo seletivo de entrada para a Universidade.

Ainda não sabemos se o aluno que recebemos na USP é o que queremos. Não sabemos se o vestibular mede o que pedimos que faça, isto é, escolher quem tem maior potencial de usufruir aquilo que está em constante evolução e que depende das novas gerações para manter o patamar de qualidade e importância que, por mérito, alcançou. Queremos que o processo escolha o melhor preparado mas não necessariamente apenas o melhor treinado.
Algum critério de favorecimento, como os atuais 3 % na primeira e segunda fase, válidos já para o próximo vestibular USP, irá excluir alguns que teriam entrado pelo processo antigo. Estamos bem-intencionados, não resta dúvida, mas a sociedade, que precisa ter retorno do investimento feito no ensino público de qualidade, não irá sair perdendo?

Vejamos alguns fatos: Cursos na USP são diferentes. Desde a nota de corte para ingresso até a forma de avaliação em disciplinas, diferem entre carreiras. Também difere por carreira o nível sócio-econômico dos alunos e a proporção de egressos do ensino médio público. O próprio ensino médio público tem nuances: os egressos das escolas técnicas federais e estaduais são certamente mais bem preparados que muitas escolas particulares, nas quais os professores fingem que ensinam e os alunos fingem que aprendem. Mas algumas observacõe estatísticas podem nos ajudar a entender o que vem ocorrendo sistematicamente.

Tomemos inicialmente um dos cursos da USP mais disputados, a Medicina. Fixando como escopo de estudo os 514 alunos ingressantes no curso de Medicina USP entre 2003 e 2005, temos 487 alunos que declaram terem feito o ensino médio em colégios particulares e apenas 27 em colégios públicos. A nota média no primeiro semestre destes alunos foi de 6,86 e 6,85 para egressos do ensino médio privado e público respectivamente.

Dado o pequeno percentual de alunos egressos do ensino médio público, criamos quatro faixas de classificação no vestibular (segundo os quartis de nota FUVEST para os egressos do ensino médio público) de forma a incluir alunos desse grupo em todas as faixas. Considerando as notas dos 514 alunos em todos os semestre até o segundo semestre de 2005 obtemos os seguintes resultados:

Faixa A: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,4
Faixa B: Nota média na USP dos egressos do sistema privado: 7,2
Nota média na USP dos egressos do sistema público: 7,1
Faixa C: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,2
Faixa D: Nota média na USP dos egressos do sistema privado: 7,3
Nota média na USP dos egressos do sistema público: 7,3

Nota-se também que a média (que inclui as reprovações) dos alunos matriculados não aumenta conforme a faixa de classificação no vestibular (as faixas estão em ordem da maior nota -faixa A- para a pior nota -faixa D- obtidas no vestibular). Vamos, portanto, incluir outros cursos em nosso estudo: Direito, Letras, Matemática e Pedagogia.

Considerando um universo de 5386 alunos e calculando a nota média de todas as disciplinas cursadas até o final do ano de 2005, incluindo eventuais reprovações, temos:

Direito: 1330 alunos (nota média do egresso do ensino médio privado é de 7,4 e nota média do egresso do ensino médio público é de 7,4).
Letras: 2222 alunos (nota média do egresso do ensino médio privado é de 5,7 e nota média do egresso do ensino médio público é de 6,0).
Matemática: 836 alunos (nota média do egresso do ensino médio privado é de 5,1 e nota média do egresso do ensino médio público é de 5,4).
Medicina: 514 alunos (nota média do egresso do ensino médio privado é de 7,3 e nota média do egresso do ensino médio público é de 7,2).
Pedagogia: 484 alunos (nota média do egresso do ensino médio privado é de 6,9 e nota média do egresso do ensino médio público é de 7,0).

Trabalhando apenas com a média global, as diferenças são pequenas. Para uma visão mais detalhada, reproduzimos a metodologia de classificar segundo a nota Fuvest o aluno em quatro faixas e estudamos a nota média dos alunos da mesma faixa. Temos portanto 40 subgrupos de alunos, divididos em cada grupo segundo a procedência do ensino médio cursado, e calculamos a média obtida nas disciplinas cursadas dentro da USP desde o ingresso até o final do ano de 2005.

Entre os 40 grupos, em 39 não existem diferenças estatisticamente significativas entre o desempenho dos alunos egressos dos sistema público e privado. Apenas em um grupo, constituído por 171 alunos da matemática, existem fortes evidências estatísticas de que o desempenho do egresso do ensino público, com notas similares, supera em desempenho os colegas egressos do ensino médio privado. Um percentual de 97 % do universo estudado não permite afirmar que o desempenho difere.

A partir destes dados, podemos concluir que o nível dos estudantes egressos do ensino médio público na USP, escolhidos por mérito, têm o mesmo desempenho que os egressos das escolas privadas. A diferença entre ambos reside no fato de que um menor percentual de egressos do ensino público alcança o padrão mínimo estabelecido pela FUVEST para a seleção dos alunos, que é dada pela nota de corte.

Dentro destes limites, a variação da nota do vestibular influi pouco no desempenho dos estudantes. Um aumento na nota dos estudantes do ensino público significará uma variação na nota de corte entre esses candidatos e os do ensino privado, em favor dos primeiros, com o que é possível que se introduza uma diferença no desempenho desses dois grupos, que agora inexiste.

Para maiores detalhes sobre as estatísticas utilizadas no presente texto veja as tabelas nos arquivos que seguem anexo:
http://www.linux.ime.usp.br/~fdaher/desempenhousp

Colaborou neste trabalho Flávio Daher, aluno do IME-USP.

Biografia acadêmica: Primeiro ano no Colégio Santa Clara de Porto Alegre. Segundo e Terceiro ano no Colégio São João de Porto Alegre. Quarto Ano até a conclusão do ensino médio (antigo colegial) no Colégio Anchieta de Porto Alegre. Bacharel em Estatística pela UFRGS (1982). Mestrado e Doutorado em Probabilidade no IME-USP (1995). Pós-Doutorado no IMPA (RJ) e em Mecânica Estatística na Università de Roma II, Tor Vergata, (1998). Professor do IME-USP desde 1983 e Pesquisador do NUPPs desde 2005. Torcedor do Internacional de Porto Alegre desde julho de 1956.

Comments:
Adilson,

Qual é a percentagem de alunos do ensino publico em cada caso?

Pelo que entendi, vc está afirmando que não existe diferença de desempenho acadêmico entre os alunos "publicos" e os "privados".

Você está afirmando que caso forem dados os tais 3% aos candidatos do ensino publico (vc poderia explicar para o público o que é isso?), então será possivel ver no futuro uma diferença de desempenho acadêmico entre "publicos" e "privados" dentro da USP?

Neste caso, após um ano de implantação da politica, isso já poderia ser identificado estatisticamente, ou seria necessario esperar alguns anos?
 
Em seu interessante estudo, o Prof. Adilson Simonis aponta para duas conclusões um tanto surpreendentes, a meu ver:

1) A nota de entrada no vestibular da FUVEST `influi pouco´ no desempenho subsequente
nos cursos da USP.

2) O desempenho nos cursos da USP de alunos com notas aproximadamente iguais no
exame da FUVEST, oriundos do ensino médio público ou privado, é aproxidamente o mesmo.


Penso que minha surpresa em relação à primeira afirmação é compartilhada por muitos e não vou tentar justificá-la aqui. Quanto ao segundo ponto, o seguinte argumento sempre me pareceu bastante convincente:
Se duas pessoas com treinamentos muito desiguais obtêm o mesmo desempenho em um exame,
então, uma vez estabelecidas condições menos desiguais, aquele com desempenho inicial pior terá um desempenho melhor. Creio que isto é o que ocorre, por exemplo, quando se testa desempenho em corridas.

Já aprendi há algum tempo que argumentos muito sedutores podem afinal se mostrar
incorretos e estou perfeitamente disposto a me render a evidências empíricas mas, no assunto em discussão, não estou (ainda) convencido. Na verdade, os dados apresentados parecem-me permitir leitura um tanto diferente da exposta no texto. Por exemplo,
na tabela de notas apresentada no final, se excluirmos o caso da Medicina, o padrão encontrado é: nota de entrada menor e desempenho nos cursos melhor (ou pelo menos igual) para alunos do ensino público. É bem verdade que as diferenças são pequenas na maioria
dos casos e, no método de análise utilizado não foram encontradas diferenças `estatisticamente significativas´, exceto em um caso. Mesmo não sendo especialista em Estatística, e correndo portanto o risco de erros e impropriedades, gostaria de ressaltar alguns pontos que me parecem importantes.

1) O estudo adotou como hipótese (a ser testada) que o desempenho na USP não depende
da escola de origem do aluno. Não encontrar `diferenças estatisticamente significativas´ quer dizer então, mais explicitamente, que somente em um caso os dados permitem rejeitar categoricamente essa hipótese inicial. Os outros casos não
indicam, TOMADOS INDIVIDUALMENTE, uma tendência clara em qualquer direção. Isso deve ser interpretado como uma indicação da validade da hipótese inicial?

2) A divisão em faixas, relativamente pequenas, torna mais difícil encontrar tais diferenças.

3) Ao considerar `aproximadamente iguais´ as notas da FUVEST em uma mesma faixa,
pode-se estar perdendo informação sobre as médias dos dois grupos em cada uma delas.
Observe-se, por exemplo, que a diferença nas médias na FUVEST para alunos da
Matemática é superior a 10%. Não seria esclarecedor apresentar as retas de regressão linear para os dois grupos?


4)Entre os cursos estudados, as maiores diferenças foram encontradas exatamente no único pertencente à área de `Exatas´. Seria isto uma coincidência ou revela uma tendência? Seria extremamente interessante investigar o que ocorre em outros
cursos dessa área. Um caso particularmente atraente é o da Escola Politécnica pela quantidade de alunos e amplitude do espectro de notas na FUVEST.




Não vou estender ainda mais estes já longos comentários examinando a primeira conclusão do estudo, que me parece ainda mais surpreendente. Menciono apenas que estudos adicionais parecem necessários. Quem sabe uma regressão linear com todos
os egressos do exame da FUVEST já pudesse indicar alguma coisa?


Para terminar, gostaria de deixar claro que, não obstante as eventuais críticas (que pretendo construtivas), considero o estudo do meu caro amigo Adilson extremamente importante e oportuno. Acredito (e, com certeza, ele também) que propostas de mudanças nos vestibulares, e em outros setores, só terão boa chance de caminhar
na direção correta se substanciadas por estudos sérios como este.
 
Caros participantes,

Interessante o estudo do Adilson, gostaria de comentá-lo. A primeira tabela mostra algo muito semelhante ao que ocorre na Unicamp, cujo estudo detalhado de longo prazo estou colocando abaixo em link.

http://www.ime.unica.p.br/~pedrosa/imhe06.pdf

Notem que das 5 carreiras estudadas, num prazo de apenas três anos, a diferença de desempenho dos estudantes vindos da rede pública passou de negativa no vestibular para positiva ou empate nos cursos de Matemática, Letras e Pedagogia.

Nos dois primeiros, os diferenciais totais foram de 72% e de 43% (em DP), respectivamente, nada desprezíveis (somei os dois percentuais, do vestibular e das notas).

Em Pedagogia há empate na média das notas, mas havia um diferencial negativo para escola pública de cerca de 42% dos DP nas médias do vestibular.

Em Medicina e em Direito pode-se falar em empate, tanto no Vestibular como nas médias das notas. Mas em Medicina há apenas 5% de alunos de escola (não sei em Direito).

Mesmo sem análise da significância dos resultados, isso valida os estudos da Unicamp, que indicam que estudantes que vieram da rede pública desempenham melhor relativamente ao vestibular.

Abs, Renato Pedrosa (Coordenador-adjunto, Vestibular-Unicamp).
 
Caros participantes,

Interessante o estudo do Adilson, gostaria de comentá-lo. A primeira tabela mostra algo muito semelhante ao que ocorre na Unicamp, cujo estudo detalhado de longo prazo estou colocando abaixo em link.

http://www.ime.unicamp.br/~pedrosa/imhe06.pdf

Notem que das 5 carreiras estudadas, num prazo de apenas três anos, a diferença de desempenho dos estudantes vindos da rede pública passou de negativa no vestibular para positiva ou empate nos cursos de Matemática, Letras e Pedagogia.

Nos dois primeiros, os diferenciais totais foram de cerca de 72% e de 43% (em DP), respectivamente, nada desprezíveis (somei os dois percentuais em DP, do vestibular e das notas).

Em Pedagogia há empate na média das notas, mas havia um diferencial negativo para escola pública de cerca de 42% do DP nas médias do vestibular.

Em Medicina e em Direito pode-se falar em empate, tanto no Vestibular como nas médias das notas. Mas em Medicina há apenas 5% de alunos de escola pública, se não me engano, o que torna esse resultado dificilmente significativo, mesmo que fosse muito diferente em termos de médias para os dois grupos (não sei em Direito).

Mesmo sem análise da significância dos resultados, isso parece validar os estudos da Unicamp, tanto anteriores ao programa de ação afirmativa existente como os estudos anteriores, que indicam que estudantes que vieram da rede pública desempenham melhor relativamente ao vestibular.

Abs, Renato Pedrosa (Coordenador-adjunto, Vestibular-Unicamp).
 
Pessoal, cometi um erro e enviei primeiramente uma versão não corrigida, desconsiderem.

Renato.
 
1) A nota de entrada no vestibular da FUVEST `influi pouco´ no desempenho subsequente
nos cursos da USP.


Só uma pequena observação: o estudo do Adilson está muito longe de nos dar uma conclusão como essa que copiei acima. Tudo que vi nesses dados, é uma indicação forte de que para os alunos que entram na medicina a nota no vestibular de fato influi pouco no desempenho na USP. Isso não me surpreende muito, já que é um curso com poucas vagas (muito menos que a Poli, por exemplo) e só entram lá os alunos com desempenho já muito bom na FUVEST. O que aconteceria se colocássemos na medicina (FMUSP) alunos que estão, digamos, 1000 posições abaixo no vestibular? Será que o desempenho seria o mesmo? Acho difícil de acreditar.

Claro que não dá para saber como seria o desempenho das pessoas que não entraram, então a pergunta que propus acima vai ficar sem resposta. Mas acho que um estudo similar na Poli (onde o número de vagas é muito maior) colocaria bem mais luz sobre a questão.
 
Sobre o comentário do Daniel: concordo, creio que a Poli seria o lugar importante onde reproduzir esse estudo, por duas razões: são 650 vagas por ano e lá as notas nas disciplinas valem alguma coisa. Na nossa experiência da Unicamp, na medicina, nas humanas em geral, as notas nas disciplinas durante o curso tem pequena variança, menos que nas nas exatas e tecnológicas, portanto resultam esses empates. Na verdade, qualquer grupo contra qualquer grupo dá empate. Por exemplo, aposto que na Pedagogia, as notas durante o curso, CRs do 1o e do 4o quartis das notas no vestibular devem ser quase indistinguíveis, mesmo logo ao final primeiro ano. Ou seja, a classificação no vestibular prev~e quase nada sobre o resultado ao longo do curso. Fiz um estudo sobre as notas de Cálculo I e Física I para as engenharias aqui, ao final do primeiro semestre e o CR dessas disciplinas, com provas iguais para todos os cursos, acompanhou exatamente as médias no vestibular, curso a curso. Mas os estudantes dentro dos cursos mudavam de posição relativa.
 
Caros colegas,

não tenho intenção de deixar comentários sem respostas. Peço apenas um pouco de paciência aos colegas pois estou meio ocupado com outras tarefas.
 
Caro Osame,

coloquei no
arquivo desempenhousp que aparece no texto as porcentagens que solicitou.

Afirmo que não encontrei (ainda) na USP um padrão que sugira prevalência no desempenho acadêmico segundo o ensino médio cursado pelo aluno.

No próximo vestibular, candidatos da Fuvest egressos do ensino médio público (todos os três anos) podem contar com 3% de acrescimo em sua nota da primeira fase e caso convocados para a segunda fase, mais 3 % de acrescimo nos pontos para o câlculo da nota final na carreira escolhida.

Com este acrescimo, afirmo que em algumas carreiras teremos ingressantes abaixo da nota de corte, alunos do ensino medio publico, e estes podem vir a alterar as evidëncias de que nao existem diferencas significativas no desempenho dentro da USP, segundo o tipo de ensino medio realizado.

Perdao por nao colocar acentos, mas meu editor de texto nao obedece...
Adilson Simonis.
 
Postar um comentário

Links to this post:

Criar um link



<< Home

Archives

Julho 2006   Julho 2009  

This page is powered by Blogger. Isn't yours?