BlogBlogs.Com.Br

Mesa Redonda: Vestibular

Mesa redonda de discussão sobre a situação atual dos vestibulares, experiências alternativas e novas propostas de formato.
Web Hit Counter
Orlando Payday Loan

terça-feira, julho 11, 2006

 

Se alguma coisa existe, ela existe em certa quantidade e pode ser mensurada: o valor preditivo dos Exames Vestibulares


Prof. Dr. José Aparecido Da Silva
Prof. Titular - Prefeito do Campus da USP - Ribeirão Preto USP

Há dias, os docentes da USP viram os seus e-mails serem sobrecarregados por inúmeras mensagens, relacionadas a um hipotético “manifesto” que veiculava virtualmente, no qual pessoas se posicionavam contrariamente a duas afirmações proferidas pela Pró-reitora de Graduação, acerca dos Exames Vestibulares (EV). As polêmicas afirmações da Pró-reitora foram: “a forma como o vestibular era feito até agora não dá certo” (...) “vamos passar a cobrar raciocínio e uma postura crítica com relação ao conhecimento e não acúmulo de informações”.

Refletindo sobre tais afirmações, bem como sobre a polêmica por elas ocasionada, depreender dois aspectos que julgamos fundamentais. Primeiro: a prontidão das várias áreas do saber da Universidade de São Paulo em discutir o assunto e, em segundo lugar, a diversidade opinativa individual, tanto cognitiva quanto emocional, manifesta em resposta às diferentes mensagens recebidas. Ou seja, alguns se exaltaram contra a grande quantidade de e-mails recebida que, por sobrecarregar as caixas postais, provocou um pedido exasperado de exclusão de seus nomes na lista circulante; enquanto que outros analisaram detidamente o teor do manifesto e as colocações da Pró-reitora, entendendo, de antemão, que o tema da discussão não possui respostas corretas, dicotômicas, do tipo sim/não ou certo/errado, mas sim respostas que só podem ser geradas após intensos e contínuos debates acerca de sua natureza, modelo, forma e função.

Assim esclarecido, entendo que ambas as colocações da Pró-reitora podem ser sumariadas por meio de duas questões que, usualmente, permeiam os processos de avaliação e/ou constructos de natureza psicológica. Primeira, quais são as dimensões e/ou fatores que devem compor os EV? Segunda, qual é o valor preditivo dos EV?

A primeira questão trata da dimensionalidade dos EV. Quantas dimensões cognitivas podem ser capturadas pelos EV. Principiemos, portanto, da definição do que é uma dimensão. Pense uma dimensão como uma linha numérica. Se quisermos mensurar o constructo, temos que decidir se este pode ser adequadamente mensurado com uma única linha numérica ou se é necessário mais que uma linha. Como exemplo para tanto, tomemos a altura. Ela é um conceito que é unidimensional, ou seja, pode ser representado unicamente por uma dimensão. Assim como ela, o peso e a temperatura também são unidimensionais.

Mas pense agora sobre o EV. Enquanto exame, prova, escala ou teste ele pode ter qualquer número de dimensões, embora a maioria tenha apenas poucas dimensões. Vá mais além e pense quais constructos cognitivos podem ser capturados pelos EV. À semelhança disso, pense sobre o conceito de inteligência, bem-estar subjetivo, qualidade de vida, personalidade, avaliação da excelência do ensino e/ou professor, da produtividade acadêmica e muitos outros similares. Se você achar que pode mensurar muito bem qualquer um desses atributos com uma simples régua, variando de baixo a alto ou de pouco a muito, então você, provavelmente, tem um constructo unidimensional.

Por outro lado, o que seria um conceito multidimensional? Muitos modelos de exames de admissão, entre eles os EV, postulam que as provas, ou os itens e questões, devem ser compostos pela avaliação de, no mínimo, duas dimensões: o conhecimento cristalizado, ou seja, todo conteúdo que é processado e sistematizado pelo pensamento, e a capacidade fluída, ou seja, capacidade de resolver problemas. Um exemplo típico de exame multidimensional é o SAT (Scholastic Assessment Test), que mede uma mistura destes dois constructos, a saber, habilidade e realização, ambos comumente aferidos em estudantes norte-americanos. A propósito, as correlações entre o SAT e os testes de inteligência geral são usualmente superiores a 0,70. Este modelo traz uma forte analogia com o modelo da estrutura do intelecto humano, baseado na tradição psicométrica descrito pela teoria da inteligência fluída e inteligência cristalizada.

A teoria da inteligência fluída e cristalizada distingue estas duas habilidades. A habilidade fluída é demonstrada pela solução de problemas para os quais experiência prévia e conhecimento aprendido são de pouco uso. Ela é mensurada por testes, provas e exames, tais como tarefas verbais, que repousam sobre relações entre palavras familiares, ou tarefas perceptuais ou figurativas, tendo pouco conteúdo escolástico ou cultural. Neste caso, o processamento cognitivo não está necessariamente associado com qualquer domínio de conteúdo específico. Ao contrário, a habilidade cristalizada reflete conhecimento consolidado ganho por meio da educação, acesso a informação cultural, bem como, através da experiência. É um processamento cognitivo que envolve conhecimento previamente adquirido e armazenado a longo prazo.

Certamente a habilidade cristalizada de um indivíduo origina-se com a habilidade fluída, mas ela é desenvolvida por meio do acesso e seleção de experiências de aprendizagem. Consequentemente, entre pessoas de contextos educacional e cultural similares, as diferenças individuais na habilidade fluída são supostas influenciar as diferenças individuais na habilidade cristalizada. Contudo, pessoas de diferentes contextos culturais, com o mesmo nível de habilidade fluída, são preditas diferir em habilidade cristalizada. Mas é certo que as funções fluídas desempenham um papel determinante em decodificar e em recuperar o conhecimento cristalizado armazenado a longo prazo.

Assim, entendo que a Pró-reitora, ao comentar rapidamente a necessidade de se cobrar raciocínio, certamente quis dizer que se torna necessário que os EV atuais, por melhor que eles sejam, passem a valorizar (talvez, mais do que o fazem) a habilidade fluída e não apenas a habilidade cristalizada como muitos, aparentemente, julgam que eles façam.

A segunda questão trata de um grande problema que ataca todos os exames vestibulares, ou seja, qual o seu valor preditivo. Por definição, qualquer modelo de EV é cultural, social e ideologicamente enraizado. Como indicadores, os EV têm, supostamente, a intenção de predizer o sucesso acadêmico e mesmo profissional numa dada sociedade (isto é, num grande grupo social carregando o seu próprio conjunto de valores). Certamente os EV foram originalmente designados para especificamente predizerem o desempenho e/ou realizações educacionais. Na realidade, todos que os defendem têm adotado a concepção da causalidade recíproca entre desenvolvimento cognitivo e educação. Altos índices cognitivos são preditivos de mais realizações educacionais e mais educação torna-se preditivo de altos resultados intelectuais. O problema é: quais dimensões e/ou fatores dos EV (questões de física, de química, de matemática, de português, de redação, ou um total composto, etc.) são mais preditivos, ou se correlacionam, mais altamente, com o desempenho acadêmico, ou que permitam melhor predizer o sucesso na carreira profissional. Também, questiona se qual o valor preditivo do EV para o sucesso na carreira e a sua relação (correlação) com o bem-estar-subjetivo.

Responder a estas questões constitui-se num grande desafio para aqueles interessados na mensuração de constructos psicológicos desta natureza e, principalmente, para aqueles envolvidos na elaboração do melhor processo seletivo para adentrar à academia. É óbvio que muitos outros fatores e habilidades contribuem para o desempenho e sucesso acadêmico e na carreira profissional. Mas, ainda assim, o problema é estatístico e resume-se em saber qual, dentre vários fatores, explica mais da variância encontrada. Nada mais. Para isso, deveríamos programar uma análise exaustiva do valor preditivo dos nossos exames vestibulares, procurando analisar suas correlações com vários critérios externos, sejam estes os desempenhos nas notas de diferentes disciplinas curriculares, bem como, com os indicadores de sucesso, valorizados em nossa sociedade e cultura.

Não há razão para complacência. Devemos procurar sempre os melhores preditores e tentar mensurar todas as variedades de habilidades que podem contribuir para o sucesso acadêmico e profissional. O aprimoramento dos EV deve ser dinâmico, regular e contínuo, no presente e no futuro. Assim, entendo que tem razão a Pró-reitora de graduação ao afirmar que devemos buscar novos modelos de EV, visando encontrar melhores preditores para o sucesso pessoal, profissional e acadêmico. Estudos desta natureza devem ser realizados com freqüência nos moldes daqueles desenvolvidos pelo Educational Testing Service (ETS) da Universidade de Princeton (USA).

Biografia acadêmica: José Aparecido Da Silva, nascido em 25 de setembro de 1952, é natural de Jaboticabal (SP). Mestre em Psicologia pelo Instituto de Psicologia da USP e Ph.D. pela Universidade da Califórnia, Santa Bárbara, USA. Atualmente é Professor Titular do Departamento de Psicologia e Educação da FFCLRP-USP. Foi Chefe do Departamento de Psicologia e Educação, presidente da Comissão de Pós-graduação, e coordenador do Programa de Pós-graduação em Psicobiologia, programa este conceituado com nota 7 (máxima) pela Coordenação de Aperfeiçoamento de Pessoal de Ensino Superior (CAPES). Foi, também, vice-diretor e diretor da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto. Além disso, foi coordenador científico da área de Psicologia, no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Comments:
As polêmicas afirmações da Pró-reitora foram: "a forma como o vestibular era feito até agora não dá certo" (...) "vamos passar a cobrar raciocínio e uma postura crítica com relação ao conhecimento e não acúmulo de informações".

Corrigindo: de fato a primeira afirmação foi uma das causadoras de polêmica (e motivadoras do manifesto), mas não a segunda. As motivações para o manifesto foram:

1) a frase "a forma como o vestibular era feito até agora não dá certo";

2) a falta de definição clara das regras do vestibular.

Quanto à frase da pró-reitora:

"vamos passar a cobrar raciocínio e uma postura crítica com relação ao conhecimento e não acúmulo de informações".

Note que eu e grande parte dos signatários do manifesto são matemáticos e dizer que um matemático não gosta de raciocínio seria uma enorme piada (não vale a pena nem discutir isso, não é?). Claro que eu quero cobrar raciocínio e muito. Mas não tenho certeza se o significado da palavra raciocínio para mim e para quem disse a frase é o mesmo. Em outras palavras, a frase em si até soa bem, mas o olho treinado percebe na mesma um discurso anti-conteúdo escondido, o que é (na minha opinião) uma das pragas da pedagogia moderna. Fanáticos raramente dizem o que pensam de forma clara, mas escondem códigos por baixo de frases que muitas vezes parecem razoáveis. Obviamente não sei se realmente esse é o caso que ocorre aqui... (pode ser que eu esteja paranóico e pode ser que não); mas que parece, parece.
 
Como indicadores, os EV têm, supostamente, a intenção de predizer o sucesso acadêmico e mesmo profissional numa dada sociedade (isto é, num grande grupo social carregando o seu próprio conjunto de valores).

Proponho o seguinte approach para o problema: devemos elaborar cada curso de graduação da USP de modo que exista uma correlação positiva grande entre "sucesso naquele curso" e "sucesso nas profissões a que os que fazem o curso almejam" (eu sei, eu sei... é complicado... precisaria primeiro definir quais são essas profissões e isso pode variar com o tempo). Segundo, elaboramos o EV de modo que exista uma correlação positiva alta entre "colocação no EV" e "sucesso no curso". Por transitividade, teremos uma correlação positiva alta entre "colocação no EV" e "sucesso nas profissões"... (meta desejada).

Também, questiona se qual o valor preditivo do EV para o sucesso na carreira e a sua relação (correlação) com o bem-estar-subjetivo.

Depende da carreira. É um dos pontos do meu texto. Devemos elaborar o EV que seleciona os candidatos para a carreira X em conjunto com as pessoas que conhecem bem a carreira X e sabem o que é importante para os alunos que vão ingressar na carreira X.

O aprimoramento dos EV deve ser dinâmico, regular e contínuo, no presente e no futuro. Assim, entendo que tem razão a Pró-reitora de graduação ao afirmar que devemos buscar novos modelos de EV, visando encontrar melhores preditores para o sucesso pessoal, profissional e acadêmico.

Sou o primeiro a concordar em aprimorar os EVs (e esse ponto é deixado bem claro no primeiro parágrafo do manifesto). Mas, note a diferença entre:

(a) "o método X não funciona, vamos acabar com ele e fazer algo totalmente diferente"

e

(b) "o método X funciona em parte, mas não perfeitamente. Vamos aprimorá-lo".

A minha leitura do que a pró-reitora diz foi (a) e pelo que entendo a sua foi (b). Se foi (b) mesmo que ela queria dizer, ótimo. Mas nós não saberemos, até que ela esclareça (o que era justamente um dos principais objetivos do manifesto).

Na minha leitura, dizer "o EV não funciona" significa dizer "a correlação é quase nula (ou até negativa) entre o desempenho no EV e nos cursos da USP". Nunca calculei essa correlação, mas duviiido que seja quase nula.

Outro ponto: parece muito comum entre as pessoas idéias do tipo "se X não está funcionando bem, então o extremo radical oposto de X deve ser bom; vamos demolir X e quanto mais longe de X melhor". Essa parece ser uma tendência humana natural (irracional, no entanto). Exemplos: "se essa política econômica não está dando bons resultados, vamos tentar uma radicalmente oposta...", etc. O ponto ótimo não está sempre nos extremos, às vezes está lá pelo meio.

Então, se X não funciona tão bem, nada de demolir X... vamos mudar X devagar, um parâmetro por vez, vendo o que funciona e o que não funciona, tentando entender o que causa o que. Mas, vejam o INCLUSP... de uma vez, +3%, 100 virou 90 e mais as interdisciplinares... tudo de uma vez...
 
Aparecido,

Seria possivel introduzir nos EVs questões que avaliem a criatividade? Pelo que sei, não existe uma correlação muito forte entre inteligencia (I), criatividade (C), e preparo acadêmico.
 
(Daniel Tausk, respondendo aqui da Bahia, num teclado onde os acentos nao funcionam)...

Pelo que sei, não existe uma correlação muito forte entre inteligencia (I), criatividade (C), e preparo acadêmico.

Inteligencia e criatividade sao conceitos dificeis de se definir rigorosamente, entao vai ser complicado checar essa ausencia de correlacao na pratica... (e a conclusao deve depender da definicao de inteligencia e criatividade que voce adota).
 
Prezado José Aparecido
Temos um artigo que pode trar infomrações interessantes ao debate. Fizemos um estudo comparando a validade preditiva do desempenho acadêmico de provas do vestibular vs provas de inteligência fluida e cristalizada.
Está acessível em:
PRIMI, Ricardo, SANTOS, Acácia A. Angeli dos and VENDRAMINI, Claudette Medeiros. Basic abilities and scholastic achievement in freshmen students. Estud. psicol. (Natal). [online]. Jan. 2002, vol.7, no.1 [cited 21 July 2006], p.47-55. Available from World Wide Web: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-294X2002000100006&lng=en&nrm=iso
. ISSN 1413-294X.

Temos outro texto tratando de definições da dimensionalidade do ENEM que, talvez possa ser interessante também:
PRIMI, Ricardo, SANTOS, Acácia A. Angeli dos, VENDRAMINI, Claudette Medeiros et al. Cognitive abilities and competencies: distinct terms for the same constructs. Psic.: Teor. e Pesq. [online]. May/Aug. 2001, vol.17, no.2 [cited 21 July 2006], p.151-159. Available from World Wide Web: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-37722001000200007&lng=en&nrm=iso. ISSN 0102-3772.
 
No meu primeiro comentário, imagino que deixei bastante claro que uma das afirmações feitas no primeiro parágrafo do post do Prof. José Aparecido Da Silva é falsa. A frase "vamos passar a cobrar raciocínio e uma postura crítica com relação ao conhecimento e não acúmulo de informações" da pró-reitora não foi uma das motivadoras do manifesto (e não dá para dizer que eu não tenho razão aqui; afinal, eu sou um dos organizadores do manifesto e qualquer um pode ler seu texto aqui e constatar que essa frase da pró-reitora não está sendo criticada).

Infelizmente, encontrei hoje no Jornal da USP o texto do Prof. José Aparecido Da Silva publicado e insistindo no erro. Considero ruim que alguém insista em divulgar uma informação falsa, após ter sido alertado de que a mesma é realmente falsa.
 
Postar um comentário



<< Home

Archives

julho 2006   julho 2009  

This page is powered by Blogger. Isn't yours?