www.enem.inep.gov.br

ENEM

Prof. José Hermano Ramalho

A estrutura do Enem foi elaborada e consolidada pelo chamado Grupo de Autores, nos meses de janeiro de fevereiro de 1998.

Resultado desse trabalho, foi definido nessa ocasião o Instrumento de Avaliação que consiste desde então, de uma Redação e de um Teste de Múltipla Escolha com 63 questões, distribuídas em número de 3 para cada uma das 21 habilidades escolhidas para avaliar as 5 competências.

Os pressupostos teórico-metodológico do exame, dando a ele um caráter inédito de avaliação, acabaram por condicionar que a metodologia de trabalho de elaboração dos itens para o teste e a proposta de redação, fosse construída na medida do seu desenvolvimento.

Desse modo, em 1998, os professores indicados para a elaboração dos itens e para a discussão da redação, reuniram-se com o Grupo de Autores para um trabalho, sem o caráter de treinamento, do tipo "aprender a fazer, fazendo", utilizando-se, como material suporte, os textos e as primeiras versões do documento "Principais conceitos teóricos que estruturam o Enem".

O Grupo de Autores e os professores selecionados trabalharma na análise e no ajuste das questões iniciando assim, o que posteriormente consolidou-se como Fase de Ajuste Pedagógico e Técnico dos Itens.

Essa experiência foi realizada com a responsabilidade e o objetivo de, além de elaborar um exame coerente com sua proposta de avaliação, concretizar uma metodologia que permitisse construir as futuras edições do Enem.

Novamente vinculada ao caráter inédito do exame, pretendia-se que essa metodologia pudesse fornecer, ao mesmo tempo, subsídios para as análises decorrentes, contemplando um espectro que vai desde o próprio exame, passando pelo treinamento das equipes, até um possível diagnóstico da maneira como os professores entendem a proposta do Enem, refletindo esse entendimento na elaboração das suas questões.

Os trabalhos para o Enem 1999, como resultado da análise e das conclusões obtidas do processo anterior, iniciaram-se em dezembro 1998, com o recrutamento dos professores elaboradores de itens.

A primeira reunião do grupo ocorreu em Brasília, com 100 professores que participaram de um treinamento de curta duração para a compreenção da Matriz do Enem, seguido de discussões concentradas em áreas do conhecimento para uma melhor apropriação das habilidades, com destaque para os problemas detectados no primeiro processo de elaboração de itens.

No final de fevereiro de 1999, os itens foram entregues e, durante um seminário realizado em Brasília, iniciou-se a análise do trabalho com os elaboradores e o Grupo de Autores da Matriz.

Nessa ocasião foi integrada ao processo uma equipe para o Ajuste Técnico dos itens, por indicação do Conselho Técnico do ENEM após relato da necessidade de tais profissionais e, em apoio ao Grupo de Autores.

Essa equipe, constituída por professores com experiência em provas e exames tradicionais, adaptou e criou critérios adequados ao Enem, visando os ajustes necessários para as questões objetivas de múltipla escolha e para a correção da redação. Além de integrar o grupo responsável pelas análises e de realizar os ajustes necessários dos itens, esses professores participaram dos treinamentos das equipes e divulgaram a metodologia adotada pelo Enem em seminários e palestras.

O ajuste técnico dos itens do Enem

O instrumento de avaliação de desempenho dos participantes do Enem, egressos ou em fase de conclusão do ensino médio, é constituído de uma prova composta de uma redação e de um teste com 63 questões de multipla escolha.

As questões que compõem esse teste passam por um ajuste pedagógico e técnico, com a finalide de calibrar esse instrumento, no sentido de otimizar sua eficiência e eficácia para que se aproxime o máximo possível, de uma medida das competências que se pretende avaliar.

Em outras palavras, fazer o ajuste técnico dos itens do Enem, como de resto, ajustar um instrumento de medida, é um trabalho de verificação da aderência da prova aos pressupostos teóricos da proposta, da pertinência de cada questão ao seu objetivo, "limpando-a" de quaisquer vícios, dicas e informações desnecessárias, apresentando-a, quando é o caso, com gráficos, tabelas, mapas e textos referenciais claros, adequados e corretos.

As técnicas de elaboração de itens para o Enem, que se constituem em um conjunto de critérios, não são únicas e não foram criadas pela equipe de ajuste e, sim, adaptadas para a elaboração desse exame.

Trata-se, na realidade, de um conjunto de procedimentos que devem ser observados, qualquer que seja a avaliação que se pretende realizar, quando são utilizados testes de multipla escolha.

O que difere, então, as questões do Enem daquelas elaboradas com as mesmas "regras" para outros processos de avaliação?

As questões do Enem, propostas para avaliar a capacidade de se utilizar os conhecimentos adquiridos ao longo da escolaridade básica, são apresentadas no contexto de uma situação-problema.

Em outras palavras, o participante deverá receber uma situação-problema bem articulada, a partir da qual são formuladas uma ou mais questões no formato de "múltipla escolha". Ou seja, a questão apresenta um enunciado e um conjunto de supostas respostas, dentre as quais apenas uma é a alternativa que responde corretamente ao problema proposto no enunciado.

Subjacente aos fatores técnicos, deve estar sempre presente o fato de que o exame é elaborado de modo a permitir que o participante recorra às suas competências e habilidades para determinar a alternativa correta que responde aos problemas propostos.

Os indicadores fornecidos pelo pré-teste de 1998 e a análise decorrente dessas informações permitiram o esboço dos primeiros aspectos da metodologia de elaboração dos itens, consolidados após análise dos resultados do Enem 1998 e das edições subseqüentes.

Da mesma forma que prentende avaliar o participante do exame, espera-se que o elaborador das questões tenha competências expressas

* pelo domínio dos conteúdos da sua área de atuação, da norma culta de Língua Portuguesa e do conhecimento básico das diferentes liguagens: matemática, científica e artística.

* pela aplicação correta dos conceitos da sua área de trabalho e dos conceitos básicos das outras áreas envolvidas na construção da situação-problema, seu enunciado e alternativas.

* pela seleção e organização corretas dos dados e das informações representados nas suas diversas formas, para descrever a situação-problema e o enunciado da questão.

No que se refere às ferramentas que deve utilizar em seu trabalho, podemos resumir dizendo que o elaborador necessita de:

* uma postura ética em relação ao participante e aos pressupostos do Enem.

* um bom dicionário.

* uma boa gramática da Língua Portuguesa.

* atualizar os conhecimentos na sua área de atuação e as informações sobre a sua e as outras áreas, por meio de jornais, livros, reuniões, simpósios, etc.

Critérios a serem observados na elaboração de questões do Enem

A partir do exposto no tópico anterior, a elaboração de uma questão para o Enem ea escolha dos itens da prova estão condicionadas aos seguintes pessupostos:

1. A situação-problema deve ser elaborada de modo a oferecer ao participante informações tais que ele possa tomar decisões em face do que lhe foi proposto.

2. A questão relacionada com a situação-problema deve conter na estrutura do seu enunciado os elementos necessários e adequadamente organizados para a tomada de decisão.

3. As alternativas propostas devem ser coerentes com a questão formulada, no sentido de expressar os diferentes graus de associação com a questão.

4. O conjunto situação-problema, questão e alternativas deve revelar uma estrutura articulada que, como um todo, dê sentido à proposta feita ao participante.

5. Uma questão pode estar vinculada prioritariamente a uma habilidade e, de forma complementar, a outras No caso de uma situação-problema ter mais de uma questão a ela vinculada, poderá relacionar-se a mais de uma habilidade.

6. Para cada uma das habilidades são elaboradas três questões e após análise dos resultados do pré-teste, são selecionadas aquelas que apresentam pertinência mais direta com a habilidade, originalidade e coeficiente bisserial maior que 30.

7. A seleção de itens procura atender à maior distribuição possível de temas e graus de dificuldade variados, de modo a compor uma prova com 20%, 40% e 40%das questões de nível fácil, medio e difícil, respectivamente.

Para que esses pressupostos estejam contemplados nas questões do Enem, relacionamos a seguir o que vimos denominando de critérios , agrupados segundo o corte: situação-problema, enunciado da questão, alternativas e aspectos gerais do conjunto proposto para o participante:

Quanto à situação-problema , cuja apresentação muitas vezes é o próprio enunciado, além de ser atraente para o participante, deve-se verificar se o texto

* está correto (conteúdo)

* envolve interdisciplinaridade e contextualização.

* é adequado à compreensão do participante.

* é adequado à extensão da prova.

Quanto ao enunciado da questão , verificar se

* apresenta claramente um único problema proposto para o participante.

* contém as informações essenciais para a solução do problema proposto, evitando elementos supérfluos.

* é adequado em relação à dificuldade pretendida.

* é adequado em relação ao tempo disponível para a prova.

* é adequado em relação à quantidade de tarefas a serem executadas para a escolha da alternativa.

* não contém afirmações preconceituosas.

* há possibilidade de incluir no enunciado os elementos que se repetem nas alternativas, visando diminuir o tamanho da questão e tornar mais evidente o elemento variante que aparece nas alternativas.

Quanto às alternativas , verificar se

* a alternativa correta é indiscutivelmente a única.

* as alternativas incorretas ( distratores ) representam relações possíveis de serem estabelecidas pelo participante, mas não são condições suficientes para a resolução dos problemas.

* são adequadas em relação ao tempo disponível para a prova.

* estão colocadas em ordem lógica, crescente ou decrescente, sempre que envolvem valores numéricos.

* são homogêneas no conteúdo, integrando uma mesma família de fatos e idéias.

* são homogêneas na forma.

* são independentes, sem subentendidos ou referências às alternativas anteriores.

* não contêm "pistas" que possam ajudar o participante na resolução da questão.

* não contêm elementos ( pegadinhas ) que possam induzir o participante a erros.

* não constituem um conjunto de afirmações "falso-verdadeiras" independentes.* não contêm certas palavras que induzem a afirmações falsas ou verdadeiras. Frases onde aparecem "sempre" ou "nunca", "tudo" ou "todo", "só" ou "somente" são, em sua grande maioria, falsas. As que contêm "alguns" ou "geralmente" são quase sempre verdadeiras.

* a alternativa correta não pode ser decidida pelo participante, sem que ele necessite estabelecer qualquer relação com o enunciado ou texto. O mesmo critério vale para os distratores.

Quanto à questão como um todo . verificar se

* está redigida de forma clara e correta, segundo os padrões da norma culta da Língua Portuguesa ( ortografia, pontuação, gramática ), evitando regionalismos.

* os textos "base" utilizados na situação-problema ou no enunciado estão corretos, contendo informações pertinetes e necessárias e apresentando citação bibliográfica, quando necessárias, segundo as normas ABNT. A escolha dos autores deve ser bastante criteriosa, uma vez que toda avaliação sinaliza para uma desejável apropriação de conteúdo.

* as representações gráficas e/ou pictóricas estão na proporção correta, são pertinentes e necessárias, com informação completa e boa visualização de legendas, incluindo a fonte original dessas representações.

* a resposta a uma questão não depende da (s) resposta (s) de outra (s), para evitar a propagação de erros.

* conjunto das partes (situação-problema, questão e alternativas) apresenta o nível de dificuldade (alto, médio, baixo) pretendido.

* a habilidade que se pretende avaliar com a questão está de fato contemplada.

Considerações finais

A maioria dos participantes é do sexo feminino (62,7%) e tem até 18 anos (44,3%). Entre os motivos alegados para participarem do Enem os mais apontados foram entrar na faculdade (67,1%) e testar conhecimentos e capacidade de raciocínio (21,4%). Os alunos reconheceram-se, em sua maioria, de cor branca (45,6%) e de cor parda (38,3%). Como era esperado para essa faixa etária, observou-se um grande número de solteiros (87%), sem filhos (85,9%), morando em casa ou apartamento com a família (90,5%).

Quanto ao grau de escolaridade do pai, 34,7% informaram que esse estudou até a 4ª série do ensino fundamental, 16,1% até a 8ª série e 16,2% até a conclusão do ensino médio. No nível superior, apenas 6,7% completaram algum curso e 1,9% fizeram pós-graduação. Quase 25% dos pais trabalhavam por conta própria ou eram empregados no setor privado, com carteira assinada. A escolaridade da mãe era semelhante à do pai, 32,6% cursaram até a 4ª série do ensino fundamental, 18,1% até a 8ª série e 19,6% concluíram o ensino médio. No nível superior e na pós-graduação, os percentuais eram, respectivamente, 7,8% e 2,6%. As mães realizavam com mais freqüência atividades no lar (29%) e mais de 10% trabalhavam como domésticas.

Quanto aos bens de consumo, TV em cores, rádio e geladeira estavam presentes em mais de 90% dos lares. Videocassete e/ou DVD, máquina de lavar roupa, telefone fixo e telefone celular eram encontrados em mais de 50% das casas. Microcomputador e acesso à Internet estavam disponiveis em menos de 40% dos lares; e TV por assinatura, em pouco menos de 10%.

No que se refere às condições de moradia, 90,5% dos participantes viviam em casa ou apartamento com a familia. Em 75,2% dos casos, residiam em casa própria, localizada, em geral, em rua calçada ou asfaltada (78,4%), com luz elétrica (98,8%) e água corrente (96,4%).

A renda familiar mais freqüente encontrava-se na faixa de 2 a 5 salários mínimos (34,7%). No entanto, existiam famílias com renda de até 1 salario mínimo e as que tinham renda igual ou superior a 10 salário mínimo representavam apenas 6%.

Parte considerável dos alunos informou estar trabalhando ou já ter trabalhado (58,6%). Entre os que trabalharam durante o ensino médio, parte considerável o fez durante todo o tempo (30,4%). As finalidades desse trabalho eram, em geral, ajudar a família (51,2%) e conquistar a independência financeira (29,9%). Trabalhar e estudar simultaneamente, durante o ensino médio, foi visto de forma positiva, possibilitando crescimento pessoal (64,6%). Os participantes que trabalharam durante o ensino médio apontaram as condições que a escola deveria oferecer aos alunos trabalhadores: programa de recuperação de notas (66,6%), horário flexível (63,8%), aulas de revisão da matéria aos interessados (60,3%), redução da carga de trabalho extraclasse (43,8%), fornecimento de refeição (37,7%), aulas mais dinâmicas (36,4%), e abono de faltas (26,1%).

Para concluir o ensino fundamental, os alunos levaram em sua grande maioria (73,8%) 8 anos ou menos, 14% levaram 9 anos e 12,1% levaram 10 anos ou mais. Cerca de 40% eram concluintes do ensino médio em 2005 e 38% eram egressos. Grande parte (77,8%) levou três anos para concluir o ensino médio. Freqüentaram ou estavam freqüentando somente escola pública, 81,1% dos egressos, 28,6% somente no turno noturno, na modalidae de ensino regular (80,9%).

A avaliação dos participantes, a respeito da escola em que realizaram o ensino médio, foi, em geral, positiva. Os aspectos que receberam avaliações mais favoráveis (com maior incidência de bom a excelente) foram: localização da escola (46,7%), atenção e o respeito dos funcionários (31,6%), organização dos horários das aulas (31,1%), grau de conhecimento que os professores têm das matérias e a maneira de transmiti-lo (27,3%), direção da escola (27,3%), direção da escola (27,1%), atenção à identidade étnica e respeito aos alunos da escola (22,5%). Por outro lado, os aspectos que receberam avaliações menos favoráveis (com maior incidência de insuficiente a regular) foram: acesso a computadores e recursos de informárica (68,7%), condições dos laboratórios (66,9%), iniciativas da escola para realizar excursões (59,8%) ensino de língua estrangeira (50,2%), prática de esporte (36%)

No que se refere às atividades extracurriculares as mais desenvolvidas nas escolas, segundo os presentes, foram : jogos/esportes/campeonatos (79,7%), festas/gincans (78,1%), palestras e debates (66,1%) e feiras de ciência/culturais (62,6%).

Quanto aos egressos do ensino médio, estes representaram 38% dos participantes do Enem 2005, mais do que o dobro em relação ao ocorrido em 2004. A maior parte deste contingente era do sexo feminino (64,1%), tinha mais de 23 anos (44,5%), e mais de 70% tinham renda familiar entre 1 e 5 salários mínimos, cursaram o ensino médio em 3 anos, no ensino regular e na escola pública.

Grande parte deles reconheceu deficiência em sua formação e apontaram como causas a falta de conhecimentos específicos ou de maior especialização, como por exemplo, a falta de um curso de lìngua estrangeira (62%), curso profissionalizante ou de computação (55%) e de curso pré-vestibular (58%).

A média dos participantes, na parte objetiva do Enem 2005, foi 39,4%. A maioria dos candidatos (60,2%) teve desempenho na faixa de "insuficiente a regular", ou seja, com menos de 40% de acertos. Os participantes alcançaram resultados mais altos nas competências I (dominar linguagem) e IV (construir argumentações), com médias 42,4 e 39,8, respectibamente. Em seguida, vieram as competências V (elaborar propostas), II (compreender fenômenos) e III (enfrentar situações-problema), respectivamente, com as seguintes médias: 39,2; 38,4 e 36,8. Ainda na parte objetiva, os melores desempenhos referem-se às habilidades 6, 16,2 e 9 (com 3 acertos) e, os piores desempenhos (com 0 acertos) referem-se às habilidades 14, 15 e 10.

Nesta parte da prova, o participante foi avaliado, enquanto leitor do mundo, uma vez que as situações-problemas que lhe foram apresentadas pressupunham interdisciplinaridade e foram estruturadas por interlocutores - os elaboradores das questões. Para ler a realidade em que se inseriam, compreendendo fenômenos sob diferentes pontos de vista, e para responder aos desafios propostos, os participantes tiveram de mobilizar e reorganizar seu repertório escolar, cultural e social.

A parte objetiva da prova foi elaborada tendo por referencial a Matriz de Competências (dominar linguagens, compreender fenômenos, enfrentar situações-problema, construir argumentações e elaborar propostas) relacionadas a 21 habilidades.

Cada uma dessas habilidades foi avaliada em três itens, gerando conjunto de 63 questões de múltipla escolha, de igual valor, com cinco alternativas e uma única resposta correta.

Na Redação, a média foi de 56, sendo que a média mais alta (64,3) foi observada na competência I (demonstrar domínio da norma culta da língua escrita), em seguida vieram as competências II (compreender a proposta de redação e aplicar conceitos das várias áreas de conhecimento para desenvolver o tema, dentro dos limites estruturais do texto disertativo-argumentativo), IV (demonstrar conhecimento dos mecanismos lingüísticos necessários para a construção da argumentação), III (demonstrar conhecimento dos mecanismos lingüísticos necessários para a construção da argumentação) e V (elaborar proposta de intervenção para o problema abordado, demonstrando respeito aos direitos humanos) com, respectivamente, 57,4; 55,9; 55,0 e 47,3.

Sintonizada com a leitura do mundo, proposta pelas 63 questões objetivas, a Redação apresenta ao examinando uma tarefa de dupla face - ler e escrever o mundo a partir de uma situação-problema - a partir de um recorte pessoal, em sintonia com o tema e os textos-estímulo apresentados.

Como foi exposto no item metodologia e critérios de correção, a nota global das redações dos participantes foi calculada pela média aritmética das notas atribuídas a cada uma das cinco competências da Matriz do Enem, na situação de produção de um texto e, esta nota global foi convertida para uma escala de 0 a 100.