Prévia do material em texto
INTRODUÇÃO O objetivo da apostila Estatísticas educacionais, avaliação da educação básica e posicionamento do Brasil no cenário internacional é fornecer ao leitor uma introdução dos principais indicadores usados na descrição do sistema educacional brasileiro, principalmente, na avaliação da educação básica e nas comparações internacionais. Sob esse foco, esta apostila foi dividida em quatro módulos. No módulo I, descreveremos os indicadores educacionais usados para caracterizar o acesso e a permanência na escola. Essas descrições encontram-se sintetizadas na trajetória escolar do estudante e nas suas taxas de abandono, aprovação e reprovação. Para entendermos a importância desses indicadores, iniciaremos com um detalhamento do sistema educacional e das suas finalidades, cujo monitoramento é viabilizado pelos indicadores apresentados. No módulo II, analisaremos os indicadores de aprendizado utilizados no Brasil. Para tanto, consideraremos as matrizes de referência, a escala de proficiência, e os indicadores de qualidade e desigualdade utilizados pelo Sistema de Avaliação da Educação Básica (Saeb). No módulo III, analisaremos, por meio de uma descrição educacional e estatística, o Índice de Desenvolvimento da Educação Básica (Ideb). Além disso, apresentaremos as sínteses dos resultados das avaliações realizadas por meio de duas plataformas: o portal Ideb Escola e o portal QEdu, que auxiliam na contextualização do cenário educacional brasileiro. Por fim, no módulo IV, compararemos os resultados dos estudantes brasileiros de educação básica com os dos seus pares latino- americanos e internacionais. Para tanto, apresentaremos o desempenho dos alunos brasileiros em duas avaliações internacionais: os estudos organizados pela Unesco e o Pisa. SUMÁRIO MÓDULO I – EDUCAÇÃO: APRENDIZADOS, ENSINO E ESCOLA .................................................................. 9 INTRODUÇÃO ..................................................................................................................................... 9 Sistema educacional ....................................................................................................................... 11 TRAJETÓRIAS ESCOLARES ................................................................................................................ 13 Categorização das trajetórias ........................................................................................................ 14 Etapas e modalidades do ensino ................................................................................................... 14 Faixa etária .......................................................................................................................................... 15 Território .............................................................................................................................................. 15 INDICADORES DE ACESSO E PERMANÊNCIA ................................................................................ 16 Taxa de analfabetismo (TA) ........................................................................................................... 16 Acesso ............................................................................................................................................... 17 Taxa de atendimento escolar (TAE) ............................................................................................... 17 Taxa de escolarização líquida (TEL)................................................................................................ 18 Taxa de escolarização bruta (TEB) ................................................................................................. 20 Permanência .................................................................................................................................... 20 RENDIMENTO ESCOLAR .................................................................................................................. 21 Movimento escolar ......................................................................................................................... 22 Aprovação e reprovação ................................................................................................................ 22 Taxas de rendimento escolar ........................................................................................................ 22 Exemplo de cálculo, aplicação e interpretação dos indicadores ............................................ 24 MÓDULO II – INDICADORES DE APRENDIZADO .......................................................................................... 31 INTRODUÇÃO ................................................................................................................................... 31 MATRIZES DE REFERÊNCIA DO SAEB ............................................................................................. 33 Matriz de Língua Portuguesa ........................................................................................................ 34 Matriz de Matemática ..................................................................................................................... 35 Composição dos testes .................................................................................................................. 36 Escolas e alunos avaliados ............................................................................................................. 37 Prova Brasil ....................................................................................................................................... 37 Motivação ............................................................................................................................................ 38 Características .................................................................................................................................... 39 Resultados ........................................................................................................................................... 40 Relevância pedagógica ..................................................................................................................... 41 Análise crítica ...................................................................................................................................... 41 ESCALA DE PROFICIÊNCIA ............................................................................................................... 43 Interpretação pedagógica da medida ......................................................................................... 46 Interpretação normativa ................................................................................................................ 47 Distribuição de referência ............................................................................................................. 48 INDICADORES DE QUALIDADE ....................................................................................................... 51 INDICADORES DE DESIGUALDADE ................................................................................................ 52 Diferenças segundo o sexo do aluno .......................................................................................... 53 Diferenças segundo a raça/cor do aluno .................................................................................... 55 Diferenças segundo as faixas de nível socioeconômico do aluno ......................................... 57 Diferenças segundo grupos definidos por múltiplas variáveis ............................................... 59 MÓDULO III – DESCRIÇÃO EDUCACIONAL E ESTATÍSTICA DO IDEB ......................................................... 63 INTRODUÇÃO ...................................................................................................................................63 ÍNDICE DE DESENVOLVIMENTO DA EDUCAÇÃO BÁSICA (IDEB) ................................................ 65 Componentes do Ideb .................................................................................................................... 65 Indicador de desempenho .............................................................................................................. 66 Indicador de rendimento ................................................................................................................. 69 Cálculo do Ideb ................................................................................................................................ 71 INTERPRETAÇÃO NORMATIVA ........................................................................................................ 72 Faixas do Ideb .................................................................................................................................. 73 ANÁLISE CRÍTICA DO IDEB .............................................................................................................. 76 Discussão .......................................................................................................................................... 80 EVOLUÇÃO DO IDEB E SEU USO PARA MONITORAMENTO DAS ESCOLAS .............................. 81 Plataforma de resultados e metas ............................................................................................... 81 Plataforma de consulta pública .................................................................................................... 83 Plataforma QEdu ............................................................................................................................. 85 MÓDULO IV – COMPARAÇÃO COM PARES LATINO-AMERICANOS E INTERNACIONAIS ...................... 87 COMPARAÇÕES LATINO-AMERICANAS ......................................................................................... 87 Instituição responsável .................................................................................................................. 87 Primeiro estudo comparativo e explicativo regional (Perce) ................................................... 88 Segundo estudo comparativo e explicativo regional (Serce) ................................................... 90 Terceiro estudo comparativo e explicativo regional (Terce) .................................................... 95 Análise critica ................................................................................................................................. 100 COMPARAÇÃO INTERNACIONAL ................................................................................................. 101 Pisa ................................................................................................................................................... 101 Composição da amostra ................................................................................................................ 102 Questionários contextuais ............................................................................................................. 103 Indicadores de características dos estudantes ......................................................................... 103 Indicadores de características das escolas ................................................................................ 104 O que é testado?............................................................................................................................ 104 Descrição dos testes ....................................................................................................................... 105 Escala de proficiência ...................................................................................................................... 106 Níveis .................................................................................................................................................. 106 Resultados do Brasil ........................................................................................................................ 110 Impactos no Brasil ........................................................................................................................... 112 ANEXO I ............................................................................................................................................................. 113 BIBLIOGRAFIA .................................................................................................................................... 116 PROFESSOR-AUTOR ........................................................................................................................... 120 Neste módulo, descreveremos os indicadores educacionais usados para caracterizar o acesso e a permanência na escola. Essas descrições encontram-se sintetizadas na trajetória escolar do estudante e nas suas taxas de abandono, aprovação e reprovação. Para entendermos a importância desses indicadores, iniciaremos com um detalhamento do sistema educacional e das suas finalidades, cujo monitoramento é viabilizado pelos indicadores apresentados. Introdução A palavra “educação” está associada tanto aos aprendizados adquiridos ao longo da vida quanto ao ensino, necessário para a aquisição desses aprendizados, e à escola, instituição onde ocorrem muitos dos aprendizados essenciais. O aprendizado é, portanto, o núcleo central de sentido da palavra “educação”, como estabelecido no artigo 205 da Constituição Brasileira: “Art. 205º - A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho” (BRASIL, 1988). A leitura desse artigo, que estabelece a educação como direito, permite-nos afirmar que a educação tem como objetivo dotar as pessoas de capacidades que as possibilitem desenvolver o seu pleno potencial, exercitar a cidadania e inserir-se no mundo do trabalho. Outra síntese particularmente influente dos objetivos da educação é aquela usada no Relatório Delors da Unesco MÓDULO I – EDUCAÇÃO: APRENDIZADOS, ENSINO E ESCOLA 10 (1998), em que se estabelece que a educação visa dotar as pessoas das capacidades de aprender a aprender, a conviver, a ser e a fazer. Embora completamente adequadas a um artigo constitucional ou a um relatório como o da Unesco, essas categorias usadas para descrever os aprendizados devem ser desdobradas de forma que se possam concretizar nas propostas pedagógicas das escolas. O primeiro passo a ser dado para alcançar essa meta consiste em estabelecer as chamadas aprendizagens essenciais. O Brasil ainda não fez isso, mas há vários exemplos internacionais. A Comissão Europeia (2006), por exemplo, apresenta como essenciais as seguintes aprendizagens: “Comunicação na língua materna, Comunicação em línguas estrangeiras, Competência matemática e competências básicas em ciências e tecnologia, Competência digital, aprender a aprender, Competências sociais e cívicas, Empreendedorismo, Consciência e expressão cultural” (Comissão Europeia, 2006). Como podemos notar, os aprendizados necessários à vida têm pelo menos quatro dimensões: a dimensão cognitiva, a das atitudes, a dos valores e a da cultura. Tais aprendizados são, portanto, adquiridos em vários ambientes. Esta obra, no entanto, toma como referência a Lei de Diretrizes e Bases da Educação (Lei 9.394/96) e concentra-se na educação escolar, mais especificamente na educação básica, que oportuniza os aprendizados por meio do ensino. Vejamos como a educação escolar é definida na LDB: “Art. 1º A educação abrange os processos formativos que se desenvolvem na vida familiar, naconvivência humana, no trabalho, nas instituições de ensino e pesquisa, nos movimentos sociais e organizações da sociedade civil e nas manifestações culturais. § 1º Esta Lei disciplina a educação escolar, que se desenvolve, predominantemente, por meio do ensino, em instituições próprias. § 2º A educação escolar deverá vincular-se ao mundo do trabalho e a prática social” (BRASIL, LDB, 9.394/96) 11 Sistema educacional Para garantirem o direito à educação, as sociedades criam os seus sistemas educacionais, constituídos de muitas instituições e atores. Naturalmente, esse sistema tem como resultado geral os aprendizados dos alunos. No entanto, para assegurar que um estudante tenha adquirido os aprendizados de que precisa para a sua vida, é necessário verificar se este teve acesso à escola e se lá permaneceu tempo suficiente para aprender. Além disso é necessário caracterizar os diferentes atores e instituições que compõem o sistema. De forma particular, é preciso estudar o sistema educacional reconhecendo os seus diferentes níveis: � os alunos; � a sala de aula; � a escola; � as redes de escolas e � a sociedade. Cada um desses níveis tem características próprias, que não estão presentes no nível anterior. Dessa forma, uma escola deve ser analisada como uma estrutura complexa, cujas características vão muito além daquelas típicas de um mero conjunto de salas de aula e de alunos individuais. Uma rede de escolas, que é mais do que um conjunto de escolas, e toda a complexidade das Secretarias de Educação e de órgãos centrais da administração das redes públicas precisam ser consideradas no estudo do sistema educacional. 12 O modelo conceitual apresentado a seguir sintetiza a estrutura desse sistema, permitindo-nos definir, monitorar e planejar ações de melhoria na educação escolar. Figura 1 – Modelo Conceitual explicativo da proficiência Fonte: Soares (2012). 13 Neste conteúdo, apresentaremos e discutiremos os indicadores que caracterizam cada uma das partes do sistema educacional, como descrito no modelo apresentado. Para saber mais sobre sistema educacional, leia: � Unesco. Repensar a educação: rumo a um bem comum mundial? Brasília, DF: Unesco, 2016. Disponível em: <http://unesdoc.unesco.org/images/0024/002446/ 244670POR.pdf>. Acesso em: fev. 2018. Trajetórias escolares Como vimos, para adquirir os aprendizados que caracterizam o atendimento do direito à educação, é necessário que o cidadão acesse e frequente uma escola de educação básica. Para monitorar esse direito de todos os cidadãos de forma completa, seria necessário construir um arquivo em que cada linha representasse um cidadão e cujas colunas registrassem a sua situação escolar ano a ano. Tal arquivo permitiria a construção da trajetória escolar de todas as pessoas e produziria, com muita facilidade, as informações necessárias às diferentes políticas públicas educacionais. O atual Plano Nacional de Educação (Lei nº. 13.005, de 25 de junho de 2014) estabelece, por exemplo, que o Brasil deveria universalizar, até 2016, a educação infantil para as crianças de quatro a cinco anos de idade. Para verificar se isso foi ou não atendido, bastaria, por meio do nosso arquivo hipotético de trajetórias, separar as crianças de quatro a cinco anos de idade e verificar se estão matriculadas em uma escola de educação infantil. Essa seria uma operação muito simples de seleção e contagem de dados. No entanto, esse tipo de arquivo não existe e, para produzirmos as informações necessárias à proposição e ao monitoramento das políticas públicas educacionais, precisamos utilizar várias fontes de informação alternativas, como: � o Censo Demográfico, realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE) de 10 em 10 anos; � a Pesquisa Nacional por Amostra de Domicílios (Pnad), realizada anualmente também pelo IBGE e � o Censo Escolar, realizado pelo Instituto Nacional de Estudos e Pesquisas Anísio Teixeira (Inep) anualmente. Os indicadores dessas pesquisas são amplamente difundidos e usados, pois nos permitem conhecer aspectos específicos da trajetória escolar dos estudantes. Entre esses aspectos incluem-se o acesso à escola, a permanência e a conclusão das diferentes etapas em que o ensino é organizado. Nas próximas seções, utilizaremos as sínteses divulgadas no Anuário da Educação Básica brasileira (2016), uma publicação conjunta do movimento Todos pela Educação e da Editora 14 Moderna que, além de apresentar os números do Censo Demográfico e da Pesquisa Nacional por Amostra de Domicílios (Pnad), apurados e divulgados pelo Instituto Brasileiro de Geografia e Estatística (IBGE), traz também os dados do Censo Escolar e do Sistema de Avaliação da Educação Básica (Saeb), disponibilizados pelo Ministério da Educação. Criado em setembro de 2006, o Todos Pela Educação é um movimento financiado, exclusivamente, pela iniciativa privada, congregando sociedade civil organizada, educadores e gestores públicos, que têm como objetivo contribuir para que o Brasil garanta a todas as crianças e jovens o direito à educação básica de qualidade. O movimento trabalha para que sejam garantidas as condições de acesso, alfabetização e sucesso escolar, além de lutar pela ampliação e boa gestão dos recursos públicos investidos na educação. Esses grandes objetivos foram traduzidos em cinco metas, com prazo de cumprimento até 2022, ano do bicentenário da Independência do Brasil. É importante ressaltarmos que o Censo Escolar permite-nos obter informações completas das trajetórias escolares de todos os estudantes matriculados nas escolas de educação básica a partir de 2007. Assim sendo, com o passar dos anos, o Inep terá todas as informações necessárias à construção da trajetória escolar de cada brasileiro, já que, a cada ano, é mais razoável assumirmos que todas as famílias matriculam os seus filhos em uma escola. Categorização das trajetórias Muitos indicadores apresentam sínteses das trajetórias de estudantes que pertencem a um grupo definido por etapa e modalidade de ensino, faixa etária e local de residência. Dessa forma, antes de prosseguirmos, é importante que fixemos esses conceitos. Etapas e modalidades do ensino A LDB segmenta a educação básica da seguinte forma: � creche; � educação infantil; � ensino fundamental (dividido em duas etapas: anos iniciais e anos finais) e � ensino médio. 15 Essas diferentes etapas são oferecidas em diferentes modalidades. A mais importante delas é a regular, mas existem ainda a Educação de Jovens e Adultos, a Educação Profissional ou Técnica, a Educação Especial e a Educação Indígena. Faixa etária Atualmente, as leis brasileiras estabelecem que a frequência à escola é obrigatória dos 4 aos 17 anos. No entanto, como nem sempre foi assim, há na população brasileira pessoas que, por motivos diversos, não completaram diferentes etapas da educação básica. A idade dos alunos é utilizada para caracterizar as trajetórias educacionais e, por isso, os indicadores educacionais são usualmente relativos a faixas etárias específicas. A LDB fixa essas faixas etárias e os respectivos segmentos que o estudante deveria cumprir caso tivesse uma trajetória escolar regular. Vejamos: � creche – para as crianças de 0 a 3 anos; � educação infantil – para as crianças de 4 e 5 anos; � ensino fundamental I – para as de 6 a 10 anos; � ensino fundamental II – para as de 10 a 14 anos e � ensino médio – para os jovens de 14 a 17 anos. Como os nascimentos ocorrem durante todo o ano, mas o ano escolar só se inicia em fevereiro, há uma convenção para a alocação dos indivíduos nessas diferentes faixas etárias. Fixada pelo Conselho Nacional de Educação (CNE), a data base para as decisões educacionais é 31 de março, ou seja, em todas as questõesescolares, considera-se a idade da pessoa no dia 31 de março, data escolhida por ser dois meses depois do início usual do ano letivo, quando, portanto, as matrículas já devem estar estabilizadas. Naturalmente, a fixação de outra data de referência mudaria a faixa etária usada para efeitos do planejamento educacional, com sérias consequências para o planejamento do seu atendimento. Por conta disso, a data escolhida é uma opção polêmica, cuja legalidade foi contestada e hoje aguarda decisão de recursos no Superior Tribunal Federal (STF). Território As leis educacionais estabelecem que a União é responsável pelas instituições de ensino superior e, em relação à educação básica, tem função supletiva e redistributiva. Já os estados são responsáveis pelo ensino médio e, em parceira com os municípios, pelo ensino fundamental. Os municípios, por sua vez, são responsáveis pelas creches, pela educação infantil e pelo ensino fundamental, em parceria com os estados. 16 Indicadores de acesso e permanência Como já vimos, os dados que fornecem informações sobre o acesso à educação básica são obtidos por meio do Censo Demográfico e da Pnad. O Censo Demográfico usa um questionário muito sintético para a grande maioria das residências e um formulário mais extenso para uma amostra de 10% delas. Isso quer dizer que os indicadores educacionais produzidos com dados do Censo Demográfico são estimativas feitas a partir de uma amostra. Assim sendo, só se conhece a situação escolar para conjuntos de indivíduos, por exemplo, os residentes em um dado município. O questionário usado no Censo Demográfico e na Pnad inclui as seguintes perguntas para cada membro da família incluída na amostra: 1. Sabe ler e escrever? 2. Frequenta escola ou creche? 2.1. Qual é o curso que frequenta? 2.2. Qual é a série do curso que frequenta? 2.3. Em que município e UF frequenta escola ou creche? 3. Qual foi o curso mais elevado que frequentou? 3.1. Concluiu esse curso? A resposta a essas perguntas fornece informações para a construção dos indicadores de acesso e permanência dos estudantes, cujas definições estão no Dicionário de indicadores educacionais do Inep. Taxa de analfabetismo (TA) No Brasil, considera-se analfabeto o sujeito incapaz de ler e escrever ao menos um bilhete simples na sua língua de origem. Nos questionários da Pnad e do Censo Demográfico, o analfabetismo é captado pela resposta dada à pergunta “Sabe ler e escrever?”. Aquele que responde “Não” é considerado analfabeto. A taxa de analfabetismo (TA) é calculada por meio do quociente entre a população analfabeta e a população total de um mesmo grupo etário. Essa taxa é muito utilizada pelos órgãos internacionais, pois permite medir os níveis de desenvolvimento socioeconômico dos países. Vejamos: �� � ������ � 100 Onde: �� = taxa de analfabetismo ���� = população analfabeta de determinado grupo etário 17 � = população total nesse mesmo grupo etário Para verificar o avanço das políticas públicas referentes ao ensino básico e contribuir para a formulação de políticas de alfabetização de adultos, é oportuno que a análise dessa taxa seja realizada por faixa etária, retirando assim o efeito composicional da estrutura etária que está embutida na taxa (RIOS-NETO, 2005). Acesso O acesso é, usualmente, sintetizado em três indicadores: taxa de atendimento escolar, taxa de escolarização líquida e taxa de escolarização bruta. Veremos cada um deles, com mais detalhes, a seguir. Taxa de atendimento escolar (TAE) A taxa de atendimento escolar é definida como o percentual da população de determinada idade ou faixa etária que se encontra matriculado na escola. Formalmente, essa taxa é definida da seguinte forma: �� � ���� � 100 Onde: � �� = número de pessoas matriculadas na escola na idade ou faixa etária � � �� = população na idade ou faixa etária � � � = até 3, 4 e 5, 6 a 14, 15 a 17 e 20 a 24 anos No Anuário da Educação Básica (2016), taxa de atendimento escolar está disponível para diferentes faixas etárias. Por exemplo, a tabela a seguir, cujos resultados foram calculados com dados da Pnad, apresenta as informações referentes às crianças de quatro e cinco anos. 18 Tabela 1 – Crianças de quatro e cinco anos que frequentam escola no Brasil (2001-2014) ano percentual de crianças 2001 66,4 2002 67,6 2003 69,7 2004 71,8 2005 72,5 2006 76,7 2007 78,9 2008 81,1 2009 83,0 2010 0,0 2011 85,6 2012 85,9 2013 87,9 2014 89,1 Fonte: Anuário da Educação Básica (2016, p. 17). Taxa de escolarização líquida (TEL) Para definir as prioridades educacionais de um governo, é importante saber quantas crianças ou jovens estão sendo atendidos em dada etapa do ensino na idade certa. Essa informação é captada pela taxa de escolarização líquida (TEL), definida por meio da divisão entre o número total de matrículas de alunos com a idade prevista para a etapa de ensino em consideração e o número de estudantes dessa faixa etária na população de interesse. Dessa forma, temos: � � � �ú���� �� ������������ �� ����� �é���!"�"���çã� �� %�� � ��á���! � 100 19 Por exemplo, se um estudante tem uma trajetória regular, deve cursar o ensino médio quando tiver entre 15 a 17 anos. Nesse caso, a taxa líquida de escolarização é a razão entre o número de jovens de 15 a 17 anos matriculados no ensino médio em um território (k) e o número total de pessoas na mesma faixa etária no mesmo território. Em outras palavras, o denominador dessa taxa é igual ao número de jovens residentes no município, na faixa etária de 15 a 17 anos, e o numerador é obtido identificando-se, entre os jovens com idade nessa faixa, os que estão matriculados no ensino médio. Baixos valores da TEL indicam a existência de jovens de 15 e 17 anos que não estão frequentando o ensino médio. Esse problema pode ter como causa: � a evasão do aluno ainda no ensino fundamental; � o fato de o aluno ainda estar cursando o ensino fundamental ou � o fato de ter terminando o ensino fundamental, mas não ter efetuado matrícula no ensino médio por algum motivo. Como um estudante chega ao ensino médio com a idade esperada somente se teve uma trajetória escolar regular, a TEL descreve, de forma bastante útil, uma das dimensões da qualidade da educação no território em que é calculada, ou seja, o nível de atraso escolar nessa população. A tabela a seguir mostra os resultados da TEL entre os anos de 2000 e 2015: Tabela 2 – Taxa de escolarização líquida – ensino médio – Brasil e Regiões (2000 a 2015) localidade 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 2015 Brasil 34,4 36,9 40,0 43,1 44,4 45,3 47,1 48,0 50,4 50,9 51,6 54,0 55,1 56,3 56,9 Norte 19,2 26,4 29,1 31,7 27,5 30,7 34,7 36,0 39,7 39,1 41,2 42,4 44,9 46,7 47,9 Nordeste 18,9 20,5 22,7 25,5 27,9 30,1 33,1 34,5 36,4 39,2 42,6 44,8 46,2 47,5 48,3 Sudeste 46,3 48,0 52,4 55,5 58,0 57,4 57,9 58,8 61,9 60,5 59,6 62,5 62,9 63,8 65,2 Sul 44,0 47,8 50,7 52,7 53,4 53,6 54,9 55,0 56,4 57,4 55,1 57,1 59,3 61,0 58,6 Centro- Oeste 34,4 36,7 40,0 44,2 44,9 45,9 48,3 49,6 51,8 54,7 56,8 58,5 57,2 58,5 58,5 Fonte: IBGE/Pnad. Elaborado por Inep/Deed. 20 Taxa de escolarização bruta (TEB) Outro indicador de acesso muito usado é a taxa de escolarização bruta. Esse indicador mede o esforço que está sendo feito para dar acesso à educação aos que não a tiveram na idade correta. Vejamos: � ' � �ú���� �� ������������ !"�"���çã� �� %�� � ��á���! � 100 No numerador, temos o total de pessoas cursando a etapa no território, sem restrição de idade. No denominador, estão alocadas todas as pessoas da faixa etária em análise. Se o resultado desse indicador é maior que 100%, isso significa que o território, região, estado ou município está buscando atenderaos que não foram atendidos na idade certa. Na tabela a seguir, temos os resultados da TEB entre os anos de 200 e 2015: Tabela 3 – Taxa de escolarização bruta – ensino médio – Brasil e Regiões (2000 a 2015) Localidade 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 2015 Brasil 73,0 73,9 75,9 81,1 81,4 80,7 82,2 82,6 85,5 83,0 82,2 83,2 83,5 83,7 83,3 Norte 59,6 80,1 80,7 85,6 72,1 76,8 78,0 75,2 83,3 80,3 79,8 81,5 82,3 84,2 82,3 Nordeste 53,8 56,7 58,2 67,0 71,3 72,0 76,8 79,4 78,7 77,4 77,9 78,2 79,6 78,6 77,5 Sudeste 87,9 84,7 87,4 90,6 91,1 88,2 88,0 87,5 91,6 88,5 85,3 87,9 86,8 87,1 89,5 Sul 81,4 78,1 80,5 82,8 81,7 80,5 79,4 79,9 83,4 81,1 80,4 79,9 82,3 83,1 78,6 Centro-Oeste 77,2 77,5 80,4 83,9 82,9 82,1 84,0 84,4 88,0 86,1 91,5 88,2 86,0 86,7 84,2 Fonte: IBGE/Pnad. Elaborado por Inep/Deed. Permanência Na ausência de informações sobre a trajetória escolar individual, a permanência do estudante na escola é acompanhada de forma indireta. Nesse caso, as taxas de conclusão das etapas da educação básica são indicadores especialmente importantes. Por exemplo, um estudante cuja trajetória é regular deve terminar o ensino fundamental com 14 anos. Dessa forma, interessa-nos saber quantos jovens de 16 anos terminaram o ensino fundamental. A tabela a seguir, obtida também do Anuário da Educação Básica brasileira, fornece- nos essa informação. 21 Tabela 4 – Percentual de jovens de 16 anos que concluíram o ensino fundamental – Brasil e Regiões (2001-2014) Região 2001 2002 2003 2004 2005 2006 2007 2008 2009 2011 2012 2013 2014 Brasil 49,1 52,1 56,6 58,0 58,9 60,8 62,9 64,8 66,3 67,5 69,5 71,7 73,7 Norte 35,0 41,8 45,7 40,2 41,2 46,7 50,5 52,7 52,0 53,8 55,3 57,6 59,9 Nordeste 28,2 30,5 33,9 36,8 39,3 44,1 44,8 48,2 51,7 56,7 59,1 60,5 62,6 Sudeste 62,9 66,4 72,6 73,8 74,1 73,7 76,2 77,3 76,3 76,6 78,7 81,2 83,5 Sul 64,5 67,8 67,6 74,2 69,9 70,0 72,2 72,6 74,6 72,2 75,3 78,5 79,7 Centro- Oeste 48,6 51,0 55,6 58,9 62,4 62,7 67,8 66,2 75,0 77,6 72,9 75,0 76,3 Fonte: IBGE/Pnad. Elaboração: Todos Pela Educação. Os indicadores de rendimento escolar que têm como unidade o município e dependem de dados coletados pelo Censo Demográfico só podem ser obtidos de 10 em 10 anos. Nos anos em que o Censo não é realizado, o seu cálculo exige o uso de projeções de população por faixa etária e por município. Esse é um problema demográfico bastante complicado, que deve, entretanto, ser enfrentado para atender não só à lei do PNE mas também à necessidade de monitorar o direito à educação da população brasileira. O enfrentamento desse problema é de especial importância, pois os municípios são os locais onde as decisões essenciais sobre o ensino fundamental são tomadas. Rendimento escolar Todos os anos, o Inep atribui a cada aluno matriculado em uma escola de educação básica um código único de identificação. Aluno é o indivíduo, enquanto matrícula é o vínculo estabelecidos entre um aluno e uma turma. Um mesmo aluno pode ter matrículas em mais de uma turma de distintas etapas ou modalidades de ensino, na mesma escola ou em escolas diferentes. A cada ano, considerando a data de referência do Censo Escolar da Educação Básica, ou seja, a última quarta-feira do mês de maio do ano vigente, as escolas registram os alunos matriculados nas suas turmas. No ano seguinte, as escolas informam o movimento e o rendimento escolar das matrículas informadas na primeira etapa. Os dados coletados permitem a construção de vários indicadores, conforme explicado na nota técnica do Inep Cálculo dos indicadores de rendimento escolar – censo da Educação Básica. 22 Movimento escolar Por movimento escolar entende-se a mudança de vínculo escolar de cada uma das matrículas no período entre a data de referência do Censo Escolar e o encerramento do ano letivo. Existem três situações possíveis quanto ao movimento escolar da matrícula: � transferido – quando a matrícula do aluno foi, formalmente, desvinculada de uma escola; � abandono – quando o aluno deixou de frequentar a escola antes da conclusão do ano letivo, não tendo sido formalmente desvinculado por transferência. Nesse caso, a sua matrícula não possui registro de rendimento e � falecido – quando o aluno faleceu antes do término do ano letivo. Aprovação e reprovação O rendimento escolar registra o sucesso ou o fracasso da matrícula de cada aluno ao final do ano letivo. São duas as situações possíveis quanto ao rendimento escolar de cada matrícula: � aprovado – quando o aluno conclui o ano escolar com sucesso e está apto a matricular-se na etapa seguinte, no ano seguinte, e � reprovado – quando o aluno não obtém êxito na conclusão do ano letivo e, portanto, não está apto a matricular-se na etapa seguinte, no ano seguinte. Os conceitos de movimento escolar, aprovação e reprovação são utilizados para o cálculo dos indicadores de rendimento escolar. Taxas de rendimento escolar As taxas de rendimento escolar – ou seja, as taxas de aprovação e reprovação, e a taxa de abandono – são calculadas para diferentes territórios ou unidades de agregação (escola, município, rede, etc.), considerando-se o conjunto de matrículas que as compõem. Depois das análises de consistência, a cada matrícula é associada uma situação (falecido, abandono ou sem informação) e um rendimento (aprovação ou reprovação). As seguintes notações são usadas: 23 Tabela 5 – Notações utilizadas na taxa de rendimento escolar abreviação notação FAL falecido APR aprovado REP reprovado ABA abandono SIR sem informação de rendimento escolar, falecimento ou abandono Fonte: MEC/Inep (2013, p. 5). As matrículas consideradas no cálculo das taxas de rendimento escolar são dadas por: �( � � ) *�� ) +,( Onde: � � = total de matrículas iniciais � *�� = quantidade de matrículas de alunos falecidos � +,( = matrículas que não tiveram a situação de rendimento escolar, o falecimento ou o abandono informado Como, para cada uma dessas matriculas, há uma condição de rendimento escolar – aprovado (APR), reprovado (REP) – ou de abandono (ABA), vale a seguinte igualdade: � � *�� - +,( - ��( - ( � - �'� Dessa forma, as taxas de rendimento escolar são calculadas pelas seguintes expressões: a) Taxa de aprovação: ��"� � ��(.APR - REP - ABA4 � 100 24 b) Taxa de reprovação: �(�" � ( �.APR - REP - ABA4 � 100 c) Taxa de abandono: ��5� � �'�.APR - REP - ABA4 � 100 d) Taxa de não resposta: Por fim, para verificar a representatividade das taxas de rendimento escolar, calcula-se a taxa de não resposta (TNR), definida como: �6( � +,(.n ) FAL4 � 100 Devemos observar que, necessariamente, vale a seguinte relação: �� � �� �"��:�çã� - �� � �� ��"��:�çã� - �� � �� �5������ � 100 Exemplo de cálculo, aplicação e interpretação dos indicadores Suponha que você tenha acabado de assumir a Secretaria de Educação de Curvelo (MG) e precise saber como está o cenário da pré-escola no município. Utilizando os dados apresentados pelo IBGE1, será necessário fazer o levantamento das seguintes informações: � taxa de atendimento escolar na pré-escola; � taxa de escolarização bruta na pré-escola e � taxa de escolarização líquida na pré-escola. Após o levantamento e o cálculo dessas taxas, será preciso responder às seguintes questões: � Como se encontra o cenário da pré-escola no município? � Qual(is) seria(m) a(s) iniciativas da Secretaria? � Qual(is) seria(m) a(s) requisições da Secretaria ao governo do Estado? 1 Informações disponíveis em: <https://www.ibge.gov.br/estatisticas-novoportal/sociais/educacao.html>. 25 Inicialmente, vamos realizar o cálculo de cada uma das informações necessárias: a) Taxa de atendimento escolar na pré-escola:Para encontrarmos a taxa de atendimento na pré-escola, devemos utilizar a fórmula da TAE: �� � ���;��<� =>á?�� �;��<� =>á?�� � 100 Onde: � ��� = matrícula em todos os níveis de ensino na faixa etária selecionada � � = população na mesma faixa etária. No entanto, como precisamos saber os dados específicos da faixa etária de quatro a cinco anos, devemos buscar essa informação, que pode ser encontrada no site do Sidra, o sistema IBGE de recuperação automática de dados.2 Após a montagem da tabela, os dados recuperados são os seguintes: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = total sexo = total ano = 2010 grupos de idade 4 anos 712 5 anos 1.022 soma 1.734 2 Disponível em: <https://sidra.ibge.gov.br/Tabela/1973>. 26 Agora, devemos buscar as informações referentes à população do munícipio de Curvelo. Ainda por meio da montagem da tabela disponível do site do Sidra, temos: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 Podemos, por fim, aplicar os dados obtidos à fórmula da TAE: �� � @ABC D E F EGHI J@BKD E F EGHI � 100 � 81,40% b) Taxa de escolarização bruta na pré-escola: A taxa de escolarização bruta na pré-escola deve ser encontrada por meio da seguinte fórmula: � ' � ���P?éQ=RSTU� � C � V ��TR � 100 Onde: � ��� = matrícula total em um determinado nível de ensino � � = população na faixa etária adequada a esse nível de ensino 27 Quanto aos dados referentes à população, por meio da construção da tabela no site do Sidra, temos: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 Já os dados sobre volume de matrículas no nível de ensino em análise são os seguintes: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = pré-escolar sexo = total grupos de idade = total ano = 2010 2.253 28 Aplicando os dados encontrados à fórmula da TEB, temos: � ' � 22532130 � 100 � 105,77% C) Taxa de escolarização líquida na pré-escola: A última taxa a ser encontrada, a TEL, deve ser calculada da seguinte forma: � � � ��� C � V ��TR � C � V ��TR � 100 Onde: � ��� = matrícula na faixa etária adequada a determinado nível de ensino � � = população na mesma faixa etária Nesse caso, precisamos, novamente, das informações referentes à população: Tabela 1378 – população residente, por situação do domicílio, sexo e idade, segundo a condição no domicílio e compartilhamento da responsabilidade pelo domicílio município = Curvelo – MG variável = população residente (pessoas) situação do domicílio = total sexo = total condição no domicílio e compartilhamento da responsabilidade pelo domicílio = total ano = 2010 grupos de idade 4 anos 1.024 5 anos 1.106 soma 2.130 29 Agora, precisamos das informações referentes ao número de matrículas na pré-escola: Tabela 1973 – pessoas que frequentavam creche ou escola por nível de ensino, sexo e grupos de idade município = Curvelo – MG variável = pessoas que frequentavam escola ou creche (pessoas) nível de ensino ou curso que frequentavam = pré-escolar sexo = total ano = 2010 grupos de idade 4 anos 508 5 anos 716 soma 1.224 Aplicando os dados encontrados à fórmula da TEL, temos: � � � 1224 C � V ��TR 2130 C � V ��TR � 100 � 57,46% Agora, por meio dos resultados obtidos (TAE = 81,40%; TEB = 105,77%; TEL = 57,46%), podemos retomar as questões previamente apresentadas, buscando respondê-las: a) Como se encontra o cenário da pré-escola no município? Ao levarmos em consideração os cálculos efetuados, podemos inferir que, no município de Curvelo (MG), a pré-escola não é ofertada de maneira universalizada à população residente, o que pode ser comprovado por meio da taxa de atendimento escolar encontrada (TAE = 81,49%), que indica o percentual da população daquela faixa etária que está frequentando a escola Podemos também observar que a demanda potencial por matrículas nesse nível, representada pelo cálculo da taxa de escolarização bruta, é alta (TEB = 105, 77%), ultrapassando os 100%, o que reforça a afirmação de que há problemas de acesso presentes no município. 30 Finalmente, a taxa de escolarização líquida (TEL = 57,46%) reitera o acesso como um problema no município, além de revelar outra fragilidade: o sistema educacional do município tem problemas relativos à eficácia, uma vez que pouco mais de 50% da população possui acesso e progressão na vida escolar adequados (regular). b) Qual(is) seria(m) a(s) iniciativas da Secretaria? Entre outras iniciativas, a Secretaria poderia: � aumentar a oferta de acesso à pré-escola por meio da construção de escolas de educação infantil; � estabelecer convênios para garantir a oferta de vagas; � abrir concursos para contratação de professores, especialistas e profissionais para trabalhar nesses novos estabelecimentos e � garantir políticas de formação inicial e complementar aos profissionais da educação. c) Qual(is) seria(m) a(s) requisições da Secretaria ao governo do estado? São possíveis requisições a serem feitas pela Secretaria: � solicitação de recursos para a construção de escolas de educação infantil (Governo Federal); � estabelecimento de convênios ou acordos entre estado e prefeitura, de forma a proporcionar o aluguel de espaços onde os alunos dessa faixa etária pudessem ser atendidos; � solicitação de recursos para efetuar novas contratações; � parcerias com universidades e institutos federais para a oferta de cursos de formação inicial e continuada. Neste módulo, analisaremos os indicadores de aprendizado utilizados no Brasil. Para tanto, consideraremos as matrizes de referência, a escala de proficiência, e os indicadores de qualidade e desigualdade utilizados pelo Sistema de Avaliação da Educação Básica (Saeb). Introdução Como vimos, o direito constitucional à educação no Brasil se concretiza quando: � o estudante tem uma trajetória regular, isto é, tem acesso a uma escola de educação básica na idade correta; � permanece na escola e � conclui as diferentes etapas em que o ensino é organizado, também nas idades esperadas. No entanto, não podemos levar em conta somente a passagem do estudante pela escola. Durante essa experiência escolar, o estudante deve adquirir os aprendizados de que necessita para uma vida plena e, por isso, os indicadores de aprendizado são tão necessários ao monitoramento do direito à educação. Neste conteúdo, vamo-nos restringir à análise dos indicadores de aprendizado do ensino fundamental, pois há dados, produzidos principalmente pelo Sistema de Avaliação da Educação Básica (Saeb) e a Prova Brasil, que nos permitem realizar ummonitoramento abrangente do direito de aprender ao longo de muitos anos. MÓDULO II – INDICADORES DE APRENDIZADO 32 O Sistema de Avaliação da Educação Básica (Saeb) foi criado no início da década de 1990, tendo como objetivo medir o desempenho acadêmico dos alunos da educação básica, e os fatores associados a esse desempenho e que nele interferem (fatores intra e extraescolares). O sistema é composto de duas avaliações: � Avaliação Nacional da Educação Básica (Aneb) – divulgada com o nome de Saeb, essa avaliação é aplicada a uma amostra de estudantes das redes públicas e privadas do País, localizados na área rural e urbana e matriculados nos 5º e 9º anos do ensino fundamental, e também no 3º ano do ensino médio, e � Avaliação Nacional do Rendimento Escolar (Anresc) – divulgada e conhecida com o nome de Prova Brasil, essa avaliação é aplicada censitariamente a alunos dos 5º e 9º anos do ensino fundamental público, nas redes estaduais, municipais e federais de área rural e urbana, em escolas que tenham, no mínimo, 20 alunos matriculados na série avaliada. A Prova Brasil faz parte do Sistema de Avaliação da Educação Básica (Saeb). Participam dessa avaliação as escolas públicas com, no mínimo, 20 alunos matriculados nas séries avaliadas. Para saber mais sobre o Saeb e a Prova Brasil, acesse: � Portal do Inep. Disponível em: < http://portal.inep.gov.br/educacao-basica/saeb>. Acesso em: fev. 2018. � Portal do Inep. Disponível em: < http://portal.mec.gov.br/prova-brasil>. Acesso em: fev. 2018. Os dados existentes no âmbito da Avaliação Nacional da Alfabetização (ANA) e do Exame Nacional do Ensino Médio (Enem) também podem ser usados para a produção de indicadores de aprendizado das outras etapas da educação básica, apesar de não terem ainda a mesma abrangência temporal do Saeb, nem a mesma estabilidade nas suas matrizes e nos seus processos de coleta. A Constituição Federal de 1988 explicitou o projeto da nação brasileira e estabeleceu, no seu artigo 210, a necessidade de construção de uma futura norma legal a partir da qual os aprendizados que caracterizam o atendimento do direito à educação dos estudantes fossem definidos. No entanto, essa norma está ainda em construção, por meio da Base Nacional Comum Curricular. A longa demora na fixação dos objetivos de aprendizagem comuns a todos os sistemas de ensino tem consequências. Uma delas envolve o fato de que as avaliações externas como Saeb e Prova Brasil assumiram o papel de determinar as aprendizagens a serem adquiridas. No entanto, o ideal seria que o contrário ocorresse, ou seja, os testes do Saeb deveriam basear-se em uma especificação que a lei chama de Base Nacional Comum. Além disso, o sistema educacional brasileiro sofre com a ausência de uma 33 linguagem curricular comum, fundamental tanto para a produção e organização de materiais didáticos quanto para a formação inicial e continuada dos professores. Apesar dessa ausência, a importância de se conhecer o nível de aprendizado dos estudantes é tão premente que o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) definiu uma matriz responsável por orientar as suas avaliações externas desde 1995. Matrizes de referência do Saeb3 Para a fixação das matrizes do Saeb, estabeleceu-se que os objetivos de aprendizagem seriam definidos por meio de sentenças que especificam, conjuntamente, os conhecimentos e a ação mental a ser realizada. Com isso, optou-se por desconsiderar as especificações, usuais até então, que consistiam em uma lista de conteúdos disciplinares. Essa opção teórica nos mostra que o objetivo da educação é levar o estudante a desenvolver um conjunto de habilidades que o permita enfrentar problemas concretos durante a sua vida. Na realidade, essa opção teórica reconhece que o estudante deve desenvolver conhecimentos e habilidades, ou seja, competências que, segundo Phillipe Perrenoud (1993, p. 23), consistem na “capacidade de agir eficazmente em um determinado tipo de situação, apoiando-se em conhecimentos, mas sem se limitar a eles.” Para enfrentar uma situação, geralmente, colocam-se em prática vários recursos cognitivos e não cognitivos entre os quais estão os conhecimentos. “Quase toda ação mobiliza alguns conhecimentos, algumas vezes elementares e esparsos, outras vezes complexos e organizados em rede” (PERRENOUD, 1993, p. 23). O planejamento inicial do Saeb definiu que apenas as competências leitora e a matemática seriam objetos de medida, considerando-as duas áreas fundamentais, pois, além de terem importância própria, permitem aos estudantes aprenderem outras competências. A construção dessa matriz, realizada em 1995, foi precedida de uma consulta nacional aos currículos usados pelas Secretarias Estaduais de Educação e praticados nas escolas brasileiras de ensino fundamental e médio. O objetivo dessa consulta era buscar o havia de comum entre esses currículos. Todavia, como se sabe, há uma grande distância entre o currículo proposto e aquilo que é, de fato, ensinado. Por esse motivo, o Inep consultou, adicionalmente, professores das capitais brasileiras regentes nas redes municipal, estadual e privada da 4ª e 8ª séries do ensino fundamental e da 3ª série do ensino médio, nas disciplinas de Língua Portuguesa e Matemática. Além disso, examinou os livros didáticos mais utilizados nas mesmas redes e séries, para validar a 3 O conteúdo desta seção tem como base os documentos do Inep que descrevem a metodologia do Saeb (2001). 34 listagem inicial. Em seguida, incorporou as análises de especialistas nas áreas de conhecimento a serem avaliadas. Tanto a competência leitora quanto a matemática envolvem muitas habilidades. Por conta disso, as habilidades a serem desenvolvidas em cada série e disciplina foram agregadas em grupos denominados descritores. Cada descritor deu origem a diferentes itens e, a partir das respostas dadas a esses itens, verificou-se o que alunos sabiam e conseguiam realizar a partir dos conhecimentos adquiridos. Em sequência, veremos o conteúdo das matrizes de Língua Portuguesa e Matemática, Matriz de Língua Portuguesa O ensino de Língua Portuguesa tem como finalidade promover o desenvolvimento do aluno para o domínio ativo do discurso. Dessa forma, considera-se que o indivíduo realmente domina uma língua quando sabe fazer uso dos seus recursos expressivos em diversas situações ou quanto, por meio do texto, é capaz de manifestar os seus próprios desejos e convicções, sabe informar, persuadir, divertir, emocionar, argumentar, posicionar-se e criticar. Ser competente no uso da língua significa saber interagir, por meio de textos, em qualquer situação de comunicação. Por tudo isso, o texto deve ser o ponto de partida e de chegada das atividades de ensino- aprendizagem e de verificação do aprendizado da língua. Por restrições operacionais de várias ordens, em Língua Portuguesa, optou-se por avaliar somente habilidades de leitura. Essa centralidade dada à leitura não significa, no entanto, que o Saeb minimiza a importância de avaliar a competência dos alunos quanto à produção de textos escritos. A matriz do Saeb está organizada em subconjuntos de habilidades denominados descritores. Os descritores da matriz de Língua Portuguesa não contemplam todos os objetivos de ensino de leitura, mas apenas aqueles considerados mais relevantes e possíveis de serem avaliados em um teste de múltipla escolha. Os resultados de tais testes devem possibilitar uma visão real do ensino brasileiro, sem que sejam privilegiados enfoques curriculares ou características regionais de abordagem. Há, entretanto, diferenças no que diz respeito ao grau de complexidade com que esses descritores são tratados nos itens colocados nos testes. Esse grau de complexidade resulta, porexemplo, da temática desenvolvida, das estratégias textuais usadas na sua composição, da escolha de um vocabulário mais ou menos incomum, dos recursos sintático-semânticos utilizados, bem como das determinações específicas do gênero e da época em que foi produzido. O grau de complexidade da tarefa resulta de aspectos relativos aos diversos saberes que o sujeito terá de mobilizar para resolver o problema proposto. Ao se considerarem as articulações entre a complexidade da tarefa e do objeto, outros graus de dificuldade também podem ser introduzidos, de modo que não existem padrões fixos de complexidade. 35 O mesmo descritor, dependendo do texto escolhido e do tipo de tarefa solicitada, pode trazer graus de dificuldade diferentes. Por exemplo, quando se solicita que o leitor localize uma informação no texto, a tarefa poderá ser mais ou menos difícil, dependendo da complexidade desse texto e do tipo de questão proposta. Matriz de Matemática Existe um razoável consenso entre os professores que ensinam Matemática de que a resolução de problemas deve ser tomada como eixo norteador das atividades dessa área de conhecimento. Tal consenso se deve ao fato de que a resolução de problemas possibilita o desenvolvimento das capacidades de observação, estabelecimento de relações, comunicação (diferentes linguagens), argumentação e validação de processos. Além disso, estimula formas de raciocínio como intuição, indução, dedução e estimativa. Essa opção traz implícita a convicção de que o conhecimento matemático ganha significado quando os alunos têm situações desafiadoras para resolver e trabalham para desenvolver estratégias de resolução. Tudo isso se contrapõe a um ensino de Matemática limitado a processos que têm como finalidade a simples memorização de regras e técnicas. Dessa forma, os instrumentos de avaliação devem também contemplar a opção pedagógica pela solução de problemas, exigindo explicações, justificativas e argumentações orais, uma vez que estas revelam aspectos do raciocínio que, muitas vezes, não ficam explícitos nas avaliações escritas. Sob esse aspecto, é evidente que o desempenho dos alunos em uma prova com questões de múltipla escolha não fornece ao professor indicações de todas as competências desenvolvidas nas aulas de Matemática. Por esse motivo, a Matriz de Referência de Matemática do Saeb é um documento que visa identificar as competências em conteúdos matemáticos desenvolvidas nos Ensinos Fundamental e Médio, passíveis de serem verificadas por meio de avaliações escritas. Essa Matriz não pode, no entanto, ser interpretada como um conjunto de indicações que norteará as estratégias de ensino nas escolas, papel reservado a parâmetros, currículos e diretrizes curriculares. No processo de elaboração dos itens do Saeb, é levado em conta que, em última análise, podemos dizer que um aluno aprendeu uma noção quando ele é capaz de utilizá-la para resolver um problema diferente daquele que deu origem à construção da noção, quando questiona as resoluções efetuadas e as respostas encontradas. Dessa forma, a prova busca constituir-se, prioritariamente, de situações em que a resolução de problemas seja significativa para o aluno. Por problemas significativos para o aluno entendem-se situações que permitam a esse aluno “recontextualizar” os conhecimentos que foram “descontextualizados” por ocasião do seu processo de aprendizagem. Ao contrário da situação-problema, cuja utilização está estreitamente ligada a situações de aprendizagem, os problemas significativos têm por objetivo verificar em que medida essa aprendizagem foi efetivamente realizada. Essa opção pela resolução de problemas 36 significativos não exclui totalmente a possibilidade da proposição de alguns itens com o objetivo de avaliar se o aluno tem domínio de determinadas técnicas. Para saber mais sobre os descritores de Matemática, que são em maior número, acesse: � Portal do Inep. Disponível em: <http://portal.inep.gov.br/web/guest/educacao- basica/saeb/matrizes-e-escalas>. Acesso em: fev. 2018. Composição dos testes Para cumprir a sua função de avaliar o ensino oferecido pelas escolas de educação básica, o Saeb precisa contemplar as muitas especificidades de cada uma das duas competências (leitura e matemática) avaliadas. Isso exige a inclusão de muitas questões nos testes. De 1995 até 2005, em torno de 150 itens eram incluídos nos testes, número grande demais para ser respondido por um único aluno. Para contornar esse problema, o Saeb utiliza uma técnica denominada Blocos Balanceados Incompletos (BIB), que permite montar testes de tamanho adequado ao tempo disponível, mas com itens comuns. Dessa forma, diferentes alunos de um mesmo ciclo do Saeb fazem provas diferentes, mas que têm entre si itens comuns e que, no seu conjunto, contemplam todas as especificidades da competência considerada. Ciclos contíguos do Saeb também têm itens em comum. Até 2005, 26 cadernos de provas diferentes eram utilizados, como podemos ver na tabela a seguir. A partir de 2005, com a criação da Prova Brasil, outros planejamentos passaram a ser utilizados. Tabela 6 – Delineamento de blocos incompletos balanceados (BIB) caderno primeiro bloco segundo bloco terceiro bloco caderno primeiro bloco segundo bloco terceiro bloco 1 1 2 5 14 1 3 8 2 2 3 6 15 2 4 9 3 3 4 7 16 3 5 10 4 4 5 8 17 4 6 11 5 5 6 9 18 5 7 12 6 6 7 10 19 6 8 13 7 7 8 11 20 7 9 1 37 caderno primeiro bloco segundo bloco terceiro bloco caderno primeiro bloco segundo bloco terceiro bloco 8 8 9 12 21 8 10 2 9 9 10 13 22 9 11 3 10 10 11 1 23 10 12 4 11 11 12 2 24 11 13 5 12 12 13 3 25 12 1 6 13 13 1 4 26 13 2 7 Fonte: Inep(2006). Escolas e alunos avaliados Embora a participação no Saeb seja voluntária, atualmente todos os estados brasileiros cooperam. Respondem aos testes os alunos presentes na escola no dia da aplicação da avaliação, de turmas da quarta série (quinto ano) e oitava série (nono ano) do ensino fundamental e do terceiro ano do ensino médio de uma amostra de escolas públicas. A inclusão de uma escola na amostra segue o plano amostral elaborado por técnicas estatísticas recomendadas pela literatura. Desde 2001, o plano amostral tem as mesmas linhas estruturais. Na primeira etapa desse plano amostral, são selecionadas as escolas que participarão do Saeb. Na segunda etapa, são selecionadas as turmas da escola que participarão da avaliação. Todos os alunos das turmas escolhidas são testados. Desse modo, a classe é a unidade amostral elementar. Com o objetivo de conseguir um maior espalhamento, escolas com uma ou duas turmas regulares na série têm apenas uma turma selecionada, enquanto escolas com três ou mais turmas regulares têm duas turmas selecionadas (Inep, 2001). Prova Brasil A partir de 2005, o Inep passou a aplicar os testes do Saeb a alunos de 5º e 9º anos do ensino fundamental público de todas as escolas das redes estaduais, municipais e federais, das áreas rural e urbana, com mais de 20 alunos matriculados na série avaliada. Isso implicou a quase universalização do Saeb. 38 Para evidenciar esse novo escopo, o Inep passou a utilizar a denominação Avaliação Nacional de Rendimento Escolar (Anresc), com nome fantasia de Prova Brasil, para os testes aplicados. Também mudou a denominação do Saeb para Aneb (Avaliação Nacional da Educação Básica). Nesse novo formato, o nome Saeb passou a denominar uma estrutura geral que abrange os vários tipos de avaliações relativas à educação básica. Motivação A criação da Prova Brasil resultou de uma crítica recorrente feita ao Saeb. Segundo a visão de alguns críticos, o Saeb não atendia às necessidades de escolas específicas e, portanto, não teria utilidade pedagógica. Em outras palavras, como a maioria das escolas nãoera avaliada, os resultados obtidos não eram vistos como representativos da realidade de uma escola específica. Isso ensejava a desconsideração das suas conclusões. Com a produção de resultados para cada escola, tornou-se necessário buscar então explicações para os resultados dos alunos de cada escola. A Prova Brasil atendeu também àqueles que defendem a ideia de que as organizações públicas devem prestar contas das suas ações à sociedade rotineiramente. De posse dos resultados da Prova Brasil, cada escola pode mostrar e explicar aos grupos sociais a que atende como está o aprendizado dos seus alunos. Com o uso das medidas de aprendizado obtidas por meio da Prova Brasil na construção do Índice de Desenvolvimento da Educação Básica (Ideb), a ideia de que os resultados podem ser entendidos como registros do aprendizado dos alunos entrou, definitivamente, no debate educacional brasileiro. 39 Características O desenho da Prova Brasil é semelhante ao do Saeb. A partir da edição de 2007, os alunos avaliados respondem a testes de duas disciplinas: Língua Portuguesa e Matemática. A Prova Brasil é estruturada da seguinte maneira: Tabela 7 – Estrutura da Prova Brasil. ano Português Matemática organização 5° ano 7 blocos 11 itens por bloco 7 blocos 11 itens por bloco � 21 cadernos de provas diferentes; � cada aluno responde a 1 caderno contendo 2 blocos de português e 2 blocos de matemática e � cada aluno responde 22 itens de cada disciplina. 9° ano 7 blocos 13 itens por bloco 7 blocos 13 itens por bloco � 21 cadernos de provas diferentes; � cada aluno responde a 1 caderno contendo 2 blocos de português e 2 blocos de matemática e � cada aluno responde 26 itens de cada disciplina. A cada novo ciclo da Prova Brasil, novas escolas têm sido incluídas, expandindo-se assim, progressivamente, o número de alunos que potencialmente podem fazer a prova. Hoje a Prova Brasil é um levantamento quase censitário das escolas públicas. No entanto, como não inclui as escolas privadas, fornece um quadro mais parcial do que aquele produzido pelo Saeb acerca do ensino fundamental brasileiro. 40 Resultados As tabelas a seguir nos mostram o número de escolas estaduais ou municipais com mais de 15 alunos que atingiram os níveis “adequado” e “avançado” entre as que fizeram cada ciclo da Prova Brasil. Tabela 8 – Percentual de alunos de escolas estaduais, municipais e federais acima do ponto de referência adequado em Leitura e Matemática nos testes da Prova Brasil (2005-2015). ano 4ª série 8ª série Matemática Leitura Matemática Leitura 2005 20,4 29,1 12,9 19,4 2007 21,5 25,4 9,4 15,7 2009 30,2 31,6 10,6 22,4 2011 33,3 37,1 12,5 23,1 2013 36,2 41,5 12,0 24,8 2015 40,1 51,7 14,0 29,9 Fonte: Elaboração baseada nos microdados da Prova Brasil 2007 a 2015. Tabela 9 – Número de escolas estaduais, municipais ou federais com mais de 70% de seus alunos acima do ponto de corte nos diferentes ciclos da Prova Brasil ano 5º ano Matemática 5º ano Leitura 9º ano Matemática 9º ano Leitura 2005 21 (0,1%) 155 (0,5%) 13 (0,1%) 8 (0,0%) 2007 260 (0,7%) 303 (0,8%) 35 (0,1%) 28 (0,1%) 2009 540 (1,2%) 321 (0,7%) 16 (0,05%) 19 (0,1%) 2011 1.131(2,8%) 958 (2,3%) 38 (0,1%) 49 (0,2%) 2013 935 (2,4%) 1.197 (3,0%) 17 (0,1%) 39 (0,1%) 2015 1.573 (4,1%) 3.069 (7,9%) 36 (0,1%) 84 (0,3%) Fonte: Elaboração baseada nos microdados divulgados pela Prova Brasil. 41 Como podemos notar, ainda é diminuto o número de escolas que atingiram o patamar estabelecido. No entanto, devemos observar que houve melhora a partir de 2005, quando a Prova Brasil teve a sua primeira edição. Além disso, a situação da oitava série é sistematicamente pior do que a da quarta série. Relevância pedagógica A instituição da Prova Brasil criou necessidades novas, ainda não completamente atendidas. Como o seu o resultado é enviado a cada escola, tornou-se necessário produzir material que permita a essas escolas dar sentido pedagógico e instrucional aos resultados obtidos. Essa necessidade não estava presente quando apenas o Saeb era realizado e destinado apenas às redes de ensino que, por isso, nos seus relatórios podiam usar linguagem mais acadêmica e sofisticada. Muitas iniciativas têm sido realizadas para suprir essas novas necessidades. O Inep envia um cartaz com uma síntese dos resultados da escola e alguma informação para a sua contextualização. Recentemente, o movimento Todos pela Educação, em parceira com o Inep e a Secretaria de Educação Básica do MEC, produziu documentos com orientações para o estudo da Prova Brasil (INEP, 2009a; 2009b). O objetivo de tais documentos é explicar o que são as matrizes de referência, como são construídos os itens avaliados nas provas, como deve ser feita a interpretação pedagógica das escalas de proficiência, alguns exemplos de questões, etc. O estudo desses documentos permitiria aos professores saber quais habilidades devem ser desenvolvidas no ensino fundamental até o 5º e o 9º anos. Apesar desses esforços, ainda há muito a ser feito nessa área. Uma dificuldade estrutural reside no fato de a análise dos dados da Prova Brasil exige conhecimentos e práticas que não estão disseminados na maioria das escolas. Desse modo, dar relevância pedagógica à Prova Brasil constitui ainda objetivo a ser alcançado. Análise crítica Com a implementação da Prova Brasil, o Saeb perdeu a proeminência. Nesse novo quadro, apenas a qualidade do ensino das escolas públicas é avaliada. As escolas privadas de ensino fundamental não são avaliadas de nenhuma forma, apesar do que estabelece o artigo 209 da Constituição: “Art. 209. O ensino é livre à iniciativa privada, atendidas as seguintes condições: I - cumprimento das normas gerais da educação nacional; II - autorização e avaliação de qualidade pelo Poder Público.” 42 A Prova Brasil avalia apenas o ensino fundamental. Embora o ensino médio ainda seja avaliado por meio do Enem, como esse exame é voluntário, os seus resultados não podem ser usados como descritivos de toda a realidade desse estágio de ensino. Assim sendo, com a perda de importância do Saeb, o País deixou de conhecer a evolução da educação básica como um todo, ou seja, ganhou em profundidade no estrato, onde estão a maioria dos alunos, mas perdeu em representatividade. Para a realização da Prova Brasil, com base na informação fornecida pelas escolas no Censo Escolar, os responsáveis pela organização enviam um teste nominalmente identificado a todos os alunos matriculados nas escolas selecionadas. No entanto, ainda não há um controle das ausências dos alunos no dia de aplicação da Prova Brasil. Não se sabe se essas ausências são intencionais, ocasionais ou se devem-se, simplesmente, ao fato de as escolas não terem preenchido corretamente o Censo Escolar. A tabela a seguir nos apresenta o número e o percentual de alunos que estiveram presentes e ausentes no teste realizado no ano de 2009. Como podemos observar, os percentuais de ausência são grandes o suficiente para que os resultados obtidos possam ser questionados, principalmente na oitava série. Não há estudos de caracterização dos ausentes que permitam identificar o perfil dos alunos ausentes e, consequentemente, validar os resultados obtidos. Tabela 10 – Número de alunos presentes e ausentes na Prova Brasil 2009 série SITUAÇÃO total ausente presente 4a 458,888 2,568,638 3,027,526 15.2% 84.8% 8a 723,443 2,020,975 2,744,418 26.4% 73.6% Fonte: Elaboração baseada nos microdados divulgados pela Prova Brasil. O número total de itens aplicados diminuiu, consideravelmente, do Saeb para a Prova Brasil. O eventual impacto dessa diminuição na qualidade do diagnóstico é uma questão de pesquisa ainda em aberto. Também o questionário contextual foi diminuído,impedindo a contextualização dos resultados por dimensões que podiam ser medidas anteriormente. A justificativa para os questionários que vinham sendo utilizados no Saeb está em Franco et al. (2003) e a mudança do questionário não foi justificada. Finalmente, a Prova Brasil adotou a mesma matriz do Saeb, ao mesmo tempo em que se introduziu a comparação com outros países com a criação das metas do Ideb. No entanto, é 43 pouco enfatizado no debate educacional que o Pisa exige habilidades mais complexas nos seus testes de Leitura e Matemática do que a Prova Brasil. Em outras palavras, mesmo se o Brasil viesse a atingir as metas de desempenho colocadas para a Prova Brasil, os seus alunos não estariam com o mesmo nível de conhecimento de alunos de outros países medidos pelo Pisa. Escala de proficiência As notas dos alunos que fazem os testes do Saeb recebem o nome técnico de proficiências e são obtidas por meio do uso de um modelo da Teoria de Resposta ao Item – TRI (KLEIN, 2013). Essa técnica estatística considera os acertos nas questões, bem como usa a informação presente nos itens comuns aos diferentes testes e ciclos para atribuir aos alunos proficiências que são comparáveis entre as séries e os anos. Os valores dessas proficiências foram calculados, em 1997, fixando-se a média teórica das proficiências de todos os alunos da oitava série em 250 e o respectivo desvio-padrão em 50. Considerando que a escala das proficiências é única para as três séries (anos escolares) incluídas no Saeb, os alunos da quarta série do ensino fundamental têm, tipicamente, proficiências menores, e os do terceiro ano do ensino médio têm proficiências maiores do que as dos alunos da oitava série. No entanto, a variação das proficiências em cada série é significativa, o que resulta em grande interseção entre as distribuições das proficiências dos alunos das diferentes séries. Além disso, é importante ressaltarmos que, fruto de uma idiossincrasia técnica, as proficiências de Leitura em uma dada série são tipicamente maiores que as de Matemática. No entanto, um valor maior de proficiências em Leitura do que em Matemática não significa, necessariamente, que o aluno tem maior domínio da primeira. Construído e aplicado o teste, como vimos, a medida da competência, que recebe o nome técnico de “proficiência”, é obtida por meio do uso de modelos da TRI. Uma função matemática, denominada “curva de característica do item”, mostra como a probabilidade de acerto do item se associa à proficiência do examinando e à dificuldade do item. Desse modo, a probabilidade de acerto de um item aumenta com a proficiência do examinando e cai de acordo com a dificuldade do item. No Brasil, o modelo logístico usualmente preferido é o de três parâmetros da TRI, que é assim dividido: � parâmetro a – capta o poder de discriminação; � parâmetro b – representa a dificuldade e � parâmetro c – representa a taxa de acerto casual do item. 44 O modelo de dois parâmetros é, geralmente, usado com itens de respostas curtas, corrigidas apenas como acerto e erro, situação em que não há acerto casual. Já os modelos de crédito parcial são usados para questões abertas e redações. O gráfico a seguir nos mostra a curva do modelo de três parâmetros para um item que tem nível de dificuldade de 0,114, discriminação de 0,796 e acerto casual baixo, de 0,088. Essa função matemática representa a relação entre os dados empíricos, isto é, as respostas ao item e as qualidades não observadas, as proficiências latentes. O parâmetro de dificuldade b, representado pela linha vertical do gráfico, caminha para a direita ou para a esquerda, na curva de característica, conforme o nível de dificuldade cresce ou diminui. Já o parâmetro de discriminação do item a, representado pela linha tangente à curva, altera a inclinação da curva característica, captando o poder de discriminação do item. Por fim, o parâmetro de acerto casual do item c, representado pela linha horizontal na base do gráfico, apresenta a probabilidade de um acerto por pessoas sem nenhuma proficiência na matéria medida pela prova. Vejamos: Figura 2 – Curva característica de um item no modelo de três parâmetros da TRI Fonte: SOARES, 2009. No gráfico, os dados empíricos pelos círculos, cujo tamanho retrata a frequência relativa observada em cada ponto. O uso da TRI exige que o teste meça apenas um construto, a chamada hipótese de unidimensionalidade, que precisa ser verificada. Quando isso ocorre, pode-se estudar esse construto por meio de uma única medida síntese, não havendo necessidade de considerar qual foi a resposta dada a cada um dos itens do teste. Um ajuste dos dados ao modelo, adequado a situações reais, requer que o princípio da unidimensionalidade se aplique pelo menos aproximadamente. O pressuposto adicional da independência local implica a possibilidade de cada item ser tratado como um evento independente, o que requer que as respostas aos itens do teste sejam independentes do ponto de vista estatístico, depois de considerada a proficiência de cada 45 examinando. Em outras palavras, o modelo da TRI pressupõe que a resposta a um item do teste não deve determinar ou influenciar a resposta a qualquer outro item. Nessas condições, a probabilidade de obter qualquer conjunto de respostas de item, denominada independência local, é obtida pelo produto das probabilidades individuais dos itens. Isso permite a utilização do princípio da máxima verossimilhança para estimar a proficiência dos examinandos. Quando pode ser demonstrado que as respostas dos examinandos se ajustam ao modelo de resposta, entende-se que os parâmetros de cada item não dependem dos examinandos avaliados em determinada ocasião e também que as estimativas das proficiências não dependem dos itens aplicados em determinada ocasião. Da mesma forma, os procedimentos da verossimilhança acomodam bem a substituição, a eliminação e o acréscimo dos itens, assim como toleram bem respostas ausentes de itens que não foram resolvidos pelos alunos ou que não lhes foram apresentados. Finalmente, a TRI permite que testes diferentes aplicados a grupos distintos de alunos sejam organizados de forma que possam produzir proficiências comparáveis. Isso permite que os resultados de testes de anos diferentes possam ser comparados. Todos esses fatos justificam o amplo uso da TRI em processos de avaliação educacional, apesar das fortes hipóteses exigidas. Para saber mais sobre o modelo da TRI, leia: � HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. Newburry Park, Califórnia: Sage Publications Inc., 1991. A escala de proficiência na Prova Brasil, originalmente calculada por meio de desvios- padrão, é transformada para valores de 0 a 500 pontos. Como a escala de proficiência é a mesma para as diferentes edições da Prova, devido ao processo de equalização utilizado na análise dos testes, as variações na proficiência dos alunos de determinado ano escolar entre as edições refletem a melhora ou piora no aprendizado das coortes avaliadas.4 Além disso, como a mesma escala é usada para expressar os escores dos alunos dos diferentes anos escolares ou séries, os alunos do 5º ano têm, tipicamente, proficiências com valores mais baixos do que os alunos do 9º ano. 4 O processo de equalização supõe a inclusão de itens comuns nas edições dos testes e em etapas do ensino contíguas. Isso garante que uma escala única de medida das proficiências seja usada para acompanhar tanto os aprendizados dos alunos ao longo das edições bianuais do Saeb/Prova Brasil quanto os ganhos ocorridos ao longo da trajetória escolar dos estudantes. Para saber mais, acesse: Portal do Inep. Disponível em: <http://portal.inep.gov.br/web/saeb/aneb-e-anresc>. Acesso em: fev. 2018.46 Interpretação pedagógica da medida Consideremos a seguinte situação hipotética: um teste foi construído com tantos itens quantos necessários para captar toda a diversidade de tarefas que caracteriza, completamente, a competência considerada e foi aplicado a um grande número de alunos que tenham todos os níveis na respectiva competência. Nesse caso, dizemos que as proficiências desses alunos definem uma escala de medida da competência. Usualmente, essa escala é um continuum, mas, por opções metodológicas, varia usualmente entre menos três e três (-3 e 3), limites que podem ser transformados em quaisquer outros valores julgados mais convenientes. Uma escala só é útil para finalidade de diagnóstico ou de ação pedagógica se os seus diferentes pontos tiverem uma interpretação pedagógica. A interpretação começa com a construção de um mapa de itens, que consiste em associar cada item do teste a um ponto da escala utilizada para medir as proficiências dos alunos. Como mostrado pela curva de característica, a relação entre um item e uma escala é probabilística e, portanto, muitos pontos da escala podem ser escolhidos como localização de um item. É bastante frequente tomar como ponto de locação de um item a proficiência em que a probabilidade de acertar o item seja de 65%. A figura a seguir nos traz a expressão gráfica de um mapa de itens, mostrando que tanto os alunos quanto os itens estão referenciados a pontos da escala. Figura 3 – Mapa de itens Fonte: SOARES, 2009. Após a construção desse mapa de itens, a interpretação pedagógica se baseia no seguinte princípio: alunos com proficiência em um dado valor são capazes de realizar tarefas implícitas presentes nos itens que estão localizados em valores menores do que os da sua proficiência. Existem várias nuances para a aplicação prática desse princípio. A referência clássica é o artigo de Beaton e Allen (1992). Os detalhes podem ser encontrados nas várias interpretações publicadas da escala do Saeb, principalmente em Fontanive, Elliot e Klein (2007). Os materiais de divulgação do Saresp também apresentam a interpretação da escala do Saeb com itens que foram utilizados nesse exame. 47 Para saber mais sobre o Saresp, acesse: � Saresp. Disponível em: <http://saresp.fde.sp.gov.br/2017>. Acesso em: fev. 2018. Interpretação normativa A interpretação que acabamos de apresentar, embora fundamental para orientar intervenções pedagógicas, não explicita se as proficiências obtidas pelo grupo de alunos analisados são ou não adequadas, considerando a trajetória escolar dos alunos testados. Isso exige a produção de outra interpretação, usualmente apresentada por meio da escolha de níveis, ou seja, pela divisão da escala de medida em intervalos a que são atribuídos significados pedagógicos e normativos. Há muita diversidade de opinião sobre o número e a denominação dos níveis a serem usados. Para este conteúdo, escolhemos quatro níveis, cujas denominações e seus respectivos significados normativos são os seguintes: � abaixo do básico – o aluno demonstra um domínio rudimentar da competência medida; � básico – o aluno demonstra um domínio apenas parcial da competência; � proficiente – o aluno demonstra dominar os conteúdos e habilidades esperados para o seu estágio escolar e � avançado – o aluno domina a competência de forma especialmente completa, ultrapassando o esperado para o seu estágio escolar. A opção por quatro níveis reflete a necessidade de orientar a organização de atividades a serem oferecidas aos alunos após a análise dos dados obtidos em uma avaliação. O uso de níveis permite dar às medidas das proficiências dos alunos uma utilidade pedagógica, e não apenas gerencial. Os alunos que estão no nível abaixo do básico precisam de acompanhamento imediato para que a situação em que se encontram não se cristalize. Já os alunos do nível proficiente precisam de atividades que envolvam desafios, como olimpíadas, pois oportunizam a criação de um grupo com desempenho avançado. As atividades adequadas aos alunos do nível básico exigem uma análise mais detalhada de cada situação, considerando o nível de ensino e as preferências individuais desses alunos. Alguns estão nesse nível por entenderem que, em relação àquela competência, não precisam de desempenho além do caracterizado pelo nível básico. No entanto, na maioria das vezes, precisam melhorar o seu desempenho, merecendo atividades de consolidação. O problema que se coloca, entretanto, é a escolha de pontos de corte que definam, exatamente, a localização desses níveis na escala de proficiência. A metodologia escolhida para decidir os pontos de corte no Saresp é apresentada em seguida. 48 Há uma expressiva literatura, criada a partir da proposta de Angoff (1971), para a escolha de níveis de aprendizado em avaliações educacionais de larga escala. Todos os métodos recomendam que a escolha dos pontos de corte deve ser feita utilizando-se, concomitantemente, o mapa de itens e as considerações substantivas sobre o significado pedagógico de cada item, além da organização do ensino. Embora os dados para esse tipo de pesquisa estejam disponíveis, ainda não se organizou, no Brasil, um esforço de interpretação da escala do Saeb como recomendado por essa literatura, sintetizada por Cizek (2001). Diante disso, Soares (2009) escolheu pontos de corte para o Saresp de forma empírica e comparativa. O autor escolheu uma distribuição de referência para as proficiências dos alunos e, a partir dessa distribuição, fixou os pontos de corte que definiram os níveis. A adoção de uma distribuição de referência traz, implicitamente, o reconhecimento prático de que as proficiências dos alunos de um sistema educacional assumirão valores diversos. No entanto, os limites da variação das proficiências devem estar em valores compatíveis com as necessidades de participação social dos alunos. Em outras palavras, quando se monitora a competência cognitiva dos alunos, não se pretende produzir igualdade, mas dar a todos a possibilidade de inserção em diferentes formatos. Diferentes pessoas terão diferentes competências em níveis mais ou menos altos; todos terão, entretanto, domínio das competências que os permitam desenvolver-se como cidadãos. Distribuição de referência Para a definição dos níveis de proficiência, escolhemos a distribuição de referência que considera a comparação entre o desempenho dos alunos brasileiros e o desempenho dos alunos de um grupo de países participantes do Programme for International Student Assessment (Pisa) – Programa Internacional de Avaliação de Estudantes. 49 Vejamos, a seguir, um exemplo de comparação entre o desempenho ideal e o desempenho dos alunos da 8ª série do ensino fundamental que fizeram o teste de Matemática: Figura 4 – Comparação entre o desempenho ideal e o desempenho dos alunos da 8ª série do ensino fundamental que fizeram o teste de Matemática (Saeb, 2003) Fonte: SOARES, 2009. Para saber mais sobre o a distribuição de referência utilizada, leia: � SOARES, José Francisco; DELGADO, Victor Maia Senna. Medida das desigualdades de aprendizado entre estudantes de Ensino Fundamental. Estudos em Avaliação Educacional, v. 27, n. 66, p. 754-780, 2016. Obtida a distribuição de referência, os níveis foram estabelecidos da seguinte maneira: o ponto de corte que define o nível proficiente foi fixado no mesmo valor escolhido pelo movimento Todos pela Educação para o seu indicador, cuja equipe técnica escolheu o ponto acima do qual deveriam estar 70% dos alunos no momento em que a educação brasileira pudesse ser considerada de qualidade. Embora essa escolha tenha sido feita utilizando-se a experiência dos membros da comissão e as interpretações já feitas pela escala do Saeb, os pontos obtidos são muito próximos do percentil 70 da distribuiçãode referência escolhida. 50 Para saber mais sobre o valor escolhido pelo Movimento Todos pela Educação como ponto de corte que define o nível proficiente, acesse: � Todos pela Educação. Disponível em: <https://www.todospelaeducacao.org.br/>. Acesso em: fev. 2018. A definição de apenas um ponto de corte pode ensejar atitudes pouco razoáveis. Por exemplo, os alunos que estão muito abaixo desse ponto não receberão atenção devida nas suas escolas, já que será quase impossível levá-los até o nível desejado em curto prazo. Por outro lado, todas as escolas devem ter excelência acadêmica, o que implica que alguns dos seus alunos tenham um desempenho que ultrapasse o esperado. Diante dessas considerações, usuais em muitos outros sistemas de avaliação no mundo, optou-se por criar para o Saresp mais dois pontos de corte. Os dois outros pontos de corte foram escolhidos de forma ad-hoc, de modo a colocar 25% dos alunos no nível avançado e 25% no nível básico. Desse modo, os pontos de corte são aqueles que definem, na distribuição de referência, intervalos com frequência de alunos de 5%, 25%, 45% e 25%. Depois de todas essas considerações, os pontos de corte adotados em São Paulo ficaram definidos como mostram as tabelas a seguir: Tabela 11 – Níveis Saresp de desempenho para Leitura nível 4ª série EF 8ª série EF 3º ano EM abaixo do básico menor que 150 menor que 200 menor que 250 básico entre 150 e 200 entre 200 e 275 entre 250 e 300 adequado entre 200 e 250 entre 275 e 325 entre 300 e 375 avançado acima de 250 acima de 325 acima de 375 Fonte: SOARES, 2009. 51 Tabela 12 – Níveis Saresp de desempenho para Matemática nível 4ª série EF 8ª série EF 3º ano EM abaixo do básico menor que 175 menor que 225 menor que 275 básico entre 175 e 225 entre 225 e 300 entre 275 e 350 adequado entre 225 e 275 entre 300 e 350 entre 350 e 400 avançado acima de 275 acima de 350 acima de 400 Fonte: SOARES, 2009. Indicadores de qualidade A seguir, apresentamos os dados obtidos pelos testes do Saeb (1995 -2005) e pela Prova Brasil (2005-2009) quanto aos indicadores de qualidade. Tabela 13 – Percentual de alunos de escolas estaduais, municipais e privadas urbanas acima do ponto de referência adequado em Leitura e Matemática nos testes do Saeb (1995-2005) ano 4ª série 8ª série Matemática Leitura Matemática Leitura 1995 19,0 39,3 16,9 37,7 1997 22,3 36,7 17,1 32,3 1999 15,1 26,0 13,2 18,6 2001 16,1 25,6 13,4 21,8 2003 16,7 28,0 14,7 20,0 2005 20,4 29,1 12,9 19,4 Fonte: Baseado nos microdados do Saeb 1995-2005. 52 Tabela 14 – Número de Escolas estaduais ou municipais com mais de 70% de seus alunos acima do ponto de corte nos diferentes ciclos da Prova Brasil ano 5º ano Matemática 5º ano Leitura 9º ano Matemática 9º ano Leitura 2005 21 (0,1%) 155 (0,5%) 13 (0,1%) 8 (0,0%) 2007 265 (0,7%) 307 (0,8%) 35 (0,1%) 28 (0,1%) 2009 1447 (3,3%) 974 (2,2%) 54 (0,2%) 66 (0,2%) Fonte: Baseado nos microdados divulgados pela Prova Brasil. Indicadores de desigualdade As desigualdades são estudadas por meio da relação entre grupos sociais. Ao se medir o aprendizado de um conjunto de estudantes, não se espera observar igualdade. Ao contrário, espera-se observar variações aleatórias. Assim sendo, quando se comparam dois alunos, não é possível saber se a eventual diferença de aprendizado é uma simples variação ou é fruto de uma desigualdade sistemática. Para esclarecer isso, precisamos comparar o aprendizado dos alunos segundo grupos definidos por diversas variáveis, tais como: sexo, raça/cor, região do País, local de moradia, nível socioeconômico ou outras características de interesse. Em uma situação de igualdade de oportunidades, tratamento e resultados educacionais, as variações entre esses grupos seriam iguais. O conceito de equidade pode ser interpretado em dimensões relativas à equidade de acesso (igualdade de oportunidade), equidade no ambiente de aprendizagem (igualdade de tratamento), equidade na produção (igualdade de desempenho ou resultados) e equidade na realização. A visão pluralista de equidade entende que todas essas dimensões devem ser consideradas. Para saber mais sobre as diversas abordagens teóricas e metodológicas do conceito de equidade, leia: � SIMIELLI, L. E. R. Equidade educacional no Brasil: análise das oportunidades educacionais em 2001 e 2011. 133 f. Tese (Doutorado em Administração Pública e Governo) – Escola de Administração de Empresas de São Paulo. São Paulo, 2015. 53 Para analisar os indicadores de desigualdade, tomamos como referência as medidas do aprendizado em Leitura e Matemática para os grupos sociais de interesse. A forma de medir a diferença de resultado entre esses grupos obedeceu ao nível de mensuração das variáveis escolhidas, que foram as seguintes: � sexo; � raça/cor e � faixas de nível socioeconômico. Como essas variáveis são categóricas, foi possível determinarmos a distância entre as distribuições da medida de qualidade entre os grupos. A desigualdade educacional foi então observada pelo hiato de desempenho entre os grupos sociais, como veremos a seguir. Diferenças segundo o sexo do aluno As tabelas a seguir mostram as médias de proficiência em Leitura e Matemática segundo a variável sexo e as diferenças entre os grupos. Vejamos: Tabela 15 – Média das proficiências em Leitura dos estudantes por ano de realização da Prova Brasil e sexo ano escolar edição da Prova Brasil masculino (M) feminino (F) diferença (F - M) 5° ano 2005 169,92 178,97 9,06 2007 170,00 179,90 9,90 2009 177,91 188,12 10,21 2011 182,37 195,55 13,18 2013 187,93 200,60 12,67 9° ano 2005 220,20 228,74 8,54 2007 222,51 235,05 12,55 2009 230,75 244,72 13,97 2011 231,39 246,49 15,10 2013 231,80 247,67 15,87 Fonte: Alves, Soares, Xavier, 2016. 54 Tabela 16 – Média das proficiências em Matemática por ano de realização da Prova Brasil e sexo ano escolar edição da Prova Brasil masculino (M) feminino (F) diferença (F - M) 5° ano 2005 181,63 181,46 -0,17 2007 192,80 191,56 -1,24 2009 203,78 202,58 -1,20 2011 209,08 206,41 -2,67 2013 210,39 209,75 -0,64 9° ano 2005 243,79 236,97 -6,82 2007 245,25 236,97 -8,30 2009 246,52 236,94 -9,58 2011 249,25 242,57 -6,68 2013 247,21 242,13 -5,07 Fonte: Alves, Soares, Xavier, 2016. Como podemos observar, em Leitura, houve melhora nas médias tanto do 5º quanto do 9º ano, de 2005 a 2013. No entanto, as meninas estão claramente em patamar superior de aprendizado e as diferenças cresceram. Em Matemática, também houve melhora das médias, mas o comportamento é diferente: os meninos estão em vantagem, sendo que as diferenças são maiores no 9º ano. Vale registrarmos, entretanto, que o hiato das meninas no 5º ano, em Matemática, é relativamente pequeno, inferior a 10 pontos. Na escala da Prova Brasil, esse não é um valor substancial, que não possa ser equalizado. O hiato de desempenho entre meninas e meninos é um resultado consistente com a literatura educacional sobre diferenças de gênero. Vários estudos internacionais de avaliação concordam com o fato de que as alunas têm um desempenho em Leitura melhor que os alunos, enquanto que, em Matemática, a diferença entre os gêneros é menos clara e mais instável (EURYDICE, 2010). 55 Diferenças segundo a raça/cor do aluno No questionário contextual da Prova Brasil, cada aluno deve escolher entre cinco categorias de raça/cor: branco, pardo, preto, amarelo e indígena. Como são poucos os alunos que se autodeclaram amarelos ou indígenas (cerca de 5%), optou-se por destacar somente as diferenças entre brancos, pardos e pretos. Nas tabelas a seguir, há duas diferenças que precisam ser analisadas: entre brancos e pretos; e entre pardos e pretos. Vejamos: Tabela17 – Média das proficiências em Leitura por ano de realização da Prova Brasil e raça/cor ano escolar edição da Prova Brasil branco (B) pardo (Pd) preto (Pt) diferença (Pt - B) 5° ano 2005 180,29 174,26 260.72 -19,58 2007 179,37 175,08 162,77 -16,60 2009 187,77 182,87 170,48 -17,29 2011 195,90 188,09 176,23 -19,66 2013 202,19 194,84 180,51 -21,68 9° ano 2005 229,92 222,60 216,67 -13,25 2007 236,33 225,87 220,01 -16,32 2009 245,90 235,37 228,30 -17,60 2011 248,37 236,81 230,28 -18,09 2013 248,87 238,34 230,21 -18,67 Fonte: Alves, Soares, Xavier, 2016. 56 Tabela 18 – Média das proficiências em Matemática por ano de realização da Prova Brasil e raça/cor ano escolar edição da Prova Brasil branco (B) pardo (Pd) preto (Pt) diferença (Pt - B) 5° ano 2005 187,49 181,30 168,74 -18,76 2007 197,23 192,14 179,51 -17,72 2009 208,91 203,14 189,37 -19,54 2011 215,78 206,83 194,20 -21,59 2013 218,46 210,99 195,50 -22,96 9° ano 2005 246,78 237,42 231,24 -15,53 2007 248,89 236,87 231,45 -17,43 2009 250,23 237,63 232,56 -17,67 2011 255,15 242,52 236,65 -18,50 2013 253,43 242,57 235,52 -17,91 Fonte: Alves, Soares, Xavier, 2016. Como podemos observar, os alunos que se autodeclaram pretos, mesmo apresentando melhora da proficiência, sobretudo no 5º ano, têm desempenho pior do que os que se autodeclaram brancos ou pardos. A distância entre pardos e pretos, embora substancial, é menor do que a distância entre brancos e pretos, cuja diferença está destacada na última coluna da tabela (Pt-B). Socialmente, o mais preocupante é o fato de as diferenças não terem diminuído ao longo dos anos. Vale destacarmos que a distância entre pretos e brancos é mais expressiva do que a observada entre meninas e meninos. O aluno preto está em desvantagem equivalente a quase um ano de aprendizado, embora esteja cursando a mesma série que o aluno branco. 57 Diferenças segundo as faixas de nível socioeconômico do aluno A relação entre nível socioeconômico (NSE) e sucesso escolar é a mais explorada desde os estudos precursores de Coleman (1966) e também de Bourdieu e Passeron (2008). A medida do NSE do aluno sintetiza vários itens do questionário contextual relacionados à escolaridade e ao setor ocupacional dos pais do aluno, à posse de itens de conforto e à contratação de empregados domésticos no domicílio. Para a estimação do NSE foram utilizados os itens dos questionários de avaliações realizadas pelo Inep: o Saeb (inclui a Prova Brasil) de 2005 a 2013, e o Exame Nacional do Ensino Médio (Enem) de 2007 a 2013. A estimação do NSE com os dados em conjunto resultou em uma escala representativa do espectro de escolas brasileiras (públicas e privadas) e comparável entre edições. As tabelas a seguir mostram as médias dos estudantes agregados pelo seu respectivo nível socioeconômico em quintis. Tabela 19 – Média das proficiências em Leitura na Prova Brasil por ano de realização da Prova Brasil e Nível Socioeconômico do aluno (NSE) ano escolar edição da Prova Brasil quintis do nível socioeconômico do aluno diferença (5-1) 1 2 3 4 5 mais baixo mais alto 5° ano 2005 167,99 173,20 175,81 279,76 188,08 20,08 2007 163,65 170,42 174,84 179,57 186,18 22,53 2009 165,12 176,14 182,51 189,90 197,08 31,96 2011 169,46 179,73 186,58 194,76 202,41 32,95 2013 167,93 180,41 189,35 200,46 209,11 41,19 9° ano 2005 217,95 222,80 225,73 231,06 238,43 20,48 2007 217,16 224,99 229,54 234,93 241,84 24,68 2009 223,53 233,24 238,10 244,07 250,49 26,96 2011 221,12 231,28 237,63 244,54 251,09 29,97 2013 222,57 231,01 237,12 243,82 248,66 26,10 Fonte: Alves, Soares, Xavier, 2016. 58 Tabela 20 – Média das proficiências em Matemática na Prova Brasil por ano de realização da Prova Brasil e Nível Socioeconômico do aluno (NSE) ano escolar edição da Prova Brasil quintis do nível socioeconômico do aluno diferença (5-1) 1 2 3 4 5 mais baixo mais alto 5° ano 2005 175,32 180,30 183,04 186,99 195,09 19,77 2007 180,20 187,15 192,23 197,67 205,17 24,97 2009 182,86 195,44 202,97 211,29 219,65 36,79 2011 185,60 197,04 205,22 214,64 224,32 38,72 2013 180,99 194,94 204,84 216,75 227,28 46,29 9° ano 2005 231,59 237,86 241,76 248,14 257,57 25,98 2007 227,07 235,51 241,05 247,40 255,88 28,81 2009 225,38 234,77 240,77 247,64 256,53 31,15 2011 226,45 236,80 243,48 250,68 259,03 32,57 2013 226,24 234,23 240.62 247,81 255,23 28,99 Fonte: Alves, Soares, Xavier, 2016. Na coluna “diferença (5-1)”, podemos observar o hiato entre os alunos com os maiores e menores valores de NSE. As diferenças são enormes, e todo o avanço no aprendizado médio dos estudantes brasileiros não mudou em nada as desigualdades. Os alunos com menor NSE (1º quintil) apresentam médias muito semelhantes em todas as edições da Prova Brasil. Os resultados mostram a importância de colocar-se na pauta do debate educacional a diminuição das diferenças encontradas. O hiato entre os alunos discriminados por grupos de NSE é o mais elevado observado até agora. Esse é um constrangimento real, extraescolar, que afeta diretamente as escolas e as salas de aula (BROOKE; SOARES, 2008). No entanto, o tamanho da diferença deve ser destacado. Em 2013, no 5º ano, tanto em Leitura quanto em Matemática, a desvantagem de um aluno com NSE 59 mais baixo é equivale a mais de dois anos de aprendizado, quando comparado a um aluno com NSE mais alto. Alunos com essa defasagem serão fortes candidatos a não concluírem o ensino médio ou não conseguirem avançar para o ensino superior. É importante relembrarmos que essas diferenças se referem a alunos matriculados em escolas públicas estaduais e municipais. Um hiato tão elevado sinaliza que as nossas escolas públicas são, em média, incapazes de garantir a igualdade de oportunidades. Diferenças segundo grupos definidos por múltiplas variáveis Normalmente, definimos o nível de desigualdade de um sistema como a força do peso da origem social sobre os resultados educacionais. No entanto, os mecanismos de produção dessas desigualdades são complexos, e as características de grupos se reforçam ou compensam desvantagens. Quando os grupos são definidos por múltiplos critérios, diferenças ainda mais acentuadas são observadas. As tabelas a seguir apresentam as médias de proficiência de grupos de alunos definidos por sexo, cor e quintis do NSE. Como todas as combinações dessas variáveis produziram muitos grupos, nas tabelas, são mostrados apenas os grupos entre os quais as diferenças são mais notáveis. 60 Vejamos a tabela que apresenta os resultados referentes à Leitura: Tabela 21 – Média das proficiências em Leitura por ano de realização da Prova Brasil grupos definidos por sexo, cor e NSE ano escolar edição da Prova Brasil A B C D E F G H diferença (E-D) 5° ano 2005 174,20 163,24 165,29 156,91 202,11 168,54 190,47 162,93 45,20 2007 168,37 161,94 159,47 155,04 200,36 174,00 188,20 165,42 45,32 2009 170,40 165,47 160,81 158,46 211,33 186,26 199,42 176,86 52,87 2011 176,92 171,17 163,67 160,63 218,94 195,23 204,79 181,45 58,31 2013 175,21 169,72 161,28 159,51 226,53 201,07 212,53 188,01 67,02 9° ano 2005 223,14 217,69 215,30 210,91 251,98 232,77 236,59 220,41 41,07 2007 223,51 218,03 212,80 208,39 257,67 239,53 239,46 220,47 49,29 2009 229,37 224,99 216,67 213,81 266,95 248,48 248,23 228,32 53,14 2011 229,21 225,71 214,25 213,04 268,38 251,12 249,65 229,21 55,33 2013 229,55 226,63 215,90 214,42 267,07 247,99 247,49 226,74 52,65 Fonte: Alves, Soares, Xavier, 2016. Grupos A = meninas brancas com NSE mais baixo E = meninas brancas com NSE mais alto B = meninas pretas com NSE mais baixo F = meninas pretas com NSE mais alto C = meninos brancos com NSE mais baixo G = meninos brancos com NSE maisalto D = meninos pretos com NSE mais baixo H = meninos pretos com NSE mais alto Nessa tabela, a coluna “diferença (E-D)” destaca as distâncias entre as meninas brancas com NSE mais alto (5º quintil) e os meninos pretos com NSE mais baixo (1º quintil). No 5º ano, a distância entre esses dois grupos é enorme e crescente. O mesmo padrão é observado no 9º ano, exceto em 2013, em que é observada uma pequena queda da diferença entre os grupos. 61 Vejamos, agora, a tabela referente às proficiências em Matemática: Tabela 22 – Média das proficiências em Matemática por ano de realização da Prova Brasil grupos definidos por sexo, cor e NSE ano escolar edição da Prova Brasil A B C D E F G H diferença (G-B) 5° ano 2005 177,73 167,26 177,33 168,99 202,60 171,78 202,52 173,41 35,26 2007 180,51 173,58 181,02 175,81 212,62 184,50 213,53 187,62 39,95 2009 183,76 177,96 183,40 180,25 227,39 200,15 228,73 202,21 50,76 2011 186,83 179,72 186,55 182,65 232,15 206,04 235,21 208,33 55,49 2013 183,80 177,95 177,76 176,58 236,96 209,88 238,08 210,87 60,14 9° ano 2005 231,57 224,48 238,24 231,16 262,15 239,90 264,64 242,53 40,16 2007 226,96 219,50 235,57 228,41 260,02 239,34 264,50 241,76 45,00 2009 223,72 217,83 233,30 228,45 260,91 239,31 266,07 243,61 48,24 2011 226,58 221,37 233,03 229,96 265,45 244,63 267,89 244,99 46,52 2013 225,90 222,04 231,37 229,08 262,46 241,95 263,80 241,54 41,76 Fonte: Alves, Soares, Xavier, 2016. Grupos A = meninas brancas com NSE mais baixo E = meninas brancas com NSE mais alto B = meninas pretas com NSE mais baixo F = meninas pretas com NSE mais alto C = meninos brancos com NSE mais baixo G = meninos brancos com NSE mais alto D = meninos pretos com NSE mais baixo H = meninos pretos com NSE mais alto Nessa tabela, a coluna “diferença (G-B)” destaca a distância entre meninos brancos com NSE mais alto e meninas pretas com NSE mais baixo, que têm, sistematicamente, desempenho pior em Matemática. As diferenças entre os grupos do 5º ano são crescentes ao longo do período analisado. No 9º ano, a tendência é de crescimento até 2009 e, depois, de queda. 62 Quase todas as distâncias entre os grupos são superiores a 40 pontos (dois anos de aprendizado) e algumas ultrapassam os 60 pontos. Isso significa que dois alunos matriculados na mesma série, mas diferentes em relação a sexo, cor e NSE, podem estar distantes ao equivalente a mais de três anos de aprendizado um do outro. No entanto, vale destacarmos que as diferenças entre NSE são aquelas que mais pesam para as distâncias verificadas nas tabelas apresentadas. Neste módulo, analisaremos, por meio de uma descrição educacional e estatística, o Índice de Desenvolvimento da Educação Básica (Ideb). Além disso, apresentaremos as sínteses dos resultados das avaliações realizadas por meio de duas plataformas: o portal Ideb Escola e o portal QEdu, que auxiliam na contextualização do cenário educacional brasileiro. Introdução A União, os estados e os municípios brasileiros estão usando, de modo cada vez mais frequente, o desempenho dos seus alunos em avaliações externas de aprendizagem para orientar as suas políticas educacionais. Esses resultados, por sua vez, têm sido sintetizados em indicadores globais de qualidade da educação, entre os quais o mais importante e influente é o Índice de Desenvolvimento da Educação Básica (Ideb), introduzido pelo Inep em 2006. O Ideb se tornou a forma privilegiada e, frequentemente, a única utilizada para analisar a qualidade da educação básica brasileira. Por esse motivo, tem tido grande e profunda influência no debate educacional brasileiro. A sua introdução colocou no centro desse debate a ideia de que, atualmente, os sistemas educacionais brasileiros devem ser avaliados não apenas pelos seus processos de ensino e gestão, mas sim, e principalmente, pelo aprendizado e pela trajetória escolar dos alunos. MÓDULO III – DESCRIÇÃO EDUCACIONAL E ESTATÍSTICA DO IDEB 64 A valorização dos resultados estava ausente nas análises até então dominantes da educação básica brasileira, que eram centradas na questão da expansão dos sistemas. Nessas abordagens, a solução para os problemas educacionais era sempre a expansão de algum aspecto dos sistemas educacionais: mais horas-aula, mais etapas obrigatórias, mais recursos, mais escolas e mais professores. O Ideb, sem questionar a necessidade de novos recursos e expansões, coloca o aprendizado e a regularidade na trajetória escolar dos alunos como elementos essenciais de um sistema educacional. A importância da consideração de resultados para a análise dos sistemas educacionais ficou ainda mais evidente com a introdução do Plano de Metas Todos pela Educação (Compromisso), estabelecido pelo decreto nº 6.094, de 24 de abril de 2007 (BRASIL, 2007), cuja primeira diretriz é “estabelecer como foco a aprendizagem, apontando resultados concretos a atingir.” A ideia de que o sistema educacional deve ser analisado pelos seus resultados tem origem nas análises educacionais realizadas por meio dos dados coletados nos censos demográficos. Rigotti (2004) nos mostra como estão redigidas as questões relativas à educação nos diferentes censos. Para saber mais sobre como são abordadas as questões referentes à educação nos diversos censos, leia: � RIGOTTI, J. I. R. Variáveis de educação dos censos demográficos brasileiros de 1960 a 2000. In: RIOS-NETO, E. L. G.; RIANI, J. L. R. (Org.) Introdução à demografia da educação. Campinas: Abep, 2004. p.129-142. Fletcher e Ribeiro (1989) nos mostraram, também por meio da análise de dados censitários, que a repetência era a grande característica do sistema brasileiro de educação básica, e não a evasão. Esses autores cunharam o termo “pedagogia da repetência”, conceito que teve profundo impacto nas políticas de educação fundamental. Uma dessas influências foi a reformulação do Censo Escolar, hoje um refinado sistema de coleta de dados sobre cada aluno matriculado. A partir dos dados obtidos nos censos demográfico e escolar calculam-se indicadores de analfabetismo, acesso e cobertura, resultados fundamentais para a análise de um sistema de educação básica. Um indicador especialmente importante para o conhecimento de um sistema educacional, mas que exige análises específicas, é o fluxo dos seus alunos (KLEIN, 2006). 65 Com a introdução do Sistema de Avaliação da Educação Básica (Saeb), a ideia de que, além dos indicadores de rendimento, uma medida de aprendizado dos alunos deveria ser usada para o monitoramento do sistema foi ganhando espaço e concretizou-se, em 2005, com a criação da Prova Brasil e, em 2006, com a introdução do Ideb. Uma justificativa nunca explicitada para o uso de resultados de rendimento e aprendizado no monitoramento de sistemas de educação básica é a de que apenas dessa forma o Estado fica sabendo se o direito à educação dos seus cidadãos está sendo atendido. Na ausência de um sistema como esse, o direito público subjetivo estabelecido no texto constitucional não pode ser monitorado e, eventualmente, exigido. Nesse sentido, nosso objetivo é explicitar as opções metodológicas feitas na construção do Ideb, bem como os efeitos diretos e indiretos que induz quando a escola decide buscar, por meio de políticas e práticas internas, a sua maximização. Como qualquer indicador, o Ideb faz um recorte e uma redução do foco de análise. Dessa forma, é importante identificar e discutir como esse indicador define a qualidade e a equidade dos sistemas educacionais brasileiros. Como veremos, se o Ideb, como definido atualmente, for o único indicador usado para guiar as políticas educacionais de educação básica – mesmo no caso otimista de que as suas metas sejam atingidas –, podemos não ter um sistema educacional que garanta o direito constitucional deeducação. Índice de Desenvolvimento da Educação Básica (Ideb) Nesta unidade, explicitaremos as opções metodológicas feitas na construção do Ideb e os respectivos algoritmos. O entendimento desses algoritmos é essencial para construirmos uma análise crítica do indicador. Componentes do Ideb O Ideb de uma escola ou de uma rede de ensino é definido a partir do produto entre: � um indicador de desempenho, tomado como o nível médio da proficiência dos alunos da escola ou rede obtido na Prova Brasil e � um indicador de rendimento, definido como o valor médio das taxas de aprovação da escola ou sistema obtido no Censo Escolar do ano em que o Ideb é divulgado. O valor do Ideb cresce à medida que os resultados do aprendizado dos alunos melhoram e cai à medida que as taxas de aprovação diminuem. Um dos motivos da grande aceitação obtida pelo Ideb é o fato de o índice agregar, em um único indicador, uma medida de desempenho e outra de rendimento, dimensões fundamentais para uma análise relevante de sistemas de educação básica. A seguir, veremos os indicadores de desempenho e rendimento com mais detalhes. 66 Indicador de desempenho O desempenho de uma escola é definido, para o cálculo do Ideb, como a média das proficiências em Leitura e Matemática obtida pelos alunos da escola na Prova Brasil. Como as escalas de medida das duas competências são diferentes, é necessário fazer uma padronização dessas medidas antes de calcular a sua média. A metodologia do Ideb assume que, para tornar comparáveis as proficiências de Leitura e Matemática, basta fazer com que variem no mesmo intervalo. Para isso, utiliza o seguinte algoritmo: ."��%���ê���� �� ������ �� ���:� '����� ) ������ ��%����� ��� "��%���ê�����4 .������ ��"����� ��� "��%���ê����� ) ������ ��%����� ��� "��%���ê�����4 Os limites inferiores e superiores, apresentados na tabela seguir, são os valores situados a três desvios-padrão acima e abaixo da proficiência média de todos os alunos que fizeram o Saeb em 1997, ano em que a escala foi definida. Vejamos: Tabela 23 – Limites superiores e inferiores usados para a padronização das notas de Leitura e Matemática no Ideb série Matemática Leitura inferior superior inferior superior 4ª série 60 322 49 324 8ª série 100 400 100 400 Fonte: Nota técnica do Inep sobre a concepção do Ideb. 67 Vamos analisar um exemplo para melhor entendermos esse algoritmo. Consideremos uma escola que ofereça apenas as primeiras séries do ensino fundamental e cujos alunos da 4ª série (5º ano), tenham tido, na Prova Brasil de 2011, proficiência média de 206,92 em Matemática e 184,52 em Leitura. A proficiência padronizada dessa escola deve ser obtida da seguinte forma: "��%���ê���� "������]��� �� �����á���� � .206,92 ) 604.322 ) 604 � 0,561 "��%���ê���� "������]��� �� ������� � .184,52 ) 494.324 ) 494 � 0,493 "��%���ê���� "������]��� �� ������ � 10 � �0,561 - 0,4932 � � 5,27 A multiplicação por 10 coloca a proficiência padronizada no intervalo de 0 a 10, intervalo esse usado, habitualmente, na atribuição de notas em trabalhos escolares. Aritmeticamente, a proficiência padronizada da escola é a média das proficiências padronizadas dos seus alunos. Em outras palavras, para obtermos a proficiência padronizada de uma escola, podemos primeiramente padronizar, usando o algoritmo apresentado na primeira equação, a proficiência de cada um dos seus alunos e, em seguida, tomar a média dos valores resultantes como a proficiência padronizada da escola. Como as médias variam muito menos do que observações individuais, embora as proficiências padronizadas dos alunos assumam valores entre 0 e 10, as proficiências padronizadas das escolas estão concentradas em um intervalo mais restrito. Dessa forma, do ponto de vista empírico, é incorreto dizer que o Ideb varia de 0 a 10, já que a proficiência padronizada de uma escola atingiria o valor máximo de 10 apenas em uma situação muito improvável: aquela em que todos os seus alunos tenham, em Leitura e em Matemática, proficiências que, medidas pela Prova Brasil, sejam iguais aos limites superiores apresentados na Tabela 23. Analogamente, uma escola só teria proficiência padronizada igual a 0 se todos os seus alunos tivessem a mesma proficiência, sendo esta igual ao limite inferior apresentado na Tabela 23. 68 Usando os dados da Prova Brasil de 2011, as proficiências padronizadas das escolas de 5º ano variam de acordo com o histograma do gráfico a seguir. Como previsto, essas proficiências cobrem apenas uma parte do intervalo [0, 10]. Figura 5 – Histograma das proficiências padronizadas do quinto ano de 2011 O gráfico apresentado nos mostra que, para realizarmos a interpretação da proficiência padronizada, não podemos usar a experiência adquirida com a escala de atribuição de notas em trabalhos escolares. Nessa situação, sabemos que notas acima de oito são boas e abaixo de quatro são ruins. No Ideb, entretanto, os valores acima de oito quase não ocorrem, e entre os valores abaixo de quatro há valores possíveis e outros quase impossíveis. Uma consequência menos conhecida e muito mais intrigante do processo de padronização utilizado na construção do Ideb é que as proficiências padronizadas em Matemática das escolas são, muito frequentemente – em 2011, foram 94,8% –, maiores do que as proficiências padronizadas em Leitura. Isso é fruto do conhecido fato de que, na Prova Brasil, as proficiências em Matemática são expressas por números maiores do que aqueles usados para Leitura. O 69 algoritmo de padronização, principalmente na 8ª série (9º ano), não leva esse fato em consideração, pois prescreve valores iguais, como podemos observar na Tabela 23. Dessa forma, as proficiências padronizadas de Matemática são, em geral, maiores que as de Leitura. Como consequência, a proficiência média usada na construção do Ideb é mais influenciada pela proficiência em Matemática. Em outras palavras, o indicador de aprendizado do Ideb assume, equivocadamente, que os alunos brasileiros de ensino fundamental sabem mais Matemática do que Leitura. Esse diagnóstico, no entanto, não é um retrato fiel da realidade educacional quando esta é considerada sob o prisma da interpretação pedagógica dos testes da Prova Brasil ou dos resultados de outras avaliações. Mesmo se colocarmos as duas proficiências variando no mesmo intervalo, as escalas de Leitura e Matemática não serão completamente comparáveis. Existem muitos algoritmos que, na situação do Ideb, poderiam ser usados para tornar as duas proficiências, de fato, comparáveis e, desse modo, dar sentido ao cálculo de um valor médio. Há, por exemplo, o método denominado “Equipercentil”, que cria uma tabela de equivalência dos escores entre as duas escalas, equalizando os valores dos percentis de cada uma. Para saber mais sobre o Método Equipercentil, leia: � PETERSEN, N. S.; KOLEN, M. J.; HOOVER, H. D. Scaling, norming, and equating. In: LINN, R. L. (Ed.). Educational measurement. 3. ed. New York: American Council on Education and Macmillan, 1989. p. 221-262. Indicador de rendimento O conceito de rendimento é usado no âmbito das estatísticas educacionais para sintetizar a experiência de aprovação ou reprovação dos alunos de uma escola ou sistema de ensino. Ao fim de um ano letivo, cada aluno matriculado, que não foi formalmente transferido nem faleceu, é colocado em uma das três categorias. Na categoria de aprovados são classificados os alunos que, ao final do ano letivo, preencheram os requisitos mínimos de desempenho e frequência previstos em legislação. Na dos reprovados, são colocados os alunos que, ao final do ano letivo, não preencheram os requisitos mínimos de desempenho ou frequência previstos em legislação. Já na categoria de abandono, são colocados os alunos que deixaram defrequentar a escola, tendo a sua matrícula cancelada. A taxa de aprovação é definida como a razão entre o número de aprovados e a soma dos alunos nas três categorias. Detalhes podem ser encontrados na nota técnica do Inep (Inep, 2009a). A soma das taxas de aprovação, reprovação e abandono é 100%. Portanto, se a taxa de abandono é alta, tanto a taxa de aprovação quanto a de reprovação podem ser baixas, ao mesmo tempo. 70 Para saber mais detalhes sobre as taxas de aprovação, reprovação e abandono, acesse: � Taxas de aprovação, reprovação e abandono: Censo Escolar da Educação Básica 2007 (nota técnica 003/2009). Disponível em: <http://download.inep.gov.br/ download/censo/2009/NT_003_2009.pdf>. Acesso em: fev. 2018. O indicador de rendimento usado no Ideb pode ser interpretado como a razão entre o número de anos da etapa e o número de anos letivos que um aluno típico da escola gasta para completar uma série. Em uma situação ideal, em que não haja nem reprovação nem abandono, esse valor seria, naturalmente, igual a 1, ou seja, apenas um ano letivo seria gasto para que os alunos completassem cada série ou ano escolar. No entanto, na maioria das situações reais, há reprovações e abandonos. Diante disso, o número de anos letivos para que o aluno típico de uma escola complete uma série é sempre maior que 1. Isso ocorre porque os reprovados e os que abandonaram a escola deverão repetir a série, o que aumenta a média de anos letivos de estudo necessários para que todos os alunos da escola completem cada série ou ano escolar. Matematicamente, o número de anos letivos necessários para que um aluno típico de uma escola complete cada série ou ano é dado pelo inverso da taxa de aprovação da respectiva série. Diante disso, usa-se o inverso da média aritmética dos inversos das taxas de aprovação, chamada de média harmônica, para sintetizar o rendimento da escola. No jargão da Estatística, o rendimento de uma escola no Ideb é a média harmônica das taxas de aprovação dos quatro ou cinco anos que compõem cada uma das etapas do ensino fundamental. Embora essa escolha seja completamente adequada, o uso da média harmônica, opção raramente usada em análises estatísticas, torna o entendimento do processo de cálculo do rendimento mais difícil. Vamos analisar um novo exemplo para que possamos melhor entender as opções feitas. Na tabela a seguir, apresentamos o cálculo de rendimento de uma escola com cinco séries. Vejamos: Tabela 24 – Algoritmo de cálculo do indicador de rendimento de uma escola ano escolar 1 2 3 4 5 taxa aprovação (%) 82,4 79,1 78,4 97,1 88,4 taxa aprovação em decimais 0,824 0,791 0,784 0,971 0,884 anos de estudo necessários para que os alunos completem a série 1,21 1,26 1,28 1,03 1,13 71 Ao considerarmos a taxa de aprovação do primeiro ano (0,824), podemos observar que são necessários 1/0,824 = 1,21 anos para que um aluno típico dessa escola complete o 1º ano. A aplicação desse algoritmo aos outros anos escolares produz os valores da última linha da tabela. O número de anos letivos de estudo necessários para que os alunos dessa escola completem as cinco séries é, portanto, o seguinte: (1,21 + 1,26 + 1,28 + 1,03 + 1,13) = 5,91 O indicador de rendimento é obtido pela divisão do número de séries ou anos letivos que seria necessário caso a aprovação fosse total pelo número de anos realmente necessários para completar a etapa (taxa de aprovação). No caso do nosso exemplo, temos: 5/5,91 = 0,8453 O indicador de rendimento é sempre um número entre 0 e 1, e a média utilizada no cálculo do rendimento não é ponderada, ou seja, não considera, no cálculo do indicador de rendimento, que cada uma das taxas utilizadas referentes a distintos anos escolares é baseada em diferentes números de alunos. Cálculo do Ideb O Ideb sintetiza os indicadores de rendimento e desempenho em um único número, por meio do produto dos dois indicadores. Dessa forma, temos: ,��5 � �����"��_� � ���������� � ` � ( Como o indicador de rendimento é um número menor que 1, o Ideb é sempre menor que o indicador de desempenho. Em outras palavras, o Ideb penaliza a escola que usa a reprovação como estratégia pedagógica, atribuindo-lhe valores mais baixos. Como consequência da agregação dos dois indicadores em um único número, cria-se, implicitamente, uma equivalência entre diferentes combinações dos indicadores de desempenho e rendimento. A tabela a seguir nos mostra possíveis combinações dos dois indicadores para se obter um Ideb de valor 6. A coluna 5, por exemplo, mostra que uma taxa média de reprovação de 14%, com um desempenho de 6,98, é equivalente a um desempenho de 6 se a taxa de reprovação é zero. 72 Tabela 25 – Diferentes combinações dos indicadores de rendimento e proficiência padronizada que produzem o mesmo Ideb de 6 indicador combinação rendimento 0,7 0,76 0,78 0,8 0,86 0,88 0,9 0,92 0,96 desempenho 8,57 7,89 7,69 7,5 6,98 6,82 6,67 6,52 6,25 O raciocínio de que um resultado pode compensar o outro está presente em vários pontos da metodologia do Ideb. Isso quer dizer que, no Ideb, o melhor aprendizado de um aluno compensa o pior aprendizado de outro aluno da mesma escola; um melhor desempenho em Leitura compensa um aprendizado insuficiente em Matemática; o melhor aprendizado de alguns compensa a reprovação de outros. Essas substituições são criticáveis do ponto de vista do direito à educação, que considera o aprendizado como um direito de todos e de cada um dos alunos, não de alunos típicos ou médios. Interpretação normativa Em muitos textos sobre o Ideb, principalmente os publicados na grande mídia, é recorrente a ideia de que se trata de um indicador de fácil compreensão, já que usa valores entre 0 e 10. Partindo dessa compreensão, entende-se que, para o Ideb, vale o bom senso acumulado nas avaliações escolares, cujas notas acima de 9 são excelentes e as abaixo de 5 são muito ruins. No entanto, não é isso que ocorre com o Ideb. Como vimos, o valor do Ideb está concentrado em uma parte menor do intervalo entre 0 e 10. Na realidade, a escala do Ideb tem características surpreendentes e difíceis de serem apreciadas em um primeiro momento por um não especialista. Por exemplo, um Ideb de 4,5 é um valor médio, não baixo, e está longe, e não perto, do valor 6. Isso ocorre porque os valores extremos da escala (acima de 6 e abaixo de 3) são raros, e os valores acima de 8 e abaixo de 2 são quase impossíveis. O valor 6 foi escolhido como valor de referência para o Ideb. Sucintamente, com algumas hipóteses, esse seria o valor que o Ideb deveria ter se os alunos brasileiros estivessem todos no nível 3 do Pisa e o indicador de rendimento fosse fixado em 0,96. Esse fato tem sido descrito como se um Ideb igual a 6 significasse uma escola de “primeiro mundo”. Todavia, isso só seria correto se o currículo brasileiro, cujo aprendizado é verificado pela Prova Brasil, fosse equivalente ao currículo dos países da OCDE, o que não ocorre atualmente. 73 Para saber mais sobre a escolha do valor 6 como valor de referência para o Idep, acesse: � Nota metodológica sobre a compatibilização de desempenhos do Pisa com a escala do Saeb. Disponível em: <http://download.inep.gov.br/educacao_basica/portal_ideb/ o_que_sao_as_metas/Nota_Tecnica_n3_compatibilizacao_PISA_SAEB.pdf>. Acesso em: fev. 2018. O problema de se escolher um valor de referência para o Ideb é equivalente ao de determinar uma distribuição de referência para as proficiências dos estudantes de uma escola. Delgado et al. (2013), também usando os resultados do Pisa, mas com opções metodológicas diferentes, criaram uma distribuição de referência que, se usada para calcular o Ideb, com o indicador de rendimento também fixado em 0,96, resultaria em um Ideb de 6,5. Essa distribuição de referênciareproduz as metas do movimento Todos Pela Educação. No entanto, a existência de metas diferentes, baseadas nos mesmos resultados da Prova Brasil, tem criado dificuldades, pois os dois conjuntos de metas são amplamente divulgados, e uma meta é mais exigente que outra. Faixas do Ideb Para interpretarmos, pedagogicamente, um valor específico do Ideb, precisamos mostrar como os seus valores estão associados com os níveis de proficiência dos alunos para os quais existem interpretações pedagógicas. Essas interpretações expressam o que conhecem e sabem fazer os alunos alocados nos diferentes níveis. Soares (2009), partindo dos valores definidos pelo movimento Todos pela Educação, estabeleceu quatro níveis de desempenho, apresentados na tabela a seguir: Tabela 26 – Níveis de desempenho para Leitura e Matemática nível Leitura Matemática 4ª série EF 8ª série EF 4ª série EF 8ª série EF abaixo do básico menor que 150 menor que 200 menor que 175 menor que 225 básico entre 150 e 200 entre 200 e 275 entre 175 e 225 entre 225 e 300 adequado entre 200 e 250 entre 275 e 325 entre 225 e 275 entre 300 e 350 avançado acima de 250 acima de 325 acima de 275 acima de 350 Fonte: Soares (2009). 74 Para transformar esses níveis de desempenho em valores do Ideb, primeiramente, é preciso observar que a maior nota de um aluno que está no nível abaixo do básico é 150 em Leitura e 175 em Matemática. Assumindo-se que todos os alunos de uma escola tenham essas notas e que o seu indicador de rendimento seja 0,96 – o mesmo valor usado por Fernandes (2007) para fixar as metas do Ideb –, podemos obter o valor do Ideb para essa escola. Com hipóteses similares, criaram-se cinco faixas para o Ideb da seguinte maneira: o nível baixo foi escolhido para retratar a situação em que o desempenho dos alunos da escola é inferior ao limite escolhido para o nível básico tanto em Leitura quanto em Matemática. As outras faixas foram escolhidas fixando-se a média das proficiências dos alunos nos seguintes valores: � médio baixo – valores iguais aos limites inferiores do nível básico; � médio – valores situados no meio do nível básico; � médio alto – valores correspondentes ao limite inferior do nível adequado e � alto – valores que estão no meio do nível adequado. A tabela a seguir sintetiza essas escolhas. Vejamos: Tabela 27 – Faixas para o Ideb Ideb (faixas) média em Leitura média em Matemática média padronizada (D)* rendimento (R) Ideb (D x R) faixa final ** baixo - - - < 3,5 médio baixo 150 175 4,03 0,96 3,87 [3,5 4,5) médio 175 200 4,96 0,96 4,76 [4,5 5,5) médio alto 200 225 5,89 0,96 5,65 [5,5 6,5) alto 225 250 6,83 0,96 6,55 > 6,5 NOTAS: * A padronização é feita pelo cálculo apresentado anteriormente. ** A primeira faixa foi definida a partir do intervalo inferior calculado para a segunda faixa. 75 A próxima tabela nos mostra a grande evolução do valor do Ideb nas escolas públicas ao fim da primeira etapa do ensino fundamental (5º ano). Podemos notar que, ao longo dos anos, há um forte decréscimo de escolas na faixa mais baixa do Ideb e um crescimento na faixa média. Tabela 28 – Evolução do Ideb para escolas que oferecem quarta série (quinto ano), por percentual em cada uma de cinco faixas de valores faixa do Ideb 2005 2007 2009 2011 2013 2015 baixo 44,4 30,8 25,7 16,3 9,7 3,9 médio baixo 36,8 38,1 30,5 29,2 16,1 14,0 médio 16,6 25,7 29,0 31,6 20,6 19,6 médio alto 2,1 0,5 12,8 18,9 17,4 21,6 alto 0,1 0,4 2,0 4,0 6,1 10,0 É importante verificarmos, no entanto, que a criação dessas faixas traz a seguinte consequência: a ocorrência de valores altos no Ideb é compatível com um número muito alto de alunos com desempenhos medíocres, ou seja, nos níveis abaixo do básico e básico, como mostrado na tabela a seguir. Tabela 29 – Proporção de alunos nos níveis de desempenho e Ideb das escolas de 5º ano (Prova Brasil, 2011) Ideb DESEMPENHO insuficiente básico adequado avançado TOTAL baixo 58,6 34,1 6,6 0,7 100 médio baixo 39,6 43,2 14,8 2,4 100 médio 23,3 41,9 27,3 7,5 100 médio alto 11,1 33,4 37,8 17,7 100 alto 3,8 19,6 41,0 35,7 100 76 O valor do Ideb deve estar acima de 6,5 para que não existam muitos estudantes na escola ou no município com desempenho no nível Insuficiente. Análise crítica do Ideb A criação do Ideb significou uma grande e positiva mudança no debate educacional brasileiro. Só a partir da sua criação é que a ideia de que as escolas devem também ser avaliadas pelo aprendizado dos seus alunos, expresso pelo desempenho, entrou definitivamente nesse debate. Em outras palavras, a partir do Ideb, a expressão concreta do direito ao aprendizado passou a ser a evidência fornecida pelo resultado da Prova Brasil. Rapidamente, o Ideb tornou-se o único indicador de qualidade do sistema de ensino fundamental brasileiro, passou a orientar políticas públicas educacionais, impactou a cobertura da mídia dos assuntos educacionais e, ainda que mais lentamente, trouxe novas dimensões para a pesquisa educacional. O sucesso do Ideb foi de tal ordem que a “maldição” da Lei de Campbell passou a se aplicar a ele: “Um indicador quantitativo, ao ser usado para a tomada de decisões, fica mais sujeito a manipulações e assim sua própria existência distorce e corrompe os processos que pretendia monitorar” (CAMPBELL, 1976, p. 49, tradução nossa). Em outras palavras, o uso de um indicador único como medida única da qualidade das escolas e das redes fará com que, naturalmente, essas escolas busquem maximizá-lo e, como isso pode ser feito de maneiras pouco adequadas pedagogicamente, pode levar a um sistema educacional disfuncional. O Ideb tem sido muito usado e, às vezes, também criticado. No entanto, poucas são as análises feitas sobre o indicador. Dessa forma, a seguir, discutimos algumas limitações que consideramos serem importantes para a análise do Ideb. Tais limitações são as seguintes: a) Só alunos presentes ao teste são considerados: Uma limitação séria dos dados usados para cálculo do indicador de desempenho é o fato de que apenas os alunos presentes na escola no dia da Prova Brasil são considerados. O Inep aceita apenas 50% de presença para divulgar o Ideb da escola (Inep, 2011). A Prova Brasil envia à escola um teste para cada aluno matriculado, usando para isso a base do Censo Escolar que registra informações de cada aluno. Ao longo dos últimos anos, o Censo Escolar tem-se consolidado como uma excelente descrição do número de alunos em cada escola brasileira. No entanto, nem todos os alunos para os quais os testes são enviados fazem as provas. No ano de 2011, voltaram sem resposta 14% dos testes de 5º ano e 22% dos testes de 9º ano. Essas são porcentagens expressivas que, se 77 correspondem aos alunos mais fracos, fazem com que os valores do Ideb das escolas com muitas ausências sejam superestimados. A portaria do MEC sobre cálculo do Ideb diz que o indicador é calculado desde que mais de 50% dos alunos da escola tenham comparecido. Isso quer dizer que, mantendo-se dentro da lei, as escolas podem escolher os seus melhores alunos e assim ter um melhor valor no Ideb. Essa análise nos leva a concluir que o sistema que produz o Ideb é muito tolerante com ausências. b) A proficiência em Matemática tem mais peso que a proficiência em Leitura: Como consequência dos algoritmos usados para padronizar as proficiências, implícito no Ideb está o fato de que o domínio da competência matemática pelos alunos brasileiros é maior do que o domínio da compreensão leitora. Essa idiossincrasia estatística pode ser usada como estratégia para melhorar o Ideb, bastando, para isso, enfatizar o ensino de Matemática para alguns alunos. c) O Ideb assume substituições questionáveis entre os diferentes componentes: Como onumerador do Ideb é uma média, implicitamente, o indicador aceita que o bom desempenho de um aluno compense o mau desempenho de outro. Além disso, assume que um melhor desempenho compense uma taxa de reprovação mais alta. Essas duas características deixam aberta a possibilidade de exclusão educacional de alunos, pois, para obter melhores valores do indicador, pode-se escolher, com cuidado, os alunos em que a escola deve concentrar os seus esforços instrucionais. d) Não se pode usar a metáfora da nota escolar para analisar o Ideb: Como o Ideb é apresentado como um indicador simples, variando de 0 a 10, é muito frequente interpretá-lo da mesma forma que, tradicionalmente, interpretam-se os conceitos escolares. Em algumas situações, chega-se a dizer que o nível 6 é baixo e que o Brasil deveria almejar um Ideb muito mais alto. Um Ideb em torno de 7, que indica um excelente resultado, é considerado uma nota escolar mediana. Como vimos, esses valores muito altos só ocorrem em situações raras. 78 e) O Ideb naturaliza baixos desempenhos de muitos alunos: Vamos rever a tabela 25: Tabela 25 – Diferentes combinações dos indicadores de rendimento e proficiência padronizada que produzem o mesmo Ideb de 6 indicador combinação rendimento 0,7 0,76 0,78 0,8 0,86 0,88 0,9 0,92 0,96 desempenho 8,57 7,89 7,69 7,5 6,98 6,82 6,67 6,52 6,25 Essa tabela nos mostra que um Ideb igual a 6, a meta nacional, é compatível com um grande número de alunos de desempenho medíocre. Dessa forma, com o uso isolado do Ideb, as dificuldades educacionais desses alunos não terão nenhuma relevância, considerando o fato de que o indicador de qualidade está em um nível tido como adequado. f) O Ideb é muito correlacionado com o nível socioeconômico da escola: Como já vimos, o nível socioeconômico (NSE) é uma medida resultante da agregação de indicadores obtidos nos questionários contextuais da Prova Brasil. Tais indicares envolvem o nível de escolaridade dos pais, a posse de bens de consumo duráveis e a contratação de serviços domésticos. A agregação é feita por meio de um modelo da Teoria de Resposta ao Item (TRI), conforme descrito por Alves e Soares (2009). O modelo da TRI transforma as informações em uma escala que, para facilitar o seu uso, foi transformada no intervalo entre 0 e 10. Essa medida do nível socioeconômico dos alunos foi validada, entre outras formas, por meio da verificação da correlação de Pearson entre a renda per capita dos municípios e o NSE médio dos municípios – obtido pela agregação do NSE médio das escolas de cada município. O coeficiente de correlação foi igual a 0,91. Esse alto valor comprova que o NSE capta, de maneira adequada, as condições econômicas dos municípios, o que justifica o seu uso nas análises estatísticas para a caracterização das escolas. Para conhecer outras validações, leia: � ALVES, M. T. G.; SOARES, J. F.; XAVIER, F. P. O nível socioeconômico das escolas de Educação Básica brasileiras: versão 2. Belo Horizonte: Grupo de Avaliação e Medidas Educacionais (Game); São Paulo: Instituto Unibanco, 2013. 64p. Relatório técnico. 79 Uma grande e sólida literatura mostra que o desempenho dos alunos está muito associado ao seu nível socioeconômico. Desse modo, não nos surpreende o fato de que a associação entre o Ideb e o NSE das escolas seja alta. O gráfico a seguir, construído com o Ideb das escolas públicas do município de São Paulo que oferecem a primeira etapa do ensino fundamental, aponta uma associação de 0,694 entre o Ideb de 2011 e o respectivo NSE das escolas. Isso quer dizer que, isoladamente, o Ideb é também um indicador das condições socioeconômicas das escolas. Vejamos: Figura 6 – Correlação entre o Ideb e o NSE das escolas públicas de São Paulo (SP) As correlações entre o NSE e o Ideb são sempre positivas, mas o valor é mais alto entre escolas de um mesmo município do que entre municípios. Diante disso, a identificação de escolas com projetos pedagógicos exemplares não pode ser feita apenas por meio do Ideb, que, como vimos, identifica também escolas que têm bons resultados apenas porque atendem a alunos que trazem muito do capital cultural das suas famílias. g) Outras limitações: Outras limitações do Ideb já foram apresentadas por diversos autores. Por exemplo, Daniel Cara, em entrevista à Revista Educação, afirmou que "o Ideb é um termômetro que revela se o aluno está ou não assimilando informações fornecidas pelo sistema educacional, mas não considera aspectos que têm impacto sobre a qualidade, como a valorização dos profissionais e a infraestrutura" (AVANCINI, 2008). Embora muito veiculada, não se trata exatamente de uma 80 crítica ao indicador, mas a seu uso isolado. A sensata advertência do autor indica que a avaliação de escolas e redes de ensino não se deve restringir ao Ideb, e que o indicador de resultados deve ser contextualizado por indicadores que descrevam as condições reais de oferta do ensino. Também entrevistado pela Revista Educação (AVANCINI, 2008), João Batista de Oliveira afirmou o seguinte: "Ao agregar coisas diferentes, o Ideb dá algumas indicações sobre qualidade, mas ele não sinaliza claramente o que precisa ser melhorado.” De fato, como qualquer indicador- síntese, um Ideb baixo apenas diz que há algo ruim acontecendo, mas nada diz sobre o que fazer. Análoga a essa demanda, aparece a crítica de que faltam esclarecimentos sobre o que significam os números, ou seja, que tipo de intervenção escolar um dado valor do Ideb sugere. Além disso, como as políticas públicas para conter o abandono e a repetência não são, necessariamente, as mesmas a serem usadas para aumentar o indicador de desempenho, não fica claro como se pode passar do diagnóstico para a proposição de políticas. Essas são reflexões sólidas que devem merecer mais espaço nos esforços de análise do Ideb. Discussão Existem vários outros indicadores usados para monitorar os resultados das escolas em diferentes estados e municípios. E as limitações do Ideb apresentadas são, em maior ou menor grau, compartilhadas por esses indicadores. Entre tais indicadores, o Idesp, usado no estado de São Paulo, merece a nossa atenção especial. Ao produzir a medida de desempenho da escola por meio da síntese de níveis, o Idesp não é tão vulnerável à concentração do esforço educacional em poucos alunos e não tem o defeito do desequilibro entre Leitura e Matemática, presente no Ideb. Apesar disso, outras limitações, como associação com o nível socioeconômico, taxa de substituição não justificada e ausência de tratamento específico para os alunos ausentes no teste estão igualmente presentes no Idesp. Um conjunto de indicadores é uma forma de descrever o sistema, e não uma ferramenta de gestão escolar. Para gerir uma escola, é preciso considerar cada processo – administrativo, interação com a sociedade, meios de ensino-aprendizagem, etc. – e escolher as informações de estrutura e resultado adequadas ao seu monitoramento (BRYK; HERMANSON, 1993). Considerando que o Ideb está completamente integrado às políticas educacionais e que, no entanto, as suas imperfeições são claras, podemos chegar a algumas conclusões. O Ideb deve ser divulgado de forma contextualizada, demonstrando pelo menos uma descrição do nível socioeconômico das escolas ou dos municípios. Idealmente, outras características das escolas, como a sua infraestrutura, devem também ser consideradas. Isso não 81 advoga que as expectativas relativas ao aprendizado dos alunos devem ser diferentes em diferentes municípios, mas apenas que, para atingir os aprendizados necessários, alguns cenários sociais são mais adversos que outros. Além disso, junto com o Ideb, cada escola ou rede deve receber também uma descrição de quantos alunos estão em níveis de desempenho medíocres. Claro queescolas e redes com Ideb maiores do que 6,5 estão em uma situação privilegiada, pois esse valor não permite que muitos estudantes tenham aprendido muito pouco. Por fim, talvez o mais importante seja transformar o Ideb em um primeiro passo para o processo de reflexão interna nas escolas. Tal reflexão deve ter como meta a busca de melhores e mais efetivas práticas pedagógicas, permitindo que os alunos aprendam o necessário para uma vida digna e feliz. Evolução do Ideb e seu uso para monitoramento das escolas Para que possamos acompanhar a evolução do Ideb e monitorar, juntamente com outros indicadores educacionais e contextuais da escola, a qualidade da educação, o Inep desenvolveu duas plataformas. Tais plataformas nos permitem realizar a consulta do valor do Ideb por estados, municípios ou escolas. Plataforma de resultados e metas A primeira plataforma permite-nos acessar os resultados e metas do Ideb. Nessa plataforma, é possível efetuarmos a comparação entre os resultados obtidos (por Brasil, estado, município ou escola) com a meta projetada. Para saber mais sobre a plataforma de resultados e metas, acesse: � Ibeb – resultados e metas. Disponível em: <http://ideb.inep.gov.br/resultado/>. Acesso em: fev. 2018. 82 Vejamos, a seguir, um exemplo de consulta à plataforma de resultados e metas: Figura 7 – Tela de acesso à plataforma de resultados e metas do Ideb Fonte: Ideb – resultados e metas. Disponível em: <http://ideb.inep.gov.br/resultado/>. Acesso em: fev. 2018. Figura 8 – Exemplo consulta resultados e metas por escola – plataforma de resultados e metas Fonte: Ideb – resultados e metas. Disponível em: <http://ideb.inep.gov.br/resultado/>. Acesso em: fev. 2018. 83 Plataforma de consulta pública A segunda plataforma desenvolvida pelo Inep permite-nos efetuar uma consulta pública dos resultados do Ideb por escola. O que diferencia essa plataforma da primeira é a possibilidade de obtermos uma contextualização mais completa da unidade escolar (com informações socioeconômicas, administrativas e de infraestrutura), além da conveniência de podermos comparar a escola consultada a outras escolas semelhantes (com base na localização, dependência administrativa ou indicadores de complexidade de gestão e nível socioeconômico). Dessa forma, para além dos dados resultantes do Ideb, informações coletadas pelo Censo Escolar da Educação Básica e novos indicadores contextuais desenvolvidos pelo Inep, como o Indicador de Nível Socioeconômico (Inse), a adequação da Formação Docente, o indicador de Esforço Docente e o indicador da Complexidade da Gestão Escolar podem ser consultados. Para saber mais sobre a plataforma de consulta pública, acesse: � Ibeb – consulta pública. Disponível em: <http://idebescola.inep.gov.br/ideb/ consulta-publica>. Acesso em: fev. 2018. Conheça os novos indicadores � Nível socioeconômico (Inse) – é a média do nível socioeconômico dos alunos de cada escola, distribuídos em sete níveis. O indicador é calculado com base nas informações fornecidas pelos estudantes no preenchimento do questionário contextual da Prova Brasil; � Adequação da forma docente – é a proporção de professores de cada escola que têm a formação adequada para a disciplina que leciona, nos termos da lei; � Esforço docente – mensura a dificuldade enfrentada pelos professores para o exercício da profissão, considerando o número de escolas em que trabalham, turnos de trabalho, número de alunos atendidos e etapas nas quais lecionam e � Complexidade de gestão escolar – baseia-se em quatro características da escola: porte (número de alunos matriculados), número de turnos de funcionamento, complexidade das etapas ofertadas, e número de etapas/modalidades oferecidas. 84 Vejamos um exemplo de como a consulta pode ser realizada. Primeiramente, devemos acessar a plataforma meio do seguinte endereço: <http://idebescola.inep.gov.br/ideb/consulta- publica>. Dessa forma, teremos acesso à seguinte área de consulta: Figura 9 – Tela de acesso à Plataforma de Consulta do Ideb por Escola Fonte: Disponível em: <http://idebescola.inep.gov.br/ideb/consulta-publica>. Acesso em: fev. 2018. Na tela inicial de informações sobre a escola que se desejamos consultar, são várias as possibilidades. Nela podemos: � inserir somente o código da escola; � selecionar as informações de UF e município, e o nome da escola e � selecionar as informações de UF, município, dependência administrativa e localização (essa opção dá acesso a todas as escoas que preenchem os requisitos da seleção efetuada). 85 Na figura a seguir, podemos observar um exemplo: Figura 10 – Exemplo da primeira tela de consulta - Ideb por Escola Fonte: Disponível em <http://idebescola.inep.gov.br/ideb/escola/dadosEscola/31003280>. Acesso e: fev. 2018. A partir do acesso às informações da escola, podemos localizar a informação que desejamos e efetuar a análise. Plataforma QEdu Além das plataformas desenvolvidas pelo Inep, também há outra iniciativa, idealizada pela Meritt e pela Fundação Lemann, chamada QEdu, que busca colocar à disposição da sociedade civil informações sobre a educação brasileira. O site disponibiliza informações sobre o Censo Escolar da Educação Básica, a Prova Brasil, o Enem e o Ideb. Os dados permitem contextualizar: 86 o aprendizado dos alunos em Matemática e Língua Portuguesa, identificar o perfil dos alunos, o número de matrículas para cada etapa escolar, as taxas de aprovação e distorção idade série, a infraestrutura escolar, o Ideb e o nível socioeconômico. A busca pode ser realizada por estado, cidade ou escola. Para saber mais sobre a QEdu, acesse: � QEdu. Disponível em: <http://www.qedu.org.br/>. Acesso em: fev. 2018. A tela de acesso à plataforma QEdu é a seguinte: Figura 11 – Tela de acesso à plataforma QEdu Fonte: Disponível em: <http://www.qedu.org.br/>. Acesso em: fev. 2018. Neste módulo, compararemos os resultados dos estudantes brasileiros de educação básica com os dos seus pares latino-americanos e internacionais. Para tanto, apresentaremos o desempenho dos alunos brasileiros em duas avaliações internacionais: os estudos organizados pela Unesco e o Pisa. Comparações latino-americanas Instituição responsável O LLECE, Laboratório Latino-Americano de Avaliação da Qualidade de Educação da Unesco foi criado em 1994, como rede de unidades nacionais de avaliação da qualidade da educação na América Latina e no Caribe. São 15 os membros fundadores: Argentina, Bolívia, Brasil, Chile, Colômbia, Costa Rica, El Salvador, Guatemala, Honduras, México, Paraguai, Peru, República Dominicana, Uruguai e Venezuela, sob a coordenação do Escritório Regional de Educação da Unesco para a América Latina e o Caribe (OREALC/ Unesco Santiago). Esse laboratório tem três objetivos principais: � promover uma política educativa baseada em evidências, por meio da geração de dados sobre a qualidade da educação, e os seus determinantes sociais e econômicos; � desenvolver capacidades de avaliação da educação e � servir como um fórum para gerar e compartilhar ideias, e discutir melhores práticas em educação básica. MÓDULO IV – COMPARAÇÃO COM PARES LATINO-AMERICANOS E INTERNACIONAIS 88 O LLECE já realizou três estudos comparativos que fornecem dados sobre o aprendizado de Leitura, Matemática e Ciências dos estudantes de ensino básico dos países-membros. As informações viabilizam a comparação da situação do Brasil em relação aos outros países latino-americanos. A seguir, apresentamos uma descrição sintética dos dois primeiros estudos e, com mais detalhes, os resultados do terceiro. Primeiro estudo comparativo e explicativo regional (Perce) Em 1997, o Laboratório aplicou os testes do Primeiro Estudo Comparativoe Explicativo Regional (Perce) para medir o aproveitamento escolar de uma amostra dos alunos de 3ª e 4ª séries do ensino fundamental em Leitura e Matemática. Os resultados do Perce foram publicados em novembro de 1998 e evidenciaram, com grande destaque, a posição obtida pelos estudantes cubanos, cujo desempenho está muito acima de qualquer outro pais da região. Vejamos os resultados referentes à Linguagem nos gráficos a seguir: Figura 12 – Resultados em Linguagem (3ª série) Fonte: CASASSUS et al. (1998). 89 Figura 13 – Resultados em Linguagem (4ª série) Fonte: CASASSUS et al. (1998). Como podemos observar, em Linguagem, os resultados do Brasil, apesar de pouco acima da média na 3ª série e um pouco mais altos na 4ª série, são menores que os da Argentina, Chile e Cuba. Vejamos, agora, os resultados referentes à Matemática: Figura 14 – Resultados em Matemática (3ª série) Fonte: CASASSUS et al. (1998). 90 Figura 15 – Resultados em Matemática (4ª série) Fonte: CASASSUS et al. (1998). Como podemos notar, em Matemática, os resultados do Brasil na 3ª série estão um pouco abaixo da média, superados pela Argentina e Cuba. Na 4ª série, a média dos resultados brasileiros apresenta uma melhora, ficando atrás somente de Cuba. No geral, os resultados do Perce tanto em Linguagem quanto em Matemática colocam o Brasil em uma posição discreta, sem nenhum destaque no conjunto dos países participantes e muito abaixo de Cuba, que apresenta resultados excepcionais em todas as séries e disciplinas. Segundo estudo comparativo e explicativo regional (Serce) Em 2006, o Serce foi implementado em 16 países e, pela primeira vez, em uma entidade subnacional: Argentina, Brasil, Chile, Colômbia, Costa Rica, Cuba, Equador, El Salvador, Guatemala, México, Nicarágua, Paraguai, Peru, República Dominicana, Uruguai e o estado mexicano de Nuevo León. Entre as suas inovações, o Serce trouxe a avaliação das habilidades de escrita bem como uma terceira disciplina, a Ciência. Em todos os países foram medidos os aprendizados dos estudantes da 3ª e 6ª séries da educação básica em leitura e matemática. O teste de Ciências da Natureza foi aplicado apenas nos estudantes a 6ª série de nove países mais o estado de Nuevo León. No total, foram estudadas 3.065 escolas, 4.627 turmas de 3ª série e 4.227 turmas de 6ª série. Nessas escolas e turmas, foram avaliados 100.752 estudantes da 3ª série e 95.288 da 6ª série da Educação Primária. A amostra usada é representativa dos cerca de onze milhões de estudantes da 3ª série e dos dez milhões de estudantes da 6ª série da educação básica da região. Cada um dos estudantes avaliados respondeu a provas de Matemática, Leitura, Escrita e Ciências em dias diferentes e em tempo que 91 dependia da prova aplicada. Apesar da existência de informações a respeito dos estudantes da 3ª série e da 6ª série, apresentaremos somente os resultados da 6ª série em Leitura e Matemática. Para obter mais informações sobre os estudantes da 3ª série, acesse: � LLECE. Disponível em: <http://www.unesco.org/new/es/santiago/education/ education-assessment/>. Acesso em: fev. 2018. As informações de contexto, sociodemográficas, familiares e pessoais, além dos processos e da dinâmica escolar foram levantadas por meio de questionários aplicados aos próprios estudantes, docentes, diretores e pais de família das escolas da amostra. Os resultados do Serce foram apresentados por meio dos percentuais em níveis de desempenho, com o objetivo de introduzir uma perspectiva pedagógica que indique o que os estudantes cujo desempenho está em um dado nível são capazes para fazer. Isso facilita a comunicação com diferentes públicos e a tomada de decisões para melhorar os processos educativos. Os níveis de desempenho dos alunos agregam estudantes com perfis semelhantes nos conhecimentos e habilidades que adquiriram. Para ter acesso a uma descrição completa das habilidades de cada nível, leia: � VALDÉS, Héctor et al. Los aprendizajes de los estudiantes de América Latina y el Caribe: Resumen ejecutivo del primer reporte de resultados del segundo estudio regional comparativo y explicativo. 2008. 92 Vejamos, na tabela a seguir, a pontuação de corte por nível de desempenho dos estudantes da 6ª série em Matemática: Tabela 30 – Indicação da pontuação de corte por nível de desempenho dos estudantes da 6ª série em Matemática nível de desempenho pontuação de corte abaixo de I I 309,64 II 413,58 III 514,41 IV 624,60 Fonte: VALDÉS, 2008, p. 31. Um processo semelhante à definição de desempenho de Matemática foi feito para a definição dos níveis de Leitura. Cada habilidade incluída em cada nível leva em consideração o grau de complexidade cognitiva e o conteúdo que o item avalia. Dessa maneira, os itens de maior dificuldade e, portanto, típicos dos níveis mais altos, são mais complexos cognitivamente ou referem-se a conteúdos mais avançados para os estudantes avaliados. Vejamos: Tabela 31 – Indicação da pontuação de corte por nível de desempenho dos estudantes da 6ª série em Leitura nível de desempenho pontuação de corte abaixo de I I 299,59 II 424,54 III 513,66 IV 593,59 Fonte: VALDÉS, 2008, p. 36 93 Vejamos, agora, uma tabela que sintetiza os resultados obtidos pelos alunos da 6ª série para Matemática: Tabela 32 – Percentual de estudantes da 6ª série por nível de desempenho em Matemática, por país País Abaixo de I I II III IV Argentina 1,53 11,89 37,99 36,26 12,34 Brasil 1,46 14,00 44,09 31,65 8,80 Chile 1,40 9,84 37,85 37,39 13,52 Colômbia 1,02 13,29 47,64 32,60 5,46 Costa Rica 0,09 4,55 32,71 43,70 18,95 Cuba 0,19 4,43 17,93 26,33 51,13 Equador 4,24 24,86 45,15 21,41 4,34 El Salvador 1,95 19,18 51,61 23,81 3,45 Guatemala 2,78 24,94 50,80 19,52 1,96 México 0,51 8,38 32,41 39,10 19,60 Nicarágua 2,25 23,88 52,69 19,41 1,76 Panamá 3,32 27,16 49,55 17,64 2,33 Paraguai 3,85 21,00 46,50 23,91 4,74 Peru 2,41 19,58 39,82 28,90 9,29 R. Dominicana 5,69 41,79 45,43 6,85 0,24 Uruguai 0,67 4,26 22,36 40,41 32,31 Nuevo León 0,34 6,29 29,35 40,66 23,36 Total AL e C 1,48 13,91 40,82 32,35 11,44 Fonte: VALDÉS, 2008, p. 32. 94 Como podemos observar na tabela apresentada, apesar de possuir uma maior média de resultado (pontuação) do que Argentina, Chile, Costa Rica, México e Uruguai, o Brasil apresenta pouco mais do que 58% dos seus alunos nos níveis 1 e 2, enquanto que esses países possuem maior percentual de estudantes nos níveis 3 e 4. Cuba aparece como grande destaque, com maior percentual de alunos nos níveis mais altos e menor percentual de alunos nos níveis mais baixos. Em sequência, vejamos uma tabela que sintetiza os resultados obtidos pelos alunos da 6ª série para Leitura: Tabela 33 – Percentual de estudantes da 6ª série por nível de desempenho em Leitura, por país país abaixo de I I II III IV Argentina 1,78 17,93 35,59 25,48 19,22 Brasil 0,57 14,85 34,65 27,47 22,46 Chile 0,30 8,02 30,06 32,37 29,26 Colômbia 0,39 13,17 38,25 30,40 17,80 Costa Rica 0,22 5,00 23,45 36,73 34,59 Cuba 0,30 5,26 19,57 24,20 50,68 Equador 4,47 33,69 39,48 16,63 5,73 El Salvador 0,95 21,49 44,02 23,99 9,54 Guatemala 2,86 33,06 43,36 15,73 4,99 México 0,23 12,23 33,40 29,75 24,39 Nicarágua 1,02 22,08 50,58 21,10 5,22 Panamá 1,95 28,97 38,76 20,77 9,55 Paraguai 3,90 33,46 36,81 18,60 7,23 Peru 2,24 24,08 41,65 22,57 9,46 R. Dominicana 4,08 47,84 37,50 9,19 1,39 Uruguai 0,47 9,60 30,80 29,68 29,45 95 país abaixo de I I II III IV Nuevo León 0,21 9,12 29,99 32,37 28,31 Total AL e C 0,93 16,51 35,46 26,79 20,30 Fonte: VALDÉS, 2008, p. 32. Essa tabela nos mostra que, apesar de os resultados do Brasil em Leitura indicarem um panorama educacional um poucomelhor, o cenário do País é semelhante ao apresentado em Matemática: grande concentração do percentual dos alunos nos níveis 1 e 2 (49,5%), apesar do aumento do percentual de alunos no nível 4. Chile, Costa Rica, México e Uruguai ainda se destacam, com maiores percentuais de alunos nos níveis 3 e 4, quando comparados ao Brasil. Terceiro estudo comparativo e explicativo regional (Terce) Participaram do Terce 15 países: Argentina, Brasil, Chile, Colômbia, Costa Rica, Equador, Guatemala, Honduras, México, Nicarágua, Panamá, Paraguai, Peru, República Dominicana e Uruguai, além do estado mexicano de Nuevo León. Mais de 67.000 alunos das 3ª e 6ª séries fizeram parte da amostra e foram avaliados nas seguintes áreas disciplinares: Leitura, Escrita, Matemática e Ciência (sendo este último avaliado somente na 6ª série). Além dos testes, uma série de questionários contextuais (estudantes, famílias, professores e diretores) foram utilizados para coletar informações sobre os fatores associados à aprendizagem e, desse modo, contribuir para a dimensão explicativa do estudo. O Terce buscou investigar o nível de desempenho escolar geral dos alunos de escolas fundamentais nas disciplinas de Linguagem (leitura e escrita), Matemática e Ciências Naturais dos países participantes. Além disso, também teve como finalidade investigar a relação entre o desempenho escolar e os fatores associados aos alunos e às suas famílias, aos professores e às salas de aula e escolas e sua gestão. Para a elaboração do teste de avaliação do aprendizado, o Instituto Colombiano de Avaliação da Educação (ICFES) buscou, por meio de uma revisão dos currículos dos países participantes, identificar os elementos comuns no currículo e, dessa maneira, constituir uma estrutura adequada para medir a qualidade da educação no nível regional. Já os questionários contextuais foram elaborados com base em uma revisão da literatura sobre os fatores que podem influenciar a ocorrência do aprendizado no nível primário. Os dados coletados possibilitaram a análise dos fatores associados às principais características dos sistemas educacionais participantes. 96 O enfoque da avaliação em Leitura buscou medir os seguintes domínios: � compreensão de textos – leitura de vários textos contínuos e descontínuos, a partir dos quais é realizado um trabalho intratextual ou intertextual, e � domínio metalinguístico e teórico – domínio dos conceitos de linguagem e literatura, foco no idioma para reconhecer e designar propriedades ou características de textos e suas unidades. Além desses domínios, buscou-se avaliar também os processos cognitivos, constituídos pela: � compreensão literal – composta das habilidades ligadas ao reconhecimento, ou seja, à capacidade de identificação de elementos explícitos do texto e localização de informações em segmentos específicos do texto; � compreensão inferencial – composta das habilidades relacionadas, por um lado, ao entendimento, isto é, à capacidade de relacionar a informação presente nas diferentes sequências do texto, e, por outro lado, às relacionadas à análise, isto é, à capacidade de dividir a informação nas suas partes constituintes e estabelecer como elas se relacionam de acordo com o propósito e a estrutura do texto, e � compreensão crítica – composta das habilidades relacionadas à avaliação, ou seja, à capacidade de avaliar ou julgar o ponto de vista do emissor do texto e distingui-lo ou contrastá-lo com os outros e com o próprio. Os resultados do Terce foram apresentados de duas maneiras. Primeiramente, por meio de um escore em uma escala cuja média foi fixada em 700 pontos, com desvio-padrão de 100 pontos. Em seguida, os escoares foram alocados em níveis de desempenho, definidos por pontos de corte escolhidos pelo método do Bookmark (CIZEK; BUNCH, 2007; MITZEL et al., 2001). 97 De maneira a possibilitar uma interpretação pedagógica e empírica dos resultados dos alunos, foram estabelecidos três pontos de corte em cada teste, dando origem a quatro níveis de desempenho (I, II, III e IV), ordenados em um contínuo de crescente complexidade. Os pontos de corte que definiram os níveis são apresentados na tabela a seguir, para os níveis da 3ª série: Tabela 34 – Descrição dos pontos de corte por nível de desempenho – 3ª série pontos de corte nível de desempenho até 675 pontos I entre 676 e 728 pontos II entre 729 e 812 pontos III a partir de 813 pontos IV Fonte: Flotts, 2015, p. 33-34. Os resultados de leitura da 3ª série nos mostram que 61% dos estudantes encontram-se nos níveis I e II de desempenho. Isso indica que há maior aprendizagem relacionada à compreensão de textos familiares e próximos dos estudantes, em que a tarefa típica é reconhecer informações explícitas e evidentes. Dessa forma, o principal desafio é expandir o entendimento dos alunos para textos menos familiares, em que é necessário estabelecer relações, interpretar e inferir significados. 98 No gráfico a seguir, podemos analisar a distribuição dos estudantes da 3ª série por nível de desempenho em Leitura: Figura 16 – Distribuição de estudantes da 3ª série do ensino fundamental por nível de desempenho em Leitura Fonte: Flotts et al., 2015, p. 34. Ao analisarmos a distribuição dos estudantes da 3ª série, verificamos que o Brasil possui maior percentual de alunos nos níveis I e III. O País tem, portanto, uma posição comparável às posições de Argentina, Colômbia, Equador, México e Peru. Sendo que, entre esses países, somente a Argentina e o Equador têm menor percentual de alunos no nível IV. Todo o restante apresenta maior percentual de alunos nesse nível, o que é um indicativo da necessidade de trabalho pedagógico em busca de ofertar aos estudantes reforço necessário para consolidar a base da aprendizagem, mas também incentivos para que possa avançar no domínio de habilidades mais complexas. 99 Vejamos, agora, os pontos de corte para os níveis de desempenho da 6ª série: Tabela 35 – Descrição dos pontos de corte por nível de desempenho – 6ª série pontos de corte nível de desempenho até 611 pontos I entre 612 e 753 pontos II entre 754 e 809 pontos III a partir de 810 pontos IV Fonte: Flotts, 2015, p. 44-45. Quando trata dos resultados de leitura da 6ª série, Flotts (2015) identifica que 70% dos alunos encontram-se em níveis de desempenho I e II. O autor identifica maior aprendizagem na área relacionada à compreensão de textos baseados em códigos explícitos e implícitos, o que permite inferências sobre o significado dos textos e os seus propósitos comunicativos, além de identificar como desafio o favorecimento da capacidade de as crianças interpretarem expressões de linguagem figurativa e fortalecer o conhecimento dos componentes da linguagem e as suas funções. 100 No gráfico a seguir, podemos analisar a distribuição dos estudantes da 6ª série por nível de desempenho em Leitura: Figura 17 – Distribuição de estudantes da 6ª série do ensino fundamental por nível de desempenho em Leitura Fonte: Flotts et al., 2015, p. 45. Analisando os resultados do Brasil referentes à 6ª série, identificamos um comportamento diferente daquele apresentado na 3ª série: há um maior percentual de estudantes nos níveis II e III. Os resultados brasileiros são, portanto, parecidos com os resultados obtidos por Argentina, Colômbia, México, Peru e Uruguai, sendo a Colômbia, o México e o Uruguai os países com maior percentual de alunos no nível IV. A maioria dos estudantes brasileiros encontra-se no nível II (mais de 52%), o que indica um cenário parecido com aquele apresentado na 3ª série, em que se observa a necessidade de desenvolver estratégias pedagógicas que possibilitem ao estudante consolidar o que aprendeu, mas também ampliar as suas habilidades para tarefas maiscomplexas. Análise critica Embora amplamente divulgados no Brasil, o Perce, o Serce e o Terce não recebem a atenção devida. Muito similares ao Saeb, as informações desses estudos permitem-nos situar o Brasil no contexto regional e constatar que a sua posição, mesmo na América Latina, é modesta. 101 Como lições para o Brasil, dois sistemas educacionais podem ser destacados: � o de Cuba (no Perce e Serce), com resultados estelares comparáveis aos melhores do mundo, e � o do Chile (no Terce), que é o país da América Latina que apresenta melhoras consistentes tanto no nível regional quando no nível global. Carnoy (2009) faz uma comparação detalhada dos processos sociais e pedagógicos que garantem a vantagem acadêmica de Cuba em relação ao Brasil e mesmo em relação ao Chile. Os informes do Terce têm solidez técnica e merecem servir de base para estudos acadêmicos na área educacional. Isso, infelizmente ainda não ocorreu, pois as bases de dados não estão disponíveis para estudos. Comparação internacional Pisa O Projeto Internacional de Avaliação da Educação (Pisa, na sua sigla em inglês), é um exame que, organizado pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE), é aplicado a uma amostra de estudantes de 15 anos dos países-membros da organização, e de países e economias convidados. O objetivo é verificar se os estudantes que estão terminando a educação básica obrigatória nos países participantes adquiriram conhecimentos e habilidades em Leitura, Matemática e Ciências que os habilitem a uma participação plena na sua sociedade. São avaliados estudantes de países da OCDE e de alguns outros países convidados. Organização para Cooperação e Desenvolvimento, a OCDE é uma entidade internacional formada por 35 países. Fazem parte da OCDE países com alto Índice de Desenvolvimento Econômico (IDE), exceto Chile, México e Turquia. Apesar de não ser membro do OCDE, o Brasil é considerado um país cooperador da organização. Por conta disso, algumas pesquisas realizadas pela OCDE incluem dados relacionados ao nosso país. O primeiro ciclo do Pisa foi realizado em 2000 e, desde então, tem-se repetido a cada três anos. No ano 2000, participaram 32 países: 28 países da OCDE e alguns países convidados, entre os quais estava o Brasil. Já em 2015, participaram 70 países, sendo 35 países-membros da OCDE e 35 países/economias parceiras. 102 No Pisa, além dos testes, os alunos respondem a questionários contextuais que permitem analisar a sua motivação para aprender, a concepção que têm sobre si mesmos e as suas estratégias de aprendizado. Composição da amostra Em cada país/economia participante, a população de referência para definição da amostra do Pisa é composta de “estudantes entre 15 anos e 3 meses (completos) e 16 anos e 2 meses (completos) no início do período de aplicação da avaliação, matriculados em instituições educacionais localizadas no país participante, a partir da 7ª série/7º ano” (Inep, 2016, p. 26). A tabela a seguir mostra-nos os percentuais de alunos em cada ano escolar, no ano de 2015, no Brasil. Tabela 36 ج Percentual dos alunos brasileiros que fizeram o Pisa em 2015 segundo o ano escolar em questão 7° ano (EF) 8° ano (EF) 9° ano (EF) 10° ano (EM) 11° ano (EM) 12° ano (EM) 3,5 6,4 12,5 35,9 39,2 2,5 Fonte: Relatório Inep 2016, p.27. Como podemos observar, a grande maioria dos alunos brasileiros testados pelo Pisa está no ensino médio, e o 2º ano do ensino médio concentra a maior quantidade de alunos. Assim sendo, os alunos brasileiros estão na parte superior da curva de idade quando se consideram todos os estudantes participantes. No Pisa, um número mínimo de 150 escolas é requerido para cada país participante. O Brasil participa, desde 2006, com uma amostra maior, a fim de obter resultados mais descritivos por unidade da Federação, com níveis de precisão aceitáveis. Determinou-se um quantitativo de 964 escolas para a amostra brasileira no Pisa 2015, com especial destaque para Minas Gerais e São Paulo, devido à sua maior concentração populacional de estudantes de 15 anos. Para saber mais sobre a forma de escolha das escolas para compor a amostra brasileira, acesse: � Relatório do Inep 2016. Disponível em: < http://download.inep.gov.br/ acoes_internacionais/pisa/resultados/2015/pisa2015_completo_final_baixa.pdf >. Acesso em: fev. 2018. 103 Questionários contextuais O objetivo dos questionários contextuais do Pisa é coletar dados que possam ajudar os formuladores de políticas e os educadores a compreenderem o motivo e de os estudantes atingirem determinados níveis de desempenho e a forma como isso acorre. Esses questionários incluem itens de caracterização sociocultural dos estudantes e dos processos mais importantes da aprendizagem dos alunos, tanto no nível individual quanto escolar, e também dados relativos ao sistema de ensino. De forma específica, os questionários de contexto incluem itens sobre características do aluno, antecedentes familiares de estudantes, percepções dos alunos, características escolares e percepções dos diretores da escola. Indicadores de características dos estudantes Alguns dos itens do questionário contextual produzem informações que podem ser usadas diretamente nas análises. No entanto, a maioria dos itens desse questionário foram desenhados para ser combinados em uma medida de um construto latente, obtida com as metodologias de construção de índices. Entre esses índices, há um particularmente importante: o índice Pisa de status econômico, social e cultural (ESCS). Para a sua construção, são sintetizadas as informações de bens de conforto doméstico existentes na residência do estudante. A coleta de informações sobre os itens de conforto existentes na residência dos estudantes como informação indireta de riqueza familiar tem uma longa tradição na pesquisa sociológica e educacional. Assume-se que os bens presentes na residência captam melhor a riqueza da família do que a declaração de renda, pois refletem uma fonte de riqueza mais estável. No Pisa 2012, os questionários incluíram questões sobre a presença de 14 itens na residência dos estudantes. Além disso, os países participantes puderam adicionar três itens específicos que captam evidência da riqueza familiar de forma mais adequada a cada país participante. Essas informações foram agregadas no indicador Homepos, um indicador síntese de todos os itens existentes na casa, mais uma informação sobre o número de livros em casa. Além dessa medida, o ESCS é inclui dois outros indicadores: � a ocupação do pai e da mãe – essas informações coletadas e colocadas em uma escola internacional ICSEI. A maior ocupação dos pais dos alunos é escolhida como segunda variável e � a escolaridade dos pais – essa informação é coletada e colocada na escala ISCEB. A maior escolaridade dos pais é escolhida como a terceira variável. Essas três variáveis são sintetizadas em um indicador, por meio de uma análise de componentes principais. 104 Indicadores de características das escolas De forma análoga ao que foi feito com o questionário respondido pelos alunos, vários indicadores são construídos com as informações obtidas pelo questionário da escola, preenchido pelo diretor. Em particular, são criados indicadores de liderança escolar, autonomia e de recursos escolares. Os documentos técnicos do Pisa explicam como cada um desses indicadores é feito e constituem, por isso, uma excelente fonte de informação de como construir indicadores. O que é testado? O Pisa foi desenhado com a finalidade de conhecer a capacidade de os estudantes analisarem e resolverem problemas em uma grande variedade de situações, manusearem informação e enfrentarem situações que lhes serão apresentadas durante a vida adulta e que lhes exigirão odomínio de habilidades que deveriam ter sido desenvolvidas durante a sua permanência na escola de educação básica (OCDE, 2012). O teste do Pisa em Ciências, por exemplo, usa questões que contemplam situações da vida do aluno, como consumo de energia, biodiversidade e saúde humana, mais do que conhecimentos específicos, como nome de plantas, fórmulas químicas, etc. Cada ciclo concentra-se em uma das três capacidades, ainda que o teste inclua, em todas as edições, questões das três áreas. As definições dos três domínios avaliados no Pisa enfatizam a aquisição de conhecimento funcional e de habilidades que permitam a participação ativa na sociedade. Tal participação requer mais do que apenas a capacidade de realizar tarefas impostas externamente, por exemplo, por um empregador. Significa também estar equipado para participar dos processos de tomada de decisão. Nas tarefas mais complexas do Pisa, os alunos são solicitados a refletir e avaliar o material. As definições abordam a capacidade de os alunos extrapolarem o que aprenderam e aplicarem os seus conhecimentos em contextos novos, e também se concentram na capacidade de os alunos analisarem, raciocinarem e comunicarem-se efetivamente ao apresentar, resolver e interpretar problemas em uma variedade de situações. Vejamos a definição de cada um dos domínios avaliados pelo Pisa (OCDE, 2016a): a) Leitura: Capacidade de um indivíduo compreender, usar, refletir e se envolver com textos escritos, a fim de atingir os seus objetivos, desenvolver o seu conhecimento e potencial, e participar da sociedade. b) Matemática: Capacidade de um indivíduo de formular, empregar e interpretar a Matemática em uma variedade de contextos. Inclui o raciocínio matemático e o uso de conceitos matemáticos, procedimentos, fatos e ferramentas para descrever, explicar e prever fenômenos. Ajuda os indivíduos a reconhecerem o papel que a Matemática desempenha no mundo e a desenvolverem julgamentos e decisões bem fundamentados, necessários à formação de cidadãos construtivos, envolvidos e reflexivos. 105 c) Ciências: Conhecimento científico de uma pessoa e o seu uso para identificar questões, adquirir novos conhecimentos, explicar fenômenos científicos e tirar conclusões baseadas em evidências sobre questões relacionadas à ciência. Compreensão dos traços característicos da ciência como forma de conhecimento humano. Consciência de como a ciência e a tecnologia moldam os nossos ambientes materiais, intelectuais e culturais. Ajuda a desenvolver a vontade de se envolver em questões relacionadas com a ciência e com as ideias da ciência, como um cidadão reflexivo. Descrição dos testes Aproximadamente dois terços dos itens do Pisa são composto de questões de múltipla escolha de diversos formatos. O um terço restante é composto de questões de resposta aberta. Isso exige a construção de padrões de resposta e a atribuição de escores por corretores que são treinados para a tarefa. Atualmente, os itens que compõem os testes do Pisa são desenvolvidos em centros de pesquisa educacional de diferentes partes do mundo, de forma a garantir a presença de situações que representem a diversidade de vivências que os estudantes dos diferentes países enfrentam no seu dia a dia. Ao mesmo tempo, exigem, para a sua solução, os conhecimentos e habilidades que, na concepção do Pisa, devem ser dominados por jovens de quinze anos. Os documentos que descrevem as matrizes de avaliação explicam o que é avaliado, por que e como. Além disso, fornecem exemplos detalhados de itens incluídos nos testes. Esse material é particularmente rico em reflexões e informações pedagógicas. O processo de desenvolvimento dos itens incluídos nos testes se estende por vários anos, desdobrando-se em várias etapas desenvolvidas concomitantemente. Trata-se de um processo muito sofisticado. Para saber mais sobre as matrizes do PISA, acesse: � Relatório do Inep 2016. Disponível em: < Relatório do PISA 2015. Disponível em: <http://www.oecd.org/pisa/data/2015-technical-report/>. Acesso em: fev. 2018. 106 Escala de proficiência As respostas dos estudantes aos itens do Pisa são transformadas, por meio de modelos da Teoria de Resposta ao Item, em escores. A interpretação pedagógica dessa escala e feita por meio de um mapa de itens, como apresentado na figura a seguir. Figura 18 – Escala de proficiência Pisa Fonte: OCDE (2016), PISA 2015 Results (Volume I): Excellence and Equity in Education. Como podemos verificar, cada item usado no teste nos dá a informação sobre um ponto da escala. A partir do escore de cada estudante, é possível sabermos em quais itens ele tem proficiência e em quais não tem. Claro que essa é uma afirmativa probabilista, pois o ocorre com um estudante individual reflete muitas características pessoais não captadas em testes padronizados. Níveis Os resultados do Pisa são apresentados em seis níveis. No entanto, em 2009, para facilitar a comunicação, o Pisa utilizou apenas quatro níveis: � alto desempenho que agrega os níveis 6 e 5; � desempenho sólido que representa o nível 4; � desempenho moderado agregando os níveis 2 e 3, e � baixo desempenho, composto pelo nível 1 ou abaixo. 107 Em anos posteriores o nível 1 foi dividido em 1a e 1b. O nível 3 é tomado como o nível de aprendizado adequado. Desse modo, para acompanharmos o desenvolvimento dos alunos, podemos verificar o percentual de alunos abaixo desse nível. Os níveis são interpretados da mesma maneira da escala, isto é, por meio dos itens que estão nele situados. Os relatórios do Pisa mostram um mapa de itens, como exemplificado na tabela a seguir: Tabela 37 – Mapa de perguntas científicas selecionadas que ilustram níveis de proficiência nível pontuação mais baixa do nível item dificuldade do item 6 708 fazenda sustentável de peixes – (S601Q01) 740 5 633 4 559 migração de aves – (S656Q02) 630 investigação de encosta de declive – (S637Q05) 589 fazenda sustentável de peixes – (S601Q04) 585 migração de aves – (S656Q04) 574 3 484 investigação de encosta de declive – (S637Q01) 517 migração de aves – (S656Q01) 501 2 410 meteoroides e crateras – (S641Q01) 483 fazenda sustentável de peixes – (S601Q02) 456 meteoroides e crateras – (S641Q02) 450 meteoroides e crateras – (S641Q04) 438 1a 335 1b 261 meteoroides e crateras – (S641Q03) 299 Fonte: OCDE, 2016, p. 59. 108 Podemos observar que, na tabela apresentada, cada item é situado em um nível. Desse modo, um estudante que está em um nível não é capaz de resolver os itens dos níveis mais altos, sendo capaz apenas de resolver os itens do seu nível e dos níveis mais baixos. Essas são, no entanto, afirmativas probabilísticas, que não valem para estudantes específicos. A seguir, podemos ver um exemplo do item S601Q01, extraído do Relatório do Inep de 2016 (INEP, 2016, p. 65-66): Figura 19 – fac-símile da prova de ciências, extraída do sistema eletrônico do Pisa 2015. Nota: esse item serve apenas como referência visual. A versão em inglês pode ser visualizada no relatório internacional (OCDE, 2016). 109 Como podemos observar, nesse caso, o formato da resposta foi o de múltipla escolha complexa. Já a competência solicitada foi a de explicar fenômenos cientificamente. A tarefa do item apresentou um diagrama do projeto experimental de uma fazenda de criação de linguado e descreveu os hábitos alimentares dos organismos componentes dos tanques do sistema. Para responder a essa questão, os estudantes deveriam mover os organismos para os tanques apropriados, considerando as informações sobre os seus hábitos alimentares e as respectivas contribuições na manutenção da sustentabilidade do sistema. Para receber o crédito completo, os componentes teriam de estar dispostos nos tanques conformeconsta na figura. A competência avaliada na questão não se restringiu ao conhecimento do conteúdo (cadeia alimentar), envolvendo também a capacidade de associar esse conhecimento a uma situação hipotética. É possível que a forma de apresentação da tarefa tenha agregado dificuldade, pois mais de 30% dos estudantes brasileiros omitiram a resposta e, dos que responderam, menos de 2% receberam crédito (delta igual a 21,56). De fato, a estrutura textual do item era complexa – composta de linguagem verbal e não verbal –, com muitas informações que deveriam ser integradas para a produção da resposta. Embora essas informações fossem necessárias à resolução da questão, a forma como estavam dispostas pode ter dificultado o entendimento. O texto verbal descrevia, adequadamente, o funcionamento do viveiro e a função trófica dos organismos componentes dos tanques. Entretanto, a sua associação com o diagrama exigia a decodificação de setas com funções distintas (indicações do fluxo da água nos tanques e localização de elementos do diagrama) e o entendimento de informações textuais complementares situadas no próprio diagrama (legenda e textos explicativos dos componentes). 110 Resultados do Brasil As mazelas estruturais do sistema brasileiro de educação básica fazem com que o nosso país se apresente em posição desfavorável quando comparado a outros países. Franco (2002), ao analisar os primeiros resultados brasileiros no Pisa, mostra-nos que, no Brasil, mesmo as escolas consideradas boas não o seriam se o padrão de comparação incluísse escolas de outros países. O autor ressalta ainda que o ensino brasileiro não enfatizava, à época, as habilidades demandadas no mundo de hoje. Além disso, observa que, mesmo considerando somente os alunos brasileiros de alto nível socioeconômico, os resultados ainda são menores do que os de alunos equivalentes de outros países. Esse diagnóstico continua atual e pertinente. Essa é uma situação que precisa mudar. Se quiser ocupar um lugar de destaque no concerto das nações, o Brasil não pode ter um padrão educacional, em áreas tão básicas como Leitura, Matemática e Ciências, aquém dos resultados de outros países com o mesmo nível de desenvolvimento econômico. A tabela a seguir nos mostra o percentual de alunos do Brasil em cada um dos quatro níveis de competência leitora, conforme o Pisa realizado em 2009, bem como o resultado de alguns outros países para comparação. Esses países incluem a Coreia, usada frequentemente como exemplo, os Estados Unidos, que são um país grande, com uma população tão diversa quanta a brasileira, e alguns países latino-americanos. Vejamos: Tabela 38 – Percentual de alunos por nível e país – Leitura (Pisa 2009) país baixo desempenho desempenho moderado desempenho sólido alto desempenho Brasil 49,6 43,0 6,1 1,3 Chile 30,6 58,8 9,3 1,3 México 40,1 54,2 5,3 0,4 Uruguai 41,9 48,3 8,1 1,8 Coréia do Sul 5,8 48,4 32,9 12,9 Espanha 19,5 59,4 17,7 3,4 Estados Unidos 17,6 52,0 20,6 9,8 Portugal 17,6 58,0 19,6 4,8 Fonte: Baseado nos dados divulgados pelo Relatório Pisa 2009 (INEE, 2010). 111 Como podemos notar, os resultados do Brasil são muito ruins. O percentual de alunos brasileiros com baixo desempenho em Leitura chega a quase 50%. Além disso, o Brasil possui um percentual baixo de alunos com desempenhos sólido ou alto: 7,4%. À época de divulgação dos últimos resultados, foi muito veiculada a informação de que o Brasil foi um dos países que tiveram a maior evolução de desempenho desde 2000. Essa informação, no entanto, recebeu uma análise crítica recentemente. Klein (2011) observa que a mudança na data da aplicação do Pisa modifica o percentual de alunos nas séries em que os alunos selecionados estão matriculados. Isso tornou os universos dos alunos avaliados, referentes aos anos de 2000 e 2009, não comparáveis. Desse modo, são frágeis algumas das conclusões amplamente veiculadas de que houve melhoria de desempenho dos alunos brasileiros entre esses dois anos. A tabela a seguir nos fornece o percentual de alunos com desempenho em Leitura no Pisa 2015. Nela podemos observar um comportamento similar entre os países da Argentina, Chile, Espanha e Portugal, onde o percentual de alunos em leitura com baixo desempenho diminuiu e o percentual de alunos em leitura com alto desempenho aumentou. Por outro lado, países como o Brasil, o México e os EUA apresentaram resultados mais estáveis em todos os níveis de desempenho, apesar de observamos um aumento do percentual de alunos no nível baixo desempenho. Vejamos: Tabela 39 – Percentual de alunos por nível e país – Leitura (Pisa 2015) país baixo desempenho desempenho moderado desempenho sólido alto desempenho Brasil 51,0 41,2 6,4 1,4 Chile 28,4 56,9 12,4 2,3 México 41,7 53,7 4,2 0,3 Uruguai 39,0 49,1 9,3 2,5 Coréia do Sul 13,7 48,2 25,5 12,7 Espanha 16,2 56,7 21,6 5,5 Estados Unidos 19,0 50,9 20,5 9,6 Portugal 17,2 53,3 21,9 7,5 Fonte: Elaborada com base nos dados disponíveis em: <http://dx.doi.org/10.1787/888933432569>. Acesso em fev. 2018. 112 Impactos no Brasil A participação do Brasil no Pisa possibilitou a circulação dos documentos técnicos usados para a tomada das decisões técnicas desse exame. Esses documentos foram construídos usando-se a melhor literatura da área e, assim sendo, são uma fonte segura sobre como organizar uma avaliação externa de forma adequada. O desempenho dos alunos brasileiros no Pisa foi utilizado para a escolha das metas criadas no âmbito do Índice de Desenvolvimento da Educação Básica (Ideb) e do movimento Todos pela Educação. A nota técnica do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) explica os procedimentos. 5 É importante notarmos, entretanto, que não se mudou a especificação dos testes brasileiros a partir da experiência do Pisa. Por conta disso, para atingir metas como a do aumento da proporção de alunos brasileiros nos níveis de alto desempenho do Pisa, serão necessárias ainda muitas mudanças nos currículos, e não simplesmente uma melhoria no desempenho dos alunos nos testes brasileiros. Pouco se faz no Brasil com os resultados do Pisa, exceto nos momentos de divulgação dos resultados, quando a imprensa apresenta matérias críticas sobre a posição do Brasil entre os países participantes. Essa atitude contrasta com a decisão de outros países como o México, que criou materiais de orientação para professores explicando a abordagem pedagógica latente nesse exame (INEE, 2010). Outra demonstração desse pouco impacto é o fato de que, no Brasil, não existe nenhum grupo de pesquisa em educação que tenha o Pisa como uma de suas áreas de interesse. 5 Para mais informações, acesse: <http://download.inep.gov.br/educacao_basica/portal_ideb/o_que_sao_as_metas/ Nota_Tecnica_n3_compatibilizacao_PISA_SAEB.pdf >. Acesso em: fev. 2018. Gráficos comparativos do percentual de alunos em cada nível de desempenho em Leitura A primeira coluna dos gráficos a seguir é referente aos percentuais de alunos com desempenho em Leitura no Pisa de 2009. Já a segunda coluna é referente aos percentuais de alunos com desempenho em Leitura no Pisa 2015. Gráfico 1 – Percentual de alunos em Leitura por nível de desempenho – baixo desempenho (Pisa 2009 e 2015) ANEXO I 114 Gráfico 2 – Percentual de alunos em Leitura por nível de desempenho – desempenho moderado (Pisa 2009 e 2015) Fonte: OECD, Pisa 2015 Database, Table I.4.1a. Gráfico 3 – Percentual de alunos em Leitura por nível de desempenho – desempenho sólido (Pisa 2009 e 2015) Fonte: OECD, Pisa 2015 Database, Table I.4.1a. 115 Gráfico 4 – Percentual de alunos em Leitura por nível de desempenho – alto desempenho (Pisa 2009 e 2015) Fonte: OECD, Pisa 2015Database, Table I.4.1a. Gráfico 5 – Percentual de alunos em Leitura por nível de desempenho – desempenho sólido (Pisa 2009 e 2015) Fonte: OECD, Pisa 2015 Database, Table I.4.1a. 116 BIBLIOGRAFIA ALVES, Maria Teresa Gonzaga; SOARES, José Francisco; XAVIER, Flavia Pereira. Desigualdades educacionais no Ensino Fundamental de 2005 a 2013: hiato entre grupos sociais. Revista Brasileira de Sociologia-RBS, v. 4, n. 7, p. 49-82, 2016. ANGOFF, W. H. Scales, norms, and equivalent scores. In: THORNDIKE, R. L. (Ed.). Educational measurement. Washington, DC: American Council on Education, 1971. BEATON, A. E.; ALLEN, N. L. Interpreting scales through scale anchoring. Journal of Educational Statistics, v. 17, n. 2, p. 191-204, 1992. BOURDIEU, P.; PASSERON, J.-C. A reprodução: elementos para uma teoria do sistema de ensino. Petrópolis: Editora Vozes. 2008. BRASIL. Lei de diretrizes e bases da educação (Lei n° 9.394/96). Brasília, DF: 1996.BRASIL. Lei nº. 13.005, de 25 de junho de 2014. Aprova o Plano Nacional de Educação–PNE e dá outras providências. Brasília, DF: 2014. BRASIL. Congresso Nacional. Lei nº 9.394 de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Brasília, DF: 1996. BRASIL. Constituição Federal. Constituição da República Federativa do Brasil. Brasília, DF: Senado Federal, 1988. BROOKE, N.; SOARES, J. F. Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. CARNOY, M.; GOVE, A. K.; MARSHALL, J. H. A vantagem acadêmica de Cuba: por que seus alunos vão melhor na escola. São Paulo: Ediouro, 2009. CASASSUS, J. et al. Primer estudio internacional comparativo sobre lenguaje, matemática y factores asociados en tercero y cuarto grado. Santiago de Chile: LLECE Unesco-Santiago, 1998. CIZEK, G. J. More unintended consequences of high‐stakes testing. Educational Measurement: Issues and Practice, v. 20, n. 4, p. 19-27, 2001. 117 CIZEK, G.; BUNCH, M. Standard setting: a guide to establishing and evaluating performance standards on tests. California: Sage Publications, 2007. COLEMAN, J. S. et al. Equality of educational opportunity. Washington DC: US Government Printing Office. 1966. DELORS, Jacques et al. Educação: um tesouro a descobrir: relatório para a Unesco da Comissão Internacional sobre Educação para o século XXI. 1998. DÍAZ, G. M.; FLORES, G. México en PISA 2009. México: INEE, 2010. EUROPEIA, Comissão (CE). Recomendação do Parlamento Europeu e do Conselho de 18 de Dezembro de 2006 sobre as competências essenciais para a aprendizagem ao longo da vida. Jornal Oficial da União Europeia, p. 10-18, 2006. EURYDICE. Diferenças de género nos resultados escolares: estudo sobre as medidas tomadas e a situação actual na Europa. (Relatório), EACEA, Comunidade Europeia: Gabinete de Estatística e Planeamento da Educação, Ministério da Educação. doi:10.2797/51375. 2010. FLOTTS, M. P. et al. Informe de resultados Terce. Tercer estudio regional comparativo y explicativo. 2015. FONTANIVE, N. S.; ELLIOT, L. G.; KLEIN, R. Os desafios da apresentação dos resultados da avaliação de sistemas escolares a diferentes públicos. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 2007. FRANCO, Creso. et al. O referencial teórico na construção dos questionários contextuais do SAEB 2001. Estudos em avaliação educacional, n. 28, p. 39-74, 2003. HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. Newburry Park, Califórnia: Sage Publications Inc., 1991. INEP. Relatório Nacional Saeb 2003. Brasília, DF: Inep, 2006. 266 p. INEP. Brasil no Pisa 2015: análises e reflexões sobre o desempenho dos estudantes brasileiros/ OCDE-Organização para a Cooperação e Desenvolvimento Econômico. São Paulo: Fundação Santillana, 2016. Disponível em: <http://download.inep.gov.br/acoes_internacionais/pisa/ resultados/2015/pisa2015_completo_final_baixa.pdf >. Acesso em: fev. 2018. 118 KLEIN, R. Alguns aspectos da teoria de resposta ao item relativos à estimação das proficiências. Avaliação e Políticas Públicas em Educação, v. 21, n. 78, p. 35-56, 2013. KLEIN, R. Uma re-análise dos resultados do Pisa: problemas de comparabilidade. Avaliação e Políticas Públicas em Educação, v. 19, n. 73, p. 717-741, 2011. MEC/INEP. Dicionário de indicadores educacionais: fórmulas de cálculo. Brasília. 29 p. 2004. Disponível em: <http://inep.gov.br/informacao-da-publicacao/-/asset_publisher/6JYIsGMAMk W1/document/id/486420>. Acesso em: fev. 2018. MEC/Inep. Diretoria de Estatísticas Educacionais. Nota técnica n° 03/2013: cálculo das taxas de rendimento escolar – Censo da Educação Básica. Brasília, DF: 2013. MITZEL, H. C.; LEWIS, D. M.; PATZ, R. J.; GREEN, D. R. The bookmark procedure: psychological perspectives. Setting performance standards: concepts, methods, and perspectives, 249- 281. 2001. PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993. OCDE. Pisa 2015 assessment and analytical framework: science, reading, mathematic and financial literacy. 2016a. Disponível em: < http://www.oecd.org/publications/pisa-2015-assessment-and- analytical-framework-9789264281820-en.htm>. Acesso em: fev. 2018. OCDE. Pisa 2015 results: excellence and equity in education. v. I. Paris: OECD Publishing. 2016. OECD. Pisa 2009 technical report. Pisa/OECD Publishing, 2012. Disponível em: <http://dx.doi.org/10.1787/9789264167872-en>. Acesso em: fev. 2018. PESTANA, M. I. O sistema de avaliação brasileiro. Revista Brasileira de Estudos Pedagógicos, v. 79, n. 191, 2007. RIOS-NETO, E. L. G. Educação e população – ação 2.2. Módulo produtividade educacional com base nas pesquisas domiciliares e no censo demográfico. 1.6 Sumário executivo: análise dos indicadores educacionais calculados durante o convênio Inep/Cedeplar nº29/2002, Belo Horizonte, 2005. SIMIELLI, L. E. R. Equidade educacional no Brasil: análise das oportunidades educacionais em 2001 e 2011. 133 f. Tese (Doutorado em Administração Pública e Governo) – Escola de Administração de Empresas de São Paulo: São Paulo, 2015. 119 SOARES, J. F. Índice de desenvolvimento da educação de São Paulo – Idesp: bases metodológicas. São Paulo Perspectivas, São Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009. SOARES, J. F. A qualidade da educação, a qualidade das escolas. IN: OLIVEIRA, Marcus (Org.). A qualidade da escola pública no Brasil. Belo Horizonte: Mazza Edições, 2012. SOARES, José Francisco; DELGADO, Victor Maia Senna. Medida das desigualdades de aprendizado entre estudantes de Ensino Fundamental. Estudos em Avaliação Educacional, v. 27, n. 66, p. 754-780, 2016. OECD. Are the new millennium learners making the grade? Technology use and educational performance in Pisa, 2010. Disponível em: < https://www.oecd-ilibrary.org/education/are-the-new- millennium-learners-making-the-grade_9789264076044-en >. Acesso em: fev. 2018. TODOS PELA EDUCAÇÃO. Anuário da Educação Básica 2016. Disponível em: https://www.todospelaeducacao.org.br/biblioteca/1545/anuario-brasileiro-da-educacao-basica- 2016/. Acesso em: fev. 2018. TRAYNOR, A.; RAYKOV, T. Household possessions indices as wealth measures: a validity evaluation. Comparative Education Review, v. 57, n. 4, p. 662-688, 2013. VALDÉS, Héctor et al. Los aprendizajes de los estudiantes de América Latina y el Caribe: Resumen ejecutivo del primer reporte de resultados del segundo estudio regional comparativo y explicativo. Santiago do Chile: Unesco/ LLECE, 2008. 120 PROFESSOR-AUTOR José Francisco Soares possui pós-doutorado em Educação pela University of Michigan (Ann Arbor), é doutor em Estatística pela University of Wisconsin (Madison), mestre em Estatísticapelo Instituto Nacional de Matemática Pura e Aplicada (IMPA) e bacharel em Matemática pela Universidade Federal de Minas Gerais (UFMG). É professor titular aposentado da Universidade Federal de Minas Gerais (UFMG), onde continua as suas atividades de pesquisa no Grupo de Avaliação e Medidas Educacionais (Game). Na área de avaliação educacional, foi membro do comitê consultivo do Inep, membro do Conselho de Governança do movimento Todos pela Educação e membro do Conselho Nacional de Educação de 2012 a 2014. Atualmente, é membro do Conselho Técnico do Instituto Nacional para la Evaluatión de la Educatión (INEE) do México. Foi o primeiro presidente eleito da Associação Brasileira de Avaliação Educacional (Abave) e continua a integrar o seu comitê cientifico. De fevereiro de 2014 a fevereiro de 2016, foi presidente do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep/MEC). Em 2011, foi o escolhido pela Abave para a homenagem especial e, em 2012, recebeu o prêmio Bünge pelas suas contribuições na área de avaliação educacional.
Mais conteúdos dessa disciplina
A BNCC e a formação do currículo- Mapa Mental - Educação em Sergipe
- resumo da Lei de diretrizes e Beses da educação
- Resenha Crítica Política Educacional Brasileira Limites e Perspectivas - Dermeval Saviani. - Resumo
- Reformas da Educação Profissional
- Parâmetros Curriculares Nacionais
- Questionário I e II POLÍTICAS EDUCACIONAIS
- Análise do Papel da Escola durante a pandemia
- A luta dos trabalhadores pelo direito à educação e à formaçaão profissional_Carmem
- QUESTIONÁRIO 08 SAÚDE PÚBLICA
- O que é constituição? a. Conjunto de leis/regras que orientam e organizam o funcionamento de uma instituição/Estado. b. Projeto Federal do Ministério
- O texto registra uma linha do tempo da ampliação da conquista da Educação a Distância. Pelos relatos em qual ano aproximadamente surgiu essa modalidad
- Em acordo com a autora Helena Bomeny (1993), compreendemos que a educação brasileira começa a ser vista como política pública a partir de qual ano? Qu
- O que são Políticas Públicas Distributivas? Questão 9 Escolha uma opção: a. São políticas que visam a redistribuição da renda, que destinam serviços o
- ual das alternativas abaixo está incorreta, considerando os regramentos do Novo FUNDEB? a O VAAF, já presente no antigo FUNDEB, manteve o percentual d
- Analise as assertivas e assinale a alternativa que aponta as corretas quanto às diretrizes curriculares nacionais para a educação infantil. I. Os comp
- AVALIAÇÃO – FILOSOFIA E POLÍTICAS EDUCACIONAIS ENVIAR TESTE No que diz respeito a transformação do homem através da filosofia. Analise os itens coloca
- O processo de avaliação institucional deve possibilitar à instituição Questão 2Escolha uma opção: a. um reposicionamento econômico. b. discutir sobre
- Qual é a principal função do Plano Nacional de Educação (PNE)? Avaliar professores. Financiar escolas privadas. Estabelecer diretrizes, metas e estrat
- Quais são as dimensões dos sistemas de gestão educacional? Tecnológica, política e esportiva. Cultural, ambiental e educacional. Pedagógica, administr
- Qual documento reconhece a arte como componente curricular obrigatório? Lei 13.105/2015 Base Nacional de Saúde Constituição Federal de 1988 Dir...
- Em quantas dimensões o Roteiro de Autoavaliação Institucional: orientações gerais dividiu os tópicos a serem abordados pelos processos avaliativos? Qu
- Que faces exercem influências nos processos de avaliação institucional? Questão 4Escolha uma opção: a. As avaliações municipais e estaduais. b. As ava
- Resumo da Agenda 10 - Módulo 3 - Administração (ETEC)
- Revisão 2 - Módulo 3 - Administração (ETEC)
