Prévia do material em texto
MONITORIA E AVALIAÇÃO DA EDUCAÇÃO 1 REFERÊNCIA AOS PRINCIPAIS CONCEITOS E SUA APLICAÇÃO 2 1. Conceitos de Monitoria • A palavra monitoria vem do Século XVI, do Latim “monitor”, que quer dizer “aquele que lembra, que recomenda, que controla, que informa o que está certo e o que está errado (admoestar)”. A palavra está relacionada a outra expressão latina “memini”, que quer dizer “lembrar, estar consciente, ter em mente”. • O aparelho que serve para visualizar as informações processadas no computador também se chama monitor. Esse significado aos poucos mudou para designar “uma tela a mostrar dados transmitidos electronicamente. • Em Moçambique, no sector da Educação, a palavra monitoria é relativamente nova. Ela não aparece nenhuma vez no primeiro plano estratégico da Educação, o PEE I 1998-2003. Por quê? Será que não se fazia monitoria no sector da Educação? Fazia-se! Mas as actividades a que hoje nos referimos como de monitoria e avaliação eram chamadas actividades de acompanhamento e balanço. 3 • Monitoria é Processo constante de recolha e utilização de informação estandardizada para verificação do progresso rumo a objectivos definidos, utilização de recursos e grau de concretização de resultados e impactos. Implica, normalmente, a verificação segundo indicadores e objectivos de resultados previamente acordados. Em resumo: • A monitoria é um conjunto de actividades que serve para observar, lembrar, documentar e visualizar, controlar, recomendar, evidenciar o que está certo e informar sobre o que está errado. • A monitoria só faz sentido se for seguida de uma acção em reacção ao que foi observado, controlado ou recomendado. • Somente a observação e a recomendação não fazem a monitoria! É preciso que o ajuste do sistema sempre aconteça, com base nas conclusões tiradas pela equipa. 4 2. Conceito de avaliação • Avaliação é uma expressão que aparece pela primeira vez na língua Francesa no Século XVIII e quer dizer “dar um valor”. • A avaliação é também chamada em Moçambique de balanço. • Os dois pratos da balança comparam o que foi planificado com o que foi obtido, dando um valor a cada prato. • Este balanço pode (e deve) ser feito do nível micro até ao nível macro. No nível macro, comparamos os objectivos estratégicos planificados para o médio prazo com os resultados obtidos no tempo determinado. no nível micro, comparamos as actividades programadas com a sua realização e efeito. • Ao fazer esta pergunta – que implica comparar e dar valor – vamos buscar a resposta nas observações da monitoria. • Afinal, se fizemos uma boa monitoria, já pudemos observar durante o ano as prováveis razões para o resultado encontrado. Este, não deverá ser uma surpresa para quem faz o balanço ou avaliação. 5 A avaliação deve perguntar: • Qual era a situação esperada no fim do período planificado? Qual é a situação real encontrada? • O que a monitoria observou durante o processo? Quais foram as recomendações para a acção? • As acções recomendadas foram executadas? Resultaram bem? Por que resultaram bem? Por que não resultaram? • Qual é a conclusão que tira a avaliação deste processo? • Avaliação é a verificação sistemática e objectiva de uma iniciativa em curso ou terminada, a sua concepção, implementação e resultados. O objectivo é o de determinar a pertinência e grau de concretização de objectivos, eficiência, eficácia, impacto e sustentabilidade. 6 3. Conceitos de M&A da Educação • Monitoria da educação é uma análise contínua ou periódica dos vários estágios da política, plano ou concepção do programa e implementação educacionais, a nível do sistema ou da escola, para determinar se as políticas, planos e programas estão a ser implementados como pretendido. • A verificação poderia cobrir 1) o contexto em que as políticas são concebidas e implementadas; 2) o despiste de inputs – aquisição, alocação e utilização de recursos; 3) os calendários de trabalho e; 4) outros processos estejam à altura para que os produtos e resultados sejam realizados (Valdez and Bamberger, 2000). • Avaliação da educação é um processo sistemático e objectivo de medição e análise do desempenho de uma política/plano/programa educacional. Pode ser feita durante a sua concepção, implementação ou na fase dos dados/resultados com o objectivo de determinar a sua relevância, eficiência, eficácia, impacto e sustentabilidade dos seus objectivos (OECD, 1986, Mosha 2002). 7 4. Outros conceitos conexos 1) Medição é um processo de utilização de instrumentos apropriados para colectar informação e dados sobre um atributo. • Os instrumentos de medição podem apoiar uma colecta quantitativa (altura, peso, um resultado, progresso feito na implementação de um projecto, etc.) e uma colecta de informação qualitativa (opiniões ou razões para um resultado ). 2) Os indicadores facilitam a tomada de decisão, por isso, são imprescindíveis em qualquer programa de Monitoria e avaliação. são acordados mediante medidas qualitativas e quantitativas que serão utilizadas na avaliação do progresso da política, plano e programa. são cruciais para o sucesso de qualquer estratégia política, plano ou programa. • Características dos indicadores: verificáveis, Relevantes, Informativos, Aceitáveis e Vantajosos. 8 3) Os padrões são um ponto de referência através do qual se pode fazer um julgamento sobre a eficiência e a eficácia/desempenho de um indivíduo, instituição e sistema, baseado na informação e colecta de dados sobre cada indicador ou vá • Os padrões podem ser absolutos (fixos – 50 porcento é muitas vezes considerado como média) ou relativos (flexíveis). 4) Garantia de qualidade é um sistema de verificações e equilíbrios no processo da implementação da política, plano e programa, para assegurar que o sistema esteja constantemente consciente das expectativas e exista um esforço concertado para a sua realização. • As avaliações não produzem desempenho. Elas podem, contudo, servir o propósito de mobilizar incentivos, engajamento, poder e capacidade em recursos humanos e financeiros que produz desempenho. 9 5. Diferenças entre Monitoria e Avaliação Dimensão Monitoria Avaliação Finalidade verificar se a implementação de uma intervenção de desenvolvimento está no caminho certo e servir como base para a avaliação. determinar a relevância e o alcance dos objectivos, a eficiência, eficácia, o impacto e a sustentabilidade do desenvolvimento. Frequência é realizada como um processo contínuo com frequentes ciclos de reflexão (como um filme) é realizada em determinados momentos e a reflexão abrange intervalos de tempo mais longos (fotografia de grande dimensão). Âmbito focalizar-se em certos aspectos da intervenção (o uso de fundos, as actividades, os produtos e a utilização dos produtos). A sua referência é o plano operacional. âmbito mais abrangente. Ela debruça-se sobre questões mais estratégicas Responsabili dade pessoal ou atores responsáveis pela implementação. gestores seniores Pessoal indivíduos e organizações directamente ligadas à intervenção de desenvolvimento. em cooperação com avaliadores externos ou completamente externalizada. 10 6. Complementaridade entre M&A •Os dois processos se complementam, tendo em vista que um oferece informações para que o outro se realize, ou seja, a monitora serve de base de dados para que o processo de avaliação se efective. Portanto, ambos devem estar presentes no momento do planeamento do projecto/intervenção. •Ambos são processos de reflexão que têm em vista a aprendizagem através da experiência. 11 Importância: •A M&A podem contribuir para o desenvolvimento das intervenções, possibilitando momentos de reflexão sobre o que está sendo realizado. •O acompanhamento sistemático e organizado das informações pode transmitir conhecimentos importantes para todos os envolvidos no processo, que poderão auxiliar nas diferentes etapas do processo de implementação das intervenções. •Com os dados colectados os gestores podem tomar decisões, a equipede desenvolvimento poderá alterar os planos e ajustar as configurações do projecto/intervenção para que os resultados determinados nos objectivos da intervenção possam ser alcançados. 12 7. Propósito da avaliação •A avaliação pode servir para muitos propósitos: Avaliar mérito ou importância; Melhorar o programa organizacional; Supervisão e concordância; Desenvolvimento do conhecimento; e Avaliação cumulativa. 1) A avaliação do Mérito ou Importância: •O mérito diz respeito à qualidade da política/plano/programas em termos do seu desempenho. (notas, construções, etc.) •A importância, por outro lado diz respeito ao valor que o desempenho traz para o bem-estar social. (habilidades para a vida, et.) 2) A avaliação do Programa e o Melhoramento Organizacional: Quando o propósito da avaliação é o programa e o melhoramento organizacional (avaliação formativa), fazem-se esforços para dar feedback atempado para corrigir operações irregulares, melhorando assim as operações do plano. 13 3) A avaliação da Supervisão e Concordância: avaliar em que medida a implementação da política/plano está alinhada com as expectativas especificadas dos parceiros (alunos, empregadores, pais, instituições, governo e instituições financiadoras). 4) A avaliação do Desenvolvimento do Conhecimento: envolve esforços para preparar e testar teorias gerais e propostas sobre processos e mecanismos sociais e dentro das escolas tal como ocorrem no contexto dos planos educacionais. 5) Avaliação cumulativa: indica no fim da intervenção se a política, a intervenção planeada ou o programa foi ou não eficaz. A sua maior principal preocupação está nos produtos, outputs e resultados no que respeita à satisfação dos objectivos desejados, ou o impacto que a política teve na sociedade. 14 8. Paradigmas predominantes na M&A 1) O Paradigma Neo-Clássico: é normalmente descritivo e expresso puramente em termos económicos, e os seus procedimentos de avaliação, imagens e formatos concentram- se maioritariamente em indicadores técnico-económicos a nível micro. • Os indicadores educacionais atribuem valor estatístico à qualidade do ensino, atendendo-se não somente ao desempenho dos alunos mas também ao contexto económico e social em que as escolas estão inseridas. Ex. de indicadores de nível micro: media de alunos por turma, media de horas dos professores, taxa de rendimento académico, nível académico dos professores, rácio professor/alunos, taxa de transição, nível socioeconómico dos alunos, remuneração media dos professores, etc. 15 2) O Paradigma da Dependência: é uma abordagem histórico- estrutural, que liga o desenvolvimento ao subdesenvolvimento como dois processos interdependentes. requer que a avaliação da política da educação se concentre nos fenómenos a nível macro e avalie os projectos e programas de educação como instrumentos de domínio dos países receptores pelo país “doador”, ou mesmo dentro do processo de globalização como instrumentos de apoio ao domínio na política, negócio e tecnologia. 3) O Paradigma Ecléctico: alinhado com o pensamento e crença neo-populista reflectindo principalmente a filosofia de desenvolvimento dos antigos líderes africanos. O avaliador da política de educação olha para os fenómenos a nível micro dentro do contexto de uma análise nacional histórico- estrutural do desenvolvimento do país em geral e no que respeita a sectores específicos como a educação. A tarefa da avaliação e monitorização da política da educação é apreciar o facto de que há escolas de pensamento contraditórias na teoria de avaliação da educação. 16 9. Enfoques da avaliação • O enfoque da avaliação pode ser em qualquer dos seguintes atributos: • 1) Visão, Política e Planos: os esforços devem ser direccionados para descobrir em que medida as políticas e planos de educação concebidos que procuram atingir a excelência são pró-activos e olham para o futuro. Para tal, é necessário examinar o ambiente económico, social, político, ecológico, legal, demográfico e cultural de forma a gerar informação que permita aos planificadores identificar problemas genuínos e questões que afectam o desempenho. • 2) Processo da Identificação das Necessidades e declaração do Problema: Quando enfoque está no processo de identificação das necessidades e declaração do problema consideram-se os elementos técnicos tais como a compleição da cobertura, grau de envolvimento, qualidade dos parceiros envolvidos, qualidade da informação e dos dados que são recolhidos, etc. 17 3) Selecção das necessidades: Quando o enfoque é na selecção das necessidades deve-se compreender que as necessidades são naturalmente múltiplas e competem por escassos recursos (financeiros, tempo, humanos e físicos). 4) Metas e Objectivos: Quando o enfoque está nas metas e objectivos é preciso saber as metas e etapas importantes ao longo do caminho para atingir os resultados desejados. os objectivos bem estabelecidos, por exemplo, devem ser SMART – específicos, mensuráveis, atingíveis, realistas e ligados ao tempo. Também se pode desejar avaliar os objectivos para avaliar a sua relevância, importância e utilidade, bem como em que medida eles servem como padrões úteis, que se forem realizados conduzirão à resolução de problemas identificados. 5) Seleccionar Alternativas e Escolher Estratégias: Quando o enfoque está na selecção de alternativas e na escolha de estratégias, a avaliação é útil para indicar possíveis alternativas à luz da informação disponível. 18 • 6) Nível da Concepção: A monitorização e avaliação a nível da concepção concentram-se essencialmente na adequação dos inputs e seus ajustamentos para produzir os resultados desejados. Exemplo, ajustar a formação de professores, com cursos de curta-duração, com um objectivo claro de melhorar o nível de qualidade dos graduados. • 7) Mobilização, Procurement, Pagamento, Utilização e Controlo dos Recursos: Quando o enfoque está na mobilização, procurement, pagamento, utilização e controlo dos recursos é preciso observar que os planos educacionais dependem de recursos humanos, financeiros, físicos e de tempo para a sua implementação eficaz. Por isso, a correcta mobilização dos recursos, aquisição, pagamento, utilização e controlo devem ser as áreas principais do enfoque neste estágio para assegurar a eficiência bem como a total responsabilidade sobre o seu uso eficaz. 19 • 8) Organização e Coordenação da Implementação: Quando o enfoque está na organização e coordenação da implementação é preciso ser-se astuto para verificar se foram estabelecidos os sistemas e estruturas apropriados e se são eficientes e eficazes para apoiar a implementação da política, o plano ou o programa. A Coordenação é crucial para assegurar que haja interacção apropriada entre inputs, processos e sistemas de apoio de forma a produzir os produtos, outputs, e resultados. • 9) Gerir a Implementação: A gestão eficaz preocupa-se com a criação da equipa e a mobilização de grupos e comunidades para se envolverem activamente no apoio à implementação das políticas educacionais, planos e programas. Os gestores eficazes estão orientados para o desempenho, são responsáveis, transparentes e sensíveis ao bom ou mau desempenho. A monitorização e avaliação neste estágio envolve, portanto, entender se os gestores estão a conseguir esses objectivos e se não são responsáveis por um desempenho abaixo do padrão. 20 10) Gerir a Monitoria e Avaliação: Quando o enfoque é na monitoria e avaliação deve-se descobrir em que medida os sistemas, estruturas e procedimentos para conduzir a avaliação são justos, fiáveis, válidos e económicos. Também tem a haver com os necessários 1) recursos humanos existentes para conduzir as análises; com os 2) recursos financeiros para uma correcta orçamentação; e com a 3) a capacidade tecnológica para processar, analisar e armazenar dados. 11) Produto, Output e Resultado: Quando o enfoque está no produto, output e resultado, é preciso compreender que o propósito de todas as políticas, planos e programas de educação é a realizaçãodos objectivos desejáveis de organização individual e da sociedade. A avaliação do produto, output e do impacto [avaliação cumulativa] é feita muitas vezes depois das políticas, planos e programas terem sido implementados durante algum tempo. Neste momento, o avaliador determina se os objectivos das políticas, planos e programas foram atingidos e se não, porquê. 21 12) Sustentabilidade: Quando o enfoque da avaliação é discernir sobre a sustentabilidade parte-se da premissa de que é provável que as políticas educacionais, planos e programas ofereçam apenas uma pequena fracção dos benefícios e serviços pretendidos durante os anos iniciais ou de tentativa de apoio. A sustentabilidade é afectada por muitos factores – técnicos, financeiros, organizacionais e políticos. A monitoria e a avaliação conduzirão então à rápida detecção dos factores que impedem a sustentabilidade, permitindo assim que os políticos, planificadores e gestores corrijam atempadamente esses problemas no processo. 13) Papel da Gestão de Sistemas de Informação: A informação e os dados são produtos da monitoria e avaliação. Dada a importância de obter informação e dados de qualidade em todos os estágios da política, do processo de planificação, da concepção e implementação do programa é difícil simplesmente inclui-la como uma componente em qualquer das áreas de enfoque descritas nas secções precedentes. Ela serve a todas. 22