Prévia do material em texto
MINISTÉRIO DA SAÚDE AVALIAÇÃO DE IMPACTO DAS POLÍTICAS DE SAÚDE UM GUIA PARA O SUS Brasília – DF 2023 Brasília – DF 2023 AVALIAÇÃO DE IMPACTO DAS POLÍTICAS DE SAÚDE UM GUIA PARA O SUS MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde Departamento de Ciência e Tecnologia Ficha Catalográfica Esta obra é disponibilizada nos termos da Licença Creative Commons – Atribuição – Não Comercial – Compartilhamento pela mesma licença 4.0 Internacional. É permitida a reprodução parcial ou total desta obra, desde que citada a fonte. A coleção institucional do Ministério da Saúde pode ser acessada, na íntegra, na Biblioteca Virtual em Saúde do Ministério da Saúde: bvsms.saude.gov.br. Tiragem: 1ª edição – 2023 – versão eletrônica Elaboração, distribuição e informações: MINISTÉRIO DA SAÚDE Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde Departamento de Ciência e Tecnologia Coordenação-Geral de Evidências em Saúde Esplanada dos Ministérios, bloco G, Ed. Sede, sobreloja CEP: 70058-900 – Brasília/DF Ministra de Estado da Saúde: Nísia Trindade Lima Secretário de Ciência, Tecnologia, Inovação e Complexo da Saúde: Carlos Augusto Grabois Gadelha Organização: Erika Santos de Aragão Luís Eugenio Portela Fernandes de Souza Marcio Santos da Natividade Vinícius de Araújo Mendes Acompanhamento técnico: Ana Maria Caetano de Faria Daniela Fortunato Rêgo Fernanda Borges Serpa Fernanda Madeira de Ley Botelho da Cunha Jayne Cecília Martins Letícia Alves Tadeu Santiago Luiz Claudio Barcelos Marina Melo Arruda Marinho Patricia de Campos Couto Projeto gráfico e diagramação: Gilson Rabelo de Almeida Neto Grasiela de Sousa Pereira Luciana Travassos Sapucaia Revisão: Maria Creuza Ferreira da Silva Maria Goret Ferreira de Moraes Normalização: Delano de Aquino Silva – Editora MS/CGDI 2023 Ministério da Saúde. Brasil. Ministério da Saúde. Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde. Departamento de Ciência e Tecnologia. Avaliação de impacto das políticas de saúde: um guia para o SUS [recurso eletrônico] / Ministério da Saúde, Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde, Departamento de Ciência e Tecnologia. – Brasília: Ministério da Saúde, 2023. 714 p. : il. Modo de acesso: World Wide Web: http://bvsms.saude.gov.br/bvs/publicacoes/avaliacao_impacto_politicas_saude_guia_sus.pdf ISBN 978-65-5993-537-6 1. Avaliação – Políticas Públicas. 2. Avaliação de Impacto – Políticas Públicas. 3. Políticas Públicas de saúde. I. Título. CDU 614.2 Catalogação na fonte – Coordenação-Geral de Documentação e Informação – Editora MS – OS 2023/0383 Título para indexação: Impact Evaluation of Health Policies: A Guide for The Brazilian Health System APRESENTAÇÃO 07 Avaliação de impacto das políticas de saúde: um guia para o SUS Departamento de Ciência e Tecnologia – DECIT 08 INTRODUÇÃO Avaliação de impacto das políticas públicas de saúde: uma introdução Vinicius Mendes, Erika Aragão e Luís Eugenio Portela Fernandes de Sousa 12 PARTE 1: INTRODUÇÃO À AVALIAÇÃO DE IMPACTO DE POLÍTICAS DE SAÚDE 30 CAPÍTULO 1 Avaliando o impacto na saúde da população de políticas e programas de proteção social e de saúde implementadas no Brasil Erika Aragão e Mauricio Lima Barreto 31 CAPÍTULO 2 Institucionalização da avaliação no âmbito do Executivo Federal: CMAP e editais de pesquisa em saúde Luciana Mendes Santos Servo e Rodrigo Pucci de Sá e Benevides 46 CAPÍTULO 3 Indicadores e medidas em saúde: conceitos e aplicações para as informações disponíveis no Brasil Mônica Viegas Andrade, Kenya Noronha, Aline Souza e Júlia Almeida Calazans 81 PARTE 2: FUNDAMENTOS LÓGICOS E CONCEITUAIS 124 CAPÍTULO 4 Avaliação de impacto de políticas públicas: racionalidade, fundamentos lógicos e experiências das políticas sociais Naercio Menezes Filho e Bruno Kawaoka Komatsu 125 CAPÍTULO 5 Teoria da Mudança: definição, utilidade e como construir Isabela Furtado, Carolina Marinho e Carolina Melo 156 CAPÍTULO 6 Projetando o impacto de intervenções futuras: princípios e métodos Rodrigo Volmir Anderle, Felipe Alves Rubio, José Alejandro Ordoñez e Davide Rasella 178 CAPÍTULO 7 Causalidade e sobredeterminação: abordagem translacional-transdisciplinar na avaliaçao em saúde Naomar de Almeida-Filho e Denise Coutinho 193 SUMÁRIO PARTE 3: MÉTODOS DE INFERÊNCIA CAUSAL 230 CAPÍTULO 8 Diagramas causais e equações estruturais na avaliação de políticas públicas Marcelo M. Taddeo, Leila Denise Amorim e Rosana Aquino 231 CAPÍTULO 9 Introdução aos modelos experimentais e não-experimentais aplicados à avaliação de políticas públicas em saúde Aléssio Tony Cavalcanti de Almeida e Antônio Vinícius Barros Barbosa 267 CAPÍTULO 10 Randomized Controlled Trials: os experimentos aleatórios em políticas públicas André Portela Souza, Lycia Lima e Caio Castro 291 CAPÍTULO 11 Métodos baseados em escore de propensão e suas aplicações em avaliação de políticas de saúde Dandara de Oliveira Ramos e Rosemeire Leovigildo Fiaccone 307 CAPÍTULO 12 O Método diferenças-em-diferenças Bladimir Carrillo Bermudez e Danyelle Santos Branco 329 CAPÍTULO 13 Regressão descontínua e aplicações na área de saúde Breno Sampaio e Giuseppe Trevisan 344 CAPÍTULO 14 O método de variáveis instrumentais e aplicações em políticas de saúde Rudi Rocha 370 PARTE 4: CIÊNCIA DE DADOS COM FOCO NO DATASUS 385 CAPÍTULO 15 Um debate sobre dados pessoais e dados sensíveis para pesquisa científica e para pesquisa em saúde pública a partir da Lei Geral de Proteção de Dados Bethânia Almeida 386 CAPÍTULO 16 Segurança no uso dos dados sensíveis para pesquisa em saúde: Repositório de dados Marcio Natividade, Samilly Silva Miranda, Alberto Sironi, Evandro Mota Lopes e Juracy Bertoldo 401 CAPÍTULO 17 Acesso aos dados agregados e microdados do SUS Raphael de Freitas Saldanha, Marcel de Moraes Pedroso e Monica de Avelar F. M. Magalhães 418 CAPÍTULO 18 Modelagem e gestão de banco de dados com SQL e integração com o R Felipe Ferré 435 CAPÍTULO 19 Manipulando dados no R Wagner Hugo Bonat 502 CAPÍTULO 20 Introdução à visualização de dados com o R Marcelo S. Perlin 544 CAPÍTULO 21 Análise de regressão Gleice M. S. Conceição e Maria do Rosário de Oliveira Latorre 576 CAPÍTULO 22 Machine learning em políticas públicas de saúde Alexandre Chiavegatto Filho 615 PARTE 5: POLÍTICAS INFORMADAS POR EVIDÊNCIAS E TRADUÇÃO DO CONHECIMENTO 634 CAPÍTULO 23 Evidências para políticas de saúde: aspectos conceituais e suas implicações para avaliações de impacto Jorge Otávio Maia Barreto e Maurício Mota Saboya Pinheiro 635 CAPÍTULO 24 A tradução do conhecimento e a avaliação de impacto de políticas e programas de saúde Luís Eugenio Portela Fernandes de Souza, Daniela Fortunato Rego e Roberta Borges Silva 672 CAPÍTULO 25 Como comunicar evidências científicas para gestores públicos e tomadores de decisão? Fabiana Mascarenhas e Luciano Maximo 686 APRESENTAÇÃO Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 7 Departamento de Ciência e Tecnologia – Decit Avaliação de impacto das políticas de saúde: um guia para o SUS Ministério da Saúde8 O campo de avaliação de políticas públicas vem se consolidando na administração pública como um passo fundamental do ciclo da política pública. Incorporar de forma sistemática essa prática, particularmente no que se refere à avaliação de impacto de políticas de saúde, é fundamental para o aprimoramento e fortalecimento do Sistema Único de Saúde (SUS). Por isso, é com grande satisfação que se entrega esta obra – Avaliação de impacto das políticas de saúde: um guia para o SUS – cujo objetivo é colaborar para o processo de institucionalização da pesquisa em avaliação de impacto das ações no âmbito das políticas de saúde. Obviamente uma obra desse porte é um projeto de longo prazo que envolve muitosprofissionais, tanto do ministério quanto aqueles vinculados a outras instituições, como prova o amplo leque de autores que se dedicaram para colocar seu conhecimento neste registro. Esse é um ponto que vale a pena destacar, não somente pela abrangência que o livro toma para si, mas para lembrar que este projeto começou há algum tempo, com duas oficinas realizadas em 2018 e 2019, em momentos de reunir ideias, contemplar abordagens e definir conteúdo. Isso mostra que o compromisso com o uso de evidências no exercício de avaliação de políticas perpassa diferentes gestões do Ministério da Saúde. Desse modo, esta obra assume contornos programáticos dos mais relevantes. A cultura da avaliação das políticas públicas vem se fortalecendo por normativas recentes, tais como o Decreto nº 9.203 de 22/11/2017 e o Decreto nº 10.411 de 30/6/2020, os quais estabelecem o uso de evidências e metodologias de pesquisa na elaboração, implementação e revisão das políticas públicas. Ademais, o Decreto nº 11.358 de 1/1/2023 define, dentre as competências do Decit/SECTICS/MS, coordenar a elaboração, execução e avaliação de programas e projetos de saúde. Assim, entende-se que se aprofunda, no âmbito das políticas de saúde, as orientações consagradas em publicações de referência, lançadas em 2018 pela Casa Civil e Instituto de Pesquisas Aplicadas: Avaliação de Políticas Públicas: Guia Prático de Análise Ex-Ante e Avaliação de Políticas Públicas: Guia Prático de Análise Ex-Post. O indispensável panorama geral traçado por esses guias precisava ser complementado tendo-se em mente especificamente as políticas de saúde. Essa é a lacuna que a presente obra tem por objetivo contribuir para preencher. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 9 Importante registrar que essa publicação foi elaborada no contexto de uma cooperação entre o Ministério de Saúde, por meio do Departamento de Ciência e Tecnologia (Decit), e a Universidade Federal da Bahia, por meio do Instituto de Saúde Coletiva (ISC). Essa cooperação visa contribuir para a institucionalização da pesquisa avaliativa por intermédio desta obra, a qual apresenta aspectos conceituais e metodológicos a serem empregados em avaliações de impacto, bem como pela capacitação de profissionais dos quadros do Ministério da Saúde, tanto em nível de formação quanto na elaboração de avaliações executivas, enquanto porta de entrada para o processo avaliativo. Espera-se que este guia subsidie fortemente os profissionais que realizarão avaliações de impacto, apresentando grande parte do referencial conceitual e arsenal metodológico disponíveis. Por outro lado, almeja-se sensibilizar gestores do SUS que atuam nos diversos níveis da administração pública para a importância da cultura de avaliação e a toda a gama de práticas avaliativas, particularmente de avaliação de impacto, as quais podem ser acessadas para estudar os resultados finalísticos de intervenções de saúde. A avaliação de impacto de políticas, programas, projetos, estratégias ou outras intervenções de saúde, refletindo sobre a efetividade, eficiência e eficácia dessas, como demonstrado ao longo dos capítulos deste livro, dialoga com o desenvolvimento de métodos capazes de mensurar com rigor científico o nexo causal entre determinada intervenção sendo executada e a realidade que essa buscava alterar. Torna-se nítido, então, a incorporação, no exercício de avaliação de impacto, de técnicas estatísticas e econométricas, baseadas em abordagens experimentais ou quase-experimentais que se valem de processos de aleatorização e seus substitutos. É relevante apontar também que a maior disponibilidade de dados e aprimoramento dos sistemas de informação vem ao encontro do atendimento da demanda avaliativa, a qual integra o ciclo da política pública. No mesmo sentido, é de interesse lembrar os esforços do Decit para promover a transparência ativa da produção científica gerada pelo Ministério da Saúde, por meio de reestruturação de sistema de coleta e disponibilização de informações e evidências científicas. Assim, transformar e impulsionar a forma como se faz uso da pesquisa científica é um importante recurso para as políticas públicas, aumentando para toda a sociedade o conhecimento sobre o fazer científico. Historicamente o desenvolvimento científico encontrou desafios para a tradução do conhecimento visando sua incorporação ao processo de tomada de decisão. Nesse contexto, buscamos reduzir as distâncias e permitir a aproximação dos vários atores envolvidos: pesquisadores, gestores, sociedade, indústria, Ministério da Saúde10 órgãos de controle e outros. Iniciativas dessa natureza contribuem para que no futuro se possa atingir a almejada avaliação de impacto da pesquisa para o SUS. Que os esforços para sistematizar e disponibilizar informações se conjuguem com esta publicação, a qual congrega aspectos teóricos e práticos do exercício de avaliação de impacto. Em um primeiro momento, essa obra ficará disponível no formato digital, como forma de alcançar o público mais amplo possível. Boa leitura, bons estudos e que o conhecimento sobre avaliação de impacto sistematizado nesta obra se materialize na gestão em saúde no SUS. Departamento de Ciência e Tecnologia – Decit Secretaria de Ciência, Tecnologia, Inovação e Complexo da Saúde – SECTICS Ministério da Saúde Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 11 Introdução Vinícius de Araújo Mendes1 Erika Santos de Aragão2 Luís Eugenio Portela Fernandes de Souza2 1Faculdade de Economia, Universidade Federal da Bahia (PPGE-UFBA) 2Instituto de Saúde Coletiva, Universidade Federal da Bahia (ISC-UFBA) Avaliação de impacto das políticas públicas de saúde: uma introdução Ministério da Saúde12 1 Introdução A expressão Avaliação de Políticas Públicas adentrou o debate público no Brasil na década de 2010, o que inclusive rendeu o esforço da Casa Civil da Presidência da República de organizar dois excelentes guias sobre o assunto: o Guia Prático de Análise ex ante (BRASIL, 2018a) e o Guia Prático de Análise ex post (BRASIL, 2018b). Esse processo de institucionalização da avaliação no âmbito do Executivo Federal é descrito no capítulo 2 deste livro. O debate acadêmico sobre a avaliação de políticas públicas, no entanto, remete a décadas anteriores e passou por diferentes fases ao longo do tempo. Alguns fatores explicam o motivo desse tema ser tão presente na agenda acadêmica nos últimos 30 anos: novas metodologias, maior acesso a dados (em especial microdados), mais recursos para financiamento de experimentos com foco em políticas sociais em países em desenvolvimento e, consequentemente, maior interesse acadêmico na agenda com a finalidade de contribuir para melhorar a situação econômica e social, incluída a da saúde das populações. Os livros-textos atuais sobre avaliação de políticas públicas – ou avaliação de impacto ou inferência causal – partem do Modelo de Resultados Potenciais para mostrar que causa é resultado da comparação entre uma situação factual e uma situação contrafactual (hipotética) quando o único elemento de mudança nos dois cenários é a exposição a uma intervenção, aqui traduzida como Política Pública. Para esses diversos livros, esse ponto de partida faz referência ao Modelo de Rubin1. Angrist e Pischke apresentam tal modelo no Capítulo 2 de Mostly Harmless (2008) e no Capítulo 1 de Mastering Metrics (2015); Imbens e Rubin (2015) apresentam tal framework no Capítulo 1 e a história do modelo desde estatísticos clássicos até Rubin 1974, Capítulo 2. É notável que, apesar da ideia de causalidade para avaliação de intervenções, como políticas públicas, estar fundada em um artigo da década de 1970, a explosão de artigos acadêmicos com foco em avaliar intervenções nas áreas sociais – educação, saúde, mercadode trabalho, desenvolvimento em geral – ocorreu quase três décadas depois. Essa agenda de pesquisa, cujo cerne era estabelecer relações causais, com aplicações políticas sociais, provocou uma revolução empírica e deu a Abhijit Banerjee, Esther Duflo e Michael 1 Donald Rubin e seu artigo canônico de 1974. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 13 Kremer o Prêmio Nobel de Economia de 2019, pelo uso de experimentos (Randomized Controlled Trials) para testar o impacto de políticas sociais em países em desenvolvimento. Dois anos mais tarde, essa mesma agenda deu a David Card, Joshua Angrist e Guido Imbens o Prêmio Nobel de Economia pelo uso de experimentos naturais como estratégia para identificar relações causais entre políticas públicas e situação social. O recurso a experimentos naturais foi muito importante, em especial nas décadas de 1980 e 1990, para se aprofundar o debate sobre as fontes de vieses em trabalhos empíricos e como corrigi-los. Causalidade era sinônimo de identificação. Ou seja, se o experimento natural corrigia a fonte de viés, o parâmetro estimado era identificado sem viés e, portanto, a relação causal era estabelecida2. Essa literatura teve forte inserção na área de economia do trabalho, educação, saúde, demografia, economia política e democracia, entre outras3. Um exemplo de experimento natural muito utilizado foi a ocorrência de nascimento de gêmeos. Em 1980, Rosenzweig e Wolpin publicaram um artigo no qual testavam como quantidade e qualidade (capital humano, educação) interagem na escolha pelo número ótimo de filhos, usando gêmeos como experimento natural4. Ponczek e Souza (2012) fizeram esse exercício no Brasil e incorporaram todos os avanços da literatura. Gêmeos foram utilizados como experimento natural para se testar o retorno da escolaridade na educação por Ashenfelter e Krueger (1994). Nos anos 2000, os estudos que recorreram a experimentos e quase-experimentos tornaram-se protagonistas e colocaram a Avaliação de Políticas Públicas em destaque. Esses estudos recuperaram a contribuição seminal de Rubin (1974) e puseram uma lupa em um problema de viés mais específico – o viés de seleção. A abordagem experimental de Avaliação de Políticas Públicas parte da ideia de que, se a escolha do grupo de tratamento – e consequentemente do grupo de controle – for totalmente aleatória, o problema de viés de seleção estaria superado e a comparação na 2 Ao se estimar o modelo 𝑌𝑌 = 𝑋𝑋𝑋𝑋 + 𝜀𝜀 com correlação entre X e 𝜀𝜀 diferente de zero, 𝑐𝑐𝑐𝑐𝑐𝑐(𝑋𝑋, 𝜀𝜀) ≠ 0, isto significa que X afeta Y, (𝑋𝑋 → 𝑌𝑌), 𝜀𝜀 afeta Y, (𝜀𝜀 → 𝑌𝑌), e Y é afetado por X via 𝜀𝜀, (𝜀𝜀 → 𝑋𝑋 → 𝑌𝑌). Portanto, quando isso ocorre 𝑋𝑋 é estimado com viés (captura tanto o efeito 𝑋𝑋 → 𝑌𝑌 quanto o efeito 𝜀𝜀 → 𝑋𝑋 → 𝑌𝑌). A literatura de experimentos naturais busca um experimento natural, como nascimento de gêmeos, um choque climático, uma mudança de lei, alguma fonte de variação exógena que anule o efeito de 𝜀𝜀 em X. Assim, uma vez anulado, 𝑋𝑋 captura apenas o impacto de X em Y, ou 𝑋𝑋 → 𝑌𝑌. Portanto, a literatura de identificação indica que 𝑋𝑋 captura o efeito causal de X em Y. 3 Rosenzweig; Wolpin (2000) fazem ampla revisão da literatura de experimentos naturais em economia. 4 A ideia é bem intuitiva. Quanto maior a quantidade de filhos que um casal decide ter, é mais custoso proporcionar qualidade a todos (educação, saúde etc.). Ao decidir ter menos filhos, o casal pode estar trocando quantidade de filhos por qualidade. Na literatura isso ficou denominado Quantity-Quality Trade-off. No entanto, comparar um casal que decidiu ter um filho com um casal que decidiu por dois filhos seria comparar grupos diferentes. Ao se utilizarem gêmeos, a literatura consegue comparar um casal que decidiu por um filho com um casal que também decidiu por um filho, mas um experimento da natureza proporcionou dois filhos a esse casal com a ocorrência de gêmeos. Ministério da Saúde14 média entre o grupo de tratamento e o grupo de controle representaria o efeito médio do tratamento sobre os tratados ou Average Treatment Effect on the Treated (ATT). Em 2007, Duflo, Kremer e Gleenerster divulgaram um toolkit completo sobre o uso de aleatorização em pesquisa sobre desenvolvimento econômico5 voltada para avaliar o impacto de políticas públicas em áreas como pobreza, nutrição, educação, finanças e saúde, com a finalidade de aumento do bem-estar da população afetada pela política pública6. Vale registrar que o periódico Social Science & Medicine dedicou o volume 2010 do ano 2018 à discussão sobre os potenciais e os limites do uso de Randomized Controlled Trials (RCTs) para avaliar políticas públicas em diversas áreas como medicina, sociologia, educação, economia, tendo como autores especialistas Andrew Gelman, Judea Pearl, Angus Deaton, Nancy Cartwright e Guido Imbens, entre outros7. O uso de RCTs para avaliar intervenções tem o grande potencial de estimar as relações de causa e efeito e permite o controle de vieses, notadamente o de seleção. Suas limitações, contudo, não são pequenas e a primeira é o custo de realização de tais experimentos. Algumas instituições financiam a prática de RCTs para se avaliar políticas públicas em países em desenvolvimento, como o caso do J-PAL, Banco Mundial, Banco Interamericano de Desenvolvimento. Pesquisadores com acesso a recurso conseguiriam planejar e conduzir um experimento aleatório. Porém, nesse ponto, a segunda limitação seria ter acesso a uma localidade em um país-alvo e convencer tanto o público local quanto as autoridades sobre os benefícios de se conduzir tal pesquisa. Por fim, existem limites institucionais e éticos que inviabilizariam a realização de um experimento. Exemplo disso seria uma política pública de saúde no Brasil. Uma vez que o sistema é universal, garantir uma intervenção em um grupo (tratado) e não proporcionar o acesso a tal política ao grupo- controle fere o importante princípio da universalidade do SUS. Então, quando um 5 Anterior ao Tookit, Shadish, Cool e Campbell (2001) era um livro-texto referência sobre o assunto. Imbens e Rubins (2015) são uma referência atual sobre o assunto, dedicando toda a Parte II do livro à literatura estatística e econométrica dos Experimentos Aleatórios Clássicos. 6 Importante fazer a ressalva de que a prática de se separarem dois grupos, o tratado e o controle, por um processo aleatório, fazer uma intervenção apenas no grupo de tratamento e, após um certo período, compará- los para se testar o efeito de tal intervenção é o padrão-ouro da prática clínica. É a forma tradicional de se testar novos medicamentos, por exemplo, em experimentos duplo-cegos ou triplo-cegos. Tal prática é mais antiga do que a similar aplicação em avaliação de Políticas Públicas. As aplicações clínicas são realizadas em escala menor, usualmente, com maior controle sobre todos os fatores que podem influenciar o resultado potencial, em especial confounding, externalidades, desbalanceamento, que são problemas reais em um experimento. O grupo de controle recebe um placebo, o que não alteraria seu comportamento em relação ao grupo dos tratados. Em Políticas Públicas, escalas são usualmente maiores, há maior dificuldade de se coletar informações a todo instante para se controlar os possíveis efeitos que contaminariam o resultado potencial e, por fim, o grupo de controle, ao não receber a intervenção pública, pode mudar seu comportamento (não existe aqui normalmente um placebo nesse grupo). 7 Kawachi, Subramanian e Ryan (2018). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 15 experimento não é o caminho metodológico para se avaliar uma política pública, a outra opção é buscar um quase-experimento8. O desenho do quase-experimento depende do desenho da política (intervenção), da disponibilidade e organizaçãodos dados e do planejamento da avaliação, se ex-ante ou ex-post. Parte da literatura sobre quase-experimentos concentra-se em estudos observacionais. Essa literatura remete a Rosenbaum e Rubin9 no início dos anos 1980 e a Dehejia e Wahba10 no final dos anos 1990 e início dos anos 2000. Outra parte dessa literatura orienta-se pelo conceito de Variável Instrumental, conceito previamente explorado nos experimentos naturais. O experimento natural era, nesse caso, o instrumento, a fonte de variação exógena que controlava o viés e permitia estabelecer-se uma relação de causa- e-efeito entre X e Y. Durante a década de 1990, a literatura de variável instrumental se encontra com a literatura de Resultados Potencias11. Dois braços dessa literatura Quase- Experimental merecem destaques: desenhos com Diferenças-em-Diferenças e desenhos com Regressão descontínua. O destaque nesses dois métodos deve-se aos avanços metodológicos que tal literatura sofreu nos últimos anos12. O público interessado em avaliação de políticas públicas era contemplado pela literatura canônica experimental e quase-experimental em manuais clássicos como o Impact Evaluation in Practice do Banco Mundial13 e o Avaliação Econômica de Projetos Sociais da Fundação Itaú de Menezes Filho e Pinto (2017), além do clássico Mostly Harmless Econometrics de Angrist e Pischke (2008). Tais manuais, bem estabelecidos no campo de avaliação de políticas públicas, apresentam ao leitor (pesquisador, avaliador, gestor) os fundamentos e as aplicações básicas dos principais métodos nas áreas de desenvolvimento e de projetos sociais. Os avanços recentes da literatura aparecem nos manuais publicados na terceira década dos anos 2000, como Causal Inference: The Mixtape, de Scott Cunningham (2021), The Effect: An Introduction to Research Design and Causality, de Nick Huntington-Klein (2022), ambos da econometria; e da epidemiologia, o manual Causal Inference: What If, de Miguel Hernán e James Robins (2020). 8 Quase-experimento é a tradução realizada pela literatura nacional de Quasi-Experimental Designs. 9 Rosenbaum; Rubin (1983), Rosenbaum; Rubin (1984). 10 Dehejia; Wahba (1999), Dehejia; Wahba (2002) e Dehejia (2005). 11 Imbens; Angrist (1994). 12 Para a literatura sobre Diferenças-em-Diferenças, Roth et al. (2022) fazem uma atualização dos recentes métodos e avanços. Para a literatura sobre Regressão Descontínua, ver Cattaneo e Titiunik (2022). 13 Primeira edição de 2011 e segunda edição de 2016. Livro disponível, pelo Banco Mundial, em inglês (original), português, espanhol e francês: Gertler et al. (2016). Ministério da Saúde16 Assim, faltava na literatura brasileira um livro sobre avaliação de políticas públicas que discutisse tanto as versões canônicas dos modelos experimentais e quase-experimentais e seus avanços metodológicos mais recentes quanto inclusive visões críticas sobre o conceito de causalidade. Faltava também um livro que jogasse luz sobre as políticas públicas de saúde, com foco no SUS especificamente, ainda que sem esquecer as experiências internacionais. Além disso, este livro busca avançar em outras direções: (1) reconta as experiências de avaliação de políticas públicas sociais e de saúde; (2) apresenta ao leitor caminhos para interpretar os principais indicadores em saúde; (3) debate a questão do acesso aos dados e como utilizá-los em pesquisas empíricas, sem ferir a privacidade das pessoas; e 4) discute a comunicação de achados científicos para o público em geral. O livro é escrito para públicos diversos e se destina a acadêmicos ou cientistas que realizam (ou desejam realizar) avaliações de impacto de políticas de saúde, autoridades políticas e gestores e técnicos de serviços públicos que precisam e demandam tais avaliações para subsidiar suas decisões sobre a formulação, a implementação e a (des)continuação de políticas de saúde. 2 O livro: sua história, objetivos e potenciais alcances A ideia original deste livro ocorre em 2018, quando gestores e técnicos do Ministério da Saúde sentem a necessidade de institucionalizar a prática da avaliação de impacto e, para isso, buscam apoio de pesquisadores e acadêmicos avaliadores de políticas públicas. A essa altura, os Guias Ex Ante e Ex Post eram uma realidade no setor público brasileiro, em especial na esfera federal, e o termo Avaliação de Políticas Públicas havia se tornado mais corriqueiro dentro do governo federal. Assim, em dezembro de 2018, o Departamento de Ciência e Tecnologia do Ministério da Saúde (Decit), em parceria com o Hospital Alemão Oswaldo Cruz, organiza a 1ª Oficina para Elaboração de Diretrizes de Avaliação de Impacto de Políticas e Programas de Saúde. De acordo com a chamada do evento, a “[...] oficina tem o objetivo de reunir pesquisadores e gestores com experiência na condução de avaliação de programas em saúde visando a construção de diretrizes para a condução de avaliações no âmbito do SUS [...]”. A Figura Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 17 1, abaixo, mostra os principais pontos abordados pelos nove palestrantes dessa primeira oficina. Figura 1 - Resumo dos Debates da Primeira Oficina Fonte: Atrium Facilitação Visual, 2018, 1º Oficina Avaliação de Políticas de Saúde, Ministério da Saúde e HAOC. No ano 2019, o Decit organiza mais duas Oficinas para Elaboração de Diretrizes de Avaliação de Impacto de Políticas e Programas de Saúde: a segunda, em maio, em nova parceria com o Hospital Alemão, e a terceira, em dezembro, em parceria com o Hospital do Coração. Ao todo, entre palestrantes e colaboradores, mais de 60 pessoas estiveram envolvidas nas segunda e terceira oficinas. 1, abaixo, mostra os principais pontos abordados pelos nove palestrantes dessa primeira oficina. Figura 1 - Resumo dos Debates da Primeira Oficina Fonte: Atrium Facilitação Visual, 2018, 1º Oficina Avaliação de Políticas de Saúde, Ministério da Saúde e HAOC. No ano 2019, o Decit organiza mais duas Oficinas para Elaboração de Diretrizes de Avaliação de Impacto de Políticas e Programas de Saúde: a segunda, em maio, em nova parceria com o Hospital Alemão, e a terceira, em dezembro, em parceria com o Hospital do Coração. Ao todo, entre palestrantes e colaboradores, mais de 60 pessoas estiveram envolvidas nas segunda e terceira oficinas. Fonte: Atrium Facilitação Visual, 2018, 1º Oficina Avaliação de Políticas de Saúde, Ministério da Saúde e HAOC. Ministério da Saúde18 O resultado desse intenso debate foi uma proposta de elaboração de um guia orientador da realização de pesquisas de avaliação de impacto, útil a pesquisadores e a gestores interessados em conduzir e em interpretar estudos avaliativos. A proposta desse guia transforma-se, em 2021, no projeto de elaboração do presente livro, liderado pelo Programa de Economia, Tecnologia e Inovação em Saúde (PECS) do Instituto de Saúde Coletiva da Universidade Federal da Bahia (ISC-UFBA). Dois anos depois, o livro está sendo publicado. A estrutura do livro, com suas seções e capítulos, assim como a seleção de autores e autoras, emergiu das contribuições recebidas desde a 1ª oficina mencionada e evoluiu por meio do contato direto entre gestores do Ministério da Saúde, notadamente da Coordenação de Evidências e Informações Estratégicas para Gestão em Saúde, vinculada ao Decit, e pesquisadores das áreas de Economia da Saúde, Política de Saúde e Avaliação de Políticas Públicas. Em setembro de 2021, realizou-se nova oficina com todos os 58 autores e autoras convidados, cujo objetivo foi discutir e pactuar a estrutura do livro e os conteúdos a serem desenvolvidos nos diversos capítulos, de modo que o livro viesse a cumprir o papel de guia para a avaliação de políticas públicas de saúde, apoiando o diálogo entre gestores e técnicos do SUS, de um lado, e pesquisadores e avaliadores de políticaspúblicas do outro. Ao todo, 60 autores e autoras, vinculados a 29 instituições (universidades, faculdades, institutos de pesquisa, órgãos do governo, centros, grupos de pesquisas, dentre outros), participaram, ao longo do ano de 2022, das discussões e da redação dos 25 capítulos que compõem o livro. 3 A estrutura do livro O livro se inicia com uma reflexão da equipe do Departamento de Ciência e Tecnologia do Ministério da Saúde, à guisa de apresentação, e com uma descrição do processo e do produto elaborada pelos organizadores do livro, à guisa de introdução. A apresentação e a introdução têm como objetivo principal explicitar a motivação, os conceitos básicos e as estratégias que orientaram as equipes do Decit/MS e do ISC/UFBA na realização do projeto. Têm também o objetivo de apontar como se articulam as partes e os capítulos do livro, mostram que mesmo escritos por autores e autoras independentes todos se conectam no propósito maior de guiar a realização de estudos de avaliação de políticas públicas, discutem desde seus fundamentos até seus limites e passam pela discussão de modelos, Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 19 aplicações e ferramentas e pelas questões de comunicação e utilização dos resultados das avaliações nos processos de formulação e implementação de políticas. Para atingir tais objetivos, o livro foi estruturado em cinco partes – (1) Introdução à avaliação de impacto de políticas de saúde; (2) Fundamentos lógicos e conceituais; (3) Métodos de inferência causal; (4) Ciência de dados com foco no DataSUS; e (5) Políticas informadas por evidências e tradução do conhecimento – as quais serão detalhadas a seguir. Parte 1: Introdução à avaliação de impacto de políticas de saúde A parte 1 do livro apresenta ao leitor o debate atual sobre Avaliação de Impacto de Políticas, com foco em saúde, uma atenção especial para a saúde pública, sem se aprofundar na discussão sobre métodos de avaliação. Trata-se de um convite ao leitor para se familiarizar com os conceitos e as teorias da área, recorrendo-se a exemplos de avaliações de políticas públicas de saúde. O capítulo 1 – Avaliação de Impacto de Políticas e Programas de Saúde no Brasil – de autoria de Maurício Barreto (ISC/UFBA e Cidacs/Fiocruz) e Erika Aragão (ISC/UFBA), usa exemplos de avaliações realizadas pelas duas instituições, como a do programa Aqui Tem Farmácia Popular e a do impacto do Programa Bolsa Família na mortalidade infantil para mostrar a experiência brasileira de avaliação de políticas de saúde e destaca a importância de se contar com grandes bancos de dados (Big Data) – no caso, a coorte de 100 milhões de brasileiros e brasileiras. O capítulo 2 – Institucionalização da Avaliação no Âmbito do Setor Público – de Luciana Servo (IPEA) e Rodrigo Benevides (IPEA), narra a experiência dos dois pesquisadores no esforço de se institucionalizar a avaliação de políticas públicas na esfera federal. Os autores analisam avaliações financiadas pelo próprio Ministério da Saúde e é importante ressaltar que esses participam do debate sobre Avaliação de Políticas Públicas desde a década de 2010, quando se geraram os referidos Guias Ex-Ante e Ex-Post, da Casa Civil e do IPEA. No capítulo 3 – Indicadores e medidas em saúde: conceitos e aplicações para as informações disponíveis no Brasil – quatro pesquisadoras da Universidade Federal de Minas Gerais – Monica Viegas, Kenya Noronha, Aline Souza e Julia Calazans – apresentam os principais indicadores e medidas em saúde usados para mensurar o estado de saúde Ministério da Saúde20 de uma população. Nesse capítulo são apresentadas as principais bases de dados domiciliares ou de registros administrativos disponíveis e se discutem quais medidas – individuais ou agregadas –podem ser geradas e utilizadas em estudos de avaliação de políticas de saúde. Parte 2: Fundamentos lógicos e conceituais A parte 2 do livro se inicia com o capítulo 4 – Avaliação de Impacto de Políticas Públicas: Racionalidade, Fundamentos Lógicos e Experiências das Políticas Sociais – de Naercio Menezes Filho (Insper e FEA-USP) e Bruno Komatsu (Insper). Esse capítulo é central para o entendimento dos conceitos e das aplicações da avaliação de impacto. Com efeito, os autores apresentam os fundamentos da Avaliação de Políticas Públicas, com base em uma extensa revisão da literatura e em resultados de estudos avaliativos de políticas sociais no Brasil voltadas para problemas ou áreas como pobreza e desigualdade de renda, consumo, saúde e nutrição, educação e mercado de trabalho. As pesquisadoras do Insper – Isabela Furtado, Carolina Marinho e Carolina Melo – dedicam o capítulo 5 à Teoria da Mudança, ferramenta para o desenho, o monitoramento e a avaliação de políticas públicas. O cerne do capítulo é apresentar ao leitor o significado e a importância de explicitar a teoria da mudança que subjaz a qualquer política pública e, para isso, recorre a um exemplo prático. Vale ressaltar que representa uma inovação o destaque que o presente livro dedica ao tema – um capítulo inteiro sobre a Teoria da Mudança14. De fato, livros consagrados de Avaliação de Políticas Públicas abordam a Teoria da Mudança como um tópico contido em um capítulo mais abrangente, como no caso do Getler et al. (2016), que dedica apenas uma seção ao tema no capítulo 2. Ainda que a avaliação ex-post tenha proeminência neste livro, o capítulo 6 – Projetando e avaliando o impacto de intervenções futuras: princípios e métodos – escrito por Rodrigo Volmir, Felipe Rubio, José Ordoñez e Davide Rasella, pesquisadores do ISC/UFBA, apresenta os fundamentos das avaliações de impacto ex-ante com foco em modelos matemáticos e estatísticos preditivos do comportamento da morbidade (hospitalização) e da mortalidade por diferentes causas em segmentos diversos da população. Dentre os 14 Tal destaque deve-se às contribuições da Professora Elizabeth Moreira dos Santos (ENSP) na Terceira Oficina para elaboração de Diretrizes Metodológicas para Avaliação de Impacto de Políticas de Saúde, ocorrida nos dias 5 e 6 de dezembro de 2019 em Brasília. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 21 métodos, o capítulo discute as séries temporais, os modelos comportamentais, a microssimulação e os modelos baseados em agentes. No capítulo 7 – Causalidade e sobredeterminação: abordagem translacional- transdisciplinar nas Ciências da Saúde – Naomar de Almeida-Filho (ISC/UFBA e IEA/USP) e Denise Coutinho (Instituto de Psicologia/UFBA) problematizam a ideia clássica de determinação causal e introduzem o conceito de sobredeterminação, visando a construção de modelos de avaliação tecnológica, os quais, por meio da articulação transdisciplinar de estratégias de pesquisa, sejam capazes de dar conta de problemas complexos no campo da saúde. Vale ressaltar que se trata de outra inovação deste livro, o que o distingue dos manuais de avaliação: a inclusão de um capítulo crítico aos fundamentos da prática hegemônica de avaliação que, além disso, pragmaticamente oferece modelos alternativos. Parte 3: Métodos de inferência causal A parte 3 do livro apresenta os métodos clássicos para inferência causal. Aqui, o leitor terá contato com diferentes métodos e suas aplicações e conhecerá as potencialidades e os limites de cada um. Nessa discussão, serão privilegiados exemplos da literatura de saúde, saúde pública e epidemiologia. Como citado, os principais livros sobre inferência causal e avaliação de políticas públicas tinham como ponto de partida o Modelo de Resultados Potenciais de Rubin. Apenas os livros mais recentes apresentam ao leitor uma visão alternativa para se pensar causalidade, especialmente aquela de Judea Pearl. O capítulo 8 – Diagramas Causais e Equações Estruturais na Avaliação de Políticas Públicas – escritopor Marcelo Taddeo (IME/UFBa), Leila Amorim (IME/UFBa) e Rosana Aquino (ISC/UFBA) destaca especialmente a contribuição de Judea Pearl e apresenta o uso de diagramas causais enquanto técnica para se entender os mecanismos causais de dada intervenção (uma política pública de saúde, por exemplo)15. O capítulo 9 – Introdução aos Modelos Experimentais e Não-Experimentais Aplicados à Avaliação de Políticas Públicas em Saúde – escrito por Aléssio Almeida e Antonio Vinícius Barbosa, ambos do Departamento de Economia da Universidade Federal da Paraíba, apresenta uma esquematização para a escolha do método de inferencial causal de alguns parâmetros e inclui o desenho da política pública (experimental ou quase-experimental), a 15 Cunningham (2021) apresenta os DAG – Directed Acyclic Graphs – em seu Capítulo 3, Huntington-Klein (2022) em seu capítulo 6 e Hernán e Robins (2020) também em seu capítulo 6. Ministério da Saúde22 disponibilidade de dados (longitudinal ou corte transversal), o número de unidades tratadas e a existência de problemas na implementação da intervenção. Ressalte-se que o método de Controle Sintético é somente apresentado nesse capítulo. No capítulo 10 – Randomized Controlled Trials: os experimentos aleatórios em Políticas Públicas – André Portela, Lycia Lima e Caio Castro da Escola de Economia de São Paulo da Fundação Getúlio Vargas, apresentam o padrão ouro da Avaliação de Impacto: os ensaios clínicos randomizados – ou experimentos aleatórios – e suas aplicações na avaliação do impacto de políticas públicas. A importância dos RCTs em avaliação de impacto de políticas públicas pode ser estimada pelo fato de três pesquisadores terem recebido o Nobel de Economia de 2019 por conta de suas pesquisas com a utilização desse método e dos resultados empíricos encontrados. Este capítulo, além de discutir a importância dos experimentos aleatórios para avaliação de impacto, apresenta as dificuldades em sua aplicação, recorrendo a exemplos de aleatorização na avaliação de políticas de saúde. No capítulo 11 – Métodos baseados em escores de propensão e suas aplicações em avaliação de políticas de saúde – as pesquisadoras do ISC/UFBA Dandara Ramos e Rosemeire Fiaccone escrevem sobre os métodos baseados em escore de propensão (Propensity Score) e suas aplicações em avaliação de políticas de saúde. No capítulo 12 – O Método de Diferenças-em-Diferenças Aplicado à Avaliação de Políticas Públicas de Saúde – os pesquisadores da Escola de Economia de São Paulo da Fundação Getúlio Vargas – Bladimir Carrillo e Danyelle Branco – apresentam o Método de Diferenças- em-Diferenças em sua versão clássica, utilizando um exemplo de avaliação do Programa Mais Médicos para o Brasil. A seguir, os autores apresentam uma versão generalizada do modelo e debatem as hipóteses de identificação do modelo e suas plausibilidades16. No capítulo 13 – Dando um Salto de Qualidade: Regressão Descontínua e Aplicações em Políticas de Saúde – Breno Sampaio (PIMES, GAPPE, IZA) e Giuseppe Trevisan (UFPE, GAPPE) apresentam a Regressão Descontínua e discutem dois casos: Sharp e Fuzzy. Argumentam também as aplicações desse método na área de saúde, particularmente nas questões de consumo de álcool e mortalidade, aposentadoria e saúde e acesso a seguro de saúde, entre outros. 16 Os autores disponibilizaram o banco de dados e a rotina de programação do Stata para que o leitor consiga replicar os exemplos apresentados no capítulo. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 23 No capítulo 14 – O Método de Variáveis Instrumentais e Aplicações em Políticas de Saúde – Rudi Rocha (FGV-EAESP) apresenta objetivamente o Método de Variáveis Instrumentais e suas aplicações em políticas de saúde, questiona o problema mais comum de endogeneidade (viés) e mostra como o método de Variável Instrumental pode solucioná-lo. O autor apresenta ainda uma seção de estimação do método, questões práticas e o LATE (Local Average Treatment Effect). Por fim, expõe como o método foi concretamente aplicado para avaliar o impacto do Programa Aqui Tem Farmácia Popular. Parte 4: Ciência de dados com foco no DataSUS A parte 4 do livro apresenta ao leitor conceitos e ferramentas para utilização de dados – especialmente dados públicos e administrativos do SUS – em pesquisas empíricas com foco em avaliação de impacto. O tema da utilização de dados é menos desenvolvido em livros-textos de avaliação de impacto, tornando-se mais um diferencial do presente livro. Pesquisadores e avaliadores, acadêmicos e gestores têm, assim, um guia de utilização de dados nessa parte do livro e encontram nessa seção informações sobre a Lei Geral de Proteção de Dados Pessoais (LGPD), como construir um protocolo para utilização de dados sensíveis, capítulos sobre acesso aos microdados do SUS, banco de dados relacional e Big Data, manipulação, visualização, assim como material para estimação e predição de modelos com regressão linear e machine learning. No capítulo 15 que inicia essa parte, intitulado – Um debate sobre dados pessoais e dados sensíveis para pesquisa científica e avaliação de políticas públicas a partir da Lei Geral de Proteção de Dados – Bethânia Almeida (Cidacs/Fiocruz) debate profundamente sobre o uso de dados pessoais e dados sensíveis para pesquisas, em especial em saúde pública, a partir da LGPD. A produção de conhecimento depende do uso de dados e o acesso a microdados sensíveis possibilita realizar avaliação de impacto em saúde com diversos desfechos. O capítulo mostra como é possível usar os dados sensíveis e proteger simultaneamente a privacidade das pessoas a que se referem os seus dados. No capítulo 16 – Segurança no uso do dado identificado: como montar um protocolo – os pesquisadores do ISC/UFBA Márcio Natividade, Samilly Miranda, Alberto Sironi, Evandro Neto e Juracy Bertoldo aproveitam todo o debate sobre proteção de dados do capítulo anterior e apresentam ao leitor um guia para construção de um repositório seguro de dados Ministério da Saúde24 sensíveis. É um passo a passo para se construir uma infraestrutura que armazene dados sensíveis, em especial do SUS, para utilizá-los em pesquisas e avaliação de políticas públicas, respeitando a LGPD. No capítulo 17 – Acesso aos dados agregados e microdados do SUS – os pesquisadores Raphael Saldanha, Marcel Pedroso e Mônica Magalhães (Fiocruz) descrevem a criação do DataSUS e o desenvolvimento dos Sistemas de Informação em Saúde no Brasil. Além disso, discutem as formas de acesso aos dados desses sistemas de informação, por meio do TabeNet e do TabWin e, por fim, apresentam um pacote de acesso direto aos microdados do DataSUS, usando o R17. No capítulo 18 – Banco de Dados Relacional e Analítico – Felipe Ferré, técnico do Conselho Nacional de Secretários de Saúde, apresenta as ferramentas de modelagem e gestão de banco de dados com SQL e integração com o R. Nesse capítulo, o leitor encontrará tópicos sobre banco de dados, SQL, Big Data, aplicações em bancos de dados do DataSUS. O capítulo 19 – Manipulando dados no R – escrito por Wagner Bonat, da Universidade Federal do Paraná, apresenta as principais ferramentas do R para manipulação de dados e as suas principais ações – filtrar, ordenar, selecionar, criar/transformar e resumir. Dados do DataSUS são utilizados no R em todas as aplicações para o leitor se familiarizar com os principais comandos para manipular e estruturar um banco de dados. O capítulo 20 – Visualização de Dados – escrito por Marcelo Perlin, da Universidade Federal do Rio Grande do Sul, tem como foco o pacote ggplot2 do R com aplicações em dados do DataSUS. Esse capítulo manifesta a preocupação de apresentar os diversos tipos de gráficos, como construí-los no R e utilizar da técnica visual para comunicar estatísticas complexas. O capítulo 21– Análise de Regressão – de autoria de Gleice Conceição e Maria do Rosário Latorre, da Faculdade de Saúde Pública da Universidade de São Paulo, apresenta os fundamentos da Análise de Regressão Linear Simples e Múltipla, com aplicações no R. As autoras gentilmente disponibilizaram o banco de dados que pode usado pelos leitores para replicar todos os exemplos. Além das hipóteses dos modelos de regressão linear, há a 17 Raphael Saldanha publicou, em conjunto com Ronaldo Bastos e Christovam Barcellos, o artigo Microdatasus: pacote para download e pré-processamento de microdados do Departamento de Informática do SUS (DATASUS) no CPS em 2019. A leitura do Capítulo 17 e desse artigo é necessária para qualquer pesquisador que queira acessar microdados do DataSUS. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 25 preocupação de verificar a validade das principais hipóteses do modelo, além da interpretação dos parâmetros estimados. No capítulo 22 – Aprendizagem de Máquina – Alexandre Chiavegatto (FSP-USP) demonstra como os modelos de Machine Learning podem ser utilizados na gestão do sistema de saúde e no desenvolvimento de políticas públicas. O autor faz rápida apresentação dos conceitos e, a partir de achados da literatura, mostra como inteligência artificial e aplicações de aprendizado de máquina têm impacto direto tanto na prática clínica quanto na formulação e implementação de políticas de saúde. Tais avanços devem-se tanto à maior disponibilidade de dados, em especial dados de saúde, quanto a avanços na capacidade computacional. Parte 5: Políticas informadas por evidências e tradução do conhecimento A parte 5 do livro, com seus três capítulos, busca jogar luz sobre duas questões centrais: como o processo e o produto da avaliação de impacto de determinada intervenção – complexos em razão do desenho do experimento ou quase-experimento ou do tratamento dos dados – podem ser comunicados a uma grande audiência? Ou ainda como podem subsidiar a formulação de políticas públicas e informar de forma significativa a gestores públicos que tomam decisões políticas? No capítulo 23 – Aspectos conceituais e suas aplicações na avaliação de impacto de políticas de saúde – Maurício Saboya (IPEA) e Jorge Barreto (Fiocruz) ampliam a visão sobre Avaliação de Impacto em Políticas de Saúde, salientam como suas limitações conceituais podem influenciar os achados e introduzem vieses negativos, inclusive na tomada de decisão da política pública. Os autores apresentam alguns caminhos para superar essas limitações e usam exemplos de avaliações com diferentes abordagens. No capítulo 24 – A tradução do conhecimento e sua importância na disseminação de resultados científicos para gestão em saúde – Daniela Rêgo (COEVI/MS), Roberta Silva (COEVI/MS) e Luís Eugênio Souza (ISC/UFBA) mostram as potencialidades e os limites da tradução do conhecimento e apontam ferramentas inovadoras que podem promover o uso de conhecimento científico na tomada de decisão relativas a políticas de saúde. Por fim, argumentam que as estratégias de disseminação de resultados de pesquisa são mais Ministério da Saúde26 efetivas quando se associam ao exercício democrático da cidadania no interior das organizações. No capítulo 25 – Como comunicar evidências científicas de estudos de avaliação de impacto de políticas e programas de saúde para gestores? – Fabiana Mascarenhas (MS) e Luciano Máximo (Insper), jornalistas especializados em comunicação científica, escrevem sobre as estratégias de comunicação voltadas para gestores de saúde e para o público em geral. Os autores discutem o papel da comunicação e apresentam exemplos de políticas públicas de saúde e estratégias utilizadas para sua comunicação. 4 Conclusão Esta introdução tentou explicar, de forma resumida, os conceitos básicos da avaliação de impacto de políticas de saúde, a partir do conhecimento consolidado nos livros-textos, das críticas e dos avanços mais recentes. Tentou mostrar também como e por que a avaliação de impacto ganhou relevância nas últimas décadas no debate público. A seguir, apresentou breve história deste livro e como todas as colaborações e sugestões se materializaram nos 25 capítulos e nas cinco partes que o compõem. A introdução perpassou ainda cada um dos capítulos e apresentou o tema de cada um, seus objetivos e suas possíveis contribuições para gestores, pesquisadores e avaliadores de políticas públicas com interesse no SUS. Os organizadores esperamos que esta longa introdução seja útil ao leitor, o qual pode – com mais elementos – escolher fazer a leitura sequencial do primeiro ao último capítulo do livro ou ir diretamente à parte que lhe interessa em especial. Boa leitura! Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 27 Referências ANGRIST, J.; PISCHKE, J. S. Mostly harmless econometris: an empiricist’s companion. Nova Jersey: Princeton University Press, 2008. ANGRIST, J.; PISCHKE, J. S. Mastering metrics: the path from cause to effect. Nova Jersey: Princeton University Press, 2015. ASHENFELTER, O.; KRUEGER, A. Estimates of the economic return to schooling from a new sample of twins. The American Economic Review, v. 84, n. 5, p. 1157-1173, 1994. BRASIL. Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília, DF: Ipea, 2018a. v. 1. Disponível em: https://repositorio.ipea.gov.br/handle/11058/8853. Acesso em: 21 maio 2023. BRASIL. Casa Civil da Presidência da República. Avaliação de Políticas Públicas: guia prático de análise ex post. Brasília, DF: 2018b. v. 2. Disponível em: https://repositorio.ipea.gov.br/handle/11058/8853. Acesso em: 22 maio 2023. CATTANEO, M. D.; TITIUNIK, R. Regression discontinuity designs. Annual Review of Economics, n. 14, p. 821-851, 2022. CUNNINGHAM, S. Causal inference: The Mixtape. London: Yale University Press, 2021. DEHEJIA, R. Pratical propensity score matching: a reply to Smith and Todd. Journal of Econometrics, n. 125, p. 355-364, 2005. DEHEJIA, R.; WAHBA, S. Causal effects in nonexperimental studies: reevaluating the evaluation of training programs. Journal of the American Statistical Association, v. 94, n. 448, p. 1053-1062, 1999. DEHEJIA, R.; WAHBA, S. Propensity score-matching methods for nonexperimental causal studies. The Review of Economics and Statistics, v. 84, n.1, p. 151-161, 2002. DUFLO, E.; GLENNERSTER, R.; KREMER, M. Using randomization in development economics research: a toolkit. In: SCHULTZ, P.; STRAUSS, J. A. (org.). Handbook of development economics. Amsterdã: Elsevier, 2007. p. 3895-3962. v. 4. GERTLER, P. J. et al. Impact evaluation in practice. Washington, DC: The World Bank, 2016. HERNÁN, M. A.; ROBINS, J. M. Causal inference: what if. London: Chapman & Hall/CRC, 2020. HUNTINGTON-KLEIN, N. The effect: an introduction to research design and causality. London: Taylor & Francis Group, 2022. IMBENS, G. W.; ANGRIST, J. D. Identification and estimation of local average treatment effects. Econometrica, v. 62, n. 2, p. 467-475, 1994. IMBENS, G. W.; RUBIN, D. B. Causal inference for statistics, social, and biomedical sciences: an introduction. Cambridge: Cambridge University Press, 2015. Ministério da Saúde28 KAWACHI, I.; SUBRAMANIAN, S. V.; MOWAT, R. Randomized controlled trials and evidence-based policy: a multidisciplinary dialogue. Social Science & Medicine, v. 210, p. 1, 2018. MENEZES FILHO, N. A.; PINTO, C. C. X. (org.). Avaliação econômica de projetos sociais. 3. ed. São Paulo: Fundação Itaú Social, 2017. PONCZEK, V.; SOUZA, A. P. New evidence of the causal effect of family size on child quality in a developing country. Journal of Human Resources, v. 47, n. 1, p. 64-106, 2012. RASELLA, D. et al. Effect of a conditional cash transfer programme on childhood mortality: a nationwideanalysis of Brazilian municipalities. The Lancet, v. 382, n. 9886, p. 57-64, jul. 2013. ROSENMAUM, P. R.; RUBIN, D. B. The central role of the propensity score in observational studies for causal effects. Biometrika, v. 70, n. 1, p. 41-55, 1983. ROSENMAUM, P. R.; RUBIN, D. B. Reducing bias in observational studies using subclassification on the propensity score. Journal of the American Statistical Association, v. 79, n. 387, p. 516-524, 1984. ROSENZWEIG, M. R.; WOLPIN, K. I. Testing the quantity-quality fertility model: the use of twins as a natural experiment. Econometrica, v. 48, n. 1, p. 227-240, 1980. ROSENZWEIG, M. R.; WOLPIN, K. I. Natural “natural experiments” in economics. Journal of Economic Literature, v. 38, p. 827-874, 2000. ROTH, J. et al. What’s trending in difference-in-differences? A Synthesis of the recent econometrics literature. 2022. (Working Paper). Disponível em: https://www.jonathandroth.com/assets/files/DiD_Review_Paper.pdf. Acesso em: 21 maio 2023. RUBIN, D. B. Estimating causal effects of treatment in randomized and nonrandomized studies. Journal of Education Psychology, v. 66, n. 5, p. 688-701, 1974. SALDANHA, R. F.; BASTOS, R. R.; BARCELLOS, C. Microdatasus: pacote para download e pré-processamento de microdados do Departamento de Informática do SUS (DATASUS). Cadernos de Saúde Pública, v. 35, n. 9, p. 1-9, 2019. Disponível em: https://www.scielo.br/j/csp/a/gdJXqcrW5PPDHX8rwPDYL7F/?lang=pt. Acesso em: 21 maio 2023. SHADISH, W. R.; COOK, T. D.; CAMPBELL, D. T. Experimental and quasi- experimental designs for generalized causal inference. 2nd Boston: Houghton Mifflin, 2001. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 29 PARTE 1: INTRODUÇÃO À AVALIAÇÃO DE IMPACTO DE POLÍTICAS DE SAÚDE Ministério da Saúde30 Capítulo 1 Erika Aragão1 Mauricio L. Barreto1,2 1Instituto de Saúde Coletiva, Universidade Federal da Bahia 2Centro de Integração de Dados e Conhecimentos para a Saúde (Cidacs), Fiocruz - Bahia RESUMO: O objetivo deste capítulo é apresentar um panorama dos estudos de Avaliação de Impacto de políticas e programas de proteção social e de saúde que tenham efeito sobre a saúde da população brasileira, considerando-se a complexidade dos determinantes sociais que interferem nas condições de saúde de qualquer população. Serão apresentados os esforços de investigação realizados no país buscando-se atribuir nexos causais entre as intervenções resultantes de políticas públicas e seus efeitos na saúde, fenômeno essencialmente complexo, bem como a heterogeneidade destes efeitos, em diferentes extratos da população (nível de pobreza, cor-etnia, sexo etc.), os principais achados dos estudos apresentados, em busca de se identificarem suas contribuições para o aperfeiçoamento das políticas públicas avaliadas, assim como as principais limitações para a realização desses estudos. PALAVRAS-CHAVE: Avaliação de Impacto de Políticas e Programas de Saúde. Avaliação de Impacto de Políticas e Programas Sociais. Avaliando o impacto na saúde da população de políticas e programas de proteção social e de saúde implementadas no Brasil Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 31 1 Introdução O objetivo deste capítulo é apresentar um panorama dos estudos de Avaliação de Impacto de políticas e programas de proteção social e de saúde que tenham efeito sobre a saúde da população brasileira, considerando-se a complexidade dos determinantes sociais que interferem nas condições de saúde de qualquer população. Em primeiro lugar, serão apresentados os esforços de investigação realizados no país buscando-se atribuir nexos causais entre as intervenções resultantes de políticas públicas e seus efeitos na saúde, fenômeno essencialmente complexo, bem como a heterogeneidade destes efeitos, em diferentes extratos da população (nível de pobreza, cor-etnia, sexo etc.). Em seguida, serão discutidos os principais achados dos estudos apresentados, em busca de se identificarem suas contribuições para o aperfeiçoamento das políticas públicas avaliadas. Por fim, apontar-se-ão as principais limitações para a realização desses estudos, assim como estratégias tornem possível realizar investigações dessa natureza de forma mais ágil, visando contribuir para informar de maneira mais ampla e robusta os formuladores e gestores de políticas públicas que afetam direta ou indiretamente a saúde da população. O foco será um conjunto relevante de estudos realizados no Instituto de Saúde Coletiva (ISC) da Universidade Federal da Bahia (UFBA) e no Centro de Integração de Dados e Conhecimentos para a Saúde (Cidacs) da Fiocruz-Bahia. 2 As condições de saúde e o estudo dos determinantes sociais No Brasil, as avaliações de impacto de políticas e programas que tenham efeito sobre a saúde da população são relativamente recentes. Atribuir causalidade de intervenções a mudanças registradas na saúde da população não se constitui em uma tarefa simples, por ser a saúde um fenômeno complexo, com diferentes expressões e que possui múltiplos determinantes, tais como as condições socioeconômicas, culturais, ambientais, dentre outras. Nessa direção, a Organização Mundial de Saúde (OMS), no momento de sua fundação (1948), adotou uma concepção ampliada de saúde, para além de uma abordagem centrada na doença. Assim, institucionalmente incorporou a perspectiva trazida por pesquisadores de diversos campos, sobretudo a partir do século XIX. Podemos destacar o exemplo de Louis René Villermé (1782-1863), o qual, ao analisar a mortalidade nos diferentes bairros de Paris, identificou que as variações observadas eram especialmente condicionadas pelo nível de renda da população de cada bairro; na mesma linha, Edwin Chadwick (1800-1890) relatou as condições sanitárias da população trabalhadora da Grã- Ministério da Saúde32 Bretanha (SCLIAR, 2007). Pode-se citar ainda, na Europa, os trabalhos pioneiros de Frederik Engels (2010), no campo da economia política, denunciando as terríveis condições da classe trabalhadora na Inglaterra. Dos Estados Unidos, recebeu-se a importante contribuição do demógrafo americano Samuel Preston no que diz respeito à relação entre pobreza, grau de desenvolvimento e saúde. Preston (1975) relaciona a renda nos países, medida pelo PIB per capita, aos níveis de saúde das suas respectivas populações, criando o que se chamaria “curva de Preston”. Em seus trabalhos demonstrou que à medida que a riqueza de um país aumenta, melhoram das condições de saúde de sua respectiva população. Tal processo se dá de forma acelerada entre os países muito pobres, nos quais pequenos avanços no PIB per capita transformam-se em significativos avanços nos níveis de saúde. Depois de certo nível de renda, sucessivos aumentos no PIB per capita continuam a refletir na melhora das condições de saúde, mas em um nível muito mais lento. Portanto, o que se destaca na denominada curva de Preston é que mesmo pequenas reduções das condições de pobreza de uma população podem ser cruciais para transformar as suas chances de sobrevivência. Outro avanço importante no entendimento dos fatores que determinam os níveis de saúde de uma população foi quando se percebeu que, além da pobreza absoluta, as desigualdades sociais constituem-se importante determinante; isso explica que mesmo em sociedades afluentes, porém com significativos níveis de desigualdades, como acontece na maioria dos países considerados desenvolvidos, as condições de saúde da população são piores naqueles mais desiguais. Portanto, como tem apontado Wilkinson (1997), os níveis de desigualdades são importantes definidores de sociedades mais ou menos saudáveis. Krieger (1999), epidemiologista americana, por seu turno, amplia o conceito de desigualdade - fundado em elementos econômicos - e desenvolve a ideia de que a discriminação é um importante determinante da saúde.Quer dizer, além da desigualdade econômica, nas mais diferentes sociedades existem elementos relacionais, quer seja entre indivíduos ou grupos sociais, e que vão para além da dimensão econômica, denominada discriminação, e que se verificou serem importantes fontes de geradoras de desigualdades nas sociedades humanas. Cita-se, como exemplo, as expressões de discriminação existentes com relação às mulheres (discriminação de gênero) ou com relação a grupos raciais ou étnicos (racismo). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 33 A influência dos determinantes sociais sobre a saúde foi ratificada na Conferência de Alma- Ata, sobre Cuidados Primários de Saúde, no final dos anos 1970 - 22 anos após a criação da OMS - e a saúde reconhecida como um direito humano fundamental, cuja realização depende da ação de outros setores sociais e econômicos, para além do setor da saúde. Essa conferência não foi um evento isolado, ocorreu no bojo de um conjunto de conferências promovidas por organizações das Nações Unidas durante a década de 1970, as quais trouxeram ao debate uma agenda ampliada para que os países pudessem trabalhar para reduzir as iniquidades entre si, contexto no qual era central o papel do Estado na garantia desses direitos (GIOVANELLA et al., 2019). Nos anos 1980 e 1990 questionou-se fortemente esse papel do Estado; as políticas neoliberais pautaram a agenda internacional. O Sistema Único de Saúde (SUS) brasileiro foi criado nesse contexto de redução do Estado nas economias centrais e recomendações de sua adoção para a América Latina. O chamado Consenso de Washington propunha medidas como corte de gastos públicos para a redução da dívida pública e reforma fiscal focada na redução da tributação das empresas, ampliação do setor privado em todas as áreas mediante privatizações e abertura comercial e econômica. A premissa era a de que a redução do protecionismo iria ampliar a abertura das economias para o investimento estrangeiro e promoveria consequentemente o crescimento econômico (ARAGÃO; FUNCIA, 2021). Nessa perspectiva, mundialmente predominou o enfoque da saúde como um bem privado e o debate voltou a se concentrar em uma concepção centrada na assistência médica individual. Nos anos 2000, com o fracasso das políticas neoliberais no que tange às melhorias das condições de vida e saúde das populações, retomou-se a ênfase nos determinantes sociais, o que culminou na criação da Comissão Mundial sobre Determinantes Sociais da Saúde da OMS, em 2005, cujo relatório, publicado três anos depois, recomendava aos governos que atuassem de modo a promover, entre outras coisas, melhorias nas condições de vida cotidianas; governança baseada em interesses públicos considerando-se as desigualdades na distribuição de recursos em termos mundiais, bem como maior compreensão sobre os determinantes sociais da saúde, a partir da investigação sobre o tema, o monitoramento e a avaliação do impacto das políticas públicas sobre esses (BUSS; PELEGRINO FILHO, 2007). Tendo em vista as múltiplas determinações que interferem na saúde, as relações entre os determinantes sociais e os seus efeitos na saúde não são possíveis de traduzir-se em algo Ministério da Saúde34 simples, direto e unicausal. Desse modo, o principal desafio das investigações sobre as relações entre determinantes sociais e saúde consiste em estabelecer uma hierarquia de determinações entre as condições sociais, econômicas, ambientais, políticas e como essas incidem sobre as condições de saúde, tanto no âmbito individual quanto no coletivo. O estudo dessa cadeia de mediações permite também identificar onde e como devem ser feitas as intervenções com o objetivo de reduzir as desigualdades de saúde, ou seja, os pontos mais sensíveis nos quais tais intervenções podem provocar maior impacto. Ou seja, reduzir desigualdades sociais, por exemplo, é fundamental para a redução das desigualdades em saúde (BUSS; PELEGRINO FILHO, 2007). Diversos são os modelos que procuram esquematizar a trama de relações entre os vários fatores estudados por meio desses enfoques, como os do modelo de Dahlgren e Whitehead (GUNNING-SCHEPERS, 1999) e do modelo de Didericksen e outros (EVANS et al., 2001). Tais modelos ajudam a operacionalizar as diferentes camadas e inter-relações entre os diferentes fenômenos que afetam a saúde. Em termos gerais, incorporam a crescente influência da percepção de que as condições sociais, econômicas e culturais dos países e assumem a importância de se enfrentar problemas como a pobreza e as condições de saúde. Na área da saúde, investigações sobre as complexas relações entre pobreza e desigualdade, saúde e sobre o impacto de intervenções advindas de políticas de proteção social sobre esses determinantes e em cadeia no estado de saúde foram ampliadas no país, passaram a ser objeto de estudo e incorporaram metodologias de diversos campos, para além da epidemiologia, para dar conta de isolar o efeito causal e compreender como uma intervenção, conjunto de intervenções ou políticas afetam a saúde da população brasileira e contribuem para a redução das desigualdades existentes, mesmo quando o foco primário das mesmas não seja a saúde. Neste capítulo, buscar-se-á mostrar a evolução da pesquisa avaliativas nesse campo a partir da experiência de alguns atores. 3 Avaliação de impacto de políticas de proteção social nas condições de saúde Tendo em vista a perspectiva de que a saúde é fruto de determinações sociais, grande parte das avaliações de impacto no Brasil se concentra em compreender como intervenções de infraestrutura, econômicas e sociais, por exemplo, impactam as condições de saúde da população brasileira. O país é fruto da interação entre o reflexo histórico da Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 35 desigualdade estrutural, social e econômica, do grande contingente de trabalhadores desempregados e informais, potencializada pelas precárias condições de vida, a exemplo da baixa cobertura de saneamento básico, habitações superlotadas, bem como do sistema de produção e tributação concentrador de renda (BALTRUSIS; D’OTTAVIANO, 2009; MIRANDA et al., 2021). Desse modo, na área da saúde, as avaliações de impacto de políticas nesses campos se entrelaçam com as avaliações de políticas de saúde. Exemplo de estudo pioneiro nesse campo foi a avaliação do impacto de um grande programa de saneamento na cidade de Salvador. O objetivo desse programa, denominado Bahia Azul, era aumentar a cobertura da rede de esgoto, naquela cidade, de 26% para 80% e teve o seu início em 1997; ao conectar mais de 300 mil residências à rede de esgoto em Salvador causou imenso impacto na redução de diarreia em crianças. Antes da intervenção de saneamento, estudo liderado por pesquisadores do ISC/UFBA acompanhou 841 crianças entre 1997-1999 e 1.007 crianças após a intervenção, a partir de outubro de 2003. Utilizando-se de engenhosa metodologia foi possível demonstrar que a incidência de diarreia entre crianças caiu 22%, como consequência da ampliação da rede de esgoto (BARRETO et al., 2007). As políticas de proteção social direcionadas às populações mais vulneráveis, particularmente as de transferência de renda (Cash Transfer), têm sido objeto de muita investigação em razão de sua capacidade de atuar rapidamente na melhoria da redução da pobreza e nas condições de vida em geral. Esse tipo de política tem sido ampliado e atualmente é utilizado em grande parte do mundo em desenvolvimento. Os países na América Latina, África e a Ásia implementam políticas dessa natureza e, evidentemente, os efeitos das políticas têm sido investigados por diferentes grupos de pesquisa. Muitos estudos têm mostrado efeitos positivos sobre diferentes desfechos na educação, na capacidade de trabalho da sua população e, também, na saúde.No Brasil, um dos programas sociais cujos efeitos têm sido mais estudados, inclusive na área da saúde, é o Bolsa Família, programa de transferência condicional de renda criado em 2003; diz-se condicional porque estabelece pré-requisitos para as famílias receberem o benefício. Tais condicionalidades são centradas na educação e saúde de crianças e gestantes. Colocar e manter as crianças na escola, o calendário vacinal e pré-natal em dia eram exigências para que as pessoas aptas pudessem continuar a receber recursos. Ministério da Saúde36 Um estudo seminal no campo da saúde coletiva foi o de Rasella e colaboradores (2013), cujo objetivo foi avaliar o efeito do programa Bolsa Família nas mortes de crianças menores de cinco anos decorrentes de causas específicas associadas à pobreza: desnutrição, diarreia e infecções respiratórias. Nos municípios nos quais havia um programa consolidado de transferência de renda houve redução de cerca de 25% da mortalidade de crianças menores de 5 anos. Entre as doenças mais impactadas pelo programa estão as diarreias, cuja redução foi de quase 50%, e a desnutrição - ainda uma causa importante de óbito - teve um decréscimo de mais de 60%. Essa foi a primeira demonstração do efeito de um programa de transferência de renda sobre a chance de sobrevivência de crianças brasileiras. Sabe-se que os estudos de base individual são muito mais demonstrativos e rigorosos em termos de testar esse tipo de hipótese causal, mas os estudos e dados agregados são muito importantes. O trabalho de Rasella et al. (2013) foi reproduzido para diferentes tipos de desfechos e desde então uma série de estudos tem sido conduzida e publicada por diferentes pesquisadores, a mostrar o impacto de programas sociais, como o Bolsa Família e outros em diferentes desfechos de saúde como tuberculose (SOUZA et al., 2018), hanseníase (NERY et al., 2014), violência (MACHADO et al., 2018), suicídio (ALVES et al., 2019), saúde materna (RASELLA et al., 2021), dentre outros. Com o surgimento, em Salvador, do Centro de Integração de Dados e Conhecimentos de Saúde (Cidacs-Fiocruz)1, e a possibilidade de vinculação de dados, torna-se possível a proposta de que as bases utilizadas em avaliações anteriores, em forma agregada por municípios, fossem integradas e utilizadas em forma individuada. Entre essas bases de dados inclui-se o Cadastro Único, bases dos registros de todos que aplicam para programas de proteção social, as bases dos beneficiados por diferentes programas sociais como o programa Bolsa Família, programa Minha Casa Minha Vida ou Programa de Cisternas. A estas se interligaram diferentes bases de dados de saúde, como as informações sobre o nascimento (SINASC), registro de diferentes doenças infecciosas (SINAN), hospitalizações (SIH) e óbitos (SIM). Para gerir responsavelmente estas bases de dados, o Cidacs desenvolveu um sistema de governança de dados que incluiu estritos mecanismos de proteção e privacidade, de acordo com regras legais e éticas em vigor. Entre os importantes recursos estabelecidos no Cidacs, frutos da integração dessas diferentes bases em estruturas de dados longitudinais, destacam-se a Coorte de 100 Milhões de Brasileiros (BARRETO et al., 2019) e a Coorte de Nascimento do Cidacs (PAIXÃO et al., 2021) A 1 https://cidacs.bahia.fiocruz.br. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 37 primeira, atualmente conta com mais de 130 milhões de indivíduos e a segunda supera os 28 milhões de nascimentos; ambas são periodicamente atualizadas (BARRETO et al., 2022). A partir dessas iniciativas, tornou-se possível montar investigações muito mais detalhadas para demostrar o impacto dos efeitos do Bolsa Família e outros programas sociais e de saúde, na saúde. Em resumo, com esses recursos tem sido possível avaliar com maior precisão, mais detalhes e nuances os efeitos na saúde dos programas e políticas avaliadas. Em uma análise transversal, aninhada à Coorte dos 100 Milhões de Brasileiros, em que foram analisados dados de 6,3 milhões de crianças menores de cinco anos, cujas famílias se inscreveram no Cadastro Único entre 2006-2015 (RAMOS et al., 2021), mostrou-se que o Bolsa Família tem importante efeito na mortalidade de crianças menores de 5 anos (da ordem de 17% menor entre as crianças de famílias que receberam o benefício em relação àquelas de famílias não contempladas pelo auxílio), achados compatíveis com o estudo prévio, em que se utilizaram dados agregados (RASELLA et al., 2013). Porém, esses novos achados mostraram nuances que não poderiam ser observadas nos estudos ecológicos. Utilizando-se dados individualizados, evidenciou-se que o efeito do Bolsa Família foi maior nos grupos mais vulneráveis; da ordem de 28% nos municípios mais pobres, de 26% entre crianças de mães negras ou de 22% entre crianças nascidas a pré-termo. Avaliação do impacto do Bolsa Família sobre a hanseníase indicou redução de 14% na incidência nos municípios com alta carga da doença (PESCARINI et al., 2020a), além de evidenciar 22% de aumento na taxa de aderência/adesão ao tratamento e 24% nas taxas de cura (PESCARINI et al., 2020b). Estudo similar sobre o impacto do Bolsa Família sobre as taxas de suicídio mostrou que para as pessoas que receberam o benefício essas foram aproximadamente 50% menores relativamente aos que não o receberam (MACHADO et al., 2022). Sobre a mortalidade das doenças cardiovasculares, um estudo realizado em período relativamente curto de seguimento indicou que enquanto não se observou um efeito global em todo o país, houve redução da ordem de 14% na população de 30-60 anos de idade, residentes nos municípios mais pobres do país (PESCARINI et al., 2022) Em seu conjunto, os resultados dos diferentes estudos, publicados em revistas científicas de alto impacto, demonstram a importância do Bolsa Família nas condições de saúde da população brasileira. Mesmo sendo um incentivo monetário relativamente pequeno, tais quantias podem reduzir a chance de sobrevivência de uma criança, ou um indivíduo optar entre autodestruir-se ou não. Ministério da Saúde38 Em resumo, os estudos mais recentes que utilizam dados individuados sobre os quais aplicam-se os denominados métodos quase-experimentais, como apresentados acima, comprovam os efeitos observados nas avaliações a partir de dados agregados. Entretanto os estudos individuados são mais robustos, podem capturar efeitos sobre diferentes estratos e grupos sociais, os quais foram sempre maiores entre os mais pobres e excluídos. Desse modo, os achados, em seu conjunto, indicam que apesar dos seus limites, esses programas vêm contribuindo para o desenvolvimento de uma sociedade mais saudável e menos desigual, na medida que os efeitos são maiores nos grupos mais vulneráveis, reduzindo as desigualdades em saúde existentes. 4 Avaliação de impacto de políticas e programas de saúde A abordagem avaliativa utilizada para os programas sociais vem sendo ampliada para políticas e programas de saúde. Estudos com dados agregados têm consistentemente mostrado efeitos do Programa Saúde da Família (PSF) sobre a saúde, sejam na saúde infantil (AQUINO et al., 2009; RASELLA et al., 2010) e nas doenças cardiovasculares e cerebrovasculares (RASELLA et al., 2014). Estudos mais recentes, explorando as mesmas questões, porém realizados com dados da Coorte de 100 milhões de Brasileiros. mostram que em municípios com alta cobertura do PSF apresentaram reduções significativas na incidência e na mortalidade por tuberculose, 22% e 28% respectivamente (JESUS et al., 2022), enquanto estudo em curso, ainda não publicado, usando metodologia ainda mais rigorosa que o anterior, mostra que o PSF tem o efeito de reduzir cerca de 40% a mortalidade infantil (PINTO-JR, 2023). Mais recentemente e no contexto das mudanças climáticas, iniciam-se esforços para aavaliação do impacto de políticas ambientais na mitigação de efeitos climáticos extremos, os quais ocorrem em frequência cada vez maior, mundialmente e também no nosso país. No âmbito do Programa Economia, Tecnologia e Inovação em Saúde do Instituto de Saúde Coletiva (PECS/ISC/UFBA), vários estudos para avaliação dos impactos de políticas de saúde têm sido conduzidos, com o objetivo de se entender melhor como as intervenções públicas de saúde impactam os indicadores de bem-estar da população alvo. A avaliação do Programa Aqui tem Farmácia Popular (ATFP) teve como objetivo principal entender como a segunda fase do programa, a gratuidade e sua forte expansão a partir de 2011, com o Saúde Não Tem Preço, possibilitou reduções em internações e mortalidade relativas às doenças hipertensivas e diabetes. O estudo utilizou microdados de mortalidade (SIM), Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 39 internações (SIH) e acesso a medicamentos do Farmácia Popular para agrupar a população de 5570 municípios em grupos etários (coortes sintéticas) e acompanhá-los de 2008-2016. A estratégia quase-experimental foi utilizar a variação no número de farmácias cadastradas (variação na oferta de medicamentos) e como cada coorte respondeu a tal variação. Em média, o programa ATFP reduziu internações por diabetes em 5,46%, com índices maiores para mulheres, para internações urgentes e para internações que resultaram em óbito e reduziu internações por hipertensão em 5,2% no período de análise. O programa reduziu mortalidade por diabetes em 8,3% e mortalidade por hipertensão em 12,2%. O uso dos microdados possibilitou testar efeitos heterogêneos, como impacto para homens e mulheres para diferentes grupos etários ou em localidades com piores indicadores socioeconômicos (ARAGÃO et al., 2019). Após a avaliação do ATFP, o PECS realizou a avaliação de impacto, avaliação de custo e avaliação de satisfação das Policlínicas Regionais de Saúde da Bahia. Nesta avaliação de impacto, o foco foi nos 8 primeiros consórcios, 175 municípios beneficiados; os consórcios foram firmados nas regiões de saúde da Bahia e inaugurados a partir de dezembro de 2017. Por existirem municípios contemplados e municípios não contemplados pelos consórcios, um desenho quase-experimental foi utilizado com uma abordagem longitudinal. Microdados do BPA individualizado, Sistema de Informação Ambulatorial, foram utilizados para se testarem os deslocamentos dentro dos clusters de policlínicas e fora da região de saúde. Os resultados do Difference-in-Difference (e pelo Event Study) mostraram que as Policlínicas Regionais de Saúde aumentaram atendimentos de média complexidade em 43% na região de saúde onde funcionam e reduziram em 12% deslocamentos para fora da região de saúde. Além disso, internações urgentes sofreram redução da ordem de 4,5%, mortalidade por neoplasias 7,7% e mortalidade por hipertensão 5%. O uso dos microdados possibilitou estimar o impacto para grupos heterogêneos (ARAGÃO et al., 2022). Por fim, o Programa Economia, Tecnologia e Inovação em Saúde do Instituto de Saúde Coletiva (PECS/ISC/UFBA) trabalha atualmente na avaliação do Programa de Pesquisa para o SUS (PPSUS), criado em 2004; a avaliação abrange o período 2009-2020. O acesso aos dados identificados de todos os concorrentes, os resultados de cada projeto e a nota final possibilitaram o uso do quase-experimento Discontinuity Regression Design (RDD Sharp) e a variável de interesse repousa na trajetória acadêmica de cada concorrente: número de artigos publicados, fator de impacto de cada artigo, participação em projetos, redes de colaboração, orientações, congressos e impacto tecnológico. O cerne da pesquisa é entender se pesquisadores em localidades com menos acesso a recursos para pesquisas Ministério da Saúde40 na área de saúde, foco no SUS, tem sua trajetória acadêmica beneficiada, uma vez contemplados com recursos para tal pesquisa, se comparados com pesquisadores que concorreram, porém não foram beneficiados. Políticas públicas de saúde, como o Aqui Tem Farmácia Popular, as Policlínicas Regionais de Saúde ou o PPSUS, com o objetivo de gerar resultados acadêmicos que melhorem as práticas do SUS, são formuladas pelo Ministério da Saúde ou pelas Secretarias de Saúde e precisam ser avaliadas especialmente por dois motivos: 1) testar empiricamente se tais programas cumprem o seu objetivo principal; 2) testar os canais de impacto e seus potenciais efeitos heterogêneos. O conjunto de resultados pode aumentar a quantidade de informações para que gestores do Sistema Único de Saúde tomem melhores decisões, melhorem o sistema e, consequentemente, os indicadores da população beneficiada. 5 Considerações finais A ideia de que as políticas sociais, além de reduzir a pobreza e desigualdades sociais podem ter efeitos sobre a saúde, em particular na desigualdade que ocorre nessa função social, abre novas possibilidades de estudar os determinantes sociais de saúde, de vincular a epidemiologia - a ciência que estuda os determinantes sociais da saúde - com os processos políticos em curso na sociedade. As políticas de transferência condicional (e eventualmente não-condicional) de renda, que a partir de 1980 vêm sendo implementadas em diferentes países de baixa e média renda como solução para reduzir a pobreza, a extrema pobreza e as desigualdades sociais, têm sido modelo para investigação, considerando-se que ao modificarem a situação de pobreza e as desigualdades sociais atuam sobre importantes determinantes das condições de saúde de uma população. No Brasil, onde assume a denominação de Bolsa Família, as investigações acima resumidas têm consistentemente mostrado importantes efeitos dessa política na saúde da população brasileira. Tais estudos, sejam utilizando-se de dados agregados em nível municipal ou dados individuados provenientes da Coorte de 100 milhões de Brasileiros e da Coorte de Nascimento - mantidas no Cidacs - têm consistentemente mostrado efeitos benéficos do recebimento da Bolsa Família nos mais diferentes desfechos em saúde. Os estudos com dados individuados, usando-se métodos quase-experimentais, além de comprovarem os efeitos observados anteriormente vão além ao desagregarem os efeitos por diferentes estratos e grupos sociais; os efeitos mostram-se sempre maiores entre os mais pobres e Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 41 os excluídos. Apesar dos seus limites, esses programas têm contribuído para o desenvolvimento de uma sociedade menos desigual e mais saudável. Do ponto de vista conceitual e metodológico, os estudos realizados mostram, em última instância, o potencial do uso integrado de grandes bases de dados nacionais e a aplicação de métodos rigorosos da pesquisa epidemiológica e da pesquisa avaliativa para aprofundar as investigações relacionadas as desigualdades sociais da saúde e como as políticas sociais e de saúde amenizam as desigualdades existentes. Porém, servem também para estreitar os vínculos da pesquisa epidemiológica com os processos e acontecimentos políticos em sociedades concretas e contribuir para entender como as políticas e as intervenções em diferentes esferas, sejam na proteção social, na saúde ou na proteção ambiental, afetam a dinâmica de ocorrência das doenças e do sofrimento e, em última instância, as condições de saúde da população. Ministério da Saúde42 Referências ALVES, F. J. O.; MACHADO, D. B.; BARRETO, M. L. Effect of the Brazilian cash transfer programme on suicide rates: a longitudinal analysis of the Brazilian municipalities. Social Psychiatry and Psychiatric Epidemiology, 54, n. 5, p. 599-606, 2019. DOI: 10.1007/s00127-018-1627-6. AQUINO, R. et al. Impact of the Family Health Program on infant mortality in Brazilian municipalities. American Journal of Public Health, v.99, n. 1, p. 87-93, 2009. ARAGÃO, E. S.; FUNCIA, F. R. Austeridade fiscal e seus efeitos no complexo econômico- industrial da saúde no contexto da pandemia da COVID-19. Cadernos Saúde Pública, v. 37, n. 9, p. 1-5, 2021. ARAGÃO, E. S. et al. Avaliação da efetividade, impacto econômico e abrangência do Programa Aqui Tem Farmácia Popular do Brasil: relatório de pesquisa. Brasília: Ministério da Saúde, 2019. ARAGÃO, E. S. et al. Avaliação de custo e efetividade das policlínicas: relatório de pesquisa. Salvador: SESAB: BID, 2022. BALTRUSIS, N.; DIOTTAVIANO, M. C. L. Rich and por, each one in their place: socioespatial inequality in São Paulo. Caderno CRH, v. 22, n. 55, p.135-149, 2009. BARRETO, M. L. et al. Effect of city-wide sanitation programme on reduction in rate of childhood diarrhoea in northeast Brazil: assessment by two cohort studies. Lancet, v. 370, n. 9599, p. 1622-1628, 2007. DOI: 10.1016/S0140-6736(07)61638-9. BARRETO, M. L. Health inequalities: a global perspective. Ciência & Saúde Coletiva, v. 22, n. 7, p. 2097-2108, 2017. DOI: 10.1590/1413-81232017227.02742017. BARRETO, M. L. et al. The Centre for Data and Knowledge Integration for Health (CIDACS): linking health and social data in Brazil. International Journal of Population Data Science, v. 4, n. 2, p. 1-12, 2019. DOI: 10.23889/ijpds.v4i2.1140. BARRETO, M. L. et al. Cohort profile: the 100 Million Brazilian Cohort. International Journal of Epidemiology, v. 51, n. 2, p. e27-e38, 2022. BIRN, A. E. Back to Alma Ata, from 1978 to 2018 and beyond. American Journal of Public Health, v. 108, n. 9, p. 1153-1155, 2018. BUSS, P. M.; PELLEGRINI FILHO, A. A saúde e seus determinantes sociais. Revista Saúde Coletiva, v. 17, n. 1, p. 77-93, 2007. ENGELS, F. A situação da classe trabalhadora na Inglaterra. São Paulo: Boitempo, 2010. 388p. EVANS, T. et al. Challenging inequities in health from ethics to action. Oxford: Oxford University Press, 2001. GIOVANELLA, L. et al. De Alma-Ata a Astana. Atenção primária à saúde e sistemas universais de saúde: compromisso indissociável e direito humano fundamental. Cadernos Saúde Pública, v. 35, n. 3, p. 1-6, 2019. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 43 GUNNING-SCHEPERS, L. J. Models: instruments for evidence-based policy. Journal Epidemiology Community Health, v. 53, n. 5, p. 263, 1999. JESUS, G. S. et al. The effect of primary health care on tuberculosis in a nationwide cohort of 7·3 million Brazilian people: a quasi-experimental study. Lancet Global Health, v. 10, p. e390-e397, 2022. KRIEGER, N. Embodying inequality: a review of concepts, measures, and methods for studying health consequences of discrimination. International Journal Health Services, v. 29, n. 2, p. 295-352, 1999. DOI: 10.2190/M11W-VWXE-KQM9-G97Q. MACHADO, D. B. et al. Conditional cash transfer programme: impact on homicide rates and hospitalisations from violence in Brazil. PLoS One, v. 13, p. e0208925, 2018. DOI: 10.1371/journal.pone.0208925 MACHADO, D. B. et al. Relationship between the bolsa familia national cash transfer programme and suicide incidence in Brazil: a quasi-experimental study. PLoS Medicine, v. 19, n. 5, p. 1-17, 2022. DOI: 10.1371/journal.pmed.1004000. MIRANDA, S. S. et al. (org.). Construção de conhecimento no curso da pandemia de COVID-19: aspectos biomédicos, clínico-assistenciais, epidemiológicos e sociais. Salvador: Edufba, 2021. p. 1-29. v. 2. NERY, J. S. et al. Effect of the Brazilian conditional cash transfer and primary health care programs on the new case detection rate of leprosy. PLoS Neglected Tropical Diseases, v. 8, n. 11, p. 1-7, nov. 2014. DOI: 10.1371/journal.pntd.0003357. PAIXÃO, E. S. et al. Cohort profile: Centro de Integração de Dados e Conhecimentos para Saúde (CIDACS) Birth Cohort. International Journal of Epidemiology, v. 50, n. 1, p. 37- 38., mar. 2021. DOI: 10.1093/ije/dyaa255. PINTO-JR, E. P. et al. Impact of PHC system factors on under-5 mortality: final report. Salvador: Cidacs/Fiocruz, 2023. Disponível em: https://cidacs.bahia.fiocruz.br/aps/. Acesso em: 21 maio 2023. PESCARINI, J. M. et al. Conditional cash transfer program and leprosy incidence: analysis of 12.9 million families from the 100 Million Brazilian Cohort. American Journal of Epidemiology, v. 189, n. 12, p. 1547-1558, 2020a. DOI: 10.1093/aje/kwaa127 PESCARINI, J. M. et al. Effect of a conditional cash transfer programme on leprosy treatment adherence and cure in patients from the nationwide 100 Million Brazilian Cohort: a quasi-experimental study. Lancet Infectious Diseases, v. 20, p. 618-627, 2020b. PESCARINI, J. M. et al. Impact of Brazil’s Bolsa Família Programme on cardiovascular and all-cause mortality: a natural experiment study using the 100 Million Brazilian Cohort. International Journal of Epidemiology, v. 51, n.6, p. 1847-1861, 2022. DOI: 10.1093/ije/dyac188. PRESTON, S. The changing relation between mortality and level of economic development. Population Studies, v. 29, n. 2, p. 231-248, 1975. RAMOS, D. et al. Conditional cash transfer program and infant mortality: a nested cross- sectional analysis in the Cohort of 100 Million Brazilians. PloS Medicine, v. 18, n. 9, p. 1- 20, 2021. DOI:10.1371/journal.pmed.1003509. Ministério da Saúde44 RASELLA, D. et al. Effect of a conditional cash transfer program on infant mortality: a national analysis of Brazilian municipalities. Lancet, v. 382, n. 9886, p. 57-64, 2013. DOI: 10.1016/S0140-6736(13)607151. RASELLA, D.; AQUINO, R.; BARRETO, M. L. Reducing childhood mortality from diarrhea and lower respiratory tract infections in Brazil. Pediatrics, v. 126, n. 3, p. 534-540, 2010. RASELLA, D. et al. Impact of primary health care on mortality from heart and cerebrovascular diseases in Brazil: a nationwide analysis of longitudinal data. British Medical Journal, n. 348, p. 1-10, 2014. DOI: 10.1136/bmj.g4014. RASELLA, D. et al. Long-term impact of a conditional cash transfer programme on maternal mortality: a nationwide analysis of Brazilian longitudinal data. BMC Medicine, v. 19, p. 1-9, 2021. DOI: 10.1186/s12916-021-01994-7. SCHRENK, M.; VIRCHOW, R. 150 Geburtstag. Berlin: Ficher Verlag, 1971. SCLIAR, M. História do conceito de saúde. Physis: Revista Saúde Coletiva, v. 17, n. 1, p. 29-41, 2007. DOI: 10.1590/S0103-73312007000100003 SOUZA, R. et al. Family health and conditional cash transfer in Brazil and its effect on tuberculosis mortality. International Journal of Tuberculosis and Lung Disease, v. 22, p. 1300-1306, 2018. VILLERMÉ L. R. Reseña del estado físico y moral de los obreros de las industrias del algodón, la lana y la seda. In: BUCK, C. et al. (ed.). El desafio de la epidemiología: problemas y lecturas seleccionadas. Washington: OPAS, 1988. p. 34-37. WHITEHEAD, M. The concepts and principles of equity and health. Geneva: WHO, 2000. (EUR/ICP/RPD 414, 7734r). WILKINSON, R. G. Socioeconomic determinants of health. Health inequalities: relative or absolute material standards? British Medical Journal, v. 314, p. 591-595, 1997. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 45 Capítulo 2 Luciana Mendes Santos Servo1 Rodrigo Pucci de Sá e Benevides1 1Instituto de Pesquisa Econômica Aplicada - IPEA RESUMO: Este capítulo discute a institucionalização da avaliação de programas e políticas de saúde. As ações vêm sendo objeto de avaliação há anos, tanto pela maior interação entre universidades, institutos de pesquisa e Ministério da Saúde quanto pela atuação do CMAP. O trabalho parte de análises documentais, revisão da literatura, além de buscar dados sobre financiamento das pesquisas e incorporar a perspectiva a partir do PPA e da LOA. Apesar da longa discussão sobre a institucionalização da avaliação, ainda há muitos desafios para que as avaliações sejam efetivamente incorporadas e contribuam para aperfeiçoamento das políticas públicasde saúde. PALAVRAS-CHAVE: Avaliação. Institucionalização. Políticas públicas de saúde. Institucionalização da avaliação no âmbito do Executivo Federal: CMAP e editais de pesquisa em saúde Ministério da Saúde46 1 Apresentação A avaliação tem, entre outros objetivos, apoiar a gestão para aprimoramento das políticas públicas. Como seu objeto – as políticas públicas – se reveste de níveis de complexidade, institucionalidade e maturidade bem diferenciados, a institucionalização da avaliação deve considerar esses fatores e ter capacidade para a esses se adaptar (VAISTMAN; PAES- SOUZA, 2011). A avaliação de políticas públicas para informar o processo de planejamento plurianual e do orçamento anual estava prevista na Constituição Federal de 1988, com demandas diretas para o órgão responsável pelo planejamento central no Executivo federal. Desde então, diversas tentativas vêm sendo realizadas para institucionalizar a avaliação sob a coordenação do centro de governo, sendo a mais recente relacionada à criação do Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP). A denominação centro de governo vem sendo utilizada para se referir às representações que compõem as estruturas organizadas (comitês, conselhos, grupos de trabalho) nesse processo de institucionalização. Ainda que essa denominação tenha diferentes conceituações em diferentes contextos, esses centros – no sentido mais amplo – podem ser compostos por instituições de governo que atuem, também, em atividades transversais e de integração. “Podem exercer atribuições finalísticas; no entanto, devem também possuir um segundo papel relacionado a temas intersetoriais e a funções de planejamento, coordenação e gerenciamento” (CAVALCANTE, 2018, p. 19). É nesse sentido que se pode entender que os ministérios da Fazenda, Planejamento e Economia – além daqueles diretamente vinculados à Presidência da República – podem fazer parte de centros de governo. Assim, entende-se como vinculado ao centro de governo o processo de institucionalização do qual faz parte o CMAP. Nesse processo recente, ações da área de saúde têm sido selecionadas para monitoramento e avaliação. Para além dessa avaliação pelo centro de governo, as políticas, programas e ações do Ministério da Saúde têm sido objeto de avaliação com fomento por esse órgão setorial e parceiros. Esse fomento acontece diretamente por meio das áreas técnicas gestoras dos programas ou por editais coordenados pela Secretaria de Ciência, Tecnologia e Insumos Estratégicos (SCTIE). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 47 Este capítulo tem por objetivo descrever e analisar esse processo de institucionalização da avaliação no governo federal, seus avanços e desafios no âmbito do CMAP e apresentar alguns dados de pesquisas financiadas por editais da SCTIE. Espera-se contribuir para ampliar o conhecimento sobre esse processo e, por conseguinte, os debates para seu aprimoramento. Na próxima seção será apresentada a metodologia utilizada para análise. A seção 3 tem por foco o CMAP. Em seguida analisam-se algumas informações sobre a avaliação nos editais da Secretaria de Ciência, Tecnologia e Insumos Estratégicos (SCTIE) do Ministério da Saúde. Por fim, apontam-se algumas questões relacionadas a esses processos e tecem-se considerações que podem apoiar seu aprimoramento. 2 Metodologia A análise da institucionalização do monitoramento e avaliação no âmbito do centro de governo do Executivo Federal foi realizada a partir de revisão da literatura e análise documental. No caso das avaliações financiadas por editais do Ministério da Saúde, a análise concentrou-se nos editais da SCTIE. A principal fonte foram os dados e informações disponibilizadas por meio do Pesquisa Saúde, um sítio do Ministério da Saúde que contém pesquisas fomentadas pelo Departamento de Ciência e Tecnologia (DECIT) da SCTIE, relacionadas à Agenda Nacional de Pesquisas Prioritárias em Saúde (ANPPS) e Pesquisas Estratégicas para o Sistema de Saúde (PESS), as quais serão apresentadas na seção 4. Fontes para análise da institucionalização no Centro de Governo: o caso do CMAP Para análise do processo de institucionalização no centro de governo, realizou-se revisão da literatura sobre o tema e a partir da legislação com informações sobre esse processo. Ademais, para análise do período mais recente, além da experiência dos autores deste capítulo como executores e coordenadores de avaliações do CMAP, analisaram-se os documentos disponibilizados na página do Conselho. Quando do fechamento deste capítulo, encontravam-se disponíveis a legislação, as atas e resoluções do período fevereiro de 2019-junho de 2022, os relatórios de avaliação, recomendações e manifestação dos gestores dos Ciclos 2019, 2020 e 2021, o relatório anual do Ciclo 2020 enviado ao Congresso Nacional, os guias para avaliação ex-ante e ex-post, bem como boletins e outras informações sobre capacitação e apresentações (BRASIL, 2022a). Ministério da Saúde48 Editais da SCTIE: Pesquisa Saúde O sítio do Pesquisa Saúde contém diferentes formas de acesso aos dados das pesquisas relacionadas aos editais do DECIT. Uma dessas formas é por meio do Tabnet (disponível na página), o qual contém informações sobre o ano de publicação do edital ou da contratação do projeto; da instituição de vínculo do coordenador proponente do projeto de pesquisa; subagenda da ANPPS; vinculação aos objetivos estratégicos das PESS; modalidade de fomento; modalidade de gestão; tipo de pesquisa; natureza da pesquisa; setor de aplicação; parceiro administrativo; parceiro orçamentário e se houve formação de mestre, doutor ou especialista. Os conteúdos de pesquisa disponíveis no Tabnet incluem: quantidade de projetos, valor com bolsa, valor sem bolsa, valor DECIT, valor parceiro e valor total dos projetos. O foco da análise eram avaliações financiadas pelos editais e avaliações de impacto. O termo “avaliação” aparece nas subagendas da ANPSS, em objetivos estratégicos das PESS e no setor de aplicação. Contudo, quando são analisados os dados pelo Tabnet1, observa-se uma grande inconsistência das informações disponíveis, como a ausência de informações sobre as pesquisas para os anos 2015 a 2017 e ausência parcial de informações para os anos 2004, 2011, 2018 e 2021. Essas inconsistências foram verificadas utilizando-se a variável “unidade da federação” e comparando com a planilha obtida por meio do mecanismo de busca do site Pesquisa Saúde2, de onde é possível extrair as planilhas Excel® usando-se o filtro ano a ano. O total de registros pelo Tabnet foi de 5.405 pesquisas, enquanto nas planilhas extraídas do mecanismo de busca foram 7.094, ou seja, 24% das pesquisas não constam do Tabnet. Outra inconsistência da consulta do Tabnet é a ausência parcial de informações de algumas variáveis (nem todas foram testadas) como “Subagenda ANPPS”, que consta somente em 1.964 pesquisas, 28% do total de 7.094 pesquisas financiadas entre 2002 e 2021. Optou-se por trabalhar com a base mais detalhada sobre as pesquisas. A base completa dos editais não foi localizada devido às mudanças realizadas na vinculação do site do Ministério da Saúde ao gov.br. Assim, decidiu-se por realizar a extração ano a ano de todas as pesquisas por meio do mecanismo de busca do sítio do Pesquisa Saúde, que traz informações relevantes não disponíveis no Tabnet, tais como o título e o resumo de todas as pesquisas financiadas. 1 A consulta de dados do site Pesquisa Saúde pelo Tabnet está disponível em: http://pesquisasaude.saude.gov.br/erro/httpErro404.xhtml;jsessionid=x7riWKf8iVMte5e6AgmHesW4. 2 O mecanismo de busca do sítio Pesquisa Saúde está disponível em: http://pesquisasaude.saude.gov.br/pesquisas.xhtml. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 49Para essa análise, optou-se por considerar as informações das pesquisas informadas até 2019, excluindo-se da análise aquelas cujo ano fosse 2020 e 2021. A partir do título do edital, do título da pesquisa e dos resumos, realizou-se uma busca dos termos “avaliação” e “impacto”. O resultado pelo título do edital3 foi muito menor (226 pesquisas) do que a análise pelo título (1.387) ou pelo resumo (2.452). Considerando a seleção pelo resumo, foram contabilizados: total de pesquisas contendo esses termos, total de pesquisas e por vinculação às subagendas da ANPSS. Como será apresentado posteriormente, a vinculação aos objetivos estratégicos da PESS apresentou muitos casos de “não informados”. Assim, com todas essas questões, optou-se por fazer uma análise exploratória inicial e sintética desses dados, que serão apresentados na seção 4. 3 Monitoramento e avaliação no executivo federal: o caso do CMAP 3.1 Breve histórico da institucionalização até 2019 O Plano Plurianual (PPA) foi estabelecido na Constituição Federal de 1988 (CF 88), no capítulo que trata “Dos Orçamentos”, Art. 165, que se refere também à Lei de Diretrizes Orçamentárias (LDO) e à Lei Orçamentária Anual (LOA). Enquanto o PPA é um instrumento de planejamento de quatro anos, o qual começa no segundo ano do mandato presidencial e vai até o primeiro ano do mandato seguinte, a LDO e a LOA são anuais. A CF 88 previa também um sistema de controle interno mantido pelos poderes Executivo, Legislativo e Judiciário, com a finalidade, entre outras, de avaliar o cumprimento das metas previstas no plano, bem como os seus resultados relativos à eficácia e à eficiência (Art. 74). Figura 1 - Fases do monitoramento e avaliação do PPA Fonte: Elaboração Própria. 3 Não foram contabilizados os títulos de editais que repetem o título da pesquisa, por se considerar que houve erro no preenchimento. Ministério da Saúde50 O primeiro PPA teve vigência no período 1991-1995 – o único quinquenal – e foi marcado pela instabilidade econômica e política (GARCIA, 2000). O PPA para o período 1996-1999 buscou vincular planejamento e orçamento – ocasião em que se iniciou a construção de um sistema de informações gerenciais para monitoramento do plano – e a avaliação era mencionada como atribuição de cada órgão setorial. Garcia (2000) considera que esse plano nem chegou a ser avaliado, pois não havia instrumentos efetivos para isso e o foco estava muito centrado na questão fiscal, reduzindo-se a importância do planejamento. O PPA 2000-20034 foi o primeiro a utilizar o Sistema de Informações Gerenciais e de Planejamento (Sigplan) e explicitou a obrigatoriedade de se enviar ao Congresso Nacional o relatório de avaliação de cada exercício. Esse documento deveria conter a análise do comportamento dos principais indicadores macroeconômicos utilizados para elaboração do plano, bem como análise de indicadores por programa, considerando-se o índice alcançado ao término do exercício anterior comparado ao índice previsto, e uma avaliação, por programa, da possibilidade de alcance do previsto e cumprimento das metas. Além disso, deveria conter a execução física e financeira de forma regionalizada e separada entre orçamentos fiscal e da seguridade social, de investimentos e demais fontes 5 . Em linhas gerais, essa obrigatoriedade foi mantida na Lei do PPA 2004-2007 (BRASIL, 2004a), no qual a inovação foi a discussão da proposta nas 27 unidades da federação. Nessa lei, previa-se que os órgãos setoriais enviariam um plano de avaliação dos seus programas ao órgão central de planejamento do Executivo federal. Em 2006, inicia-se no Ministério do Planejamento a elaboração de um sistema de avaliação do PPA e promulga-se uma lei que prevê o acesso do Congresso Nacional a esse sistema. Além disso, estavam previstas avaliações pela gerência do programa, avaliação dos órgãos setoriais, consolidada por uma Unidade de Monitoramento e Avaliação (UMA), em geral vinculada às subsecretarias de planejamento, orçamento e administração (SPOA) de cada órgão, e avaliação do Plano, esse último sob responsabilidade do Ministério do Planejamento, Orçamento 4 PPA 2000-2003: https://bibliotecadigital.economia.gov.br/handle/123456789/525650. 5 Cabe destacar que “[...] antes da aprovação da Lei do PPA 2000-2003, houve a promulgação da LRF, que inaugura, segundo Barcelos (2012), um novo regime de governança orçamentária no Brasil. Nesse ponto, a sobreposição e a disputa entre os instrumentos de planejamento e orçamento revelam-se de maneira nítida” (COUTO; CARDOSO JUNIOR, 2020, p. 26). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 51 e Gestão (MPOG). O programa deveria ser avaliado em sua concepção, implementação e resultados. Os gerentes deveriam responder a questões de monitoramento e avaliação que compunham um formulário dentro do Sigplan e cujas respostas e análises seriam consolidadas e complementadas pelas SPOA. O MPOG realizava a análise das respostas e mapeava as dificuldades para implementação e alcance dos objetivos do programa. Ainda na vigência do PPA 2004-2007 instituiu-se a Comissão de Monitoramento e Avaliação (CMA), apoiada por um Comitê Técnico de Monitoramento e Avaliação (CTMA), a qual integrava o sistema de avaliação do Plano (BRASIL, 2004b). A CMA era composta por representantes de secretarias do MPOG, do Ministério da Fazenda, da Casa Civil da Presidência e pelo IPEA. O Ministério do Meio Ambiente também participava da CMA no que se refere ao exame da viabilidade técnica e socioeconômica de projetos de grande vulto. Dentre suas atribuições estavam a elaboração de normas e procedimentos gerais para monitoramento e avaliação do PPA; diretrizes gerais para implementar metodologias de avaliação, bem como avaliar propostas de aprimoramento de metodologias e selecionar programas a serem avaliados (SERPA, 2011). No período 2008-2011 criou-se o Comitê de Gestão do Plano e o papel da CMA passou a ser o de assessorar esse comitê. A composição da CMA mudou, com a saída do MMA e a inclusão da Secretaria Geral da Presidência, do IBGE e da Diretoria de Estatais (DEST) do MPOG. Além do CTMA, passa a contar com o apoio da Câmara Técnica de Projetos de Grande Vulto (CTPGV). As Unidades de Monitoramento e Avaliação (UMA), que deveriam ser criadas em cada ministério, passaram a ter, entre outras atribuições, o papel de assessorar o secretário executivo ou seu equivalente no monitoramento e avaliação dos objetivos setoriais do conjunto dos programas e ações do órgão (SERPA, 2011). Como ressalta Serpa (2011), em ambos os PPAs a atuação da CMA foi dominada pela análise dos projetos de grande vulto. Além disso, não houve reuniões da CMA durante os anos 2008, 2010 e início de 2011 (SERPA, 2011). Ainda segundo a análise realizada por essa comissão, houve discussões para desenvolvimento de metodologias centradas no que se denominou avaliações rápidas, as quais foram baseadas na construção de modelo lógico de programas visando explicitar a teoria do programa, seus objetivos, insumos, atividades e resultados esperados. A proposta metodológica foi aplicada a um programa (FERREIRA; CASSIOLATO; GONZALEZ, 2009) e consolidada também em uma nota técnica de orientação Ministério da Saúde52 elaborada por equipe do IPEA (CASSIOLATO; GUERESI, 2010). Ainda que não tenha sido concluída no âmbito da CMA, a aplicação dessa metodologia foi disseminada pela equipe da Secretaria de Planejamento e Investimentos (SPI/MPOG) – que coordenava a formulação, monitoramento e avaliação do PPA – e o Tribunal de Contas da União (TCU) constatou sua importância para melhoria da formulação dos programas e atividades de avaliação (SERPA, 2011). Outro ponto importante destacado por Serpa (2011) a partir de avaliação realizada pelo Banco Mundial, em 2006, é que a estrutura doPPA e as informações produzidas para seu monitoramento e avaliação eram mais utilizadas para subsidiar as necessidades do gestor do Plano no MPOG e não atendiam diretamente às necessidades dos órgãos setoriais. Essa questão remete a duas outras, as quais permitem fazer conexões com a discussão específica desse processo de institucionalização da avaliação de políticas: (1) o foco nas ações orçamentárias e a menor importância conferida ao planejamento; (2) a não conformidade entre o que o PPA e os órgãos setoriais denominam programa; (3) a atuação das UMAs como coordenadoras dos processos de avaliação setoriais e estabelecimento de diálogo entre PPA e a programação de cada órgão. Com relação ao primeiro ponto, Navarro, Santos e Franke (2012) argumentam que o planejamento era voltado para controlar as ações, tendo os programas como centros de custos e cujo objetivo era a redução dos gastos públicos. A eficiência se tornou o objetivo preponderante a ser alcançado nesse processo. A análise das políticas públicas, a elaboração de diagnósticos e a revisão do plano não eram o foco principal. Assim, conforme esses autores, predominam a preocupação com a revisão de estruturas orçamentárias e discussões contábeis. Cavalcante (2007) chama atenção também para o peso dado ao controle orçamentário que influenciará a sistemática de monitoramento e avaliação no âmbito do Executivo. Esse autor também salienta a dificuldade dos gestores dos programas para aferir seus resultados, expressa nas limitações na elaboração de indicadores de resultados – principalmente para mensurá-los – e mais, para estimar o impacto desses programas. Pensadas para fortalecerem o monitoramento e avaliação no âmbito dos órgãos setoriais, as UMAs foram assumidas pelas coordenações gerais de planejamento Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 53 quando essas existiam naquele órgão. Não foram, em sua maioria, criadas novas estruturas ou ampliado o quadro de pessoal para responder por essa função (SERPA, 2011). Em questionário para levantamento do número de avaliações realizadas por cada órgão, o Ministério da Saúde foi aquele que informou o maior número de avaliações setoriais realizadas – total de 44. Essas avaliações foram executadas sem a participação da UMA – ou mesmo conhecimento sobre os trabalhos realizados – e contratadas diretamente pelas áreas responsáveis pela implementação dos programas. Como aponta Serpa (2011), essa situação ocorreu também em outros órgãos. Criado ainda na vigência do PPA 2004-2007, o SMMP pretendia dar mais celeridade às respostas para o alto escalão e produzir informações diferenciadas daquelas contidas no PPA. As prioridades eram definidas por um comitê composto pela Casa Civil e suas duas subchefias – Subchefia de Articulação e Monitoramento (SAM) e Subchefia de Ação Governamental (SAG) – e pela SPI/MPOG. Estabelecia-se um fluxo de informações que geravam posteriormente um relatório situacional e de encaminhamentos para orientar as decisões do Ministro-Chefe da Casa Civil e do Presidente (MAIA; SILVA; SALVIANO, 2013). Ainda em 2007, com a criação do Programa de Aceleração do Crescimento (PAC), estabeleceu-se um novo sistema para acompanhamento das metas presidenciais relacionadas ao PAC. O SIOP respondia por todo o PPA e o SISPAC pelo monitoramento do PAC. Outra alteração nesse período refere-se ao desenvolvimento do Sistema Integrado de Planejamento e Orçamento do Governo Federal (Siop), pela Secretaria de Orçamento Federal (SOF) do Ministério da Fazenda, cujo início se deu em 2009, com o objetivo de substituir o Sistema Integrado de Dados Orçamentários (Sidor) e o Sigplan. Em parte, esse sistema visava resolver outra questão, uma avaliação de que o Sigplan não conseguia atender às necessidades de resposta dos objetivos estratégicos de governo. O SIOP passou a ser utilizado para elaboração e revisão do PPA e dos projetos da LDO e da LOA, para alterações orçamentárias e de créditos, do orçamento impositivo, informação sobre as receitas, acompanhamento das estatais, acompanhamento orçamentário e monitoramento do PPA (ENAP, 2021). A princípio esse sistema integrou ainda mais o processo de elaboração do orçamento e do PPA. Ministério da Saúde54 Ao mesmo tempo, os debates sobre a preponderância do orçamento sobre o planejamento levaram a uma proposta de separação entre ambos, a qual foi consolidada no processo de elaboração do PPA 2012-2015. A expectativa era dar maior clareza às prioridades de governo, estabelecer mecanismos para a gestão estratégica do Plano, bem como ampliar a participação social. Havia argumentos de que se mantém uma inversão no processo: “em vez de o PPA balizar a elaboração das LOAs, as dotações atualizadas das leis orçamentárias é que têm alimentado o processo de revisão do PPA” (MARTINS NETO; CARDOSO JUNIOR, 2018). Esse argumento é reforçado em outras análises que reiteram a predominância do orçamento sobre o planejamento (COUTO; CARDOSO JUNIOR, 2020). Como argumentam Martins Neto e Cardoso Jr., a despeito dos avanços o fato de o PPA ter que consolidar toda a ação de governo, “[...] fez com que as políticas prioritárias ficassem escondidas em um universo de mais de 400 objetivos e 2 mil metas” (MARTINS NETO; CARDOSO JUNIOR, 2018, p. 73). Os autores, contudo, consideram que esse PPA cumpriu papel importante quanto à participação social. Foi proposta nova metodologia, na qual as ações orçamentárias deixariam de fazer parte do PPA e a articulação entre ambos se daria por outros meios. Foram criadas “Iniciativas”, que vinculariam o orçamento ao PPA, as quais agregavam várias ações (COUTO; CARDOSO JUNIOR, 2020). Criaram-se Programas Temáticos, aos quais estavam vinculados Objetivos e Iniciativas. Os primeiros deveriam expressar a entrega de bens e serviços à sociedade. Os objetivos deveriam expressar o que se quer fazer definido em macroáreas de atuação do governo. As iniciativas derivam dos objetivos e significam o que se fará para alcançar os objetivos. Esperava-se, com essa nova metodologia, deixar as prioridades de governo mais claras e realizar um monitoramento mais estratégico (COUTO; CARDOSO JUNIOR, 2020). No final do ciclo desse PPA, em 2015, por decreto se criou o Grupo de Trabalho Interministerial para Acompanhamento de Gastos Públicos do Governo Federal (Gtag), composto pelo MPOG, Ministério da Fazenda, Casa Civil e Controladoria- Geral da União (CGU). Seus objetivos estavam relacionados a melhorias da eficiência e efetividade do gasto público e aperfeiçoamento das políticas públicas. O GTAG tinha caráter temporário. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 55 Em 2016 instituiu-se o Comitê de Monitoramento e Avaliação (CMAP)6, por portaria, como instância coordenadora do monitoramento e avaliação no âmbito do poder executivo, com objetivos bem próximos daqueles do Gtag (BRASIL, 2016). Anualmente seria selecionado e analisado um grupo de políticas, programas e ações. A presidência e a secretaria-executiva cabiam ao MPOG e o comitê também era composto por representantes de secretarias desse ministério, do Ministério da Fazenda, da Controladoria Geral da União (CGU) e da Casa Civil. A Portaria previa o apoio ao CMAP por parte do Instituto de Pesquisa Econômica Aplicada (IPEA), do Instituto Brasileiro de Geografia e Estatística (IBGE), da Escola Nacional de Administração Pública (ENAP), da Escola de Administração Fazendária (Esaf) e da Ouvidoria Geral da União. Em 2017 criou-se o Comitê de Avaliação dos Subsídios da União (CMAS), coordenado pelo Ministério da Fazenda, contando com membros da Casa Civil e da CGU e apoio da Esaf, IPEA e IBGE. Na primeira versão do decreto que criou o CMAS não se fez menção ao CMAP. Assim, esse ficaria responsável pelo gasto direto e aquelepelos subsídios (FEU et al., 2022). Formalmente o CMAP não contava com apoio técnico e administrativo específico, nem com um arcabouço pré-definido para seleção das políticas públicas (MIRANDA et al., 2021); essa função continuava a ser exercida pela SPI/MPOG. Com o fim do MPOG e sua junção com o Ministério da Fazenda, as atividades passaram a ser assumidas pela Secretaria de Avaliação, Planejamento, Energia e Loteria (Secap), criada no âmbito do Ministério da Economia7. Em 2019, novo decreto criou o Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP), com a atribuição de conduzir avaliações de políticas públicas financiadas por gastos diretos e subsídios da União, selecionadas anualmente (BRASIL, 2019)8. Esse conselho passou a contar com dois Comitês: o Comitê de Avaliação do Gasto Direto (CMAG) e o Comitê de Avaliação de Subsídios (CMAS). Na lei do PPA 2020-2023, a 6 BRASIL. Ministério do Planejamento, Orçamento e Gestão. Portaria Interministerial n. 102, de 7 de abril de 2016. Brasília, DF: MOG, 2016. Disponível em: https://bit.ly/3OThw5z. Acesso em: 2 jan. 2022. 7 Em janeiro de 2019, por meio da Medida Provisória 870, posteriormente convertida em lei (Lei nº 13.844, de junho de 2019), a reforma administrativa unificou os Ministério da Fazenda e o MPOG, que passaram a fazer parte do Ministério da Economia. Nessa reforma a ESAF foi incorporada à ENAP. 8 Antes da formalização do CMAP na lei do PPA, entre 2016-2018, havia então um processo de avaliação de diversas políticas selecionadas pelo Centro de Governo (SACCARO; ROCHA; MATION, 2018); no âmbito da saúde foi avaliado o Programa Farmácia Popular do Brasil e seu impacto sobre indicadores de internações (ALMEIDA; VIEIRA; SÁ, 2018). Essa avaliação foi realizada no momento em que houve questionamentos sobre a efetividade do programa, a qual mostrou impactos positivos de redução de internações por doenças crônicas; em momentos posteriores, essa avaliação foi mencionada em defesa da continuidade do programa quando houve propostas de extingui-lo. Ministério da Saúde56 avaliação foi incluída como um processo sistemático, integrado e institucionalizado a ser realizado no âmbito do CMAP tanto para políticas financiadas pelo gasto direto quanto por subsídios. 3.2 A Criação do CMAP e o Processo de Seleção de Ações para Avaliação O Conselho de Monitoramento e Avaliação (CMAP) guarda semelhanças quanto à composição do comitê que o antecedeu, com relação à representação dos secretários executivos da Casa Civil, Ministério da Economia e CGU e por sua atribuição de selecionar os programas e ações do PPA a serem avaliados anualmente. Igualmente, o Instituto de Pesquisa Econômica Aplicada (IPEA), o Instituto Brasileiro de Geografia e Estatística (IBGE) e a Escola Nacional de Administração Pública (ENAP) figuram como apoiadores do CMAP. A Secap/ME, que no final de 2021 passaria a integrar a Secretaria Especial de Economia, Trabalho e Orçamento (SETO/ME), assessora o CMAP. Em 2019, a partir da proposta da Secap/ME, foram formalizados e tornados transparentes os critérios de seleção de programas a serem avaliados. Essa formalização visava responder à recomendação do acórdão do TCU nº 2.515/2019. Os critérios definidos se basearam naqueles aplicados pelo próprio TCU e pela Controladoria Geral da União quando da realização de suas auditorias. Os critérios foram: materialidade, criticidade e relevância. A materialidade refere-se à participação da ação no orçamento (valor no PLOA ou dotação na LOA) ou do gasto tributário no subsídio 9 . A criticidade refere-se à taxa de variação real dessas, enquanto a relevância relaciona-se com as prioridades estabelecidas pelo governo (BRASIL, 2019). Como exposto no documento de priorização, a ação orçamentária é proxy para a política pública relativa ao gasto direto e são selecionadas considerando-se os programas que compõem cada PPA (nesse caso, o PPA 2020-2023)10. No processo 9 No caso dos subsídios, de acordo com a “projeção disponível dos Demonstrativos de Gasto Tributário (DGT) e dos Benefícios Financeiros e Creditícios (DBF&C), no caso dos subsídios” (BRASIL, 2019). 10 “O rol de gastos com Subsídios são ações não orçamentárias, relacionadas a benefícios tributários e creditícios, que não constam no OGU, somados aos subsídios financeiros, que têm ações orçamentárias. As ações classificadas como Gastos Diretos são as demais ações orçamentárias de Programas Finalísticos, excluindo-se, adicionalmente, as despesas financeiras orçamentárias que geram subsídios creditícios” (BRASIL, 2019, p. 2). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 57 de seleção, os programas finalísticos são ordenados de acordo com sua materialidade e o critério de corte para inclusão como passível de avaliação aqueles acima de mediana nesse critério11. Assim, inicialmente, para o PPA 2020-2023 foram selecionados 33 programas relacionados ao gasto direto e 24 programas relacionados aos subsídios. Selecionados os programas, passou-se à seleção das ações orçamentárias dentro dos programas, aplicando-se os mesmos critérios. Ao mesmo tempo buscavam responder a outra recomendação do TCU, avaliando-se pelo menos uma política de cada programa no decorrer dos quatro anos de vigência do PPA. Ao se considerar essas duas recomendações, a princípio, a proposta da Secap seria avaliar ações de oito programas de cada grupo (gasto direto ou subsídios) em cada ciclo de avaliação, passando para os seguintes no ordenamento no próximo ciclo. Ou seja, no período de 12 meses, as ações relacionadas a 16 programas seriam avaliadas e sua seleção ocorreria considerando-se os critérios de materialidade, criticidade e relevância, além de não ter sido avaliada no ciclo anterior (BRASIL, 2020a). Em seguida, as instituições membros do CMAP e seus apoiadores são convidados, a partir de oficinas, para propor questões de avaliação para cada ação selecionada. Nessas oficinas são discutidos os focos das avaliações, elaboradas propostas de questões, definidos os coordenadores de cada avaliação e os executores das questões de avaliação. Cada avaliação tem uma instituição coordenadora, um executor responsável por cada questão e poderá contar com outras instituições executoras. A supervisão e apoio aos trabalhos era feita pela Secap/ME. Em outubro de 2020, por meio da Resolução Conjunta nº1 do CMAG/CMAS foram estabelecidas formalmente as funções e responsabilidades das instituições envolvidas nas avaliações ex-post do CMAP (BRASIL, 2020b). Assim, um ciclo de avaliação do PPA começa pelo processo de seleção das ações a serem avaliadas. Uma vez selecionadas as ações, as secretarias do Ministério da Economia, a CGU, o IPEA, a ENAP e o IBGE, bem como convidados com notório 11 “Gasto Direto foi de R$ 328,98 milhões [2]. No caso dos Subsídios da União, a mediana das políticas é de R$ 651,88 milhões para 2020. Os Programas Finalísticos acima dos respectivos pisos representaram 99,5% do total do Gasto Direto e 97,4% do total do Subsídios da União elencados no PPA” (BRASIL, 2019, p. 3). Ministério da Saúde58 saber são chamados a contribuir com as avaliações do CMAP12. São realizadas oficinas em que se discute como a avaliação será conduzida: quais as questões de avaliação propostas, qual a metodologia a ser utilizada, qual o órgão coordenador da avaliação e quem serão os executores de cada questão. Em 2020 e 2021, o IPEA foi um dos órgãos que mais coordenou e executou avaliações, após a CGU. A ENAP tem atuado com a produção de materiais ou textos de apoio à avaliação, contratação de consultores para apoiar oficinas e prestar outros apoios por demanda dos coordenadores da avaliação e em acordo com a equipe de supervisão das avaliações da Secretaria Especial do Tesouro e Orçamento (SETO/ME), criada em 2021, tendo em sua composiçãoo Departamento de Avaliação de Políticas Públicas, que passou a ser o supervisor das avaliações do CMAP. As metodologias utilizadas nas avaliações do CMAP seguem os dois guias de avaliação produzidos em 2018, relacionados a metodologias da avaliação ex-ante (BRASIL, 2018a) e metodologias de avaliação ex-post (BRASIL, 2018b). Ainda que o Guia ex-ante apresente diversas metodologias, até o Ciclo de 2022 não havia previsão de realizar avaliações ex-ante que não fossem relacionadas à avaliação de desenho e construção de modelo lógico. Assim, até 2021, as avaliações estão relacionadas àquelas previstas no Guia de avaliação ex-post. No âmbito do CMAP, há um conjunto de avaliações executivas – avaliações rápidas – as quais buscam abordar aspectos relacionados ao desenho, à execução orçamentária e financeira, à governança, à implementação e aos resultados dos programas. Há avaliações que avançam em análises mais detalhadas e aprofundadas da execução orçamentária e financeira, da governança, da implementação, dos resultados e/ou impactos dos programas ou das ações selecionadas em cada ciclo de avaliação que podem abordar todas ou apenas algumas dessas questões. Na seleção do CMAP, observa-se um peso grande da materialidade, isto é, as ações com maiores orçamentos foram as primeiras a serem avaliadas. Aqui surge uma questão à qual voltaremos quando tratarmos das avaliações na área de saúde: os programas e as ações do PPA não necessariamente dialogam com aquilo que os órgãos setoriais – nesse caso o Ministério da Saúde – chamam de programas e ações. Assim, quando se faz a seleção a partir do PPA, há nova etapa, uma seleção 12 Podem ser convidados a contribuir pesquisadores e representantes de outros órgãos e de entidades públicas e privadas com notório saber (BRASIL, 2019). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 59 da seleção: o que é passível de ser avaliado dentro daquela ação ou daquele programa. Cabe aos coordenadores elaborarem – conjuntamente com os executores – um programa de trabalho a ser enviado e acompanhado pela equipe de supervisão. Nesse momento são mapeadas as necessidades de dados de acesso restrito e, por meio da antiga Secap/ME e atual SETO/ME, formaliza-se a demanda para os órgãos setoriais gestores de cada base ou sistema de informação. Um relatório intermediário deve ser enviado para a supervisão e há pelo menos uma reunião técnica com participação dos membros do comitê ao qual se refere a avaliação (CMAG ou CMAS). Outra reunião técnica é realizada no início do ano seguinte. Além do relatório de avaliação, a instituição coordenadora deve produzir, junto com os executores, um relatório de recomendações e esses dois produtos devem ser enviados para os órgãos setoriais gestores dos programas/das ações até março do ano subsequente. Os órgãos setoriais têm, em geral, 15 dias para produzir uma manifestação sobre ambos os relatórios, mas o foco principal é sobre as recomendações. A coordenação deve enviar as versões finais dos relatórios de avaliação e recomendação, acompanhadas das manifestações dos órgãos setoriais para o CMAP até o final de abril ou começo de maio do ano seguinte àquele do início do ciclo de avaliação. Assim, os executores e a coordenação têm cerca de 10 meses para produzirem as avaliações e os relatórios mencionados. Em seu campo de atuação, os membros do CMAG e do CMAS analisam as questões propostas para avaliação, aprovam-nas ou propõem alterações e orientam o CMAP, exercendo a função de orientar as decisões do CMAP. Além disso, analisam os resultados intermediários e os finais da avaliação, esclarecem dúvidas sobre os relatórios entregues e orientam a análise do CMAP, a qual será realizada no final do período de avaliação. Durante o processo de elaboração das avaliações, há interação da coordenação da avaliação e dos executores diretamente com a equipe de supervisão da SETO/ME e, em geral, pelo menos duas vezes com os membros do comitê ao qual a avaliação está vinculada. Além disso, os coordenadores são convidados a apresentarem as recomendações na reunião final com os membros do CMAP. Os coordenadores da avaliação não votam, e os relatórios de avaliação e de recomendações indicativos são enviados com antecedência à reunião de Ministério da Saúde60 deliberação pelo Conselho. Os membros do Conselho debatem os resultados e as recomendações, aprovam, solicitam alterações ou exclusão dessas e inclusive consideram as manifestações dos órgãos setoriais. Após a deliberação do CMAP, tornam-se públicos os relatórios aprovados juntamente com as atas que contêm as deliberações do Conselho. Adicionalmente, em 2021, produziu-se um relatório anual das avaliações do ciclo 2020, composto pelos resultados das avaliações selecionadas, o qual foi apresentado ao Congresso Nacional (BRASIL, 2021a). Nesse relatório apresentou- se o processo de institucionalização da avaliação no centro de governo no período mais recente, bem como o resumo das avaliações e recomendações realizadas no Ciclo 2020; tal relatório destaca uma fase de pré-avaliação – a partir do Ciclo 2020 – que compreenderia o período de outubro do ano anterior até abril do ano da avaliação. Essa fase seria para debates entre especialistas e gestores das políticas a serem avaliadas, após a qual se definiriam as questões de avaliação; a fase de execução da avaliação teria duração de 12 meses. Como se discutirá na próxima seção, mesmo após essa fase, em alguns casos ainda se faz necessário avançar nas discussões com os gestores para delimitação do escopo da avaliação. 3.3 CMAP: avaliações de programas e ações de saúde No Quadro 1 são apresentadas todas as ações que foram avaliadas no âmbito do CMAP nos ciclos 2019, 2020 e 2021. Em 2019, no âmbito do CMAG, foi selecionada a ação Assistência Farmacêutica Especializada. Em 2020, quando da aplicação dos critérios para seleção dos programas, há um grande peso da materialidade no que se refere ao gasto direto e foi selecionada toda a ação do Piso da Atenção Básica (219A) e toda a ação da Atenção Ambulatorial e Hospitalar à população em procedimentos de média e alta complexidade (8585). Além dessas, foram selecionadas as deduções com despesas médicas do imposto de renda pessoa física e o Certificado de Entidades Beneficentes da Assistência Social na área de saúde (CEBAS-Saúde) no âmbito do CMAS. Em 2021, no âmbito do gasto direto, foi selecionada a ação Educação e Formação em Saúde (20YD). No quadro 1 observa-se que a CGU é o órgão que mais coordenou avaliações na área de saúde. Em 2021, o IPEA coordenou a avaliação do Pró-residência; nos anos Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 61 anteriores participou da execução de pelo menos uma questão de avaliação naquelas realizadas no âmbito do CMAP. Os resultados das avaliações, os relatórios de recomendações e as manifestações dos gestores estão disponíveis nos sítios do CMAP, conforme o Quadro 1. No Ciclo 2019, uma das dificuldades para se analisar a ação selecionada (CEAF) foi o fato de ela ser parte de uma política mais ampla, qual seja, a Política Nacional de Assistência Farmacêutica (PNAF), bem como se relacionar a políticas de incorporação de tecnologia, desenvolvimento produtivo e regulação de preços, entre outras. Isso ficou claro na elaboração do modelo lógico da ação selecionada, contudo, a avaliação não tratava da PNAF, mas de uma ação que era parte dessa política. Além disso, como destacado no relatório de avaliação, o CEAF é composto por medicamentos de três grupos (básico, estratégicos e especializados), cujas características, forma de organização da ação e responsabilidades de cada ente federado são distintas (BRASIL, 2020a). Essas dificuldades também fizeram parte dos processos de avaliações das outras ações selecionadasnos ciclos subsequentes. Quadro 1 - Avaliações de Programas e Ações de Saúde nos Ciclos 2019 a 2021 do CMAP Ciclo Ação Programa do PPA Comitê Órgão setorial Coordenação Executores Relatório de Avaliação Relatório de Recomendação Manifestação do Gestor 2019* Componente Especializado da Assistência Farmacêutica (CEAF – 4705) Assistência Farmacêutica e Insumos Estratégicos CMAG Ministério da Saúde SOF/ME SOF/ME, SECAP/ME, CGU e IPEA https://bit.ly/3Q5PlRU https://bit.ly/3oNkAFF https://bit.ly/3PTHJ5a 2020 Piso da Atenção Básica Variável (PAB - 219A) Atenção Primária à Saúde CMAG Ministério da Saúde CGU CGU e IPEA https://bit.ly/3BAvwxU https://bit.ly/3zT8eSU https://bit.ly/3zRn38d; https://bit.ly/3OZCnUB Atenção à saúde da população para procedimentos de média e alta complexidade (8585) Atenção Especializada à Saúde CMAG Ministério da Saúde CGU CGU e IPEA https://bit.ly/3zuC2np https://bit.ly/3SjynRZ https://bit.ly/3znqS3I; https://bit.ly/3vE7z55 https://bit.ly/3cUwxXj Certificação de Entidade Beneficente da Assistência Social - Saúde (CEBAS Saúde) Atenção Especializada à Saúde CMAS Ministério da Saúde CGU CGU e IPEA https://bit.ly/3zqKrIo https://bit.ly/3OZoAg W https://bit.ly/3oPulDl Dedução de Despesas Médicas do IRPF Atenção Primária à Saúde CMAS Ministério da Saúde SPE/ME SPE/ME, SECAP/ME e IPEA https://bit.ly/3oPulDl https://bit.ly/3PVbkLL https://bit.ly/3SmUgj5 2021 Educação e formação em saúde (20YD)** Gestão do Sistema Único de Saúde CMAG Ministério da Saúde e Ministério da Educação IPEA SOF/ME, CGU, IPEA e INSPER https://bit.ly/3oQBTpo https://bit.ly/3vzFyvC https://bit.ly/3cYcLdC https://bit.ly/3JpaBQi Fonte: elaboração própria. Nota: *No Ciclo 2021, instituições ou pessoas que não são membros ou apoiadores do CMAP foram convidadas pelo Ministério da Economia para contribuir voluntariamente com as avaliações do CMAP. ** Para avaliação foi selecionada parte de um plano orçamentário dessa ação, relacionado ao Programa Nacional de Apoio à Formação de Médicos Especialistas em Áreas Estratégicas para o SUS - Pró-residência Médica. Ministério da Saúde62 Quadro 1 - Avaliações de Programas e Ações de Saúde nos Ciclos 2019 a 2021 do CMAP Ciclo Ação Programa do PPA Comitê Órgão setorial Coordenação Executores Relatório de Avaliação Relatório de Recomendação Manifestação do Gestor 2019* Componente Especializado da Assistência Farmacêutica (CEAF – 4705) Assistência Farmacêutica e Insumos Estratégicos CMAG Ministério da Saúde SOF/ME SOF/ME, SECAP/ME, CGU e IPEA https://bit.ly/3Q5PlRU https://bit.ly/3oNkAFF https://bit.ly/3PTHJ5a 2020 Piso da Atenção Básica Variável (PAB - 219A) Atenção Primária à Saúde CMAG Ministério da Saúde CGU CGU e IPEA https://bit.ly/3BAvwxU https://bit.ly/3zT8eSU https://bit.ly/3zRn38d; https://bit.ly/3OZCnUB Atenção à saúde da população para procedimentos de média e alta complexidade (8585) Atenção Especializada à Saúde CMAG Ministério da Saúde CGU CGU e IPEA https://bit.ly/3zuC2np https://bit.ly/3SjynRZ https://bit.ly/3znqS3I; https://bit.ly/3vE7z55 https://bit.ly/3cUwxXj Certificação de Entidade Beneficente da Assistência Social - Saúde (CEBAS Saúde) Atenção Especializada à Saúde CMAS Ministério da Saúde CGU CGU e IPEA https://bit.ly/3zqKrIo https://bit.ly/3OZoAg W https://bit.ly/3oPulDl Dedução de Despesas Médicas do IRPF Atenção Primária à Saúde CMAS Ministério da Saúde SPE/ME SPE/ME, SECAP/ME e IPEA https://bit.ly/3oPulDl https://bit.ly/3PVbkLL https://bit.ly/3SmUgj5 2021 Educação e formação em saúde (20YD)** Gestão do Sistema Único de Saúde CMAG Ministério da Saúde e Ministério da Educação IPEA SOF/ME, CGU, IPEA e INSPER https://bit.ly/3oQBTpo https://bit.ly/3vzFyvC https://bit.ly/3cYcLdC https://bit.ly/3JpaBQi Fonte: elaboração própria. Nota: *No Ciclo 2021, instituições ou pessoas que não são membros ou apoiadores do CMAP foram convidadas pelo Ministério da Economia para contribuir voluntariamente com as avaliações do CMAP. ** Para avaliação foi selecionada parte de um plano orçamentário dessa ação, relacionado ao Programa Nacional de Apoio à Formação de Médicos Especialistas em Áreas Estratégicas para o SUS - Pró-residência Médica. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 63 No Quadro 2, apresentam-se algumas questões surgidas após a seleção inicial no Ciclo 2020 e 2021. A primeira se refere ao fato de muitas ações orçamentárias serem “guarda-chuvas” para um conjunto de programas ou iniciativas no âmbito do Ministério da Saúde. Isso não acontece apenas nesse ministério e está relacionado, entre outros, ao fato de quanto mais detalhado for o orçamento, visando aproximar- se do que seriam os programas e ações setoriais, mais complexas se tornam as realocações intraorçamentárias pelo órgão gestor do programa. Assim, no processo de elaboração do orçamento e do PPA os programas e ações orçamentárias definidos foram bastante amplos, o que permite que o órgão setorial faça a gestão com maior flexibilidade, de acordo com as questões e as necessidades que surgem ao longo do processo de execução. No Ciclo 2020, duas das ações selecionadas referiam-se a várias políticas, programas e ações no âmbito do Ministério da Saúde (BRASIL, 2021a, 2021b). Além disso, essas ações têm sua execução orçamentária realizada por meio de transferências a estados e municípios. Ou seja, a implementação depende de outros entes subnacionais. No caso da ação Atenção à saúde da população para procedimentos de média e alta complexidade, conforme destaque no relatório de avaliação, essa se refere a todo o teto da média e da alta complexidade (teto MAC). No caso da atenção básica, a ação inicialmente selecionada foi o Piso da Atenção Básica Variável, que também refletia vários programas do Ministério da Saúde. Em ambos os casos, foram selecionados alguns aspectos dessas ações para análise, sem abarcar todas as questões a essas relacionadas. Além disso, nesse ano haviam sido alterados os critérios de transferências federais para a atenção básica por meio de um programa denominado Previne Brasil. A proposta do CMAP, naquele momento, não previa avaliações de linha de base. Assim, incluiu-se na discussão o problema de se estar avaliando uma ação orçamentária que passaria por muitas mudanças. Com isso, foi incluída uma análise dos efeitos das mudanças nos critérios de transferências no orçamento dos municípios, mas mantido o foco da análise da maior parte do relatório de avaliação no período anterior à mudança. No Ciclo 2021, considerando-se as experiências das avaliações anteriores, tentou- se estabelecer um foco mais claro para a avaliação da ação Educação e Formação em Saúde (20YD), a qual também abarca vários planos orçamentários, como se pode ver no Quadro 2. Essa ação no âmbito do Ministério da Saúde, envolvia o Programa de Educação pelo Trabalho para a Saúde (PET-Saúde), o Programa de Qualificação Ministério da Saúde64 e Estruturação da Gestão do Trabalho e da Educação no SUS (ProgeSUS), entre outros que eram parte de planos orçamentários. O principal plano orçamentário dessa ação era o Apoio ao Desenvolvimento da Graduação, Pós-Graduação Stricto e Latu Sensu em áreas estratégicas para o SUS (PO 0003), em razão de responder por mais de 80% do recurso da ação em 2020. Contudo, somente por meio de análises para além dos planos orçamentários, em diálogo com a equipe da Secretaria de Gestão do Trabalho e da Educação na Saúde (Sgets) foi possível saber que os recursos alocados nesse principal plano orçamentário são destinadosprincipalmente para o Programa Nacional de Apoio à Formação de Médicos Especialistas em Áreas Estratégicas (Pró-residência Médica) e o Programa Nacional de Bolsas de Residências Multiprofissionais e em Área Profissional da Saúde. Considerando-se a impossibilidade de se avaliarem todos aqueles denominados programas pelo Ministério da Saúde, os quais compunham essa ação orçamentária no ciclo de CMAP, a partir das discussões entre os potenciais executores da avaliação aplicaram-se novamente os critérios de materialidade (peso no orçamento) e de criticidade para selecionar o Pró-residência como o programa a ser avaliado no Ciclo 2021. Quando as discussões avançaram, observou-se que também seria difícil avaliar ambas as modalidades de residência (médica e multiprofissional) no prazo estipulado. Assim, mais uma vez se realizou nova seleção e a avaliação foi realizada para o Pró-residência Médica13. Ainda que a ação orçamentária tenha como único gestor o Ministério da Saúde, a portaria que instituiu o Pró-residência define também o Ministério da Educação (MEC) como responsável pela gestão do programa. Assim, no processo de avaliação e considerando-se a importância da coordenação entre esses órgãos, o MEC foi convidado a participar das oficinas de avaliação de desenho e de outras discussões durante o processo de avaliação. Além disso, fez uso de sistemas de informações diretamente vinculado ao programa – do Sistema de Gestão do Pró-residência (Sigresidencias) e, também, do Sistema do Conselho Nacional de Residências Médicas (SisCNRM) gerido pelo MEC. Realizaram-se as recomendações levando-se em consideração a importância do apoio do MEC na gestão do programa. 13 Em 2021 os recursos foram alocados em outros dois novos POs (000E – Pró-residência médica e em área multiprofissional da saúde no âmbito da atenção especializada e 000F – Pró-residência médica e em área multiprofissional da saúde no âmbito da atenção primária), os quais não separavam as bolsas por modalidade, mas por nível de atenção. Contudo, em 2022, novamente voltou a ter somente um plano orçamentário. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 65 Quadro 2 - Planos orçamentários e Programas relacionados às ações orçamentárias selecionadas nos Ciclos 2020 e 2021 do CMAP Ciclo CMAP Programa PPA 2020- 2023 Ação / Plano Orçamentário 2020 R$ milhões % ASPS % Programa % Ação 2020 Total ASPS 2020 160.985,11 100,0 Programa 5018 - Atenção especializada à saúde Programa 5018 - Atenção especializada à saúde 99.371,73 61,7 100,0 Ação 8585 - Atenção à saúde da população para procedimentos em MAC 50.200,26 31,2 50,5 100,0 0000 - Atenção à saúde da população para procedimentos em MAC 44.023,49 27,3 44,3 87,7 0001 - SAMU - 192 1.160,97 0,7 1,2 2,3 0005 - Fundo de Ações Estratégicas e Compensação-FAEC 5.015,80 3,1 5,0 10,0 Programa 5019 - Atenção Primária à Saúde Programa 5019 - Atenção Primaria à Saúde 26.717,15 16,6 100,0 Ação 219A - Piso de atenção básica em saúde 20.647,66 12,8 77,3 100,0 0002 - Agente Comunitário de Saúde 3.945,42 2,5 14,8 19,1 0008 - Incentivo financeiro da APS - capitação ponderada 8.929,20 5,5 33,4 43,2 0009 - Incentivo financeiro da APS - desempenho 1.654,83 1,0 6,2 8,0 000A - Incentivo para ações estratégicas 2.950,30 1,8 11,0 14,3 000B - Incentivo financeiro da APS - per capita de transição 1.125,16 0,7 4,2 5,4 000C - Incentivo financeiro da APS - fator compensatório de transição 1.572,88 1,0 5,9 7,6 000D - Programa de informatização da APS 469,87 0,3 1,8 2,3 2021 Total ASPS 2020 160.985,11 100,0 Programa 5021 - Gestão e organização do SUS Programa 5021 - Gestão e organização do SUS 1.871,15 1,2 100,0 Ação 20YD - Educação e formação em saúde 1.244,72 0,8 66,5 100,0 0000 - Educação e formação em saúde 121,68 0,1 6,5 9,8 0000 - Educação e formação em saúde - despesas diversas 0,89 0,0 0,0 0,1 continua Ministério da Saúde66 0002 - Formação de profissionais técnicos de saúde e fortalecimento das escolas técnicas/centros formadores do SUS 5,46 0,0 0,3 0,4 0003 - Apoio ao desenvolvimento da graduação, pós-graduação stricto e latu sensu em áreas estratégicas para o SUS 1.039,51 0,6 55,6 83,5 Ciclo CMAP Programa PPA 2020- 2023 Ação / Plano Orçamentário 2020 R$ milhões % ASPS % Programa % Ação 0004 - Apoio a educação permanente dos trabalhadores do SUS 48,70 0,0 2,6 3,9 0005 - Apoio à melhoria da capacidade de gestão de sistemas e gerência de unidades do SUS 0,60 0,0 0,0 0,0 0006 - Modernização e qualificação do trabalho no SUS 11,98 0,0 0,6 1,0 000C - Democratização das relações de trabalho e regulação das profissões de saúde 4,01 0,0 0,2 0,3 000D - Apoio às ações de saúde digital 11,89 0,0 0,6 1,0 Fonte: Siga Brasil / Senado Federal. Dentre os aprendizados no processo de avaliação da área de saúde, destaca-se a importância de se compreenderem as diferenças entre as ações orçamentárias da LOA e aquilo que se denomina programa no âmbito do Ministério da Saúde. Isso demanda um processo de seleção do que será avaliado que vai além dos critérios utilizados para seleção das ações, o qual passa por uma discussão entre a supervisão da avaliação no âmbito do CMAP, uma primeira análise por parte dos executores do que seria possível avaliar naquele ciclo em diálogo com os gestores e equipe técnica do órgão setorial, e um retorno ao CMAP da proposta das questões de avaliação com foco mais bem delineado. Em todas as avaliações realizadas na área de saúde observou-se que os resultados da avaliação estavam relacionados: (i) ao conhecimento prévio dos executores sobre a área em que se inseria o programa ou a ação; (ii) às possibilidades de interações constantes com os gestores do programa e disponibilidade desses para responder às questões da equipe de avaliação; (iii) à compreensão dos gestores sobre o processo de avaliação e receios desses quanto ao uso dos resultados da avaliação; (iv) ao quanto a avaliação depende do acesso a informações, documentos e bases conclusão Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 67 de dados de acesso restrito; (v) às interações entre os diversos executores de questões em uma mesma avaliação; (vii) à atuação e interação com os supervisores da avaliação. Um conhecimento prévio sobre a programação setorial e a LOA é uma questão relevante, mas que apresenta desafios. Uma das dificuldades apresentada pela equipe que assessora o CMAP está na ausência de um catálogo de políticas e ações de governo que possam apresentar a visão setorial para além do PPA (FEU et al., 2022). Além disso, outras questões envolvem: (i) dificuldades relacionadas ao desenho dos programas e ações; (ii) o CMAP não ter dotação orçamentária para contratar avaliações; (iii) as avaliações do CMAP foram pensadas para serem feitas em um período curto: desde as primeiras oficinas até a entrega dos relatórios para análise pelo CMAP seriam 12 meses, dos quais 8 a 10 relacionados ao efetivo período da avaliação. Quanto ao primeiro ponto, se o programa ou ação em questão tiver um desenho claro e bem documentado e ter sido objeto de análise ou mesmo de alguma avaliação em períodos anteriores, a primeira etapa da avaliação é facilitada. Contudo, a maioria dos programas e ações não têm um modelo lógico elaborado, a documentação nem sempre é suficiente para sua compreensão e a legislação envolve várias normas. Isso demanda interação ainda maior com os gestores e as equipes técnicas antes de se delimitar o objeto da avaliação. Assim, com o avançar do processo de avaliação do CMAP na área de saúde, parece mais clara a importância da realização de algumas oficinas para discussão sobre o programa e seu desenho, inclusive a definiçãoda necessidade de se incluir a avaliação de desenho no processo de avaliação. Relativamente ao segundo ponto – a ausência de uma dotação orçamentária específica – não há previsão legal ou orçamentária para isso no CMAP. Assim, a realização das avaliações depende da alocação de pessoas e recursos de outros órgãos e instituições. Idealmente, além do envolvimento dessas instituições, poderiam ser previstos recursos para trazer especialistas externos ou descentralizar recursos para outras instituições públicas que estejam participando das avaliações. Com referência ao terceiro ponto, esse tem sido um tema também importante nas avaliações do CMAP: acesso a bancos de dados e sistemas de informação para Ministério da Saúde68 realização das avaliações. A maioria das avaliações realizadas no âmbito do CMAP na área de saúde demandou dados que não estavam disponíveis publicamente. Mesmo na relação direta entre órgãos da administração pública federal e nos casos de instituições que garantiam o devido tratamento restrito ou sigiloso dos dados, entre a demanda inicial e o efetivo recebimento das informações, em muitos casos os dados demoram mais de 6 meses para serem obtidos. Alguns dados chegaram próximos ao prazo final de entrega dos relatórios para o CMAP e não foram usados, a exigir adaptações metodológicas e alguma revisão do escopo da avaliação. Nesse processo, antes mesmo de se obterem os dados, eram importantes as rodadas de discussão com as equipes técnicas para compreensão dos sistemas, registros e formatação da demanda. O acesso aos dados em tempo oportuno para a realização de avaliação, cujo prazo efetivo é de 10 meses, tem sido um ponto crítico para a realização das avaliações de implementação, resultados e impactos de programas e ações da área de saúde e também relatado por equipes de outras avaliações setoriais. O Ministério da Saúde, como dito anteriormente, é um órgão que contrata muitas avaliações externas por diversas modalidades. Uma parte importante dessa experiência está relacionada a editais elaborados por meio da Secretaria de Ciência, Tecnologia e Insumos Estratégicos (SCTIE). Na próxima seção, será apresentada breve análise dessa experiência de institucionalização e, posteriormente, apresentadas as considerações sobre desafios e possibilidades de diálogo com os processos de institucionalização do CMAP. 4 A institucionalização da avaliação no âmbito do Ministério da Saúde: agendas de prioridades em pesquisa e editais 4.1 Breve histórico Em 2004, ocorreu a II Conferência Nacional de Ciência e Tecnologia em Saúde, na qual foi apresentada a necessidade de aprovação de uma agenda de prioridades de pesquisa. A primeira Agenda Nacional de Prioridades de Pesquisa em Saúde (ANPPS) foi elaborada entre 2003 e 2004 e publicada em 2006. A proposta era induzir a produção de conhecimentos e bens nas áreas prioritárias para o desenvolvimento das políticas sociais. A última versão, publicada em 2015, era Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 69 composta por 24 subagendas: saúde dos povos indígenas; saúde mental; violência, acidentes e traumas; saúde da população negra; doenças não-transmissíveis; saúde do idoso; saúde da criança e do adolescente; saúde da mulher; saúde dos portadores de necessidades especiais; alimentação e nutrição; bioética e ética na pesquisa; pesquisa clínica; complexo produtivo da saúde; avaliação de tecnologias e economia da saúde; epidemiologia; demografia e saúde; saúde bucal; promoção da saúde; doenças transmissíveis; comunicação e informação em saúde; gestão do trabalho e educação em saúde; sistema e políticas de saúde; saúde, ambiente, trabalho e biossegurança; e assistência farmacêutica. O tema da avaliação de políticas e programas de saúde em linhas de pesquisa e suas subdivisões aparece em todas essas (BRASIL, 2015). Nesse mesmo ano, o Ministério da Saúde (MS) estabeleceu conjuntamente com o CNPQ e fundações de amparo à pesquisa (FAP) o Programa de Pesquisa para o SUS: gestão compartilhada em saúde (PPSUS), com o objetivo de estabelecer um programa descentralizado de fomento à pesquisa em todas as unidades da federação e atender às necessidades e diferentes realidades de cada uma. O PPSUS se constituiu em um programa descentralizado de fomento à pesquisa com recursos próprios e de parceiros. As parcerias são estabelecidas tanto com outros órgãos do governo federal quanto com os governos estaduais. O coordenador pelo Ministério da Saúde é o DECIT/SCTIE. A parte dos recursos do MS é transferida para o CNPq, parceiro administrativo e também fomentador de projetos. Os recursos são, então, transferidos para as FAP. Essas fundações e as secretarias estaduais de saúde são os agentes executores e também fomentadores nos estados. Elas devem lançar editais públicos para seleção de projetos de pesquisa e definir as prioridades de acordo com o sistema local de saúde, em diálogo com a ANPPS (BRASIL, 2011). Conforme ressaltado em documento do Ministério da Saúde, ainda que se observem avanços em ambos os processos, alguns anos depois do lançamento da ANPPS fez- se necessário estabelecer quais seriam os objetivos estratégicos desse fomento (BRASIL, 2011, p. 14). Assim que, em 2011, o MS publicou o documento denominado Pesquisas Estratégicas para o Sistema de Saúde (PESS), contendo 16 objetivos estratégicos, o qual não substitui a ANPPS, mas busca convergir os temas das prioridades da Política Nacional de Saúde. No documento da PESS há grande Ministério da Saúde70 destaque para as Iniciativas do PPA 2012-2015 relacionadas à saúde e a tentativa de vincular os objetivos estratégicos e prioridades de pesquisa a essas iniciativas. Todos esses processos foram coordenados por meio da SCTIE/MS; em sua maior parte, o fomento se deu por meio de editais. A análise dos quantitativos e alguns detalhamentos relacionados a esses editais são o objeto da próxima seção. 4.2 Pesquisa Saúde As principais informações sobre as pesquisas financiadas pelo MS por meio de editais da SCTIE estão disponíveis em planilhas anuais no site Pesquisa Saúde1. Entre 2002 e 2019 6.480 pesquisas contaram com recursos principalmente do próprio MS e do CNPq e em alguns casos também das secretarias estaduais de saúde, Capes, Unesco, entre outros. As pesquisas financiadas somam R$ 1,50 bilhão no período2; desse montante, 53,1% de recursos do DECIT e o restante dos parceiros. Contudo, no Gráfico 1 observa-se grande flutuação no volume de recursos e na classificação daqueles aportados por parceiros. Gráfico 1 – Recursos aplicados nas pesquisas financiadas pela SCTIE/MS e por parceiros, por ano dos editais, em R$ milhões correntes Fonte: Ministério da Saúde. Pesquisa Saúde. Disponível em: https://bit.ly/3Ah5ldF" https://bit.ly/3Ah5ldF. 1 Site http://pesquisasaude.saude.gov.br/ (https://bit.ly/3Ah5ldF). 2 Os valores das planilhas apresentaram algumas inconsistências que foram corrigidas da seguinte forma: quando o valor total da pesquisa é menor do que a soma do “valor DECIT” com o “valor parceiro”, assumiu- se que corresponde a essa soma; quando o valor total da pesquisa é maior do que a soma do “valor DECIT” com o “valor parceiro”, criou-se uma coluna com essa diferença identificada como “valor parceiro não informado”, a qual corresponde a 15,3% do total. Ano Valor Total Valor DECIT Valor Parceiro Valor Parceiro Não Informado Nº de Editais 2002 2,0 2,0 0,0 0,0 88 3,0742 2003 11,1 10,7 0,4 0,0 130 2,6798 2004 82,0 70,9 11,2 0,0 835 2,5140 2005 146,8 86,1 60,7 0,0 619 2,3524 2006 158,8 77,6 81,1 0,0 815 2,2579 2007 37,4 23,9 13,5 0,0 168 2,1786 2008 174,8 75,3 99,5 0,0 329 2,0615 2009 118,1 72,3 45,8 0,0 773 1,9655 2010 52,2 19,7 15,0 17,5 190 1,8712 2011 36,5 15,1 14,0 7,4 36 1,7547 2012 79,8 51,2 14,7 13,8 354 1,6648 2013 157,9 86,1 44,1 27,7984 1,5675 2014 64,4 60,0 3,8 0,6 200 1,4742 2015 2,9 1,8 1,0 0,0 41 1,3521 2016 98,5 18,5 23,6 56,4 299 1,2434 2017 123,0 70,6 27,3 25,1 400 1,2020 2018 72,0 36,2 18,9 16,8 169 1,1595 2019 85,7 20,5 1,3 64,0 68 1,1178 1.503,8 798,5 475,9 229,4 100,0% 53,1% 31,6% 15,3% 2 11 71 86 78 24 75 72 20 15 51 86 60 2 18 71 36 20 0 0 11 61 81 14 99 46 15 14 15 44 4 1 24 27 19 1 17 7 14 28 1 0 56 25 17 64 2 11 82 147 159 37 175 118 52 37 80 158 64 3 98 123 72 86 0 20 40 60 80 100 120 140 160 180 200 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 Valor DECIT Valor Parceiro Valor Parceiro Não Informado Valor Total Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 71 Os temas das pesquisas são classificados em 27 subagendas3, dentre as quais se destacam as relacionadas às doenças transmissíveis (19,7%) e doenças crônicas não transmissíveis (11,8%) que juntas representam quase 1/3 do total de pesquisas. Gráfico 2 – Pesquisas financiadas pela SCTIE/MS por subagenda, 2002 a 2019 Fonte: Ministério da Saúde. Pesquisa Saúde. Disponível em: https://bit.ly/3Ah5ldF. Em uma busca pelos termos “avaliação” e “impacto” nos resumos das pesquisas, verificou-se que em 38% constam pelo menos um dos termos e que em 5% (320 pesquisas) ambos os termos. 3 Na base de dados consultadas surgem mais três subagendas, além das 24: “Saúde materno-infantil”, a partir de 2013, e “Desenvolvimento de Tecnologias e Inovação em Saúde” e “Economia e Gestão em Saúde”, a partir de 2017. Outras seis subagendas também tiveram sua nomenclatura alterada. 1,279 757 435 386 363 341 252 249 248 244 233 212 202 191 177 162 156 129 128 336 0 200 400 600 800 1000 1200 1400 Doenças Transmissíveis Doenças Crônicas Não Transmissíveis Pesquisa Clínica Avaliação de Tecnologias e Economia da Saúde Alimentação e Nutrição Sistemas, Programas e Políticas em Saúde Assistência Farmacêutica Saúde da Mulher Saúde Mental Gestão do Trabalho e Educação em Saúde Saúde da Criança e do Adolescente Epidemiologia Saúde Bucal Promoção da Saúde Complexo Produtivo da Saúde Ambiente, Trabalho e Saúde Bioética e Ética na Pesquisa Saúde do Idoso Violência, Acidentes e Traumas Outras Subagenda Total Doenças Transmissíveis 1279 19,7% Doenças Crônicas Não Transmissíveis 757 11,6% Pesquisa Clínica 435 6,7% Avaliação de Tecnologias e Economia da Saúde 386 5,9% Alimentação e Nutrição 363 5,6% Sistemas, Programas e Políticas em Saúde 341 5,2% Assistência Farmacêutica 252 3,9% Saúde da Mulher 249 3,8% Saúde Mental 248 3,8% Gestão do Trabalho e Educação em Saúde 244 3,8% Saúde da Criança e do Adolescente 233 3,6% Epidemiologia 212 3,3% Saúde Bucal 202 3,1% Promoção da Saúde 191 2,9% Complexo Produtivo da Saúde 177 2,7% Ambiente, Trabalho e Saúde 162 2,5% Bioética e Ética na Pesquisa 156 2,4% Saúde do Idoso 129 2,0% Violência, Acidentes e Traumas 128 2,0% Outras 336 5,2% Comunicação e Informação em Saúde 96 1,5% Saúde dos Povos Indígenas 84 1,3% Saúde da Pessoa com Deficiência 62 1,0% Saúde da População Negra e das Comunidades Tradicionais 50 0,8% Desenvolvimento de Tecnologias e Inovação em Saúde 24 0,4% Demografia e Saúde 13 0,2% Saúde Materno Infantil 5 0,1% Economia e Gestão em Saúde 2 0,0% 6480 1,279 757 435 386 363 341 252 249 248 244 233 212 202 191 177 162 156 129 128 336 0 200 400 600 800 1000 1200 1400 Doenças Transmissíveis Doenças Crônicas Não Transmissíveis Pesquisa Clínica Avaliação de Tecnologias e Economia da Saúde Alimentação e Nutrição Sistemas, Programas e Políticas em Saúde Assistência Farmacêutica Saúde da Mulher Saúde Mental Gestão do Trabalho e Educação em Saúde Saúde da Criança e do Adolescente Epidemiologia Saúde Bucal Promoção da Saúde Complexo Produtivo da Saúde Ambiente, Trabalho e Saúde Bioética e Ética na Pesquisa Saúde do Idoso Violência, Acidentes e Traumas Outras Ministério da Saúde72 Tabela 1 – Pesquisa Saúde 2002 a 2019 – resumos de pesquisas com os termos “avaliação” e “impacto” Resumo com os termos "Avaliação" ou "Impacto" Subagenda Total de Projetos de Pesquisa 2002 a 2019 Total % do Total "Avaliação" "Avaliação" e "Avaliação "Impacto" "Impacto"de impacto" Total 6.480 2.446 38% 1.448 672 320 6 Doenças Transmissíveis Doenças Crônicas Não Transmissíveis Pesquisa Clínica Avaliação de Tecnologias e Economia da Saúde Alimentação e Nutrição Sistemas, Programas e Políticas em Saúde Assistência Farmacêutica Saúde da Mulher Saúde Mental Gestão do Trabalho e Educação em Saúde Saúde da Criança e do Adolescente Epidemiologia Saúde Bucal Promoção da Saúde Complexo Produtivo da Saúde Ambiente, Trabalho e Saúde Bioética e Ética na Pesquisa Saúde do Idoso Violência, Acidentes e Trauma Comunicação e Informação em Saúde dos Povos Indígenas Saúde da Pessoa com Deficiência Saúde da População Negra e das Comunidades Tradicionais Desenvolvimento de Tecnologias e Inovação em Saúde Demografia e Saúde Saúde Materno Infantil Economia e Gestão em Saúde 1.279 757 435 386 363 341 252 249 248 244 233 212 202 191 177 162 156 129 128 96 84 62 50 24 13 5 2 368 277 134 203 197 160 106 73 100 103 88 84 76 76 40 63 34 71 55 40 31 27 20 10 7 2 1 29% 37% 31% 53% 54% 47% 42% 29% 40% 42% 38% 40% 38% 40% 23% 39% 22% 55% 43% 42% 37% 44% 40% 42% 54% 40% 50% 199 173 72 119 111 103 74 51 58 70 45 42 39 47 33 28 32 48 25 23 21 18 8 4 3 1 1 133 77 51 43 53 36 20 15 24 15 30 29 18 23 4 25 1 13 21 13 7 3 8 6 3 1 36 27 11 41 32 20 12 7 18 17 13 12 18 6 3 10 1 10 8 4 3 6 4 1 1 1 1 1 1 1 Fonte: Ministério da Saúde. Pesquisa Saúde. Disponível em: https://bit.ly/3Ah5ldF. O banco de pesquisas tem duas variáveis para registro de informações sobre os resultados dessas. Uma é “Recomendações para o SUS”, preenchida por 2,1 mil Subagenda Total de Projetos de Pesquisa 2002 a 2019 Resumo com os termos "Avaliação" ou "Impacto" Total % do Total "Avaliação" "Impacto" "Avaliação" e "Impacto" "Avaliação de impacto" Total 6,480 2,446 38% 1,448 672 320 6 Doenças Transmissíveis 1,279 368 29% 199 133 36 Doenças Crônicas Não Transmissíveis 757 277 37% 173 77 27 Pesquisa Clínica 435 134 31% 72 51 11 Avaliação de Tecnologias e Economia da Saúde 386 203 53% 119 43 41 Alimentação e Nutrição 363 197 54% 111 53 32 1 Sistemas, Programas e Políticas em Saúde 341 160 47% 103 36 20 1 Assistência Farmacêutica 252 106 42% 74 20 12 Saúde da Mulher 249 73 29% 51 15 7 Saúde Mental 248 100 40% 58 24 18 Gestão do Trabalho e Educação em Saúde 244 103 42% 70 15 17 1 Saúde da Criança e do Adolescente 233 88 38% 45 30 13 Epidemiologia 212 84 40% 42 29 12 1 Saúde Bucal 202 76 38% 39 18 18 1 Promoção da Saúde 191 76 40% 47 23 6 Complexo Produtivo da Saúde 177 40 23% 33 4 3 Ambiente, Trabalho e Saúde 162 63 39% 28 25 10 Bioética e Ética na Pesquisa 156 34 22% 32 1 1 Saúde do Idoso 129 71 55% 48 13 10 Violência, Acidentes e Trauma 128 55 43% 25 21 8 1 Comunicação e Informação em Saúde 96 40 42% 23 13 4 Saúde dos Povos Indígenas 84 31 37% 21 7 3 Saúde da Pessoa com Deficiência 62 27 44% 18 3 6 Saúde da População Negra e das Comunidades Tradicionais 50 20 40% 8 8 4 Desenvolvimento de Tecnologias e Inovação em Saúde 24 10 42% 4 6 Demografia e Saúde 13 7 54% 3 3 1 Saúde Materno Infantil 5 2 40% 1 1 Economia e Gestão em Saúde 2 1 50% 1 Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 73 pesquisas, 32% do total; a outra é o link da pesquisa, preenchida para 48 pesquisas, 0,7% do total. Do total de pesquisas contendo os termos mencionados anteriormente,998 continham os termos impacto, avaliação de impacto e avaliação e impacto. Desse total, observou-se que algumas delas estavam relacionadas a políticas, programas e ações públicas, incluindo-se: transferência condicionada de renda; ações educativas direcionadas para profissionais ou para a população; regulação econômica; impacto econômico de doenças e agravos; impacto financeiro. Dessas pesquisas, 719 apresentaram descrição da metodologia, nas quais não se localizou termos como diferenças em diferenças, efeitos fixos, regressão com descontinuidade ou análise de dados em painel. Os termos método experimental, quase-experimental e painel apareceram quando se tratava de estudos clínicos ou de análise de impacto de uma intervenção clínica. Observaram-se, também, poucas menções a uso de dados provenientes de registros administrativos de órgãos gestores da saúde (secretarias ou ministérios) e muitos estudos de casos de intervenções em unidades de saúde ou municípios específicos. 5 Discussão e considerações finais O processo de institucionalização da avaliação de políticas públicas no centro de governo do Executivo federal vem sendo estruturado desde o começo dos anos 2000 como resposta às demandas de avaliação do Plano Plurianual. Em linhas gerais, a elaboração de um sistema de monitoramento e avaliação do Plano passou pela definição de comitês, comissões e grupos de trabalho que contaram com membros representantes da área de planejamento e orçamento do governo federal (Ministério do Planejamento, Ministério da Fazenda e atualmente Ministério da Economia), instituições vinculadas à Casa Civil e à Controladoria Geral da União. A definição de metodologias, capacitação para realização das avaliações e construção de indicadores contou com o apoio do IPEA, IBGE, Enap e Esaf, a última posteriormente incorporada à Enap. Feu et al. (2022), ao analisarem esse processo de institucionalização do CMAP, destacam a sua importância para o ciclo orçamentário. A maior parte das questões de avaliação foram Ministério da Saúde74 relacionadas ao desenho dos programas (27). Em seguida aparecem questões sobre resultados (24), implementação (19), impacto (15) e governança (13) e 46 programas haviam sido avaliados até o Ciclo 2021 (FEU et al., 2022). Essa importância das avaliações de desenho mostra a centralidade de se conhecer melhor o objeto da avaliação, aprofundando-se na elaboração desse tipo de avaliação e nas interações com os gestores dos programas. Outro ponto que chama atenção nessa análise dos autores é a centralidade do processo orçamentário para o CMAP. Ao fazerem considerações sobre esse processo recomendam mudanças ainda maiores nessa direção: A primeira é que o processo orçamentário precisa ter ênfase na priorização dos gastos. A segunda é que o orçamento tem que ser baseado numa classificação de programas que identifique resultados e produtos relativos aos gastos realizados e não ser simplesmente baseado em insumos e unidades orçamentárias. A terceira grande mudança é ter Spending Reviews (SR) realizadas pelas equipes internas do governo de forma contínua dentro do processo orçamentário. Isso seria uma porta de entrada do resultado das avaliações e de indicadores de desempenho como insumo para se tomar decisões (FEU et al., 2022, p. 29). Essa questão tem sido um dos pontos centrais da discussão sobre os rumos que deve tomar a avaliação no Centro de Governo. Uma PEC com o intuito de acabar com o PPA chegou a ser elaborada, mas não foi aprovada. Contudo, isso mostra que essa é uma discussão ainda em andamento e que pauta o debate sobre os rumos da avaliação no âmbito do Executivo federal. Com relação a questões mais diretamente ligadas à realização das avaliações, dois pontos merecem destaque: (i) a clareza de que a seleção do objeto da avaliação (programa, ação, plano orçamentário) demanda interações com os gestores e equipes técnicas nos órgãos setoriais que atuam no que está sendo avaliado; (ii) após realizar essa seleção, para aqueles programas ou ações que não tenham modelo lógico elaborado, essa pode ser uma etapa importante do processo de avaliação: a realização de uma avaliação de desenho; (iii) as avaliações deveriam ser um processo contínuo, ou seja, se existem questões relevantes que não puderem ser respondidas em um ciclo do CMAP, mas que seriam importantes para melhor compreensão dos resultados, o ciclo seguinte deveria incorporar a continuidade da avaliação. Esse último caso é particularmente relevante quando há acesso a dados restritos. A experiência do CMAP tem mostrado que entre a demanda, o acesso aos Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 75 registros administrativos e sua efetiva organização como um banco de dados, o tempo da avaliação tem sido, muitas vezes, insuficiente. Um dos pontos positivos do CMAP é a transparência, ao disponibilizar atas, resoluções e outros documentos e incluir relatórios de avaliação, de recomendações e da manifestação dos gestores. No caso da área de saúde, no que se refere aos programas de gasto direto, as recomendações feitas não têm envolvido corte de gastos, mas visam contribuir para aprimoramentos dos programas avaliados. Contudo, não há relatórios que mostrem se o acompanhamento das recomendações tem feito parte das discussões de decisores no centro de governo, daquelas atuando diretamente na gestão do programa no órgão setorial e do Congresso Nacional. Em suma, ainda há pouca informação sobre o seu uso. Esse processo de institucionalização de avaliações e definição de prioridades de pesquisa também faz parte das discussões no âmbito do Ministério da Saúde. Nesse órgão foram definidas prioridades de pesquisa nas quais a avaliação tem figurado com uma linha citada e realizada ao longo dos anos 2000. Um banco de dados elaborado a partir de informações disponibilizadas pela SCTIE/MS mostra que os termos “avaliação” ou “impacto” aparecem em mais de um terço das pesquisas que contaram com financiamento do Ministério da Saúde ou parceiros. Contudo, ainda se faz necessário aprofundar nas análises das metodologias empregadas, dos resultados dessas avaliações, bem como seu uso para aprimoramento da ação pública. Com relação à transparência, ainda que várias informações sejam disponibilizadas nesse banco de dados, os links para os resultados e produtos das avaliações não estão disponíveis na maioria das vezes. A transparência desses resultados poderia apoiar as decisões do que e o que poderia ser adicionalmente avaliado durante os ciclos de avaliação do PPA. Outro ponto relevante tanto para o CMAP quanto para as avaliações financiadas com recursos do Ministério da Saúde é a elaboração de catálogos de planos, políticas, programas e ações, incluindo-se as informações sobre o seu arcabouço legal, seu desenho, relatórios de monitoramento, avaliações realizadas e seus resultados, bem como disponibilizados os produtos entregues. O IPEA tem trabalhado em uma proposta de catálogo a partir do SIOP, do PPA e das bases legais de ações, planos e programas para apoiar, entre outros, os trabalhos realizados no âmbito do CMAP (BRITO; MELLO; ALENCAR, 2022). Um grande desafio é estabelecer o diálogo entre a estrutura orçamentária e do PPA e aquilo que os órgãos setoriais da saúde, particularmente o Ministério da Saúde, denominam de programa, ação, iniciativa ou intervenção. De qualquer Ministério da Saúde76 forma, a elaboração de catálogos permitirá ampliar essas discussões e o diálogo entre as avaliações no âmbito do CMAP e aquelas financiadas pelo Ministério da Saúde. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 77 Referências ALMEIDA, A. T. C.; VIEIRA, F. S.; SÁ, E. D de. Os Efeitos do acesso a medicamentos por meio do Programa Farmácia Popular sobre a saúde de portadores de doenças crônicasnão transmissíveis. In: SACCARO, N.; ROCHA, W.; MATION, L. CMAP 2016 a 2018: estudos e propostas do Comitê de Monitoramento e Avaliação de Políticas Públicas Federais. Rio de Janeiro: IPEA, 2018. Disponível em: https://bit.ly/3zXLYWH. Acesso em: 5 jan. 2022. BARCELOS, C. L. K. Governança orçamentária e mudança institucional: o caso da norma geral de direito financeiro – Lei n. 4.320/64. 2012. Tese (Doutorado) - Faculdade de Economia, Administração e Contabilidade, Universidade de Brasília, Brasília, 2012. BRASIL. Lei nº 10933, de 11 de agosto de 2004. Dispõe sobre o Plano Plurianual para o período 2004/2007. Brasília, DF: Câmara dos Deputados, 2004a. Disponível em: https://bit.ly/3f7qOPs. Acesso em: 5 set. 2022 BRASIL. Decreto nº 5233 de 06 de outubro de 2004. Estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus Programas e dá outras providências. Brasília, DF: Câmara dos Deputados, 2004b. Disponível em: https://bit.ly/3W3iv7Y. Acesso em: 5 set. 2022. BRASIL. Ministério da Saúde. Programa de Pesquisa para o SUS: gestão compartilhada em saúde: diretrizes técnicas. 4. ed. Brasília, DF: Ministério da Saúde, 2011 (Série A Normas e Manuais Técnicos). Disponível em: https://bit.ly/3C9VPLU. Acesso em: 5 set. 2020. BRASIL. Ministério da Saúde. Secretaria de Ciência, Tecnologia e Insumos Estratégicos. Departamento de Ciência e Tecnologia. Agenda nacional de prioridades de pesquisa em saúde. 2. ed. 4. reimpr. Brasília, DF: Ministério da Saúde, 2015. BRASIL. Portaria Interministerial nº 102, de 7 de abril de 2016. Institui o Comitê de Monitoramento e Avaliação de Políticas Públicas Federais CMAP. Brasília, DF: Ministério do Planejamento, Orçamento e Gestão, 2016. Disponível em: https://bit.ly/3OThw5z. Acesso em: 2 jan. 2022. BRASIL. Presidência da República. Casa Civil. Avaliação de políticas públicas: guia prático de análise ex ante. Brasília, DF: Casa Civil, 2018a. v.1. Disponível em: https://bit.ly/3TysHDP. Acesso em: 5 set. 2022. BRASIL. Presidência da República. Casa Civil. Avaliação de Políticas Públicas: guia prático de análise ex post. Brasília, DF: Casa Civil, 2018b. v. 2. Disponível em: https://bit.ly/3W6uNwd. Acesso em: 5 set. 2022. BRASIL. Ministério da Economia. Conselho Nacional de Monitoramento e Avaliação de Políticas Públicas. Políticas públicas selecionadas para avaliação: ciclo 2019, ciclo 2020. Brasília, DF: Ministério da Economia, 2019. Disponível em: https://bit.ly/3PXsB73" https://bit.ly/3PXsB73. Acesso em: 28 jul. 2022. BRASIL. Ministério da Economia. Proposta de critérios para a seleção dos programas do PPA 2020-2023 que serão objeto de avaliação pelo CMAP. Brasília, DF: Ministério Ministério da Saúde78 da Economia, 2020a. (Nota Técnica SEI nº 1702/2020/ME). Disponível em: https://bit.ly/3vzjP6Q. Acesso em: 15 dez. 2021. BRASIL. Ministério da Economia. Resolução Conjunta CMAS/CMAG nº 01 - Atores, de 23 de outubro de 2020. Estabelece as funções e as responsabilidades dos atores envolvidos no processo de avaliação ex post no âmbito do Conselho de Monitoramento e Avaliação de Políticas Públicas – CMAP. Brasília, DF: CMAP, 2020b. Disponível em: https://bit.ly/3R0BfSl. Acesso em: 28 jul. 2022. BRASIL. Ministério da Economia. Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP). Brasília, DF: Ministério da Economia, 2022. Disponível em: https://bit.ly/3dtovFd. Acesso em: 28 jul. 2022. BRITO, A.; MELO, J.; ALENCAR, J. Catálogo de políticas públicas: primeiros resultados e hipóteses de pesquisa. Brasília, DF: IPEA, 2022. (Texto para Discussão, preliminar). Disponível em: https://bit.ly/3MOhSuF. Acesso em: 29 set. 2022. CASSIOLATO, M.; GUERESI, S. Como elaborar Modelo Lógico: roteiro para formular programas e organizar avaliação. Brasília, DF: IPEA, 2010. (Nota Técnica n. 6, Disoc). CAVALCANTE, P. O plano plurianual: resultados da mais recente reforma do planejamento e orçamento no Brasil. Revista do Serviço Público - RSP, v. 58, n. 2, p. 129-150, 2007. CAVALCANTE, P. Núcleo, Centro de Governo, Centro Presidencial, Alto Governo: várias nomenclaturas e uma questão principal. Brasília, DF: IPEA, 2018. (Texto para discussão n. 2359). COUTO, L. F.; CARDOSO JUNIOR, J. C. A função dos planos plurianuais no direcionamento dos orçamentos anuais: avaliação da trajetória dos PPAs no cumprimento da sua missão constitucional e o lugar do PPA 2020-2023. Brasília, DF: IPEA, 2020. (Texto para Discussão n. 2549). ESCOLA NACIONAL DE ADMINISTRAÇÃO PÚBLICA. Sistema Integrado de Orçamento e Planejamento (SIOP). Brasília, DF: ENAP, 2021. (Instrumentos de Planejamento: PPA, LDO e LOA, Módulo 4). Disponível em: https://bit.ly/3bZjILp. Acesso em: 5 set. 2022. FERREIRA, H.; CASSIOLATO, M.; GONZALEZ, R. Uma experiência de desenvolvimento metodológico para avaliação de programas: o modelo lógico do programa segundo tempo. Brasília, DF: IPEA, 2009. (Texto para Discussão n. 1369). FEU, A. et al. A relação entre avaliação e orçamento e o papel do Conselho de Monitoramento e Avaliação de Políticas Públicas: publicação preliminar. In: COUTO, L. F.; RODRIGUES, J. M. (org.). Governança orçamentária no Brasil. Brasília, DF: IPEA, 2022. Disponível em: https://bit.ly/3w5uqXB. Acesso em: 5 set. 2022. GARCIA, R. C. Reorganização do processo de planejamento do governo federal: o PPA 2000-2003. Brasília, DF: IPEA, 2000. (Texto para Discussão, n. 726). MAIA, L. V. A.; SILVA, M. S. S.; SALVIANO, V. M. O monitoramento das prioridades de governo no Ministério do Planejamento. Revista Brasileira de Monitoramento e Avaliação, n. 5, p. 29-47, jan./jun. 2013. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 79 MARTINS NETO, R.; CARDOSO JUNIOR, J. C. Nem causalidade, nem casualidade: uma análise qualitativa dos planos plurianuais 2004-2007 e 2012- 2015 sob o prisma do triângulo de governo de Carlos Matus. Revista Brasileira de Planejamento e Orçamento, v. 8, n. 1, p. 57-80, 2018. MIRANDA, P. C. de et al. O CMAP e a institucionalização da avaliação de políticas públicas no Governo Federal. Cadernos ASLEGIS, n. 61, p. 35-56, 2021. Disponível em: https://www.aslegis.org.br/files/cadernos/caderno61/aslegis-61-35-56.pdf. Acesso em: 16 nov. 2022. NAVARRO, C. A. A. L.; SANTOS, E. A. V.; FRANKE, F. D. A estrutura do PPA 20122015. Revista Brasileira de Planejamento e Orçamento, v. 2, n. 1, p. 24-47, 2012. SACCARO, N.; ROCHA, W.; MATION, L. CMAP 2016 a 2018: estudos e propostas do Comitê de Monitoramento e Avaliação de Políticas Públicas Federais. Rio de Janeiro: IPEA, 2018. Disponível em: https://bit.ly/3zpCJyc. Acesso em: 5 jan. 2022. SERPA, S. M. H. C. Levantamento do Tribunal de Contas da União sobre os sistemas de monitoramento e avaliação da administração direta do Poder Executivo. Revista Brasileira de Monitoramento e Avaliação, n. 2, jul./dez. 2011. VAISTMAN, J.; PAES-SOUZA, R. Avaliação de programas e profissionalização da gestão pública. Revista Brasileira de Monitoramento e Avaliação, v. 1, p.18-35, 2011. Ministério da Saúde80 Capítulo 3 Mônica Viegas Andrade1 Kenya Noronha1 Aline Souza1 Júlia Almeida Calazans1 1Centro de Desenvolvimento e Planejamento Regional – CEDEPLAR/UFMG RESUMO: Este capítulo apresenta os principais indicadores para mensurar o estado de saúde individual ou agregado. São discutidos o método de cálculo, fontes de dados, vantagens e limitações. O uso de indicadores sociais é uma ferramenta importante para planejamento, formulação e acompanhamento de políticas públicas. No Brasil, a avaliação de programas e políticas tem crescido, sobretudo devido à ampla disponibilidade de bases de dados oficiais. Este capítulo contribui para esse debate à medida que oferece um portfólio de métricas que podem ser facilmente incorporadas à definição de metas e políticas. PALAVRAS-CHAVE: Indicadores de saúde. Medidas individuais. Mortalidade. Morbidade.Indicadores e medidas em saúde: conceitos e aplicações para as informações disponíveis no Brasil Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 81 1 Introdução Umas das principais dificuldades em estudos que envolvem saúde é sua definição e mensuração. Uma contribuição fundamental ocorreu em 1946 com a proposição da Organização Mundial de Saúde (OMS), para a qual saúde é “um estado completo de bem- estar físico, mental e social e não apenas a ausência de doença ou enfermidade” (WHO, 1946). Essa abordagem avança em relação à visão predominante na época que se abordava a saúde como ausência de doença. Por ser holístico, o conceito proposto pela OMS é capaz de considerar a multidimensionalidade presente no conceito de bem-estar individual e social (PAHO, 2018). Embora bem aceita por diferentes stakeholders, essa abordagem traz pelo menos duas dificuldades fundamentais. A primeira é tornar a formulação de políticas de saúde um desafio quase intangível, à medida que as políticas dificilmente terão a abrangência proposta. A segunda é a multidimensionalidade implícita dificultar a sua mensuração, em virtude de isoladamente nenhuma medida ser capaz de abarcar as múltiplas dimensões envolvidas no conceito de bem-estar (SEGRE; FERRAZ, 1997; BATISTELLA, 2007). Existem diversos indicadores para mensurar a saúde, os quais permitem avaliar distintas dimensões, desde as mais específicas, a exemplo de taxas de mortalidade por determinada causa, até dimensões mais amplas que avaliam condições gerais de saúde (PAHO, 2018). Os indicadores também se distinguem segundo o nível de análise, a depender da forma como as informações de saúde são disponibilizadas, se no nível mais agregado – com abrangência regional – ou desagregadas – até o nível do indivíduo. A escolha dependerá dos objetivos dessa mensuração e da disponibilidade das informações. As medidas agregadas se referem ao estado de saúde médio da população e permitem traçar o perfil epidemiológico e o monitoramento das doenças na sociedade, além de contribuir para a formulação de políticas públicas de saúde. As medidas individuais, por sua vez, por propiciarem uma análise mais desagregada, fornecem um retrato da condição de saúde individual. Além disso, a análise de sua distribuição permite avaliar a condição de saúde entre diferentes grupos sociodemográficos e vai além de uma medida sintética média. Esses indicadores podem contemplar dimensões diferentes da condição de saúde dos indivíduos ou fatores de risco incluindo-se hábitos ou estilo de vida. Além dos indicadores que medem o estado de saúde, é comum também avaliar a utilização e gastos com serviços de saúde, determinantes importantes do estado de saúde da população (WHO, 2007; TRAVASSOS; CASTRO, 2012). Ministério da Saúde82 Este capítulo tem como objetivo apresentar os principais indicadores de saúde e as bases de dados disponíveis no Brasil. Além desta introdução, este capítulo está dividido em mais 7 seções. A próxima seção faz breve discussão das principais propriedades e atributos que os indicadores devem apresentar. Na seção 3 apresentam-se as bases de dados e fontes de informações disponíveis de saúde para o Brasil e abordam-se as principais pesquisas considerando-se sua disponibilidade em um período mais recente e sua possibilidade de comparação com outras pesquisas internacionais. As seções 4 e 5 discutem as medidas individuais e agregadas, respectivamente, e apresentam-se as dimensões de saúde que esses indicadores abordam, suas vantagens e limitações. A seção 6 trata dos indicadores referentes à utilização e gastos com saúde; a seção 7 apresenta uma discussão acerca da ênfase mais recente sobre análises de desempenho do sistema de saúde que envolvem os aspectos de equidade e eficiência. Por fim, na seção 8, as considerações finais. 2 Principais propriedades e atributos dos indicadores1 Os indicadores de saúde têm sido cada vez mais um instrumento fundamental de políticas. A escolha dos indicadores, entretanto, precisa obedecer a determinados critérios. Jannuzzi (2017) discute de forma abrangente os atributos básicos e as propriedades desejáveis dos indicadores sociais. De acordo com o autor, os atributos básicos permitem melhor definição dos indicadores, tais como referência conceitual, unidade de medida (por exemplo por habitantes, em termos percentuais, por casos e anos de vida), unidade de análise (por exemplo individual, familiar, agregado por municípios, estados, países), referência de tempo ou período, abrangência territorial, fonte de dados e instituição responsável, uso, significado e limitação. A referência conceitual diz respeito ao arcabouço teórico que justifica a dimensão da saúde que está sendo analisada. Esse referencial não necessariamente contempla uma estrutura de causalidade, mas remete a uma associação entre o evento/condição de saúde e o indicador. Além do referencial teórico, a definição do indicador está condicionada à sua capacidade e limitação na interpretação do fenômeno de saúde mensurado. A escolha dos indicadores, por sua vez, deve ser pautada pelas propriedades desejáveis que esses devem atender. Jannuzzi (2017) elenca as seguintes propriedades: validade, confiabilidade (qualidade do levantamento da informação), grau de cobertura, sensibilidade, especificidade, reprodutibilidade, comunicabilidade, periodicidade de atualização, nível de 1 Essa seção está baseada em Jannuzzi (2017). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 83 desagregação e comparabilidade no tempo. Dentre essas propriedades, três necessariamente precisam ser consideradas para que o indicador seja capaz de refletir o evento/condição de saúde analisada: validade, sensibilidade e especificidade. A sensibilidade é a capacidade do indicador de refletir mudanças significativas se as condições gerais se alteram. A especificidade é a capacidade de alteração do indicador diante de mudanças nas condições estritas da dimensão social de interesse. A validade pode ser interna ou externa. A validade interna é observada quando o indicador tem forte associação com a população específica para o qual foi construído, enquanto a validade externa diz respeito à possibilidade de generalização dessa relação para outras populações. Se atendidas, essas propriedades garantem que o indicador tenha aderência ao evento mensurado e capacidade de captar variações na dimensão analisada. 3 Principais bases de dados no Brasil As fontes de informações sobre saúde no Brasil provêm de pesquisas domiciliares e de registros administrativos. O Apêndice A apresenta uma síntese dessas fontes de dados e de suas principais características. 3.1 Pesquisas domiciliares As principais pesquisas domiciliares desenvolvidas com o objetivo de analisar a saúde são: suplementos de saúde da Pesquisa Nacional por Amostra de Domicílios (PNAD), Pesquisa Nacional de Saúde (PNS), pesquisa sobre Vigilância de Fatores de Risco e Proteção para Doenças Crônicas por Inquérito Telefônico (VIGITEL). Vale ainda mencionar a Pesquisa de Orçamento Familiar (POF), que apesar de não ser específica de saúde, permite analisar de forma detalhada os gastos com bens e serviços de saúde realizados pelas famílias. Além disso, como são coletadas informações detalhadas sobre os gastos, consumos e orçamento, a POF possibilita ainda avaliar em que medida os gastos com saúde têm implicações sobre o nível de bem-estar das famílias (O’DONNELL et al., 2007; SANTOS, 2015). Até o final dos anos 2000, a PNAD era a principal pesquisa domiciliar no Brasil que contemplava informações de saúde e era realizada por processo de amostragem, com ampla cobertura nacional e periodicidade anual. A pesquisa coletava informações detalhadas sobre os atributos individuais, tais como mercado de Ministério da Saúde84 trabalho, rendimentose migração. A cada ano, a PNAD apresentava um suplemento contendo informações sobre temas específicos; em 1981, 1986, 1988, 1998, 2003 e 2008 a saúde foi o tema abordado. Em 1981, 1986 e 1988 as perguntas presentes nos suplementos referiam-se a características mais específicas da saúde, tais como gravidez e parto, e à utilização dos serviços de saúde, sem conter informações mais amplas que permitissem mensurar o estado de saúde dos indivíduos (ANDRADE, 2002; TRAVASSOS et al., 2008). Em 1998, 2003 e 2008 ampliou-se o questionário do suplemento saúde e se forneceu um conjunto bastante detalhado do estado de saúde dos indivíduos e informações sobre utilização e acesso aos serviços de saúde. A PNAD representou um avanço importante para análises e estudos sobre a saúde no Brasil. Devido a sua abrangência nacional, com possibilidades de comparações entre as regiões brasileiras, foi possível conhecer melhor o perfil de saúde da população e as diferenças regionais e socioeconômicas. Até então, as informações sobre saúde no nível individual eram mais limitadas e, muitas vezes, desatualizadas. Os suplementos saúde da PNAD possibilitaram o desenvolvimento de estudos comparativos entre os anos 1998 e 2008 e abrangeram o período de consolidação do SUS. Os resultados desses estudos mostram evoluções importantes no acesso e utilização dos serviços de saúde, sobretudo entre os grupos socioeconômicos menos privilegiados (PORTO et al., 2011; ANDRADE et al., 2013). Em 2011, a PNAD foi substituída pela PNAD contínua; essa, além de alterar o seu desenho amostral e periodicidade de coleta, não prevê a inclusão dos suplementos relacionados com as informações sobre saúde, as quais passaram a ser coletadas por meio da Pesquisa Nacional sobre Saúde (PNS), realizada pelo Ministério da Saúde em parceria com o IBGE, sob a coordenação da Fiocruz. Além de guardar certa comparabilidade com os suplementos de saúde da PNAD, a PNS ampliou o conjunto de informações investigadas e incorporou medidas antropométricas, mensuração da pressão arterial e coleta de amostras de sangue e de urina para exames clínicos. Além disso, há um módulo referente à saúde do idoso e saúde da mulher e gestante. A primeira PNS foi conduzida em 2013; a periodicidade prevista de coleta das informações era quinquenal, no entanto, devido a problemas técnicos, a segunda pesquisa foi realizada somente em 2019. A VIGITEL compreende uma pesquisa realizada anualmente desde 2006 pela Secretaria de Vigilância em Saúde do Ministério da Saúde. As entrevistas são Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 85 realizadas por inquérito telefônico em uma amostra de indivíduos adultos, com18 anos e mais, residentes nas capitais brasileiras. Seu objetivo é monitorar os fatores de risco para doenças crônicas não transmissíveis, tais como diabetes mellitus, câncer e doenças cardiovasculares, incluída a hipertensão arterial sistêmica. São investigadas informações sobre a saúde dos indivíduos, condições e hábitos de vida e aspectos sociodemográficos. As informações sobre estilo e hábitos de vida compreendem consumo de tabaco e álcool, hábitos alimentares, prática de exercícios físicos e excesso de peso e obesidade (BRASIL, 2021a). Existem ainda outras pesquisas específicas no país para determinados grupos populacionais que merecem destaque pela sua importância e nível de detalhamento em relação às informações sobre saúde investigadas: Estudo Longitudinal de Saúde dos Idosos Brasileiros (ELSI-Brasil), estudo sobre Saúde, Bem-estar e Envelhecimento (SABE), Estudo Longitudinal da Saúde do Adulto (ELSA-Brasil), Pesquisa Nacional de Demografia e Saúde da Criança e da Mulher (PNDS) e Pesquisa Nacional de Saúde do Escolar (PeNSE). Algumas dessas pesquisas possuem caráter longitudinal como o ELSI-Brasil, SABE e ELSA-Brasil. Tanto o ELSI-Brasil como a SABE têm como objetivo analisar a saúde dos idosos e permitem comparações internacionais. Dentre esses estudos, o ELSI-Brasil possui a maior abrangência. A pesquisa é coordenada pela Fiocruz, em parceria com a Universidade Federal de Minas Gerais (UFMG), possui amostra representativa para a população com 50 anos e mais e cobre todas as regiões brasileiras. A primeira pesquisa domiciliar foi conduzida em 2015-16, a qual constitui a linha de base, na qual foram entrevistados 9.412 indivíduos residentes em 70 municípios. O estudo compõe uma rede internacional de estudos, o Health and Retirement family of studies (HRS), que apesar de realizados de forma independente, utilizam uma metodologia comum de forma a permitir comparações internacionais. O estudo está disponível para os Estados Unidos (HRS), países da comunidade europeia (SHARE - Survey of Health, Ageing and Retirement in Europe), Inglaterra (ELSI - English Longitudinal Study of Ageing), México (MHAS - Mexican Health and Aging Study) entre outros (LEBRÃO; DUARTE, 2003; ELSI-BRASIL, 2015; LEBRÃO et al., 2019; ELSA, [2000]). A PNDS contempla informações sobre saúde sexual e reprodutiva e investiga mulheres em idade fértil (entre 15 e 49 anos) e crianças menores de cinco anos. A pesquisa faz parte de um projeto mais amplo, MEASURE Demographic and Health Ministério da Saúde86 Survey (DHS), que envolve diferentes países e permite comparações internacionais. Entretanto, no Brasil, a pesquisa foi conduzida em três pontos no tempo, a última realizada há mais de 10 anos, em 2006 (BRASIL, 2009a; DHS, [2018]). A PeNSE fornece dados sobre hábitos alimentares, prática de atividade física, saúde sexual e reprodutiva e uso de tabaco, álcool e outras drogas por estudantes do 9º ano do ensino fundamental de escolas públicas e privadas. A pesquisa foi iniciada em 2009 e é realizada pelo IBGE e Ministério da Saúde com apoio do Ministério da Educação. A partir de 2015 foi incluída uma amostra de escolares de 13 a 17 anos de idade com a finalidade de permitir comparações internacionais, especificamente com a pesquisa Global School-based Student Health Survey (GSHS), desenvolvida pela OMS e realizada em diversos países da América, África, Europa, Ásia e Oceania (IBGE, 2021a). 3.2 Registros administrativos Os registros administrativos são informações oficiais, cujo principal objetivo é auxiliar na implementação e avaliação dos programas governamentais desenvolvidos em diferentes esferas da administração pública. Na área da saúde, esses registros são coletados pelas secretarias estaduais de saúde e disponibilizados pelo sistema de informações DATASUS, produzido pelo Ministério da Saúde. Esse sistema utiliza informações dos registros de óbitos, estatísticas de produção do Sistema Único de Saúde (SUS), registros de vacinação e busca abranger todo o universo dos eventos ocorridos. Exemplos de bases de dados dessa natureza são o Sistema de Informações sobre Mortalidade (SIM), Sistema de Informações sobre Nascidos Vivos (Sinasc), Sistema de Informação de Agravos de Notificação (Sinan), Sistema de Informações Hospitalares/ Autorizações de Internações Hospitalares (SIH/AIH) e Sistema de Informações Ambulatoriais/ Autorização de Procedimento de Alta Complexidade (SIA/APAC). Por ter como objetivo principal quantificar o evento, fornece poucas informações socioeconômicas e demográficas sobre os indivíduos. Além disso, as informações existentes apresentam deficiências relativas ao preenchimento das declarações. O SIM foi instituído pelo Ministério da Saúde em 1975, com a unificação dos diferentes modelos de atestado de óbito que existiam no país, com a finalidade de produzir informações abrangentes de mortalidade para o planejamento de políticas de saúde e de seguridade social. O documento que alimenta o sistema é a Declaração de Óbito (DO), que tem como base a classificação internacional das causas de morte padronizada pela OMS. O preenchimento da DO Avaliação de Impacto dasPolíticas de Saúde: um guia para o SUS 87 é de responsabilidade do médico atestante; em caso de óbito ocorrido em localidade sem médico o preenchimento é feito pelo oficial de registro do cartório civil. Além dos dados referentes ao óbito, os registros do SIM contam com informações socioeconômicas e demográficas do falecido (BRASIL, 2011a). Similar ao SIM, o Sinasc foi implantado pelo Ministério da Saúde em 1990, com o objetivo de obter dados de natalidade e diminuir a subnotificação de nascimentos. A coleta de dados é feita por meio da Declaração de Nascido Vivo (DN), cujo preenchimento é feito pelos profissionais de saúde ou parteiras tradicionais vinculadas às unidades de saúde. Caso o parto ocorra sem assistência, a emissão da DN é realizada pelo oficial de registro do cartório civil. O sistema contém informações do nascimento, pré-natal e características demográficas e socioeconômicas dos pais (BRASIL, 2011b). A principal limitação ao uso das informações do SIM e do Sinasc é a qualidade do registro no que tange a sua cobertura e completude. Define-se como cobertura o percentual de população coberta por esses sistemas e como completude o percentual de informação preenchida no sistema. Ainda que a qualidade dos registros tenha aumentado consideravelmente ao longo das últimas décadas, a utilização dessas informações deve ser feita cautelosamente, utilizando-se técnicas demográficas para a correção de tais problemas (HAKIM, 1983; FRIAS et al., 2010; QUEIROZ et al., 2017). Entre 1990 e 1993, o Ministério da Saúde implementou o Sinan com a finalidade de consolidar informações de morbidade da população. Inicialmente, a instituição do sistema não foi realizada de forma unificada entre estados e municípios. Para resolver esse problema, em 1998 desenvolveu-se um novo software e sua alimentação se tornou compulsória. Os dados são gerados a partir da notificação de certas doenças e agravos definidos na lista nacional de doenças de notificação compulsória quando há suspeita e/ou confirmação de casos. São coletadas informações de data e local de ocorrência do agravo e notificação e dados sociodemográficos do paciente (BRASIL, 2007a). O SIH e SIA são sistemas complementares que visam monitorar os atendimentos financiados pelo SUS referentes a internações hospitalares e procedimentos ambulatoriais respectivamente. O SIH foi criado na década de 1980 pelo Ministério da Saúde e implementado pelo Instituto Nacional de Assistência Médica e Previdência Social (INAMPS). Os dados são coletados por meio da Autorização de Internação Hospitalar (AIH), que contém detalhes da hospitalização e dos procedimentos realizados, custo da internação e informações socioeconômicas e demográficas do Ministério da Saúde88 paciente (BRASIL, 2007b). O SIA foi amplamente estabelecido no país a partir de 1995. Os principais documentos de alimentação do sistema são a Autorização de Procedimento de Alta Complexidade (APAC) e o Boletim de Produção Ambulatorial (BPA). São disponibilizados dados dos procedimentos, custos e informações demográficas dos pacientes (BRASIL, 2010). Outros registros administrativos relevantes para o planejamento do setor de saúde no país são: Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS), Cadastro Nacional de Estabelecimentos de Saúde (CNES) e dados da Agência Nacional de Saúde Suplementar (ANS), como a Troca de Informações na Saúde Suplementar (TISS). O SIOPS foi criado em 2000 pelo Ministério da Saúde, para disponibilizar informações sobre receitas e despesas com ações e serviços públicos de saúde. O sistema permite o acompanhamento e fiscalização dos recursos aplicados e torna o gasto público mais transparente. Desde 2013, o registro é obrigatório para municípios, estados e união e deve ser realizado bimestralmente (BRASIL, 2021b). O Cadastro Nacional de Estabelecimentos de Saúde (CNES) foi criado em 2000 pela Secretaria de Atenção à Saúde do Ministério da Saúde e implementado nacionalmente em 2003 (BRASIL, 2009b). Trata-se de cadastro oficial de preenchimento obrigatório por todos os estabelecimentos de saúde públicos e privados. A principal finalidade do CNES é cadastrar, atualizar e disponibilizar informações sobre estabelecimentos de saúde e suas dimensões, como recursos físicos, humanos e serviços ofertados. Diversos estudos vêm utilizando o CNES para a avaliação da oferta de serviços, bem como suas desigualdades regionais (ROCHA et al., 2018; NORONHA et al., 2020; CARVALHO; ANDRADE; AMARAL, 2021). Por ser um cadastro alimentado pelos estabelecimentos de saúde, a atualização das informações não ocorre necessariamente de forma sistemática e, além disso, não há processo de auditoria e crítica dos registros realizados. Como exigência contratual, os estabelecimentos prestadores de serviços devem manter suas informações atualizadas no SUS e no sistema de saúde suplementar. Desde 2003, os dados do setor de saúde suplementar relacionados aos beneficiários e às operadoras de planos privados de saúde são disponibilizados pela ANS. As informações são divulgadas trimestralmente, permitem analisar a evolução do setor e são primordiais para o planejamento e melhoria da qualidade da assistência à Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 89 saúde. Para padronizar as ações administrativas do setor a ANS estabeleceu a TISS, um padrão de troca de informações entre as operadoras, obrigatório desde 2007. A TISS contribui tanto para a redução de fraudes quanto para a organização do faturamento e redução da assimetria de informações para os beneficiários (BRASIL, [1999]). 4 Medidas individuais de saúde As medidas individuais são, em geral, construídas com base em informações provenientes de pesquisas domiciliares. Existem diferentes classificações das medidas individuais. Neste trabalho, propomos uma tipologia que contempla três categorias definidas a partir do critério de apuração: antropométricas, clínicas ou autorreportadas. As medidas antropométricas se referem a características físicas dos indivíduos com parâmetros de referência objetivos e universalmente aceitos; compreendem peso, altura, circunferência do quadril e da cintura, entre outros (WHO, 1995). Um dos indicadores mais utilizados é o Índice de Massa Corporal (IMC), definido pela razão entre o peso e o quadrado da altura. Esse indicador é adotado pela OMS e por diversos profissionais da saúde para avaliar a condição nutricional dos indivíduos bem como o seu risco cardiovascular e de morte. O IMC permite classificar os indivíduos em diferentes categorias de composição corporal associadas a riscos de desenvolvimento de doenças crônicas e status nutricional; compreende peso ideal (entre 18,5 e 24,9), baixo peso (abaixo de 18,5), sobrepeso (entre 25 e 30) e obesidade (≥ 30) (WHO, 1995). Por ser facilmente obtido e interpretado, esse indicador é amplamente utilizado. A principal limitação é que para determinadas populações, como idosos, o IMC pode não refletir de forma adequada a proporção e distribuição da gordura corporal (CERVI et al., 2005). Além disso, indivíduos que apresentam massa muscular elevada podem apresentar níveis elevados de IMC mesmo sem ter excesso de gordura. Uma medida alternativa, a razão cintura/quadril (RCQ), mensura o acúmulo da gordura abdominal que tem sido associado ao risco de diabetes e desenvolvimento de doenças cardiovasculares (BJÖRNTORP, 1997; PEREIRA et al., 1999; MARTINS; MARINHO, 2003; PITANGA; LESSA, 2007). As medidas clínicas são obtidas a partir de exames realizados por profissionais de saúde ou por pesquisadores os quais são marcadores para o risco de desenvolvimento de doenças crônicas ou eventos agudos (por exemplo, nível de estresse, inflamações). As mais comumente utilizadas são medidas da pressão sanguínea e coleta de amostras de sangue ou de saliva paraa detecção de determinadas doenças. Apesar de serem medidas Ministério da Saúde90 mais objetivas, não estão livres de limitações. A primeira refere-se ao custo elevado de coleta desses dados, sobretudo em pesquisas domiciliares com ampla cobertura geográfica e populacional. A segunda limitação a que essas medidas também estão sujeitas são os erros de mensuração. O diagnóstico da doença é sensível ao tipo de teste realizado, à metodologia escolhida para definir os pontos de cortes e parâmetros referentes à concentração da substância analisada, às condições que os indivíduos se encontravam no momento da realização do exame e às condições de armazenamento do material coletado (NATIONAL RESEARCH COUNCIL, 2000). Dessa forma, a maior parte das pesquisas domiciliares, sobretudo aquelas de cobertura geográfica mais ampla, baseiam-se na autopercepção dos indivíduos para se obterem medidas sobre o seu estado de saúde. As principais medidas autorreportadas compreendem três dimensões do estado de saúde: clínica, funcional e geral. A dimensão clínica define a doença como um desvio de uma norma fisiológica. Nas pesquisas domiciliares disponíveis para o Brasil, as principais medidas que permitem avaliar essa dimensão referem-se à presença de doenças crônicas. As doenças comumente investigadas são diabetes, hipertensão arterial sistêmica, doenças cardiovasculares, doenças respiratórias como asma e bronquite, artrite/reumatismo, problemas de coluna e doenças mentais como depressão e ansiedade. A declaração dessas doenças pelos indivíduos entrevistados depende do acesso aos serviços de saúde, do estágio/evolução da doença e da capacidade de identificar a enfermidade com base nos sintomas. Algumas doenças podem ser detectadas por meio de sintomas amplamente conhecidos. No entanto, em alguns casos, é necessário que o processo de deterioração do estado de saúde esteja em um estágio mais avançado para que os sintomas sejam percebidos (NORONHA; ANDRADE, 2006). A hipertensão, por exemplo, está associada a ocorrência de eventos de pressão elevada enquanto a diabetes é uma doença crônica mais silenciosa, sem o aparecimento de sintomas. Essas características resultam em uma autodeclaração da diabetes bem inferior àquela observada para a hipertensão quando comparadas aos níveis reais de prevalência esperados (SCHMIDT et al., 2009; SENA, 2017). No caso de depressão, são utilizados instrumentos específicos que permitem classificar os indivíduos segundo o grau de depressão a partir de uma lista de sintomas pré-definidos. Um instrumento muito utilizado para rastrear risco de depressão na população geral é o Patient Health Questionnaire (PHQ-9), um questionário simples e de fácil aplicação. O PHQ-9 apresenta nove questões e contempla os seguintes sintomas, definidos pelo Manual Diagnóstico e Estatístico dos Transtornos Mentais (DSM-IV): humor deprimido, perda de interesse ou prazer em realizar atividades cotidianas, distúrbios de sono, cansaço ou falta Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 91 de energia, mudança no apetite ou peso, sentimento de culpa ou inutilidade, problemas de concentração, sentir-se lento ou inquieto e pensamentos suicidas (KROENKE; SPITZER, 2002). Para o Brasil, as informações disponíveis na PNS possibilitam avaliar os indivíduos segundo o seu grau de depressão a partir desses sintomas, classificando-os em basicamente três categorias: sem episódio de depressão, com episódio moderado ou com episódio severo (BARROS et al., 2017). Na dimensão funcional, a doença é definida como a falta de habilidade ou dificuldade para desempenhar tarefas habituais, tais como atividades da vida diária (AVDs), atividades instrumentais da vida diária (AIVDs) e mobilidade física. Por serem mais objetivas, estão menos sujeitas a erros sistemáticos de declaração e não precisam ser diagnosticadas por algum profissional de saúde, sem depender, portanto, do acesso aos serviços de saúde para serem percebidas pelos indivíduos (NORONHA; ANDRADE, 2006). As AVDs medem a capacidade de autocuidado dos indivíduos, como vestir-se, tomar banho e comer, enquanto as AIVDs incluem atividades um pouco mais complexas do cotidiano, como preparar a comida, manusear o próprio dinheiro e realizar tarefas domésticas. As atividades relacionadas à mobilidade física, por sua vez, medem a capacidade do indivíduo correr, caminhar várias ruas, subir ou descer escadas. Em geral, a deterioração da saúde dos indivíduos pode inicialmente comprometer a capacidade de realização das AIVD e posteriormente, quando a saúde está mais fragilizada, das AVD (BERLEZI et al., 2016; ARAÚJO et al., 2019). A principal limitação desse conjunto de indicadores é que nem todas as morbidades acarretam limitações físicas. Além disso, como a perda de capacidade para realizar essas atividades tende a ocorrer entre indivíduos com idades mais avançadas, essas medidas são pouco sensíveis para avaliar a condição de saúde dos demais grupos etários (NORONHA; ANDRADE, 2006). A dimensão referente ao estado de saúde geral é bastante utilizada na literatura empírica, por ser capaz de considerar, em única variável, diferentes dimensões de saúde dos indivíduos. Essa medida é captada nas pesquisas domiciliares a partir da avaliação que os indivíduos fazem sobre sua condição geral de saúde e pode ser classificada como muito boa, boa, regular, ruim e muito ruim. Evidências empíricas têm mostrado a existência de forte relação entre esse indicador e a mortalidade futura, assim como com outras medidas de morbidade (IDLER; KASL, 1995; IDLER; BENYAMINI, 1997). A principal dificuldade, entretanto, é o alto grau de subjetividade envolvido nessa avaliação. A percepção dos indivíduos, em geral, está condicionada ao estado de saúde das demais pessoas da comunidade e às características do contexto em que está inserido, o que dificulta estudos Ministério da Saúde92 comparativos entre diferentes localidades ou subgrupos populacionais. Além disso, essa variável está sujeita a erros sistemáticos de declaração, uma vez que depende do conjunto de informações que os indivíduos possuem ao avaliarem sua condição de saúde (STRAUSS; THOMAS, 1998). Por exemplo, por terem menos acesso aos serviços de saúde, os indivíduos das classes de renda mais baixa podem ter mais dificuldades para avaliar de forma precisa seu estado de saúde e superestimar o percentual de pessoas saudáveis nessa camada de renda. Por fim, outro conjunto de indicadores que se baseia na autodeclaração dos indivíduos refere-se aos hábitos e estilo de vida. Apesar de não serem medidas diretas do estado de saúde, o monitoramento desses indicadores é importante por se constituírem fatores de risco para o desenvolvimento de determinadas condições e morbidades (BRASIL, 2005; STEYN; DAMASCENO, 2006). Em geral, são investigados o consumo de cigarro e de bebidas alcoólicas, hábitos alimentares (medidos pelo consumo de determinados grupos de alimentos), prática de exercícios físicos e comportamentos relacionados à saúde sexual e reprodutiva. 5 Medidas agregadas de saúde Os indicadores agregados de saúde fornecem uma medida sintética que permitem avaliar e monitorar o estado de saúde médio de uma população e podem ser construídos com base em informações sobre mortalidade ou morbidade. O conhecimento do perfil epidemiológico da população e sua trajetória é fundamental para a formulação de políticas de saúde de forma a atender melhor às demandas e necessidades dos indivíduos de uma determinada sociedade. Adicionalmente, o acompanhamento dos indicadores ao longo do tempo permite avaliar e monitorar o desempenho das políticas de saúde implementadas (MALTA; SILVA, 2013; SILVA et al., 2020). As principais fontes de informações para a sua estimação são os registros administrativos que apresentam periodicidade anual, os quais propiciamseu monitoramento de forma contínua. Esses indicadores podem ser calculados em níveis de agregação municipal, estadual ou nacional. A escolha do nível de agregação depende do objetivo da análise e do comportamento do indicador. No Brasil, em função da existência de municípios com população muito pequena, é necessário avaliar a frequência do evento de interesse para garantir a viabilidade do uso do indicador. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 93 Medidas agregadas sobre a prevalência de determinadas condições crônicas também podem ser obtidas a partir de dados individuais provenientes de pesquisas domiciliares. Essas informações, entretanto, são limitadas do ponto de vista da periodicidade em que são atualizadas, devido ao alto custo incorrido na condução dessas pesquisas. Além disso, no Brasil, as pesquisas domiciliares que investigaram a presença de doenças crônicas são representativas até o nível da unidade da federação e região metropolitana, o que não permite análises no nível municipal. 5.1 Medidas agregadas construídas com base em informações de mortalidade As principais medidas que utilizam informações de mortalidade em sua construção são esperança de vida, taxa de mortalidade infantil, razão de mortalidade materna e taxa de mortalidade ou mortalidade proporcional por causas selecionadas. Por se basearem em informações de óbitos, cujo registro é compulsório em diversos países, permitem comparabilidade internacional e em diferentes pontos no tempo. Além disso, alguns países buscam seguir a padronização dos registros recomendada pela OMS, de forma a permitir a comparação mais direta das taxas de mortalidade (WHO, 2016). Apesar de sua obrigatoriedade, há diferenças de cobertura e de qualidade do registro entre países e entre regiões do mesmo país. Essas diferenças são observadas uma vez que a qualidade do registro depende do acesso aos serviços de saúde para atestar a causa do óbito. Recentemente, o Brasil tem observado mudanças importantes na cobertura do registro e melhoria da qualidade das informações. Entretanto, mesmo com essas melhorias, ainda persistem no país diferenças regionais importantes em relação à qualidade do registro, sobretudo no que se refere à mortalidade materna e mortalidade infantil (BITTENCOURT et al., 2013; OLIVEIRA, 2018). Uma pesquisa realizada pela Fundação Oswaldo Cruz (Fiocruz), em parceria com o Ministério da Saúde, permitiu estimar a cobertura e o fator de correção dos registros de óbitos e de nascidos vivos para os municípios brasileiros. Foi conduzida busca ativa dessas informações em uma amostra de 129 municípios do nordeste e Amazônia Legal. Os resultados, estimados com base nessa amostra, foram posteriormente extrapolados para todos os municípios brasileiros. Para o Brasil, a cobertura do SIM (para todos os grupos de idade) e do Sinasc é alta, acima de 90%. Para os óbitos infantis, entretanto, a cobertura, além de mais baixa, apresenta desigualdades importantes entre as regiões e municípios brasileiros (SZWARCWALD et al., 2011). Enquanto no norte e nordeste, em média a cobertura Ministério da Saúde94 é igual a 69,4% e 73,1%, nas regiões sul e sudeste, esses percentuais são bem mais elevados, em torno de 98% e 94%, respectivamente. Esses achados evidenciam que a subnotificação dos óbitos infantis ainda é uma questão que precisa ser enfrentada pelos gestores, sobretudo nas localidades mais pobres. 5.2 Esperança de vida A esperança de vida ao nascer é o indicador de longo prazo que reflete as condições gerais de saúde de determinada população. A esperança de vida fornece o número médio de anos que um indivíduo em uma determinada idade espera viver se exposto, ao longo de seu ciclo de vida, aos riscos atuais de morte de cada grupo de idade e sexo (PRESTON; GUILLOT, 2000). A principal limitação é que esse indicador pode não refletir o risco real de morte a que cada coorte de nascimento estará exposta, uma vez que são utilizados em sua construção os riscos correntes. Em sociedades que vêm experimentando reduções acentuadas na mortalidade, a esperança de vida calculada com base nos riscos de morte correntes tenderá a ser menor do que a efetivamente observada para cada coorte (GUERRA; FÍGOLI, 2013). Além disso, a expectativa de vida, por ser um indicador que depende das condições de saúde de toda a população pode apresentar baixa sensibilidade, a depender do evento de interesse. Segundo estimativas do IBGE, em 1940 a esperança de vida ao nascer no Brasil era igual a 41,5 anos; passou para 70,4 anos em 2000 (IBGE, [1999]) e 76,8 anos em 2020 (IBGE, 2021b). Inicialmente, os ganhos na esperança de vida ao nascer no Brasil foram provenientes de reduções substanciais na taxa de mortalidade infantil. Com o envelhecimento da população e aumento da longevidade, os ganhos mais recentes têm sido atribuídos a quedas da mortalidade nas idades mais avançadas, acima de 60 anos, devido a reduções nas taxas de mortalidade por doenças crônicas, sobretudo doenças do aparelho circulatório (CORRÊA; MIRANDA- RIBEIRO, 2017; BOMFIM; CAMARGOS, 2021). 5.3 Taxa de mortalidade infantil A taxa de mortalidade infantil é definida como a razão entre os óbitos de crianças menores de 1 ano e total de nascidos vivos, multiplicado por 1000. Os fatores que afetam a mortalidade infantil dependem do tempo de vida da criança e é fundamental considerar a idade da criança no momento do óbito para orientar a formulação de Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 95 políticas em saúde. A mortalidade infantil pode ser neonatal e pós-neonatal. A mortalidade neonatal ocorre quando a criança tem entre 0 e 27 dias de vida e está associada principalmente às causas perinatais e anomalias congênitas. Sua prevenção envolve melhorias das condições pré-natais, melhor assistência ao parto e ao pós-natal imediato e geralmente abrange investimentos em serviços hospitalares de tecnologia mais complexa (LANSKY et al., 2002). A mortalidade pós- neonatal, cujo óbito ocorre entre 28 dias e menos de 1 ano de vida, está fortemente associada a fatores ambientais, tais como condições de vida e exposição às doenças infecciosas. A taxa de mortalidade infantil é mais elevada quando a mortalidade pós- neonatal representa a maior parcela dos óbitos infantis. Nesse caso, a redução da mortalidade dependerá fortemente de melhorias em saneamento básico, condições nutricionais, redução da incidência de doenças infectocontagiosas e aumento da cobertura vacinal (SOUSA; MELO, 2013). No Brasil, observou-se redução significativa na TMI de 162 para 83 mortes por mil nascidos vivos entre 1930 e 1980, uma queda de quase 50% em um período de 50 anos. Essa queda foi constatada em todas as regiões do país e é explicada principalmente por reduções nos óbitos ocorridos durante o período pós-neonatal (VICTORA et al., 2011). Como consequência, os óbitos neonatais passaram a ser o principal componente da mortalidade infantil. Em 2019, utilizando informações disponibilizadas pelo SIM e Sinasc, a taxa de mortalidade infantil era igual a 12,4 por mil nascidos vivos; as mortes neonatais responderam pela maior parte dos óbitos entre crianças menores de um ano de idade (70%). A mortalidade infantil é um indicador bastante sensível a variações nas condições de saúde e, portanto, geralmente tem alta sensibilidade e especificidade. A associação entre as condições de saúde e a taxa de mortalidade infantil entre os países é empiricamente reconhecida. Além disso, esse indicador é capaz de sofrer alterações mediante intervenções de políticas públicas, não somente específicas para crianças, mas também para a população de forma geral (por exemplo, saneamento básico) (MARTINS et al., 2020). Nos últimos anos, a taxa de mortalidade infantil no Brasil sofreu reduções expressivas com o avançode medidas de saúde pública, incluídos tanto o aumento da imunização infantil quanto o aumento na cobertura de saneamento básico, a refletir melhoras nas condições de vida da população (LEAL et al., 2018). Ministério da Saúde96 5.4 Razão de mortalidade materna A razão de mortalidade materna (RMM) é calculada como a razão entre óbitos maternos e nascidos vivos, multiplicada por 100.000. Para o seu cálculo são considerados todos os óbitos de mulheres até 42 dias depois do término da gravidez, independentemente da causa, excluindo-se apenas as causas acidentais ou incidentais (BRASIL, 2021c). A principal dificuldade na estimação da RMM no Brasil refere-se aos problemas de sub-registro e subdiagnóstico, o que dificulta não apenas conhecer a magnitude dessas mortes, mas também as causas a essas relacionadas. Esforços empreendidos pelo Ministério da Saúde, intensificados a partir de 2008, têm procurado melhorar os registros de mortalidade materna no país (BRASIL, 2018). No Brasil, nas últimas décadas, houve redução importante nesse indicador devido principalmente à implementação de políticas públicas direcionadas à saúde materna. Essas políticas vêm sendo implementadas desde a década de 1980 e têm propiciado melhorias de acesso ao cuidado pré-natal e aumento do número de partos realizados em instituições apropriadas. Apesar dessas melhorias, os níveis atuais da RMM no Brasil ainda permanecem em patamares elevados e chega a ser de 5 a 10 vezes superior ao observado em países de alta renda (VICTORA et al., 2011). Entre 1990 e 2015, foi de 50% a redução observada nesse indicador no Brasil, abaixo da meta estabelecida pelos Objetivos de Desenvolvimento do Milênio (ODM), que era de 70%. Estimativas para 2015 mostram que a RMM no país está em torno de 62 óbitos maternos por 100.000 nascidos vivos. Esse valor está dentro da meta estabelecida pelos Objetivos de Desenvolvimento Sustentável (ODS), que preconiza taxas inferiores a 70 óbitos por 100.000 nascidos. No entanto, devido às grandes disparidades observadas entre as regiões do país, algumas localidades ainda apresentam valores superiores (BRASIL, 2018). 5.5 Mortalidade por causas específicas Conhecer a importância de cada doença na sociedade é fundamental para o melhor direcionamento das políticas de saúde. Essa análise pode ser realizada com base nas taxas de mortalidade ou distribuição proporcional por causas específicas. A taxa de mortalidade por causa é calculada como a razão entre o total de óbitos por determinada causa dividido pela população exposta, que pode ser definida pela população total ou específica de um grupo de sexo e idade. Por definição, essa taxa Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 97 fornece uma medida de risco de morte por determinada causa. A mortalidade proporcional por causas específicas, por sua vez, fornece o peso de uma causa/doença no total dos óbitos da população analisada. A despeito de não ser uma medida de risco, essa permite avaliar a composição dos óbitos e evidencia a importância da doença analisada. Para definir as causas de morte, os registros de óbitos seguem a décima versão da Classificação Internacional de Doenças e Problemas Relacionados à Saúde (CID-10). No Brasil, o perfil epidemiológico da população tem se alterado com o processo de transição demográfica e verifica-se o aumento da prevalência de doenças crônicas (LEBRÃO, 2007; DUARTE; BARRETO, 2012). No entanto, diferentemente do observado em países de maior renda, o aumento dessa prevalência vem ocorrendo em um contexto no qual as doenças transmissíveis ainda representam parcela relativamente importante das mortes (SCHRAMM et al., 2004). Dessa forma, tal como destacam os estudos de Borges (2017) e Calazans e Queiroz (2020) coexistem no país diferentes perfis de morbidade, com as seguintes causas de morte se destacando entre as mais prevalentes: doenças infecciosas e parasitárias (Capítulo I da CID-10); doenças do aparelho circulatório (Capítulo IX); doenças do aparelho respiratório (Capítulo X); doenças endócrinas, nutricionais e metabólicas (IV); e neoplasias (Capítulo II). Além disso, devido ao alto nível de violência e criminalidade, os óbitos por causas externas (Capítulo XX) também se destacam entre as principais causas e são alvos de monitoramento por parte tanto dos gestores quanto de pesquisadores da área. Além de traçar o perfil epidemiológico da população, há ainda dois grupos de causas que permitem caracterizar a qualidade e cobertura tanto do cuidado com a saúde quanto dos registros de mortalidade. O primeiro refere-se a causas mal definidas (Capítulo XVIII). Nos últimos anos, melhorias na cobertura e qualidade do registro do SIM contribuíram para reduzir a proporção de mortes por esse grupo de causas no Brasil – de 15% em 1996 para cerca de 6% em 2019 (BRASIL, [2019]). O segundo grupo compreende as causas evitáveis, ou seja, mortes que poderiam ser prevenidas pela atuação do sistema de saúde, conforme definido pela Lista Brasileira de Mortes Evitáveis. Essa lista foi elaborada por um grupo de pesquisadores e especialistas de diversas áreas, sob a coordenação do Ministério da Saúde. Definiram-se dois conjuntos de causas, um para crianças menores que cinco anos e outro para a população entre 5 e 74 anos. O conjunto de causas que compõem a Ministério da Saúde98 lista requer atualização periódica devido ao desenvolvimento de novas tecnologias de saúde (MALTA et al., 2010a). Diversos estudos têm mostrado a importância das causas evitáveis no Brasil, mas com redução nos últimos anos sobretudo nas regiões com níveis mais elevado de desenvolvimento econômico (ABREU et al., 2007; KANSO et al., 2013; MALTA et al., 2010b, 2018). 5.6 Limitação das medidas agregadas de mortalidade A principal limitação desses indicadores – por serem construídos com base em informações de mortalidade – é desconsiderarem parte importante da qualidade de vida relacionada à saúde da população. Algumas doenças, mesmo que gerem perda de bem-estar individual, não se traduzem em mortalidade. Essa questão é especialmente relevante à medida que a população envelhece. Os idosos tendem a sofrer morbidades, como doenças crônicas degenerativas, as quais não se traduzem prontamente em mortalidade, mas podem gerar perdas importantes de bem-estar. Além disso, o desenvolvimento de tecnologias terapêuticas, como vacinas e antibióticos, tem contribuído para reduzir a letalidade das doenças transmissíveis. A construção de taxas de incidência e prevalência de doenças específicas complementam as medidas baseadas em mortalidade na caracterização do perfil epidemiológico e monitoramento dessas doenças. Essas medidas, em geral, fazem parte do conjunto de indicadores universais elencados para a definição de metas de desenvolvimento humano sustentável, como os indicadores dos Objetivos de Desenvolvimento Sustentável (ODS) (SILVA; PELIANO; CAVES, 2018). 5.7 Medidas agregadas construídas com base em informações de morbidade As principais medidas agregadas de morbidade no Brasil são construídas a partir de três fontes: Sistema de Informação de Agravos de Notificação (Sinan), Sistema de Informações de Internações Hospitalares (SIH-SUS) e pesquisas amostrais domiciliares. A partir das informações do Sinan é possível calcular a taxa de incidência e prevalência das doenças e agravos de notificação compulsória, tais como dengue, zika, tuberculose, Aids, sífilis e acidentes por animais peçonhentos (SAN MARTIN et al., 2010; DOMINGUES et al., 2013; MARTELLI et al., 2015). O monitoramento desses indicadores é importante do ponto de vista da vigilância epidemiológica e permite avaliar a efetividade e sustentabilidade dos programas de controle e prevenção dessas doenças. A principal dificuldade com o uso de indicadores derivados do Sinan é a diferençade cobertura da vigilância Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 99 epidemiológica entre os municípios brasileiros, uma vez que o sistema somente é alimentado quando o evento é notificado. Além disso, a qualidade dos indicadores também do processo de investigação do evento (LAGUARDIA, 2004; SOUZA MELO, 2018), o que torna necessária a busca ativa e a correção do sub-registros para diversos agravos. O Sistema de Informações Hospitalares (SIH) permite a construção de indicadores de morbidade e de produção hospitalar. Em relação à morbidade hospitalar é possível construir indicadores de taxas de internação por causas da CID-10, considerando-se inclusive os atributos de idade e sexo, enquanto privilegia-se o recorte dos grupos de procedimentos para a produção hospitalar. Além disso, é usual a agregação de algumas causas específicas a depender do objeto de interesse na análise. Um dos indicadores mais relevantes na análise de performance de sistemas de saúde é o de Internações Sensíveis por Atenção Primária; são condições de saúde que a efetiva atenção primária é capaz de reduzir o risco de internações. Esse indicador foi proposto originalmente nos Estados Unidos e atualmente é mundialmente disseminado. No Brasil a lista é composta de 120 categorias da CID- 10 com três dígitos (ALFRADIQUE et al., 2009). Esses indicadores, entretanto, por se referirem a doenças específicas, não permitem medir o bem-estar em saúde de forma mais ampla. Para contornar essa limitação, a literatura tem avançado na proposição de indicadores que considerem a qualidade de vida. Os principais indicadores se referem à carga da doença que permite estimar os Anos de Vida Perdidos Ajustados por Incapacidade (AVAI, do inglês Disability Adjusted Life Years - DALYs) (ALFRADIQUE et al., 2009). Mais recentemente, um indicador tem sido amplamente utilizado em avaliação de tecnologias em saúde, compreende os Anos de Vida Ajustados por Qualidade (AVAQ, do inglês Quality- Adjusted Life Years - QALY). Esse indicador, por construção, ajusta o valor de cada ano de vida à perda de qualidade decorrente de deterioração na condição de saúde (SANTOS et al., 2022). Tanto o AVAI como o AVAQ permitem combinar informações de sobrevida / mortalidade e qualidade de vida relacionada à saúde. A qualidade de vida relacionada à saúde é incorporada como um fator de ponderação para cada ano de vida que o indivíduo espera viver experimentando determinada morbidade. A principal diferença entre o AVAI e o AVAQ refere-se à forma como os pesos Ministério da Saúde100 associados à qualidade de vida relacionada à saúde são definidos. O AVAI foi introduzido no primeiro estudo da Carga Global da Doença (Global Burden Disease, do inglês - GBD) em 1993, desenvolvido pelo Banco Mundial em colaboração com a OMS. O indicador é a soma de dois componentes: mortalidade prematura devido à doença (YLL, do inglês Years of Life Lost) e anos vivido com incapacidade (YLD, do inglês Years of Healthy Life Lost due to disability). O YLD é medido considerando-se a incidência da doença na população, ponderada pela duração média e gravidade da doença. O fator de ponderação referente à gravidade da doença varia de zero a 1 e indica respectivamente perfeita saúde e morte (WHO, 2020). A forma como os pesos, referentes à gravidade, são estimados tem se alterado ao longo das revisões do GBD. Incialmente, os pesos de severidade foram estimados com base em um painel de especialistas em saúde. Na versão do GDB de 2010, os pesos foram estimados considerando-se uma amostra da população geral residente em mais de 100 países (HAAGSMA et al., 2015). O AVAQ foi desenvolvido por Klarman et al. (1968) e definido como o número de anos vividos em determinada condição de saúde ponderada pela sua respectiva qualidade de vida. A qualidade de vida é mensurada a partir da escolha de um instrumento específico. Entre os principais instrumentos, citam-se o EQ-5D, desenvolvido pelo grupo Euroqol, o SF-36d, o SF-6D e o Whoqol (HAWTHORNE et al., 2003; CRUZ, 2010). O EQ-5D e o SF-6D são os instrumentos mais utilizados no Brasil. O primeiro descreve a saúde em cinco dimensões, com três níveis de severidade possíveis, o que resulta em 243 estados de saúde possíveis; o segundo são seis dimensões com quatro a seis níveis de severidade, o que resulta em 18000 estados de saúde. Para qualquer um desses instrumentos os pesos da qualidade de vida são mensurados com base nas preferências em saúde dos indivíduos de determinada sociedade. Essas preferências são obtidas a partir de questionários individuais que permitem aos indivíduos valorarem estados de saúde distintos. As técnicas utilizadas para avaliar os estados de saúde são fundamentadas na teoria microeconômica. Em linhas gerais, a ideia subentendida no processo de valoração é que existe um trade-off entre quantidade e qualidade de vida. Dessa forma, é possível encontrar um número de anos de vida em perfeita saúde e um número de anos de vida com alguma doença que iguala a utilidade dos indivíduos em cada um desses estados. Os valores dos pesos podem variar entre zero e 1 e indicar o valor de utilidade médio atribuído para morte e saúde plena respectivamente. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 101 6 Indicadores de demanda por serviços de saúde: utilização e gastos A demanda por serviços de saúde pode ser mensurada por indicadores de utilização ou de gastos. No Brasil, esses indicadores são calculados principalmente a partir dos dados administrativos para a produção ambulatorial e hospitalar, disponíveis por intermédio do Sistema de Informações Ambulatoriais (SIA) e Sistema de Informações Hospitalares (SIH) no Sistema Único de Saúde, respectivamente. Os indicadores de produção hospitalar são mais confiáveis uma vez que cada internação financiada no SUS requer o preenchimento de uma AIH. Essa exigência administrativa, torna os dados do SIH bastante adequados para mensurar o quantitativo da produção hospitalar. A produção ambulatorial, por outro lado, não requer a abertura de um registo administrativo específico para cada serviço realizado e possibilita ao município fazer o lançamento da produção total ou desagregada. Como as informações ambulatoriais ainda apresentam certa heterogeneidade na forma de lançamento dos dados no sistema, os dados ambulatoriais são menos confiáveis e por isso menos usados. Além dos registros administrativos, a utilização de serviços de saúde pode ser mensurada por meio das informações individuais disponíveis nas pesquisas domiciliares. A principal pesquisa domiciliar para a construção de indicadores de utilização é a Pesquisa Nacional em Saúde, que fornece informações sobre consultas e internações. A vantagem do uso da PNS é a possibilidade de construção de indicadores considerando-se atributos individuais tais como idade, sexo, local de residência, escolaridade, renda domiciliar. As pesquisas domiciliares são fundamentais para investigar a relação entre os atributos individuais e a demanda por serviços de saúde. Um dos recortes amplamente realizado é a presença de cobertura de serviços de saúde que permite comparar a utilização e acesso aos serviços de saúde para os beneficiários de planos de saúde e para os usuários do SUS (MACINKO; LIMA-COSTA, 2012; ANDRADE et al., 2013; CASTRO et al., 2019). Essas análises são fundamentais para subsidiar políticas públicas, sobretudo análises da equidade no acesso e no estado de saúde. O uso de indicadores de gasto com serviços de saúde é ainda pouco disseminado no Brasil. Em parte, esse uso menos frequente se deve às limitações das fontes de dados disponíveis. A principal fonte de dados para indicadores de gasto são os sistemas administrativos: SIH, sistema APAC (Autorização de Procedimentos de Alta Complexidade) e SIA. Para todosesses sistemas são registradas as despesas com procedimentos financiados pelo SUS. A principal limitação dessas bases de dados, entretanto, deve-se à distorção dos preços relativos dos serviços. O agregado do gasto ou despesa é resultado do produto entre o Ministério da Saúde102 número de procedimentos realizados multiplicado pelo valor de cada procedimento. Nesse sentido, o gasto pode variar quando a quantidade contratada de serviços variar ou quando os preços relativos se alterarem na economia. No SUS, o sistema de ajustamento do valor do reembolso dos procedimentos não tem sido realizado de forma transparente e muito menos por meio de regras bem estabelecidas. Assim, setores mais organizados da indústria têm conseguido estabelecer seus reajustes, enquanto os demais setores, principalmente os mais intensivos em mão de obra, não praticam reajustes o acarreta significativa defasagem de valores de reembolso em tabelas. Esse modelo de reajuste tem determinado um sistema de preços defasado, distorcido e pouco sustentável do ponto de vista da sociedade no que se refere aos procedimentos financiados pelo SUS. Outra fonte de dados muito usada para a mensuração da utilização e gastos em serviços de saúde no Brasil é a Pesquisa de Orçamentos Familiares (POF), a qual visa mensurar as estruturas de consumo, dos gastos, dos rendimentos e parte da variação patrimonial das famílias. Dessa forma, é possível traçar um perfil das condições de vida da população brasileira a partir da análise de seus orçamentos domésticos, incluídos os gastos com saúde. Além das informações diretamente associadas à estrutura orçamentária, várias características dos domicílios e das famílias são investigadas, o que possibilita a análise por outros fatores socioeconômicos (VIACAVA et al., 2006; MALTA et al., 2008; BOOING et al., 2014; SANTOS et al., 2017). A primeira pesquisa de orçamentos familiares realizada no Brasil ocorreu em 1974-1975 e se chamava Estudo Nacional de Despesa Familiar (Endef). Desde então foram realizadas diversas edições da POF com frequência relativamente periódica: POF 1987-1988, POF 1995-1996, POF 2002-2003, POF 2008- 2009 e POF 2017-2018. O desenho da amostra foi estruturado de modo a propiciar a publicação de resultados para Brasil, grandes regiões (norte, nordeste, sudeste, sul e centro-oeste) e, também, por situações urbana e rural. Para as UF, os resultados contemplam o total e a situação urbana. Nas nove regiões metropolitanas e nas capitais das unidades da federação, os resultados correspondem à situação urbana. Além dos indicadores de demanda, as informações disponíveis no Brasil permitem também a construção de métricas que permitem avaliar e caracterizar a estrutura de oferta de serviços de saúde. Esses indicadores compreendem medidas de estrutura física (leitos, equipamentos, estabelecimentos) e recursos humanos. A principal base de dados para a construção desses indicadores é o CNES, que abrange os setores público e privado e permite desagregação em todos os níveis. Esses indicadores são fundamentais para o planejamento da capacidade de oferta de serviços, organização de redes e regiões de Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 103 saúde, identificação de vazios assistenciais e pactuação do fluxo de atendimento entre os municípios. 7 Indicadores de equidade e eficiência Além do monitoramento dos indicadores de saúde e de utilização dos serviços, a avaliação do desempenho dos sistemas de saúde é fundamental do ponto de vista das políticas públicas (CARNUT; NARVAI, 2016). Essa análise tem sido realizada sob duas óticas distintas: equidade e eficiência (VIACAVA et al., 2004). A ótica da equidade privilegia o aspecto distributivo enquanto a eficiência prioriza o uso dos recursos escassos. Na maioria das sociedades, uma das principais preocupações tem sido desenhar políticas de saúde que busquem promover a distribuição equitativa de saúde e o acesso/utilização dos serviços desse setor. Especificamente em relação ao acesso/utilização, o critério usualmente adotado baseia-se nos princípios da equidade horizontal (indivíduos com igual necessidade deveriam receber o mesmo tratamento) e equidade vertical (indivíduos com necessidades diferentes deveriam receber tratamentos diferenciados). De acordo com esses princípios, os bens e serviços de saúde deveriam ser distribuídos segundo a necessidade de cuidado independentemente da sua capacidade de pagamento (TRAVASSOS; CASTRO, 2012). A metodologia usualmente empregada para avaliar equidade em saúde tem sido a construção de Índices de Concentração (IC), derivado da literatura de distribuição de renda. O IC é estimado a partir da relação entre a proporção acumulada da população ordenada de forma crescente pelo nível socioeconômico contra a proporção acumulada de indivíduos de acordo com a condição de saúde ou de acesso/utilização dos serviços de saúde (SCHNEIDER et al., 2002). Os valores do IC podem variar entre -1 e 1. IC positivo indica haver uma concentração do atributo de saúde analisado entre os indivíduos com nível socioeconômico mais elevado. Em contraposição, IC negativo indica concentração do atributo entre os indivíduos mais pobres. IC igual a zero, por sua vez, indica ausência de desigualdade social. A representação gráfica do IC é a Curva de Concentração (CC), com o IC medido pela área delimitada pelas CC e diagonal. A diagonal representa perfeita igualdade do atributo de saúde entre os grupos socioeconômicos. Quando a CC coincide com a diagonal, o IC é zero. Se, por outro lado, o atributo analisado estiver concentrado nos grupos socioeconômicos mais altos (baixos), a CC posiciona-se abaixo (acima) da diagonal e o IC resultante é positivo (negativo) (ANDRADE et al., 2015). Uma limitação dessa metodologia é a possibilidade de a CC cruzar a diagonal. Como a área acima da Ministério da Saúde104 diagonal pode compensar a área abaixo da diagonal, o IC resultante não refletirá a iniquidade presente entre os grupos socioeconômicos. Dessa forma, é importante que a análise da CC seja realizada de forma complementar à análise do IC. A despeito dessa limitação, o IC tem sido bastante utilizado pela literatura empírica nacional e internacional por ser de fácil implementação e interpretação e por permitir comparabilidade ao longo do tempo e entre diferentes sociedades (MEDEIROS, 2012). Além disso, o IC satisfaz a três requisitos desejáveis por indicadores que se propõem a medir desigualdades sociais: 1) reflete a dimensão socioeconômica; 2) considera a experiência de toda a população e não apenas de grupos extremos da distribuição; e 3) é sensível a mudanças na distribuição da população entre grupos socioeconômicos (SCHNEIDER et al., 2002). As evidências empíricas nacionais e internacionais mostram que de modo geral existe desigualdades sociais favoráveis aos grupos privilegiados. Esses resultados são observados mesmo em países desenvolvidos, onde as disparidades de renda não são tão elevadas, e em países que possuem sistemas nacionais de saúde organizados, como Canadá e Inglaterra (NORONHA; ANDRADE, 2005; ASADA; KEPHART, 2007). Para o Brasil, as evidências apontam desigualdades importantes em saúde e no acesso aos serviços, sobretudo no cuidado ambulatorial. Para o cuidado hospitalar, não há evidências de desigualdades sociais favoráveis aos grupos socioeconômicos privilegiados (ANDRADE et al., 2013). Um dos principais fatores que explicam a desigualdade no acesso aos serviços no país é a presença de cobertura privada de saúde. Esse resultado reflete o duplo acesso ao sistema para os indivíduos que têm maior capacidade de pagamento. Entretanto, as políticas públicas de saúde implementadas desde meados da década de 1990 têm contribuído para melhorar o acesso aos serviços de saúde entre as camadas de renda mais baixa, concorrendopara reduzir essas desigualdades. Destaca-se o papel da Estratégia de Saúde da Família, que tem colaborado para melhorar o acesso aos serviços de prevenção e à atenção primária no SUS (ANDRADE et al., 2013). Desde a sua implementação, o modelo de cuidado com saúde tem priorizado o cuidado preventivo, centrado na família, em detrimento do modelo vigente até então, baseado na lógica hospitalocêntrica (MENDES, 2009). A análise de eficiência necessariamente requer a combinação de indicadores de resultados e gastos/insumos utilizados no processo de produção do cuidado. Do ponto de vista da produção, o conceito de eficiência está associado à otimização da produção, dos recursos ou dos custos. Dois conceitos principais são mais usados em abordagens empíricas para estimar a eficiência: a eficiência técnica e a eficiência alocativa. A eficiência técnica é Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 105 definida como a capacidade de se obter a maior produção possível e se utilizar a menor combinação de insumos, enquanto a eficiência alocativa considera também a capacidade da unidade produtiva de se utilizar os recursos em uma combinação ideal dados os preços relativos do mercado. Além da comparação de indicadores de desempenho, análises de eficiência podem ser realizadas a partir da estimação modelos paramétricos e não paramétricos. Os métodos mais usuais são o método de fronteira estocástica e a análise de envoltória de dados (DEA, do inglês Data Envelopment Analysis). O DEA é uma técnica não-paramétrica de combinação linear para estimar fronteiras de produção de unidades produtivas que empregam processos tecnológicos semelhantes para transformar múltiplos insumos em múltiplos produtos. A principal vantagem do DEA é não exigir pressuposto algum sobre a função de produção, usualmente desconhecida. A análise de fronteira estocástica, por outro lado, é uma técnica paramétrica para estimar a eficiência. Essa abordagem parte de uma forma funcional específica para o processo de produção e admite um componente estocástico no processo produtivo que diferencia as unidades de produção. As duas abordagens têm sido amplamente utilizadas na área da saúde. No Brasil, os principais estudos que empregam o DEA ou o método de fronteira estocástica para analisar o desempenho do sistema de saúde apontam ineficiências no setor. Isso implica que mais serviços poderiam ser ofertados utilizando o mesmo nível de recursos e gerariam potenciais melhoras dos resultados de saúde da população. Estima-se que a ineficiência média na atenção primária seja de 37% e de 71% e nas atenções secundária e terciária (WORLD BANK, 2017). Em relação ao desempenho hospitalar, em que os níveis de ineficiência são altos, o principal problema está na escala de produção. O elevado número de hospitais de pequeno porte localizados em municípios menores contribui para o funcionamento abaixo do nível ideal de atendimentos (La FORGIA; COUTTOLENC, 2008; BOTEGA, 2020). No que se refere a comparações internacionais, a posição relativa do Brasil nas avaliações de eficiência varia bastante entre os estudos. Embora não haja consenso sobre a classificação do país, todos os trabalhos indicam que existe espaço para ganhos significativos de eficiência (MARINHO et al., 2012, 2020). O Quadro 1 sintetiza os principais indicadores discutidos nesse capítulo. Ministério da Saúde106 Quadro 1 - Principais indicadores de saúde, descrição, fontes e usos Indicador Descrição Fontes principais Principais usos Limitações Medidas individuais de saúde Antropométricas Características físicas dos indivíduos (ex.: peso, altura, IMC) VIGITEL, POF, PNDS (DHS Brasil), SABE, ELSA Avaliação da condição nutricional e risco de doenças Padrão de referências ou ponto de corte das medidas pode não refletir a condição de grupos específicos Clínicas Exames realizados por profissionais de saúde ou por pesquisadores (ex.: pressão sanguínea) PNDS (DHS Brasil), ELSA Avaliação do estado de saúde associado a condições específicas Custo elevado de coleta dos dados e erros de mensuração Autorreportadas Autopercepção dos indivíduos do seu estado de saúde (ex: presença de doenças crônicas, dificuldade para realizar tarefas habituais) PNAD, PNS, PeNSE, VIGITEL, SABE, ELSI- Brasil Avaliação do estado de saúde individual Condicionada às expectativas dos indivíduos Medidas agregadas de saúde Baseadas em dados de mortalidade Medida sintética que permite avaliar e monitorar o estado de saúde médio de uma população com base em informações de mortalidade (ex: esperança de vida, taxa de mortalidade, mortalidade por causas específicas) SIM Conhecimento das causas de morte e avaliação das condições de vida Desconsideram parte importante da qualidade de vida relacionada à saúde da população. Algumas doenças, mesmo gerando perda de bem-estar individual, não se traduzem em mortalidade Baseadas em dados de morbidade Medida sintética que permite avaliar e monitorar o estado de saúde médio de uma população com base em informações de morbidade (ex: taxa de incidência e prevalência das doenças, taxa de internação, QALY) SINAN, SIH, Monitoramento do estado de saúde médio da população Diferença de cobertura da vigilância epidemiológica, análise de doenças específicas não permitem medir o bem-estar em saúde de uma forma mais ampla, continua Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 107 Indicador Descrição Fontes principais Principais usos Limitações Indicadores de demanda por serviços de saúde Utilização Produção ambulatorial e hospitalar (ex.: consultas, internações) SIA, SIH, PNS Acompanhament o da demanda e acesso aos serviços de saúde Dados ambulatoriais são menos confiáveis devido a heterogeneidade na forma de lançamento das informações no sistema Gasto Despesas realizadas com procedimentos de saúde (ex.: gastos com medicamentos e exames) SIA, SIH, POF Fiscalização e planejamento do uso dos recursos Distorção dos preços relativos dos serviços Avaliação do desempenho dos sistemas de saúde Equidade Distribuição equitativa de saúde e no acesso/utilização dos serviços (ex.: índice de concentração) PNAD, PNS, SABE Conhecimento das necessidades de grupos específicos para redução das diferenças Indicadores diferentes podem levar a diferentes conclusões sobre a existência de desigualdades Eficiência Combinação de indicadores de resultados e insumos utilizados no processo de produção do cuidado (ex.: gasto com saúde per capita) SIOPS Avaliação da relação entre os resultados obtidos e os recursos empregados Estimação sensíveis às especificações do modelo Fonte: elaboração própria. conclusão Ministério da Saúde108 8 Considerações finais Este capítulo apresenta um panorama dos principais indicadores associados à saúde, vinculando as bases de dados disponíveis no Brasil que permitem a sua construção. A saúde por ser multidimensional requer o uso de um conjunto mais amplo de indicadores. A avaliação de políticas avançou no Brasil nos últimos 20 anos e atualmente se configura como uma prática na gestão pública. O uso de indicadores necessariamente é parte fundamental do monitoramento e definição de metas na condução da política pública. O Brasil é um dos países que se desponta com um sistema de informação oficial amplo e publicamente disponível que permite a construção desses indicadores nas diversas dimensões. Além disso, a existência de um inquérito domiciliar com periodicidade quinquenal e abrangência nacional tem sido fundamental para garantir pesquisas que foquem as desigualdades no acesso, utilização e estado de saúde. Essas investigações têm sido norteadoras importantes da políticade avaliação e reorganização do Sistema de Saúde Brasileiro. Um avanço importante no nosso sistema de informação seria a vinculação de todos os registros administrativos através da identificação única dos indivíduos. A vinculação desses registros permitiria o acompanhamento longitudinal da utilização dos serviços de saúde nos setores público e privado. Além disso a associação das bases de utilização de serviços de saúde com o Sistema de Informações de Mortalidade abre um potencial de investigação de análises de impacto de política na sobrevida dos indivíduos. Esse trabalho contribui com a sistematização dos indicadores e fontes de informações disponíveis, mas apresenta algumas limitações importantes. Em primeiro lugar, o capítulo não esgota todas as possibilidades de indicadores existentes na área da saúde, mas procurou focar nos que são mais utilizados e que as bases de dados disponíveis no Brasil permitem mensuração de forma sistemática. Em segundo lugar, foge do escopo desse capítulo a discussão sobre tratamento dos indicadores, como por exemplo, padronização por sexo e idade, suavização de séries e uso das informações para eventos raros e pequenas áreas. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 109 Referências ABREU, D. M. X. D.; CÉSAR, C. C.; FRANÇA, E. B. Relação entre as causas de morte evitáveis por atenção à saúde e a implementação do Sistema Único de Saúde no Brasil. Revista Panamericana de Salud Pública, v. 21, n. 5, p. 282-291, 2007. ALFRADIQUE, M. E. et al. Internações por condições sensíveis à atenção primária: a construção da lista brasileira como ferramenta para medir o desempenho do sistema de saúde (Projeto ICSAP-Brasil). Cadernos de Saúde Pública, v. 25, n. 6, p. 1337-1349, 2009. ANDRADE, M. V. A saúde na PNAD. Belo Horizonte: UFMG/ Centro de Desenvolvimento e Planejamento Regional, 2002. 31p. (Texto para Discussão, 170). ANDRADE, M. V. et al. Desigualdade socioeconômica no acesso aos serviços de saúde no Brasil: um estudo comparativo entre as regiões brasileiras em 1998 e 2008. Economia Aplicada, v. 17, n. 4, p. 623-645, 2013. ANDRADE, M. V. et al. A equidade na cobertura da Estratégia Saúde da Família em Minas Gerais, Brasil. Cadernos de Saúde Pública, v. 31, n. 6, p. 1175-1187, jun. 2015. ARAÚJO, G. K. N. D. et al. Capacidade funcional e fatores associados em idosos residentes em comunidade. Acta Paulista de Enfermagem, v. 32, n. 3, p. 312-318, 2019. ASADA, Y.; KEPHART, G. Equity in health services use and intensity of use in Canada. BMC Health Services Research, v. 7, n. 41, p. 1-12, 2007. BARROS, M. B. D. A. et al. Depressão e comportamentos de saúde em adultos brasileiros–PNS 2013. Revista de Saúde Pública, v. 51, p. 1-10, 2017. Supl. 1. BATISTELLA, C. Abordagens contemporâneas do conceito de saúde. In: FONSECA, A. F.; CORBO, A. D. (org.). O território e o processo saúde-doença. Rio de Janeiro: EPSJV/Fiocruz, 2007. p. 51-86. BERLEZI, E. M. et al. Como está a capacidade funcional de idosos residentes em comunidades com taxa de envelhecimento populacional acelerado? Revista Brasileira de Geriatria e Gerontologia, v. 19, n. 4, p. 643-652, 2016. BITTENCOURT, S. D. D. A.; DIAS, M. A. B.; WAKIMOTO, M. D. (org.). Vigilância do óbito materno, infantil e fetal e atuação em comitês de mortalidade. Rio de Janeiro: EAD/Ensp/ Fiocruz, 2013. 268 p. BJÖRNTORP, P. E. R. Body fat distribution, insulin resistance, and metabolic diseases. Nutrition, v. 13, n. 9, p. 795-803, 1997. BOMFIM, W. C.; CAMARGOS, M. C. S. Mudanças na expectativa de vida no Brasil: analisando o passado e o futuro, de 1950 a 2095. Revista NUPEM, v. 13, n. 29, p. 210- 223, 2021. BORGES, G. M. Health transition in Brazil: regional variations and divergence/convergence in mortality. Cadernos de Saúde Pública, v. 33, n. 8, p. 1-15, 2017. Ministério da Saúde110 BOTEGA, L. A. Três ensaios sobre o desempenho do setor hospitalar do Sistema Único de Saúde do Brasil. 2020. Tese (Doutorado) - Faculdade de Ciências Econômicas, Universidade Federal de Minas Gerais, Belo Horizonte, 2020. BRASIL. Ministério da Saúde. Agência Nacional de Saúde de Suplementar. A agência reguladora do setor de planos de saúde do Brasil. Brasília, DF: Ministério da Saúde, [1999]. Disponível em: https://www.gov.br/ans/pt-br. Acesso em: 28 maio 2022. BRASIL. Ministério da Saúde. A vigilância, o controle e a prevenção das doenças crônicas não-transmissíveis: DCNT no contexto do Sistema Único de Saúde brasileiro. Brasília, DF: OPAS, 2005. 80p. BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância Epidemiológica. Sistema de Informação de Agravos de Notificação – Sinan: normas e rotinas. 2. ed. Brasília, DF: Ministério da Saúde, 2007a. 68p. (Série A. Normas e Manuais Técnicos). BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Regulação, Avaliação e Controle. Manual técnico do sistema de informação hospitalar. Brasília, DF: Ministério da Saúde, 2007b. 198p. (Série A. Normas e Manuais Técnicos). BRASIL. Ministério da Saúde. Centro Brasileiro de Análise e Planejamento. Pesquisa Nacional de Demografia e Saúde da Criança e da Mulher – PNDS 2006: dimensões do processo reprodutivo e da saúde da criança. Brasília, DF: Ministério da Saúde, 2009a. 300p. (Série G. Estatística e Informação em Saúde). BRASIL. Ministério da Saúde. Secretaria-Executiva. Departamento de Informática do Sistema Único de Saúde. Sistema de Cadastro Nacional de Estabelecimentos de Saúde: manual de operação. Brasília, DF: Ministério da Saúde, 2009b. 412p. BRASIL. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Regulação, Avaliação e Controle. Coordenação Geral de Sistemas de Informação. Manual técnico operacional SIA/SUS - Sistema de Informações Ambulatoriais. Brasília, DF: Ministério da Saúde, 2010. 69p. BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. Manual de instruções para o preenchimento da Declaração de Óbito. Brasília, DF: Ministério da Saúde, 2011a. 54p. (Série A. Normas e Manuais Técnicos). BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação de Saúde. Manual de instruções para o preenchimento da Declaração de Nascido Vivo. Brasília, DF: Ministério da Saúde, 2011b. 28p. (Série A. Normas e Manuais Técnicos). BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Vigilância de Doenças e Agravos não Transmissíveis e Promoção da Saúde. Saúde Brasil 2017: uma análise da situação de saúde e os desafios para o alcance dos objetivos de desenvolvimento sustentável. Brasília, DF: Ministério da Saúde, 2018. 426p. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 111 BRASIL. Coordenação Geral de Informações e Análises Epidemiológicas. Departamento de Análise Epidemiológica e Vigilância de Doenças Não Transmissíveis. Sistema de Informação sobre Mortalidade - SIM. Brasília, DF: Secretaria de Vigilância em Saúde, [2019]. Disponível em: http://svs.aids.gov.br/dantps/cgiae/sim. Acesso em: 24 maio 2022. BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise em Saúde e Vigilância de Doenças Não Transmissíveis. Vigitel Brasil 2020: vigilância de fatores de risco e proteção para doenças crônicas por inquérito telefônico: estimativas sobre frequência e distribuição sociodemográfica de fatores de risco e proteção para doenças crônicas nas capitais dos 26 estados brasileiros e no Distrito Federal em 2020. Brasília, DF: Ministério da Saúde, 2021a. 124p. BRASIL. Ministério da Saúde. Secretaria-Executiva. Departamento de Economia da Saúde, Investimentos e desenvolvimento. Cartilha de orientação SIOPS. Brasília, DF: Ministério da Saúde, 2021b. 169p. BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Mortalidade materna no Brasil,2009-2019. Boletim Epidemiológico, v. 52, n. 29, p. 13-24, ago. 2021c. CALAZANS, J. A.; QUEIROZ, B. L. The adult mortality profile by cause of death in 10 Latin American countries (2000–2016). Revista Panamericana de Salud Publica, v. 44, p. 1-9, 2020. CARNUT, L.; NARVAI, P. C. Avaliação de desempenho de sistemas de saúde e gerencialismo na gestão pública brasileira. Saúde e Sociedade, v. 25, n. 2, p. 290-305, 2016. CARVALHO, L. R.; ANDRADE, M. V.; AMARAL, P. V. M. Avaliação dos parâmetros de oferta mínimos para os leitos SUS no Brasil em 2015. Planejamento e Políticas Públicas, n. 58, p. 11-32, abr./jun., 2021. CASTRO, M. C. et al. Brazil's unified health system: the first 30 years and prospects for the future. The Lancet, v. 394, n. 10195, p. 345-356, 2019. CERVI, A.; FRANCESCHINI, S. D. C. C.; PRIORE, S. E. Análise crítica do uso do índice de massa corporal para idosos. Revista de Nutrição, v. 18, n. 6, p. 765-775, dez. 2005. CORRÊA, E. R. P.; MIRANDA-RIBEIRO, A. D. Ganhos em expectativa de vida ao nascer no Brasil nos anos 2000: impacto das variações da mortalidade por idade e causas de morte. Ciência & Saúde Coletiva, v. 22, n. 3, p. 1007-1017, 2017. CRUZ, L. N. Medidas de qualidade de vida e utilidade em uma amostra da população de Porto Alegre. 2010. Tese (Doutorado) – Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2010. DOMINGUES, R. M. S. M. et al. Sífilis congênita: evento sentinela da qualidade da assistência pré-natal. Revista de Saúde pública, v. 47, n. 1, p. 147-157, 2013. DUARTE, E. C.; BARRETO, S. M. Transição demográfica e epidemiológica: a epidemiologia e serviços de saúde revisita e atualiza o tema. Epidemiologia e Serviços de Saúde, v. 21, n. 4, p. 529-532, out./dez. 2012. Ministério da Saúde112 ELSA-BRASIL. Estudo Longitudinal de Saúde do Adulto: a geração de conhecimento científico sobre doenças crônicas no país. [2000]. Disponível em: http://www.elsa.org.br/oelsabrasil.html. Acesso em: 22 jan. 2022. ELSI-BRASIL. Estudo Longitudinal de Saúde dos Idosos Brasileiros. c2015.Disponível em: http://elsi.cpqrr.fiocruz.br/. Acesso em: 22 jan. 2022. FRIAS, P. G. D. et al. Avaliação da adequação das informações de mortalidade e nascidos vivos no Estado de Pernambuco, Brasil. Cadernos de Saúde Pública, v. 26, n. 4, p. 671-681, 2010. GUERRA, F.; FÍGOLI, M. B. G. Esperança de vida e sua relação com indicadores de longevidade: um estudo demográfico para o Brasil, 1980-2050. Revista Brasileira de Estudos de População, v. 30, S85-S102, 2013. Supl. HAAGSMA, J. A. et al. Assessing disability weights based on the responses of 30,660 people from four European countries. Population Health Metrics, v. 13, n. 10, p. 1-15, 2015. HAKIM, C. Research based on administrative records. The Sociological Review, v. 31, n. 3, p. 489-519, 1983. HAWTHORNE, G.; RICHARDSON, J. R. J.; DAY, N. A comparison of five multi attribute utility instruments. Melbourne: Monash University, Centre for Health Program Evaluation, 2003. IBGE. Coordenação de População e Indicadores Sociais. Pesquisa nacional de saúde do escolar: 2019. Rio de Janeiro: IBGE, 2021a. 162p. IBGE. Tábuas completas de mortalidade para o Brasil 2020. Rio de Janeiro: IBGE, 2021b. (Nota técnica n. 01/2021). Disponível em: https://static.poder360.com.br/2021/11/nota-tecnica-tabuas-de-mortalidade.pdf. Acesso em: 8 set. 2022. IBGE. Séries estatísticas. Rio de Janeiro: IBGE, [1999.]. Disponível em: https://seriesestatisticas.ibge.gov.br/default.aspx. Acesso em: 25 maio 2022. JANNUZZI, P. D. M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. 6. ed. rev. e amp. Campinas: Alínea, 2017. KANSO, S. et al. A evitabilidade de óbitos entre idosos em São Paulo, Brasil: análise das principais causas de morte. Cadernos de Saúde Pública, v. 29, n. 4, p. 735-748, abr. 2013. KROENKE, K.; SPITZER, R. L. The PHQ-9: a new depression diagnostic and severity measure. Psychiatric Annals, v. 32, n. 9, p. 509-515, 2002. La FORGIA, G. M.; COUTTOLENC, B. F. Hospital performance in Brazil: the search for excellence. Washington, DC: World Bank, 2008. Disponível em: https://documents1.worldbank.org/curated/en/815061468015870054/pdf/448330PUB0Box 3101official0use0only1.pdf. Acesso em: 8 set. 2020. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 113 LAGUARDIA, J. et al. Sistema de informação de agravos de notificação em saúde (Sinan): desafios no desenvolvimento de um sistema de informação em saúde. Epidemiologia e Serviços de Saúde, v. 13, n. 3, p. 135-146, 2004. LANSKY, S.; FRANÇA, E.; LEAL, M. D. C. Mortalidade perinatal e evitabilidade: revisão da literatura. Revista de Saúde Pública, v. 36, n. 6, p. 759-772, dez. 2002. LEAL, M. D. C. et al. Saúde reprodutiva, materna, neonatal e infantil nos 30 anos do Sistema Único de Saúde (SUS). Ciência & Saúde Coletiva, v. 23, n. 6, p. 1915-1928, jun. 2018. LEBRÃO, M. L.; DUARTE, Y. A. SABE-saúde, bem-estar e envelhecimento, o Projeto Sabe no município de São Paulo: uma abordagem inicial. Brasília, DF: OPAS, 2003. LEBRÃO, M. L. O envelhecimento no Brasil: aspectos da transição demográfica e epidemiológica. Saúde Coletiva, v. 4, n. 17, p. 135-140, 2007. LEBRÃO, M. L. et al. 10 Anos do Estudo SABE: antecedentes, metodologia e organização do estudo. Revista Brasileira de Epidemiologia, v. 21, p. 1-21, 2019. Supl. 2. MACINKO, J.; LIMA-COSTA, M. F. Horizontal equity in health care utilization in Brazil, 1998–2008. International Journal for Equity in Health, v. 11, n. 1, p. 1-8, 2012. MALTA, D. C. et al. Inquéritos Nacionais de Saúde: experiência acumulada e proposta para o inquérito de saúde brasileiro. Revista Brasileira de Epidemiologia, v. 11, p. 159-167, 2008. Supl. 1. MALTA, D. C. et al. Atualização da lista de causas de mortes evitáveis por intervenções do Sistema Único de Saúde do Brasil. Epidemiologia e Serviços de Saúde, v. 19, n. 2, p. 173-176, abr./jun. 2010a. MALTA, D. C. et al. Mortes evitáveis em menores de um ano, Brasil, 1997 a 2006: contribuições para a avaliação de desempenho do Sistema Único de Saúde. Cadernos de Saúde Pública, v. 26, n. 3, p. 481-491, mar. 2010b. MALTA, D. C.; SILVA JUNIOR, J. B. D. O plano de ações estratégicas para o enfrentamento das doenças crônicas não transmissíveis no Brasil e a definição das metas globais para o enfrentamento dessas doenças até 2025: uma revisão. Epidemiologia e Serviços de Saúde, v. 22, n. 1, p. 151-164, jan./mar. 2013. MARINHO, A.; CARDOSO, S. D. S.; ALMEIDA, V. V. D. Avaliação comparativa de sistemas de saúde com a utilização de fronteiras estocásticas: Brasil e OCDE. Revista Brasileira de Economia, v. 66, n. 1, p. 3-19, mar. 2012. MARINHO, A.; CARDOSO, S. D. S.; ALMEIDA, V. V. D. Avaliação comparativa dos sistemas de saúde do Brasil e de países da América Latina, do Caribe, e da OCDE com o uso de fronteiras estocásticas. Economia Aplicada, v. 24, n. 2, p. 195-214, 2020. MARTELLI, C. M. T. et al. Economic impact of dengue: multicenter study across four Brazilian regions. PLoS Neglected Tropical Diseases, v. 9, n. 9, p. 1-19, 2015. MARTINS, I. S.; MARINHO, S. P. O potencial diagnóstico dos indicadores da obesidade centralizada. Revista de Saúde Pública, v. 37, n. 6, p. 760-767, dez. 2003. Ministério da Saúde114 MARTINS, I. P. M.; NAKAMURA, C. Y.; CARVALHO, D. R. Variáveis associadas à mortalidade materna e infantil: uma revisão integrativa. Revista de Atenção à Saúde, v. 18, n. 64, p. 145-165, abr./jun. 2020. MEDEIROS, M. Medidas de desigualdade e pobreza. Brasília, DF: Editora Universidade de Brasília, DF, 2012. MENDES, E. V. As redes de atenção à saúde: Belo Horizonte: Escola de Saúde Pública de Minas Gerais, 2009. NATIONAL RESEARCH COUNCIL. Cells and surveys: should biological measures be included in social science research? Washington, DC: National Academy Press, 2000. NORONHA, K.; ANDRADE, M. V. Aspectos teóricos emetodológicos da relação entre o estado de saúde e a desigualdade de renda. Belo Horizonte: Universidade Federal de Minas Gerais/Centro de Desenvolvimento e Planejamento Regional, 2006. (Texto para Discussão, 291). NORONHA, K. V. M. D. S. et al. Pandemia por COVID-19 no Brasil: análise da demanda e da oferta de leitos hospitalares e equipamentos de ventilação assistida segundo diferentes cenários. Cadernos de Saúde Pública, v. 36, n. 6, p. p. 1-17, 2020. O’DONNELL, O. et al. Analyzing health equity using household survey data: a guide to techniques and their implementation. Washington, DC: World Bank, 2007. Disponível em:https://openknowledge.worldbank.org/bitstream/handle/10986/6896/424800ISBN9780 11O FFICIAL0USE0ONLY10.pdf?sequence=1&isAllowed=y. Acesso em: 9 set. 2022. OLIVEIRA, A. T. R. (org.). Sistemas de estatísticas vitais no Brasil: avanços, perspectivas e desafios. Rio de Janeiro: IBGE, Coordenação de População e Indicadores Sociais, 2018. 70p. PAN AMERICAN HEALTH ORGANIZATION. Health indicators: conceptual and operational considerations. Washington, DC: PAHO, 2018. Disponível em: https://iris.paho.org/handle/10665.2/49056. Acesso em: 8 set. 2022. PEREIRA, R. A.; SICHIERI, R.; MARINS, V. M. Razão cintura/quadril como preditor de hipertensão arterial. Cadernos de Saúde Pública, v. 15, n. 2, p. 333-344, abr. 1999. PITANGA, F. J. G.; LESSA, I. Associação entre indicadores antropométricos de obesidade e risco coronariano em adultos na cidade de Salvador, Bahia, Brasil. Revista Brasileira de Epidemiologia, v. 10, n. 2, p. 239-248, jun. 2007. PORTO, S. M.; UGÁ, M. A. D.; MOREIRA, R. D. S. Uma análise da utilização de serviços de saúde por sistema de financiamento: Brasil 1998-2008. Ciência & Saúde Coletiva, v. 16, n. 9, p. 3795-3806, set. 2011. PRESTON, S. H.; HEUVELINE, P.; GUILLOT, M. Demography: measuring and modeling population processes. New Jersey: Wiley-Blackwell, 2000. QUEIROZ, B. L. et al. Completeness of death-count coverage and adult mortality (45q15) for Brazilian states from 1980 to 2010. Revista Brasileira de Epidemiologia, v. 20, supl. 1, p. 21-33, 2017. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 115 ROCHA, T. A. H. et al. Cadastro Nacional de Estabelecimentos de Saúde: evidências sobre a confiabilidade dos dados. Ciência & Saúde Coletiva, v. 23, n. 1, p. 229-240, jan. 2018. SAN MARTÍN, J. L. et al. The epidemiology of dengue in the Americas over the last three decades: a worrisome reality. The American Journal of Tropical Medicine and Hygiene, v. 82, n. 1, p. 128-135, Jan. 2010. SANTOS, I. C. M. V. A iniquidade do financiamento nas aquisições de medicamentos: gastos catastróficos e empobrecimento. 2015. Tese (Doutorado em Economia) - Centro de Desenvolvimento e Planejamento Regional, Universidade Federal de Minas Gerais, Belo Horizonte, 2015. SANTOS, I. C. M.; ANDRADE, M. V.; NORONHA, K. Gastos catastróficos a partir da aquisição de medicamentos das famílias. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS, 20., 2017. Anais [...] Rio de Janeiro: Associação Brasileira de Estudos Populacionais (ABEP), 2017. p. 1-19. Disponível em: http://www.abep.org.br/publicacoes/index.php/anais/article/view/2880/2748. Acesso em: 9 set. 2022. SANTOS, M. et al. Guidelines for utility measurement for economic analysis: the brazilian policy. Value in Health Regional Issues, v. 31, p. 67-73, 2022. SCHMIDT, M. I. et al. Prevalência de diabetes e hipertensão no Brasil baseada em inquérito de morbidade auto-referida, Brasil, 2006. Revista de Saúde Pública, v. 43, p. 74-82, 2009. Supl. 2. SCHNEIDER, M. C. et al. Métodos de medición de las desigualdades de salud. Revista Panamericana de Salud Pública, v. 12, n. 6, p. 398-415, 2002. SCHRAMM, J. M. D. A. et al. Transição epidemiológica e o estudo de carga de doença no Brasil. Ciência & Saúde Coletiva, v. 9, n. 4, p. 897-908, dez. 2004. SEGRE, M.; FERRAZ, F. C. O conceito de saúde. Revista de Saúde Pública, v. 31, n. 5, p. 538-542, out. 1997. SENA, H. P. O manejo da hipertensão arterial sistêmica e da diabetes mellitus na Unidade de Saúde Moreninha, município de Santa Helena-PR. 2017. Monografia (Especialização) - Universidade Federal de Santa Catarina, Florianópolis, 2017. SILVA, E. R. A.; PELIANO, A. M.; CHAVES, J. V. (coord.). Agenda 2030: ODS-Metas nacionais dos objetivos de desenvolvimento sustentável. Brasília: IPEA, 2018. Disponível em: http://repositorio.ipea.gov.br/bitstream/11058/8855/1/Agenda_2030_ods_metas_nac_ dos_obj_de_desenv_susten_propos_de_adequa.pdf. Acesso em: 9 set. 2022. SILVA, Z. M. et al. Indicadores de saúde: obtenção e análise da situação de saúde. Teresina: EDUFPI, 2020. 72p. SOUSA, M. L. B.; MELO, C. A. Impacto da Política de Atenção Básica à Saúde na taxa de mortalidade infantil nos municípios brasileiros. Revista Política Hoje, v. 22, n. 1, p. 250- 276, 2013. Ministério da Saúde116 SOUZA MELO, M. A. et al. Percepção dos profissionais de saúde sobre os fatores associados à subnotificação no Sistema Nacional de Agravos de Notificação (Sinan). Revista de Administração em Saúde, v. 18, n. 71, p. 1-17, 2018. STEYN, K.; DAMASCENO, A. Lifestyle and related risk factors for chronic diseases. In: JAMISON, D.T. et al. (org.). Disease and mortality in Sub-Saharan Africa. Washington, DC: The World Bank, 2006. p. 247-65. STRAUSS, J.; THOMAS, D. Health, nutrition, and economic development. Journal of Economic Literature, v. 36, n. 2, p. 766-817, 1998. SZWARCWALD, C. L. et al. Busca ativa de óbitos e nascimentos no Nordeste e na Amazônia Legal: estimação das coberturas do SIM e do Sinasc nos municípios brasileiros. In: BRASIL. Ministério da Saúde. Secretaria de Vigilância em Saúde. Departamento de Análise de Situação em Saúde. Saúde Brasil 2010: uma análise da situação de saúde e de evidências selecionadas de impacto de ações de vigilância em saúde. Brasília: Ministério da Saúde, 2011. p. 79-98. THE DHS Program Demografic ang Health Surveys. Rockville: DHS, [2018]. Disponível em: https://dhsprogram.com/methodology/survey-search.cfm? sendsearch=1&str1= 49,&crt= 1&listgrp=0 . Acesso em: 22 jan. 2022. TRAVASSOS, C.; VIACAVA, F.; LAGUARDIA, J. Os suplementos saúde na Pesquisa Nacional por Amostra de Domicílios (PNAD) no Brasil. Revista Brasileira de Epidemiologia, v. 11, p. 98-112, 2008. Supl. 1. TRAVASSOS, C.; CASTRO, M. S. M. D. Determinantes e desigualdades sociais no acesso e na utilização de serviços de saúde. In: GIOVANELLA, L. et al. (org.). Políticas e sistema de saúde no Brasil. 2. ed. rev. e amp. Rio de Janeiro: Fiocruz, 2012. VIACAVA, F. et al. Uma metodologia de avaliação do desempenho do sistema de saúde brasileiro. Ciência & Saúde Coletiva, v. 9, n. 3, p. 711-724, 2004. VIACAVA, F.; DACHS, N.; TRAVASSOS, C. Os inquéritos domiciliares e o Sistema Nacional de Informações em Saúde. Ciência & Saúde Coletiva, v. 11, n. 4, p. 863-869, 2006. VICTORA, C. G. et al. Maternal and child health in Brazil: progress and challenges. The Lancet, v. 377, n. 9780, p. 1863-1876, 2011. WORLD BANK. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil: Brasil revisão das despesas públicas. Síntese. Washington, DC: World Bank, 2017. v.1. Disponível em: https://documents1.worldbank.org/curated/en/884871511196609355/ /pdf/121480-REVISED-PORTUGUESE-Brazil-Public-Expenditure-Review-Overview- Portuguese-Final-revised.pdf. Acesso em: 8 set. 2022. WORLD HEALTH ORGANIZATION. Constitution of the World Health Organization. American Journal of Public Health, v. 36, n. 11, p. 1315–1323, 1946. Disponível em: https://ajph.aphapublications.org/doi/epdf/10.2105/AJPH.36.11.1315. Acesso em: 8 set. 2022. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 117 WORLD HEALTH ORGANIZATION. Physical status: the use of and interpretation of anthropometry. Report of a WHO Expert Committee. Geneva: WHO, 1995. (Technical Series, 854). https://apps.who.int/iris/bitstream/handle/10665/37003/W?sequence=1.Acesso em: 8 set. 2022. WORLD HEALTH ORGANIZATION. ICD-10: International statistical classification of diseases and related health problems. 10th rev. 5th edit. 2016. Geneva: WHO, 2016. Disponível em: https://icd.who.int/browse10/Content/statichtml/ICD10Volume2_en_2019.pdf. Acesso em: 8 set. 2022. WORLD HEALTH ORGANIZATION. Everybody's business-strengthening health systems to improve health outcomes: WHO's framework for action. Geneva: WHO, 2007. Disponível em: https://apps.who.int/iris/handle/10665/43918. Acesso em: 8 set. 2022. WORLD HEALTH ORGANIZATION. WHO methods and data sources for global burden of disease estimates 2000-2019. Geneva: WHO, 2020. (Global Health Estimates Technical Paper WHO/ DDI/DNA/GHE/2020.3). Disponível em: https://cdn.who.int/media/docs/default-source/gho-documents/global-health- estimates/ghe2019_daly-methods.pdf?sfvrsn=31b25009_7. Acesso em: 8 set. 2022. Ministério da Saúde118 APÊNDICE A PPrriinncciippaaiiss ppeessqquuiissaass ddoommiicciilliiaarreess ccoomm iinnffoorrmmaaççõõeess ssoobbrree ssaaúúddee nnoo BBrraassiill Pe sq ui sa An o O bj et iv o Ta m an ho d a am os tra Ab ra ng ên ci a Pr in ci pa is in fo rm aç õe s de sa úd e Pe rio di ci da de Fi na nc ia m en to PNAD (Pesquisa Nacional por Amostra de Domicílio) 1998, 2003, 2008 Conhecer as características de saúde da população 112.434 domicílios/ 344.975 pessoas (1998) Nacional, grandes regiões, Unidades da Federação (UF), regiões metropolitanas e distrito federal Estado de saúde, cobertura privada de saúde, acesso e utilização de serviços de saúde Quinquenal Ministério da Saúde / IBGE 133.255 domicílios/ 384.834 pessoas (2003) 150.591 domicílios/ 391.868 pessoas (2008) PNAD COVID- 19 2020 Estimar o número de pessoas com sintomas da síndrome gripal e monitorar os impactos da pandemia da COVID-19 no mercado de trabalho Cerca de 193 mil domicílios por mês / 48 mil domicílios por semana Nacional e grande regiões Sintomas da COVID-19 e providências tomadas em relação aos sintomas Mensal (maio a nov.) / Semanal (maio a setembro) Ministério da Saúde/ IBGE PNS (Pesquisa Nacional de Saúde) 2013, 2019 Coletar informações sobre o desempenho do sistema de saúde e condições de saúde da população 81.357 domicílios / 64.348 entrevistas (2013) Nacional, grandes regiões e UF Estado de saúde, hábitos de vida, cobertura privada e utilização de serviços de saúde Quinquenal Ministério da Saúde/IBGE/ Fiocruz 108.525 domicílios / 90.846 entrevistas (2019) VIGITEL (Vigilância de Fatores de Risco e Proteção para Doenças Crônicas por Inquérito Telefônico) 2006- 2020 Monitorar a frequência e a distribuição de fatores de risco e proteção para Doenças Crônicas em todas as capitais Tamanho amostral mínimo de 2.000 adultos (18 anos ou mais) por cidade Nacional, capitais e distrito federal Estado de saúde, hábitos de vida, excesso de peso e obesidade Anual Ministério da Saúde/ Secretaria de Vigilância em Saúde POF 1987- 2018 Avaliar perfil das condições de 48.470 Nacional, grandes Despesas com saúde, peso e Desde 1995 a Ministério da Saúde/IBGE Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 119 (Pesquisa de Orçamentos Familiares) vida da população a partir da análise dos orçamentos domésticos domicílios (2002-2003) regiões e urbana/ rural altura (2002-2003 e 2008-2009) e hábitos de alimentação cada 6-7 anos 55.970 domicílios (2008-2009) 57.920 domicílios (2017-2018) ELSI-Brasil* (Estudo Longitudinal da Saúde dos Idosos) 2015- 2016 Examinar a dinâmica do envelhecimento da população, seus determinantes e a demanda pelos sistemas sociais e de saúde. 9.412 indivíduos com 50 anos ou mais Nacional e grandes regiões Comportamentos em saúde, saúde geral e doenças e uso de serviços de saúde Eventual Ministério da Saúde / Ministério da Ciência, Tecnologia, Inovações e Comunicação (Fiocruz-MG / UFMG) SABE† (Saúde, bem- estar e envelhecimento) 2000, 2006, 2010 Avaliar as condições de vida e saúde das pessoas idosas 2.143 idosos (2000) Cidade de São Paulo Estado de saúde, uso e acesso a serviços de saúde, medidas antropométricas e testes funcionais, qualidade de vida e exame da cavidade bucal Eventual Universidade de Wisconsin- Madison / OPAS / FAPESP / Ministério da Saúde/ OPAS / USP 1.413 idosos (2006) 1.334 idosos (2010) ELSA (Estudo Longitudinal de Saúde do Adulto) 2008- 2010; 2012- 2014; 2017- 2019 Investigar doenças crônicas e fatores biológicos, comportamentais, ambientais, ocupacionais e sociais 15.105 servidores/as de instituições públicas de ensino superior e pesquisa com idade entre 35 e 74 anos Instituições das regiões sul, sudeste e nordeste (Fundação Oswaldo Cruz / USP / UFBA / UFES / UFMG / UFRGS) Histórico médico, hábitos de vida e realização de exames clínicos Contatos telefônicos anuais com re-exames e entrevistas a cada 3-4 anos Ministério da Saúde / Secretaria de Ciência, Tecnologia e Insumos Estratégicos / Ministério de Ciência, Tecnologia e Inovação / Decit / CNPq / FINEP/ Fiocruz-RJ / USP / UFBA / UFES / UFMG / UFRGS PNDS (DHS Brasil)‡ (Pesquisa Nacional de Demografia e Saúde da Criança e da Mulher) 1986, 1991, 1996, 2006 Descrever o perfil da população feminina em idade fértil (15-49 anos) e das crianças menores de cinco anos materno-infantil. 5.892 mulheres / 1.132 crianças (1986) Nacional e por UF. Em 1991, a pesquisa foi realizada somente no NE Saúde sexual e reprodutiva, saúde da criança, medidas antropométricas e coleta de sangue Eventual Ministério da Saúde/ IBGE / BEMFAM / CEBRAP / UNICAMP / USP / Ibope / DHS Macro International Inc / UNFPA / UNICEF / USAID) 6.222 mulheres / 1.266 maridos / 3.392 crianças (1991) Ministério da Saúde120 12.612 mulheres / 2.949 maridos / 4.782 crianças (1996) Cerca de 15.000 mulheres/ 5.000 crianças (2006) PeNSE§ (Pesquisa Nacional de Saúde do Escolar) 2009, 2012, 2015, 2019 Conhecer e dimensionar os fatores de risco e proteção à saúde dos adolescentes (9º ano do ensino fundamental e escolares de 13 a 17 anos de idade a partir de 2015) 1.453 escolas / 63.411 estudantes (2009) Nacional, grandes regiões, capitais e distrito federal Fatores de risco comportamentais, saúde sexual e reprodutiva e saúde mental Eventual Ministério da Saúde (IBGE / Ministério da Educação) 2.842 escolas / 109.104 estudantes (2012) 9º ano: 3.160 escolas / 102.072 estudantes e 13 a 17 anos: 380 escolas / 10.926 estudantes (2015) 4.242 escolas / 125.123 estudantes (2019) Notas: * Elsi-Brasil é comparável internacionalmente aos estudos Health and Retirement Family of Studies, realizados em diversos países da Europa e Ásia, nos EUA, México, Costa Rica, Nova Zelândia, África do Sul e Gana. † SABE é comparável internacionalmente às pesquisas realizadas em Bridgetown (Barbados); Buenos Aires (Argentina); Santiago (Chile); Havana (Cuba); Cidade do México (México) e Montevidéu (Uruguai). ‡ PNDS é comparável internacionalmente ao projeto Measure DHS (Demographic and Health Survey, que tem apoio da Agência dos Estados Unidos para o DesenvolvimentoInternacional (USAID) e parceria de várias instituições internacionais. § PeNSE é comparável internacionalmente ao Global School-based Student Health Survey (GSHS) da OMS, realizada com escolares de 13 a 17 anos. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 121 APÊNDICE B PPrriinncciippaaiiss rreeggiissttrrooss aaddmmiinniissttrraattiivvooss ddee ssaaúúddee nnoo BBrraassiill Registro Administrativo Ano/ Periodicid ade Objetivo Alimentação do sistema Abrangência Principais informações de saúde Registros Administrativos do Ministério da Saúde SIM (Sistema de Informação sobre Mortalidade) Desde 1975 / mensal e anual Coletar dados sobre mortalidade Declaração de Óbito (DO) preenchidas pelas unidades notificantes do óbito Nacional, grandes regiões, UF e municípios Local de residência e ocorrência do óbito; óbitos fetais e não fetais; condições e causas do óbito SINASC (Sistema de Informações sobre Nascidos Vivos) Desde 1990 / mensal e anual Coletar dados epidemiológicos referentes aos nascidos vivos Declaração de Nascido Vivo (DN), preenchida pelos profissionais da saúde ou parteiras tradicionais autorizadas Nacional, grandes regiões, UF e municípios Local e data do nascimento, informações da gravidez e parto e do recém-nascido SINAN (Sistema de Informação de Agravos de Notificação) Desde 1990 / mensal e anual Registrar e processar os dados sobre agravos de notificação compulsória Coletados pela Ficha Individual de Notificação (FIN) e pela Ficha Individual de Investigação (FII), preenchidas pelas unidades assistenciais para cada paciente Nacional, grandes regiões, UF e municípios Período e local da notificação e/ou agravo SIH (Sistema de Informações Hospitalares) Desde 1981 / mensal e anual Registrar internações hospitalares financiadas pelo SUS Autorização de Internação Hospitalar (AIH) preenchida pelo hospital após a alta hospitalar e enviada para a Secretaria de Saúde municipal ou estadual Nacional, grandes regiões, UF e municípios e estabelecimento s Informações da hospitalização; valor das AIH; procedimentos realizados na internação SIA (Sistema de Informações Ambulatoriais) Desde 1992 / mensal e anual Processamento das informações de atendimento ambulatorial financiados pelo SUS O BPA (Boletim de Produção Ambulatorial) é preenchido pelo estabelecimento de saúde. Nos procedimentos de alta complexidade, as informações são coletadas através da APAC (Autorização de Procedimentos de Alta Complexidade) Nacional, UF, municípios e estabelecimento s Dados do paciente, estabelecimento e procedimentos Ministério da Saúde122 SIOPS (Sistema de Informações sobre Orçamentos Públicos em Saúde) Desde 2000 / bimestral e anual Consolidar informações de gasto público em saúde Preenchimento de formulário em software desenvolvido pelo DATASUS. As informações são transmitidas eletronicamente para o banco de dados do sistema. O SIOPS possui um sistema automático de críticas e avisos sobre prováveis erros/inconsistênci as de preenchimento Federal, estadual e municipal Despesas, receitas e indicadores de cumprimento dos percentuais mínimos aplicados CNES (Cadastro Nacional de Estabelecimento s de Saúde) Desde 2000 / mensal e anual Automatizar todo o processo de coleta de dados sobre a capacidade física, serviços disponíveis, profissionais e equipes da ESF vinculados aos estabelecimento s de saúde As secretarias de saúde municipais e estaduais coletam as informações das unidades de saúde usando formulários específicos, consolidadas no nível nacional Nacional, UF, municípios e estabelecimento s Atendimento prestado, equipamentos, serviços especializados, instalações físicas, profissionais e equipes Registros Administrativos da Agência Nacional de Saúde Dados da ANS (Agência Nacional de Saúde) Desde 2003 / trimestral e anual Fornecer panorama da evolução do setor de saúde suplementar, gerando mais transparência das informações As operadoras de planos de saúde fornecem periodicamente à ANS informações cadastrais, gerenciais, demonstrativos e informações gerais Nacional, grandes regiões, UF, capital, interior, região metropolitana Beneficiários de planos privados de saúde, operadoras de planos privados de saúde, dados financeiros, assistenciais e ressarcimentos ao SUS TISS (Troca de Informações na Saúde Suplementar) 2007 / mensal Padronizar a troca de informações entre operadoras de planos de saúde e prestadores de serviços de saúde sobre os procedimentos realizados As operadoras precisam enviar mensalmente informações como demonstrativos de pagamento, de análise de contas e recursos de glosa Nacional, UF Conteúdo e estrutura, 2) Representação de conceito em saúde, 3) Comunicação, 4) Segurança e 5) Organizacional Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 123 PARTE 2: FUNDAMENTOS LÓGICOS E CONCEITUAIS Ministério da Saúde124 Capítulo 4 Naercio Menezes Filho1 Bruno Kawaoka Komatsu2 1Cátedra Ruth Cardoso do Insper, Faculdade de Administração, Economia e Contabilidade da Universidade de São Paulo e Academia Brasileira de Ciências. 2Cátedra Ruth Cardoso do Insper. RESUMO: Neste capítulo, o objetivo é colocar os conceitos fundamentais para o entendimento do que é uma avaliação de impacto e fazer um panorama da literatura empírica sobre avaliação de políticas sociais no Brasil. Em primeiro lugar, será introduzida brevemente a noção de avaliação de impacto e se discutirá o que é uma avaliação, quais são seus fundamentos e elementos centrais e quais são os motivos para fazê-la. Além disso, para mostrar o desenvolvimento dessa literatura no Brasil, será elaborado um levantamento de estudos empíricos que realizaram avaliações de impacto utilizando alguma das metodologias discutidas neste livro, as quais permitem isolar o efeito causal a partir de hipóteses de identificação. O foco será o levantamento de políticas sociais direcionadas à educação e ao mercado de trabalho e políticas federais de transferência de renda; serão interpretados os fatos estilizados e conclusões obtidas. PALAVRAS-CHAVE: Avaliação de impacto. Conceitos. Efeito causal. Avaliação de impacto de políticas públicas: racionalidade, fundamentos lógicos e experiências das políticas sociais Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 125 1 Introdução e objetivos Este capítulo caracteriza o que são avaliações de programas sociais que utilizam dados quantitativos e discute brevemente sua relevância e os fundamentos lógicos que sustentam a sua realização. Mostra também o desenvolvimento da literatura de avaliação ao trazer um levantamento de trabalhos que utilizam metodologias discutidas neste livro e que permitem isolar o efeito causal dos programas sociais analisados a partir de algumas hipóteses de identificação. Realizou-se levantamento cujo foco são três das principais políticas públicas das áreas de transferência de renda, educação e mercado de trabalho. Grandes quantidades de recursos públicos são alocadas em políticas públicas e programas sociais, em todos os anos e nas três esferas de governo, em meio a demandas crescentes da sociedade por diversos tipos de serviços e assistências. Os recursos públicos para a implementação de programas sociais no Brasil, além disso, são limitados e se tornaram ainda mais escassos em anos recentes, devido aos reflexos da pandemia da Covid-19 (ECLAC, 2020a, 2020b). Em situações como essas, líderes e gestores públicos devem tomar decisões fundamentais que afetam o bem-estar da população e responder a questões como: quais são os programas que devem continuar recebendo recursos e ser expandidos?E quais deveriam receber menos recursos ou serem encerrados? Avaliações de impacto de programas sociais podem justamente trazer evidências que contribuam para a tomada de decisões com critérios claros, as quais são fundamentalmente medidas do quanto aqueles programas foram capazes de modificar resultados de interesse em algum grupo de referência (pessoas abrangidas pelos programas ou a população no geral).1 A característica específica de uma avaliação de impacto é seu foco no efeito causal do programa em análise sobre os resultados de interesse – isolando-o dos efeitos dos outros fatores por meio de metodologias experimentais ou quase experimentais – e responde a duas questões centrais: se o programa teve algum efeito causal sobre os resultados de interesse e de quanto foi a magnitude de desses efeitos. Para além do interesse acadêmico sobre os impactos de programas específicos, as avaliações de impacto – juntamente com informações sobre o custo dos programas – permitem calcular quanto cada benefício é gerado pelo programa analisado para cada unidade de custo, ou seja, para cada R$ 1 gasto. Esses dados trazem duas informações relevantes para a tomada de decisões: quais programas valem o seu custo, isto é, dos 1 Políticas públicas voltadas à área da saúde, por exemplo, podem ser avaliadas em relação a seus efeitos sobre indicadores como aqueles descritos no capítulo 3 deste livro. Ministério da Saúde126 programas que geram benefícios quais superam os seus custos e, quando se comparam programas com objetivos semelhantes, quais entregam o maior benefício para o mesmo custo. Podem-se se usar evidências como essas para a tomada de decisões. Por exemplo, poderiam ser ampliados os programas cujos benefícios superam seus custos e que entregam mais benefícios do que programas alternativos para cada unidade de custo, enquanto poderiam ser reduzidos ou substituídos os que trazem menos benefícios do que seus custos. As avaliações podem ajudar também a se decidir sobre a manutenção de inovações de desenho de programa ou formas alternativas de se implementá-lo. Nesse sentido, as avaliações de impacto fazem parte de uma estrutura mais ampla de implementação de políticas públicas baseadas em evidências (PPBE), com o objetivo de melhorar a qualidade do gasto público, a qual tem sido incorporada ao processo de gestão das políticas federais (BRASIL, 2018). As PPBE compõem um conjunto de análises e procedimentos baseados no uso da melhor evidência disponível sobre os resultados de um programa para guiar o processo de tomada de decisão política, com os objetivos de reduzir gastos desnecessários, expandir programas inovadores e aumentar a transparência (PEW- MACARTHUR, 2014). 2 Fundamentos da avaliação de políticas Concretamente, como é possível avaliar os efeitos causais de um programa social? Diversas metodologias para dados quantitativos, experimentais e quase experimentais foram desenvolvidas para responder a essa questão e todas essas podem ser compreendidas a partir do modelo de causalidade de Rubin (SEKHON, 2007) – também chamado modelo de resultados potenciais. Nesta seção, esse modelo será brevemente descrito. Em primeiro lugar, chama-se programa social qualquer conjunto de ações integradas e articuladas do governo para produzir e ofertar bens e serviços para a população (BRASIL, 2018). Um programa é desenhado com o objetivo de modificar um conjunto de resultados de interesse em determinada magnitude por meio dos bens e serviços ofertados. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 127 Normalmente os objetivos de um programa social são alinhados a objetivos coletivos, definidos a partir da agregação de escolhas individuais (PAES DE BARROS; LIMA, 2016). Os impactos de programas sociais são estudados a partir da noção de causalidade associada à ação realizada por uma unidade de análise, para a qual gera um resultado. As unidades podem ser, entre outras, indivíduos, famílias, empresas ou mesmo municípios e estados, em determinado momento. Isso significa que o mesmo objeto físico, a exemplo de uma família, é considerado uma unidade de análise diferente em instantes diferentes do tempo. Com programas sociais em mente, pode-se considerar dois tipos de ações: um mais ativo – que é o de participar do programa em dado momento (o qual também se chama tratamento) – e um mais passivo – que seria não participar do mesmo programa naquele mesmo momento (o qual chamamos controle). Uma unidade de análise possui um resultado possível que deriva de cada uma dessas ações. A esses chamamos resultados potenciais, nome que se deve ao fato fundamental de que – em determinado momento posterior à realização da ação – somente o resultado potencial associado à ação realizada será concretizado e somente será possível observar esse resultado. Para maior precisão, para cada unidade o tratamento será representado por uma variável que indica a participação no programa social 𝑊𝑊 , o qual assumirá o valor 1 quando houve participação e valor 0 quando não houve. Além disso, o resultado realizado de cada unidade será representado pela variável numérica 𝑌𝑌 e os resultados potenciais por 𝑌𝑌! – quando houve participação – e por 𝑌𝑌" – quando não houve. O efeito causal do programa deriva-se da comparação entre os resultados potenciais ligados à participação e à não participação. Para uma unidade de análise, o efeito causal do programa é definido como: 𝑌𝑌! − 𝑌𝑌" . Isso significa que para se calcular o efeito do programa para uma unidade de análise participante seria preciso comparar o valor do resultado observado com o resultado no cenário contrafactual que teria ocorrido caso essa não tivesse participado. O resultado contrafactual, no entanto, não pode ser observado. Dessa forma, quando se quer estimar o efeito causal do programa, o problema central é o de que não é possível observar os dois potenciais resultados simultaneamente, fato também chamado problema fundamental da inferência causal. De outra forma, faltam dados (do inglês missing data) e Ministério da Saúde128 como somente se pode realizar estimações com dados observados, é preciso prever ou imputar o resultado contrafactual a partir dos dados observados de outras unidades. Quando se trabalha com várias unidades de análise, no entanto, a comparação de resultados potenciais é mais complexa, uma vez que o resultado potencial de cada unidade poderia ser alterado por cada ação das demais unidades. Para possibilitar a estimativa do efeito causal do programa com dados observados de várias unidades de forma crível, é preciso que os dados atendam a hipóteses conhecidas como hipóteses de estabilidade de valor da unidade de tratamento (do inglês stable unit treatment value assumption ou SUTVA). Essas hipóteses são externas aos dados, no sentido de que não podem ser verificadas com esses e sua justificativa demanda algum conhecimento prévio sobre o comportamento e as características da população analisada. Há duas hipóteses: i) de que os resultados potenciais para qualquer unidade não variam com a atribuição para o tratamento de outra unidade e ii) para cada unidade não há diferentes formas de tratamento ou versões de cada nível de tratamento que leve a diferentes resultados potenciais. Há vários motivos para que a primeira das hipóteses SUTVA não seja verdadeira. Por exemplo, em um programa para melhoria da qualidade da educação em algumas escolas selecionadas, os alunos das escolas do grupo de controle (escolas observadas, mas que não recebem o programa em si) podem saber que estão fora do programa, sentirem-se desfavorecidos e mostrarem motivação competitiva para superarem as notas dos alunos das escolas abrangidas pelo programa. Em alguns desses casos seria possível evitar a violação da SUTVA por meio de um desenho da intervenção emgrupos mais agregados. Se os dados atenderem à SUTVA, a análise é simplificada, porém não fica isenta do problema de dados faltantes. Então, como se pode realizar a análise na prática? Em avaliações de impactos, normalmente há dois objetos de interesse, os quais são parâmetros causais que se quer estimar: o efeito médio do tratamento (do inglês average treatment effect – ATE) e o efeito médio do tratamento entre os tratados (do inglês average treatment effect on the treated – ATT ou ATET). O ATE representa o efeito causal médio do programa na população, que seria a média das diferenças entre os resultados que teriam sido observados no cenário em que todas as unidades da população participam do programa e os resultados observados no cenário em que nenhuma unidade da população participa do programa. O ATT representa o efeito causal médio entre os que participaram do programa – a média da diferença entre os resultados dos tratados e os resultados que Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 129 teriam sido observados entre os tratados – caso esses não tivessem participado do programa. Definem-se esses parâmetros como: ATE = 𝐸𝐸(𝑌𝑌! − 𝑌𝑌") e ATT = 𝐸𝐸(𝑌𝑌! − 𝑌𝑌"|𝑊𝑊 = 1) (1) onde o operador 𝐸𝐸(⋅) representa a média ou o valor esperado na população. Na prática, para estimar esses parâmetros com dados observados, pode-se tentar estimar o parâmetro da diferença de médias dos resultados observados. No entanto, há uma diferença entre esse parâmetro e o ATE e o ATT, os quais são vieses introduzidos quando os resultados potenciais possuem alguma associação com o tratamento. De outra forma, se os resultados potenciais dos grupos tratados em média não são iguais, essa diferença faz com que haja um viés. Nesse ponto, fica claro que para haver capacidade de se estimar o ATE e o ATT sem viés, precisa-se entender como o tratamento é atribuído às unidades, ou seja, é preciso saber por que algumas unidades participam do programa e outras não. Essa forma de atribuição do tratamento é chamada de mecanismo de seleção, de acordo com o qual é preciso usar uma metodologia econométrica específica para se estimarem aqueles parâmetros. As metodologias abordadas nesse livro lidarão com diferentes mecanismos, com hipóteses específicas sobre os dados para a identificação dos efeitos dos programas. 3 Panorama de avaliações de impacto de políticas pública do Brasil Nesta seção, breve panorama da literatura de avaliação de impacto de políticas será trazido nas áreas de transferência de renda, educação e mercado de trabalho. Para cada área selecionou-se um programa federal relevante e realizou-se o levantamento de artigos e working papers que trazem avaliações de impacto. Utilizou-se como critério principal na seleção daqueles estudos o uso de metodologias que realizam comparações explícitas entre grupos de tratamento e de controle – ou de regressões que controlam por uma série de variáveis – ou seja, exercícios empíricos que fazem a comparação entre os grupos afetados ou não pela política, mantendo-se constantes uma série de características nos dois grupos.2 2 Para mais detalhes sobre a metodologia da análise de regressão ver capítulo 21 desse livro. Ministério da Saúde130 3.1 Programa Bolsa Família Entre as políticas de transferência de renda, realizou-se o levantamento de estudos que avaliam o impacto do Programa Bolsa Família (PBF) – o maior programa de transferência condicional de renda no Brasil e um dos maiores do mundo (NEVES et al., 2020). As transferências chegaram a representar entre 0,4% e 0,5% do PIB (FGV Social [...], [20-]; SOUZA, 2011) e no último mês de operação, outubro de 2021, o programa chegou a incluir 14,6 milhões de famílias (BRASIL, 2022). Criado em 2003, 3 como parte do Plano Brasil sem Miséria, o PBF unificou a gestão e a execução de programas federais de transferência de renda anteriores,4 realizada pelo antigo Ministério do Desenvolvimento Social e Combate à Fome (MDS). O PBF permaneceu em operação durante 18 anos e foi substituído em 2021 pelo Auxílio Brasil, outro programa de transferência condicional de renda.5 Para ter direito ao benefício do PBF, uma família deveria ser incluída pelos governos municipais que aderiram ao programa no Cadastro Único (Cadúnico). Além disso, o nível de renda familiar per capita das famílias deveria ser inferior à linha de pobreza extrema do programa (R$ 89 em 2021) ou inferior à linha de pobreza (R$ 178 em 2021)6 e incluir crianças e jovens de até 17 anos de idade, nutrizes ou grávidas. As famílias incluídas como extremamente pobres receberiam um benefício básico (de R$ 89 mensais em 2021). Além disso, todas as famílias pobres ou extremamente pobres poderiam receber um benefício variável para cada criança ou jovem de até 15 anos de idade, nutriz ou grávida, até o limite de cinco benefícios por família (cada benefício de R$ 41 em 2021). A partir de 2008, as famílias compostas por jovens de 16 ou 17 anos de idade poderiam ainda receber um benefício variável para cada jovem (de R$ 48 em 2021), até o limite de dois por família. A informação do Cadúnico era atualizada e verificada a cada dois anos e as famílias poderiam sair do PBF caso recebessem transferências de outros programas ou não mais se encaixassem no perfil do PBF. 3 O PBF foi criado por meio da Medida Provisória nº 132 e instituído em 2004 por meio da Lei nº 110.836 de 9 de janeiro de 2004. O programa foi posteriormente regulamentado por vários decretos ao longo dos anos. 4 O Programa de Renda Mínima vinculada à Educação (também chamado de Bolsa Escola Federal), o Programa Nacional de Acesso à Alimentação (também chamado de Cartão Alimentação), o Programa Nacional de Renda Mínima vinculado à Saúde (também chamado de Bolsa Alimentação), o Programa Auxílio Gás e, a partir de 2005, também o Programa de Erradicação do Trabalho Infantil (PETI). 5 O PBF foi extinto em novembro de 2021 pelo Decreto nº 10.852 de 2021, que instituiu o Auxílio Brasil. 6 Os valores nominais das linhas de pobreza e pobreza extrema foram sendo atualizados ao longo dos anos. Para valores até 2019, veja Neves et al. (2020, p. 5). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 131 Para permanecerem no programa, as famílias deveriam cumprir condicionalidades de educação e saúde para as crianças e grávidas, cujo objetivo de longo prazo era o de permitir a geração de renda pelas crianças quando chegassem à fase adulta, por meio do investimento em capital humano (TAVARES et al., 2009). As crianças e jovens de até 17 anos de idade deveriam ser matriculados em escolas e manterem a presença mínima de 85% para os jovens de até 15 anos e de 75% para os jovens de 16 ou 17 anos. As crianças de até 7 anos deveriam ser levadas a postos de saúde para as equipes de saúde acompanharem o desenvolvimento, manterem em dia as vacinas recomendadas e terem o peso e altura medidas. As gestantes deveriam realizar consultas pré-natais. Caso as famílias não cumprissem as condicionalidades, o benefício poderia ser cancelado após a quinta ocorrência de descumprimento, dentro de um período limitado. Como o PBF não foi implementado com o planejamento de uma avaliação de impacto randomizada,7 as avaliações dos seus impactos dependem de metodologias quase experimentais, baseadas em particularidades do desenho do programa ou que dependem diretamente da hipótese de seleção em observáveis. Há longa literatura de avaliação sobre esse programa, a qual examina seus efeitos sobre diversas dimensões do comportamento e bem-estar dos beneficiários e usa metodologias e bases de dados variadas. Os estudos foram separados por áreas temáticas nas subseções seguintes. 3.1.1 Pobreza e desigualdade de renda Apesar de o objetivo principal do PBF ser o alívio imediato da pobreza e de haver diversos estudos descritivos sobre a relaçãoentre o PBF, a pobreza e a desigualdade de renda (NEVES et al., 2020) há poucos estudos sobre o tema que usam metodologias com grupos de controle. Desses, dois são relevantes e indicam efeitos do PBF no sentido de reduzir a pobreza. Denes, Komatsu e Menezes-Filho (2018) utilizam um painel de municípios e mostram que um aumento de R$ 1.000 no valor do benefício per capita do PBF está associado a uma redução de 23 pontos percentuais na taxa de pobreza. Os resultados sobre a desigualdade são menos conclusivos porque dependem da medida de dispersão de renda utilizada. Cavalcanti, Costa e Silva (2013) usam dados individuais e encontram efeitos no 7 Para discussão mais detalhada sobre metodologias experimentais, ver o capítulo 10 desse livro. Ministério da Saúde132 sentido de reduzir a probabilidade de ser pobre na região nordeste, porém esses efeitos possuem baixas magnitudes. 3.1.2 Consumo Outro ramo da literatura investiga como o PBF impacta o consumo e a nutrição das famílias. O aumento da renda disponível pode aumentar o gasto de consumo das famílias, porém, essa relação não é imediata, considerando-se que essas poderiam alterar outros comportamentos, como a oferta de trabalho e a poupança. Além do nível do consumo, o PBF poderia alterar sua composição, como o aumento da aquisição de bens não essenciais e que não se relacionam com a redução da fome ou desnutrição (OLIVEIRA et al., 2007). A maioria dos estudos encontrados sobre os efeitos do PBF são relacionados ao consumo usa dados das Pesquisas de Orçamentos Familiares (POF) do Instituto Brasileiro de Geografia e Estatística (IBGE) e todos utilizam metodologias de pareamento por escore de propensão (propensity score matching ou PSM).8 Apesar de alguns estudos encontrarem efeitos negativos do PBF sobre o consumo no geral ou em grupos específicos (OLIVEIRA et al., 2007; DUARTE; RODRIGUES, 2019), os estudos têm encontrado mais efeitos no sentido de aumentar o consumo no geral, especialmente com alimentos (DUARTE; SAMPAIO B.; SAMPAIO Y., 2009), alguns deles por utilizarem metodologias com maior controle por características não observáveis (KAMAKURA; MAZZON, 2015; ROCHA; MATTOS; COELHO, 2018; ROCHA et al., 2016). Apesar do aumento de valores absolutos, alguns estudos encontram redução da importância relativa dos gastos com alimentos (ROCHA; MATTOS; COELHO, 2018; ROCHA et al., 2016). Outro ramo da literatura avança e investiga os efeitos do PBF sobre a qualidade do consumo alimentar das famílias. No geral, os estudos concluem que o PBF aumenta a diversificação alimentar, contudo, usam medidas diferentes para a qualidade geral da alimentação e não chegam a consenso. Almeida, Mesquita e Batista (2016) não encontram efeitos do PBF sobre o consumo de uma cesta de alimentos mais saudáveis (medida pelo índice healthy food diversity). Outros estudos concluem que o PBF aumenta o consumo de refrigerantes entre crianças (CARMO et al., 2016) e 8 A metodologia de PSM consiste, em linhas gerais, em construir um grupo de comparação a partir das famílias não beneficiárias que possuem características observáveis semelhantes às das beneficiárias. Ver capítulo 11 desse livro para maiores detalhes. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 133 que esse está associado a uma redução do consumo de alimentos ricos em cálcio, porém também se associa ao aumento do consumo de leite em pó e leite não pasteurizado, o que traz maior risco de infecção por bactérias (CARVALHO; CARVALHO, 2015). Por outro lado, alguns estudos estimam impactos positivos do PBF sobre o consumo de itens alimentares associados a uma dieta saudável (COELHO; MELO, 2017; COSTA; BRAGA; TEIXEIRA, 2017; BAPTISTELLA, 2012), como alimentos in natura ou pouco processados e ingredientes culinários (MARTINS; MONTEIRO, 2016; SPERANDINO et al., 2017). 3.1.3 Saúde e nutrição Além do aumento de renda, as condicionalidades do PBF podem representar fatores importantes para a mudança de comportamento dos beneficiários e para geração de alterações em dimensões de saúde e nutrição. Há evidências de que as condicionalidades de saúde estão sendo parcialmente cumpridas. Apesar de estudos anteriores trazerem conclusões diferentes (OLIVEIRA et al., 2007; BRAUW et al., 2012; ANDRADE et al., 2012), a evidência atual mais robusta é a de que a vacinação de crianças é impactada positivamente entre as crianças de até 6 anos de idade, mas esse impacto não é suficiente para que a carteira de vacinação esteja em dia (KERN; VIEIRA; FREGUGLIA, 2018). Além disso, a evidência indica ausência de efeitos sobre a probabilidade de atender ao mínimo de consultas de pré-natal segundo critério do Sistema Único de Saúde (OLIVEIRA et al., 2007), porém há evidência de que o PBF aumenta o número de consultas de pré-natal (BRAUW et al., 2012) e reduz o número de mães que não comparece a consulta alguma de pré- natal (RASELLA et al., 2021). Há avaliações de efeitos do PBF também sobre outros resultados de saúde, utilizando-se dados agregados no nível de municípios e modelos de efeitos fixos para dados em painel. Há consenso sobre os efeitos do PBF no sentido de reduzir a mortalidade infantil ou de crianças de menos de 5 anos de idade, especialmente sobre a mortalidade devido à desnutrição ou diarreia e na presença da Estratégia Saúde da Família (SHEI, 2013; SILVA; PAES; SILVA; 2018; MALERBA, 2018; SILVA; PAES, 2019; RASELLA et al., 2013). Esses resultados são confirmados em estudo com uma nova base de dados no nível da pessoa (RAMOS et al., 2021), especialmente em municípios com menor renda ou com melhor qualidade de gestão do PBF. Há ainda evidência de efeito negativo do PBF sobre a mortalidade materna Ministério da Saúde134 e positivo sobre a proporção de partos em hospitais (RASELLA et al., 2021). Não há, porém, evidências de efeitos sobre o peso ao nascer (BRAUW et al., 2012). Outros resultados de saúde são relacionados a doenças específicas. Estudos recentes indicam que o PBF reduz a incidência de tuberculose, aumenta a probabilidade de cura de tuberculose e de hanseníase e a taxa de adesão ao tratamento de hanseníase (NERY et al., 2017; TORRENS et al., 2015; PESCARINI et al., 2020). A associação entre o PBF e a incidência ou cura de doenças pode estar relacionada tanto ao aumento da quantidade e variedade de alimentos consumidos, à maior exposição dos beneficiários ao sistema de saúde – via condicionalidades – ou à redução da migração, que facilitaria a adesão ao tratamento. Há ainda evidência de que o PBF reduz a taxa de suicídio e interfere diretamente sobre o vínculo entre pobreza e saúde mental (ALVES; MACHADO; BARRETO, 2019). Estudos sobre nutrição encontram impactos do PBF no sentido de diminuir a insegurança alimentar (MELO; STARZEC; GARDES, 2013) e melhorar o estado nutricional de crianças e jovens, ao aumentar medidas de altura e de adequação do peso (BAPTISTELLA, 2012; BRAUW et al., 2012; NETO; BARRIEL, 2017). Os efeitos sobre o estado nutricional podem estar relacionados não somente às mudanças de consumo de alimentos como também às condicionalidades do programa.9 3.1.4 Educação Adicionalmente, um longo ramo da literatura estudou os efeitos do PBF sobre resultados escolares, os quais podem estar relacionados à exigência do programa sobre a frequência escolar mínima de crianças e jovens. No geral, as avaliações utilizam diferentes recortes de idade, porém as evidências indicam efeitos positivos 9 Vários dos estudos discutidos nesta subseção utilizam indicadores e bases de dados discutidos no capítulo 3 desse livro. Estudos que usam indicadores agregados de mortalidade, como a taxa de mortalidade por suicídio (ALVES; MACHADO; BARRETO, 2019), taxa de mortalidade de crianças menores de 5 anos (RASELLA et al., 2013; RASELLA et al., 2021; MALERBA, 2018) ou a taxa de mortalidade infantil (SHEI, 2013) utilizam dadosdo Sistema de Informação sobre Mortalidade (SIM). Os estudos que calculam taxas de mortalidade infantil ou de crianças também utilizam dados do Sistema de Informação sobre Nascidos Vivos (SINASC). Outros estudos usam dados do Sistema de Informação de Agravos de Notificação (Sinan) para construir o indicador agregado de incidência de tuberculose (NERY et al., 2017) ou para construir uma variável indicadora de cura de tuberculose (TORRENS et al., 2015). Há ainda estudos cujas fontes de dados não são tipicamente de estudos de saúde, mas que utilizam indicadores de saúde como o IMC cf. Batistella (2012), com dados da POF/IBGE) ou medidas antropométricas cf. Neto e Barriel (2017), com dados da POF/IBGE, e Brauw et al. (2012), com dados das pesquisas de linha de base do PBF). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 135 sobre as matrículas na escola e negativos sobre a taxa de abandono e a distorção idade-série (OLIVEIRA et al., 2007; CAVALVANTI; COSTA; SILVA, 2013; GONÇALVES; MENIUCCI; AMARAL, 2017; AMARAL; GONÇALVES; WEISS, 2018). 10 Os resultados sobre frequência à escola e atraso escolar se mantêm, mesmo com o controle por outras transferências governamentais (COSONATO; CORRÊA; PAIVA, 2018; DENES; KOMATSU; MENEZES FILHO, 2018). Há impactos positivos ainda sobre uma medida de tempo na escola (NERI; OSÓRIO, 2019) e estimativas de efeitos negativos sobre notas, os quais podem estar relacionados ao aumento das matrículas e à correção de fluxo (SIMÕES; SABATES, 2014). Há menos consenso sobre outros indicadores educacionais e evidências de que o PBF reduz a falta às aulas (NERI; OSÓRIO, 2019; SCHAFFALAND, 2011; OLIVEIRA et al., 2007); alguns estudos trazem estimativas não significantes (RIBEIRO; CACCIAMALI, 2012; FAHEL; FRANÇA; MORAES, 2011). Isso também ocorre a respeito das taxas de reprovação: evidências de efeitos negativos e alguns estudos com estimativas não significantes (JULIÃO; CHEIN, 2015; BRAUW et al., 2012; KERN; VIEIRA; FREGUGLIA, 2017; BATISTA; OLIVEIRA; SOARES, 2013). Sobre as taxas de aprovação há resultados positivos e negativos, no entanto, estudos mais recentes não encontram impactos significantes (OLIVEIRA et al., 2007; BRAUW et al., 2012; SIMÕES; SEBATES, 2014; CAMARGO; PAZELLO, 2014; BRAUW et al., 2015; KERN; VIEIRA; FREGUGLIA, 2017; CASONATO; CORRÊA; PAIVA, 2018; PAIVA et al., 2021). Os controles por características observáveis e os métodos de pareamento também variam entre os estudos, o que se reflete nas magnitudes variadas encontradas por cada autor. A análise de heterogeneidade de efeitos permite insights sobre o funcionamento do programa. De forma geral, as avaliações indicam efeitos com maior magnitude nas regiões com níveis socioeconômicos menores, como as regiões norte e nordeste e as áreas rurais (BRAUW et al., 2015; FAHEL; FRANÇA; MORAES, 2011; SCHAFFLAND, 2011; KERN; VIEIRA; FREGUGLIA, 2017) ou com níveis piores de indicadores educacionais (BARRIENTOS; DEBOWICZ; WOOLARD, 2016). Além disso, os efeitos sobre a frequência escolar são mais intensos entre os jovens com 10 As taxas de aprovação e de abandono são calculadas em relação ao total de matrículas no início do ano. A distorção idade-série é a proporção de crianças e jovens com atraso escolar dentro de algum grupo de idade ou grau escolar. O atraso escolar normalmente é definido como a situação em que a criança possui dois anos a mais do que a idade ideal mínima para estar em cada série. Ministério da Saúde136 maior idade (BRAUW et al., 2015; FAHEL; FRANÇA; MORAES, 2011), porém os efeitos sobre as faltas às aulas são mais intensos entre os mais jovens (SCHAFFLAND, 2011). Em relação à heterogeneidade dos efeitos sobre frequência escolar por sexo, a literatura não encontra resultados convergentes. Alguns estudos encontram efeitos significantes somente entre meninas (BRAUW et al., 2015; MELO; DUARTE, 2010), enquanto outros não encontram diferenças por sexo ou encontram efeitos mais intensos entre meninos (SCHAFFLAND, 2011; FAHEL; FRANÇA; MORAES, 2011). Há evidências ainda de atenuação dos efeitos do PBF sobre abandono escolar ao longo do tempo (AMARAL; MONTEIRO, 2013) e sobre notas (SIMÕES; SABATES, 2014). 3.1.5 Alocação de tempo e mercado de trabalho As transferências de renda do PBF também podem afetar as decisões sobre a oferta de trabalho dos domicílios e de alocação do tempo de jovens entre os estudos e o trabalho. Como uma fonte de renda não relacionada ao trabalho, o PBF poderia ter um efeito renda no sentido de reduzir a oferta de trabalho de adultos ou crianças ou de somente um desses grupos. Outra preocupação é a de que as transferências também poderiam levar as famílias a escolherem trabalhos informais, cujo rendimento não fosse facilmente verificável pelo governo (BARBOSA; CORSEUIL, 2014). Além disso, a condicionalidade de frequência mínima à escola também poderia atuar no sentido de reduzir o tempo de trabalho das crianças e, além disso, aumentar a oferta de trabalho das mães, pela redução no tempo de cuidado dos filhos (TAVARES, 2010). Relativamente à alocação de tempo dos jovens entre estudos e trabalho, os resultados obtidos referem que o PBF atua no sentido de aumentar as probabilidades de crianças e jovens de somente estudarem – ou de estudarem e trabalharem – e diminuir as probabilidades de não estudarem e não trabalharem (jovens nessa situação também são chamados de “nem-nem”) (CACCIAMALI; TATEI; BATISTA, 2010; ARAÚJO; RIBEIRO; NEDER, 2010; SILVEIRA; HORN; CAMPOLINA, 2013; CHITOLINA; FOGUEL; MENEZES FILHO, 2016; VASCONCELOS et al., 2017). Os resultados sobre a alocação de somente trabalharem não encontram consenso. Quanto à questão sobre a redução da oferta de trabalho de adultos, revisão de literatura de Oliveira e Soares (2013) conclui que o PBF gera maior participação no mercado de trabalho, porém com menos procura por trabalho. Entre as mulheres, Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 137 cuja oferta de trabalho é mais elástica às transferências, há efeitos pequenos de redução da participação no mercado de trabalho, o que pode representar mais tempo de cuidado com os filhos. Há ainda evidências de efeito renda negativo sobre a oferta de trabalho de adultos e mães, porém um efeito positivo de participar do programa devido às condicionalidades (TAVARES, 2010; TEIXEIRA, 2010). Na literatura mais recente, a maioria dos estudos levantados mantém as conclusões dos estudos anteriores (BRAUW et al., 2015; FREGUGLIA; KERN; VIEIRA, 2018). Evidência recente mostra ainda que o PBF tem efeito no sentido de aumentar a duração dos vínculos de trabalho formais (SANTOS et al., 2017). Há estudos que encontram efeitos negativos do PBF nas variáveis de trabalho, analisando-se variáveis agregadas para famílias e domicílios. Dois desses examinam os efeitos do PBF sobre quantis da distribuição de horas trabalhadas e rendimentos do trabalho e encontram efeitos negativos sobre percentis relativamente baixos até os mais elevados (CAVALCANTI et al., 2016; COSTA et al., 2018). 3.1.6 Outros resultados Há ainda estudos que investigam os efeitos sobre fecundidade, crime e crescimento da economia. Os efeitos sobre fecundidade decorrem da preocupação sobre o possível incentivo das regras do PBF a ter mais filhos, porque, apesar de cada filho adicional representar um aumento do investimento em capital humano, o programa faria uma redução de custo por filho (CECHIN et al., 2015; ROCHA, 2018). Sobre essa questão, há consenso entre os estudos que examinaram esses efeitos com dados dos anos iniciais do programa (SIGNORINI; QUEIROZ, 2011; SIMÕES; SOARES, 2012; ROCHA, 2018). No entanto, estudo com dados mais recentes encontra efeitos positivos sobre a probabilidade de ter o segundo filho entre famílias pobres ou extremamente pobres, embora com magnitude baixa (CECHIN et al., 2015).É possível que os efeitos sobre o comportamento de fecundidade demorem mais para se realizarem, devido ao tempo necessário para a gradual compreensão do funcionamento e regras do programa pela população. O PBF pode ainda ter efeitos sobre o comportamento criminal entre jovens, por intermédio dos efeitos sobre frequência à escola e alocação de tempo sem estudos Ministério da Saúde138 e sem trabalho. Ainda há poucos estudos nessa área, porém Chioda, Mello e Soares (2016) encontram efeitos negativos sobre a ocorrência de crimes em torno de escolas, utilizando-se de uma metodologia robusta de variáveis instrumentais e efeitos fixos. Machado et al. (2018) também encontram efeitos negativos do PBF sobre taxa de homicídios e hospitalizações por causas violentas em dados municipais. Por fim, alguns estudos consideram os efeitos macroeconômicos do PBF e procuram estimar os impactos do programa sobre o crescimento do PIB per capita dos municípios e sobre a estrutura produtiva. As transferências do PBF para o alívio imediato de famílias pobres ou extremamente pobres poderiam gerar efeitos de segunda ordem sobre as empresas e empregos nos municípios pelo aumento do consumo. Os resultados na literatura indicam efeitos positivos do PBF sobre o PIB per capita e a renda das famílias (DENES; KOMATSU; MENEZES FILHO, 2018) e aumento da atividade industrial leve, atividades informais e de serviços de baixa produtividade (ROUGIER; COMBARNOUS; FAURÉ, 2018). 3.2 Fundeb Nesta seção, examinam-se avaliações de impacto do programa de financiamento educacional instituído com o Fundeb (Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais da Educação), anteriormente chamado Fundef (Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério), um dos mais importantes instrumentos para a redução da desigualdade de recursos entre as redes da educação básica dos municípios e estados no Brasil. O Fundeb foi criado com caráter temporário (mantido de 1998 a 2006),11 como uma solução de financiamento no contexto de correção de fluxo do ensino fundamental no início dos anos 1990 e constitui uma série de fundos (uma para cada unidade federativa) formados a partir de transferências entre entes federativos e com regras de uso dos recursos disponíveis para financiar a educação. Os estados e municípios transferem parcelas de suas receitas tributárias e das transferências federais do Fundo de Participação dos Estados (FPE) e dos Municípios (FPM) para os fundos dos respectivos estados. Há então a redistribuição dos recursos dentro de cada 11 O Fundef foi instituído pela Lei nº 9.424 de 1996. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 139 estado, de acordo com o número de matrículas, com pesos diferentes para cada etapa e modalidade de ensino. O governo federal, então, realiza uma complementação de recursos direcionada aos estados com os menores níveis de arrecadação por aluno.12 Os recursos do Fundef tinham origem em percentuais de receitas tributárias e de transferências federais13 e eram direcionados para gastos no ensino fundamental regular dos estados e municípios. A instituição do Fundeb14 trouxe mais recursos 15 e expandiu a destinação desses a todos os níveis da educação básica, incluídas modalidades não regulares. Os governos estaduais e municipais podem gastar os recursos em todos os níveis e modalidades da educação básica de forma livre, desde que 60% dos valores sejam gastos com salários de professores da rede pública em atividade e desde que não sejam gastos com itens como programas suplementares de alimentação e outras formas de assistência social, obras de infraestrutura, salários de profissionais em desvio de função (e outros itens especificados pelo Artigo 71 da Lei 9.394 de 1996). Antes da criação do Fundef, o financiamento educacional de estados e municípios dependia inteiramente de sua capacidade de arrecadação (GORDON; VEGAS, 2004), o que contribuía para a manutenção da desigualdade entre regiões. O Fundeb teve vigência entre 2007 e 2020 e foi substituído pelo Novo Fundeb,16 que trouxe algumas alterações no sentido de aumentar os percentuais de contribuição e alterar as regras de distribuição. A literatura da avaliação sobre o Fundef e o Fundeb, de modo geral, explora a variação gerada pelos programas sobre os gastos educacionais de governos municipais ao longo do tempo. As regras do programa geram modificações daqueles gastos que no primeiro ano de implementação não eram previsíveis nem relacionados com as preferências locais que os determinavam (ESTEVAM, 2015; MENEZES FILHO; PAZELLO, 2007; CHAUVIN, 2018). Além disso, o desenho dos programas permite o uso de variáveis instrumentais (GORDON; VEGAS, 2004; CRUZ; SILVA, 2000; KOSEC, 2011)17 e a comparação entre os municípios que 12 Os valores arrecadados pelos estados com os menores valores por aluno e a redistribuição dos recursos federais determinam o valor mínimo que deve ser gasto por estudante. Para mais detalhes, ver Hirata, Melo e Oliveira (2020). 13 Os recursos tinham como origem percentuais das receitas tributárias do ICMS (Imposto sobre Circulação de Mercadorias e Serviços), do IPI (Imposto sobre Produtos Industrializados) proporcional às exportações, além de percentuais dos Fundos de Participação dos Estados (FPE) e dos Municípios (FPM). 14 O Fundeb foi instituído pela Emenda Constitucional nº 53 de 2006 e regulamentado pela Lei 11.494 de 2007 e pelo decreto 6.253 de 2007. 15 O Fundeb é composto por parcelas do ICMS, ITR (Imposto sobre a Propriedade Rural), ITCMD (Imposto de Transmissão Causa Mortis e Doação), FPE, FPM, IPVA (Imposto sobre Propriedade de Veículos Automotores), IPI exp. e Desoneração de Exportações. 16 O Novo Fundeb foi instituído pela Emenda Constitucional 108 de 2020 e regulamentado pela Lei 14.113 de 2020. 17 Para mais informações sobre a metodologia de variáveis instrumentais, veja o capítulo 14 deste livro. Ministério da Saúde140 ganharam ou perderam recursos com a redistribuição gerada pelos programas (MENEZES FILHO; PAZELLO, 2007; CRUZ, 2018). Os estudos se concentram sobre a avaliação de dois conjuntos de variáveis, o primeiro dos quais refere-se a resultados educacionais, como a taxa de matrículas, indicadores de fluxo e o desempenho nas notas; o segundo são indicadores relativos a como os governos municipais realizam gastos educacionais. A maioria dos estudos encontra efeitos do Fundef/Fundeb no sentido de aumentar as matrículas e melhorar o desempenho dos alunos de escolas públicas em exames no ensino fundamental e no ensino médio (GORDON; VEGAS, 2004; MENEZES FILHO; PAZELLO, 2007; ANDRADE; PINTO, 2014; SILVEIRA et al., 2017; HADDAD; FREGUGLIA; GOMES, 2017; CRUZ; ROCHA, 2018). Alguns estudos encontram ainda efeitos positivos de fatores que afetam o aprendizado dos alunos, como o número de professores dedicados ao EF e a proporção de professores do EF com ES completo em escolas públicas (FRANCO; MENEZES FILHO, 2011). No que se refere às notas, há menos convergência em relação à magnitude dos efeitos (HADDAD; FREGUGLIA; GOMES, 2017) e aos impactos sobre desigualdades (SILVEIRA et al., 2017; POLITI; REIS, 2019). Além disso, não há consenso sobre os efeitos sobre os salários dos professores. Alguns estudos trazem estimativas positivas (MENEZES FILHO; PAZELLO, 2007; ANDRADE; PINTO, 2014), porém há evidência recente de que aqueles efeitos foram significativos apenas entre os municípios que ganharam recursos com a redistribuição e que – de maneira geral – os recursos foram gastos com a contratação de professores, sem aumento dos salários (CRUZ, 2018). Além das escolas públicas, há evidência de que os programas reduzem a participação das escolas privadas nas matrículas, por intermédio de transferências de alunos (ESTEVAN, 2015).Em relação aos efeitos sobre indicadores de fluxo, a literatura mais recente tem encontrado resultados de melhoria do fluxo escolar com o Fundef/Fundeb. Apesar de resultados iniciais não conclusivos (FRANCO; MENEZES FILHO, 2011), há evidências de efeitos negativos do Fundeb sobre a distorção idade-série (CRUZ; ROCHA, 2018) e de que desvios dos recursos daquele programa por corrupção aumentam as taxas de abandono e de reprovação (FERRAZ; FINAN; MOREIRA, 2012). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 141 A exposição de crianças ao Fundeb gerou ainda efeitos positivos sobre escolaridade e salários quando se tornaram adultas, porém em consequência da migração e não do aumento do capital humano (CHAUVIN, 2018). Além disso, o programa gerou efeitos negativos sobre mercados de trabalho locais, os quais indicam aumento da oferta de mão de obra qualificada maior do que a demanda. O outro conjunto de resultados estudados são indicadores sobre a forma como os municípios realizam os gastos em educação. Os estudos convergem em relação à constatação de que o aumento dos recursos devidos ao Fundef/Fundeb gera aumento mais do que proporcional nos gastos em educação, especialmente quando comparado a outros tipos de transferência (GORDON; VEGAS, 2004; ARVATE; ENLINSON; ROCHA, 2015; MATTOS; POLITI; YAMAGUCHI, 2018; CRUZ; SILVA, 2020). Além disso, Kosec (2011) estuda sobre o que motiva governos municipais semelhantes a gastarem mais em áreas com substitutos privados (educação e saúde). Esse artigo inaugura uma estratégia de variável instrumental simulada – derivada das regras do Fundef – também utilizada por outros estudos posteriormente e a qual conclui que municípios com níveis maiores de desigualdade e da mediana da renda são menos propensos a gastar em educação e mais propensos a gastar em infraestrutura, em razão de que nesses municípios menos pessoas apoiam os gastos em educação pública e pessoas pobres possuem menos influência sobre os políticos. 3.3 Desoneração da folha de pagamentos Nesta seção realizou-se o levantamento de avaliações sobre a política de desoneração da folha de pagamento, cujo objetivo foi gerar impactos em empresas e no mercado de trabalho. A política de desoneração da folha de pagamento foi criada como parte central do conjunto de ações de estímulo ao crescimento econômico Plano Brasil Maior, lançado em 2011 18 com os objetivos gerais de aumentar a competitividade das empresas nacionais, investimentos e desenvolvimento tecnológico, com a redução da assimetria entre o produto nacional e o importado, o aumento das exportações e a formalização do mercado de trabalho. 18 A política de desoneração da folha de pagamentos foi incluída na Medida Provisória (MP) 540 de 2011, transformada na Lei 12.546 de 2011. Aquela política foi posteriormente alterada por diversas leis e decretos. Ministério da Saúde142 Concretamente a política de desoneração substituiu a contribuição obrigatória do empregador – Contribuição Previdenciária Patronal (CPP) – ao Regime Geral de Previdência Social (RGPS) por um imposto sobre receitas brutas, excluídas as receitas de exportação (então isentas da contribuição). Os trabalhadores do setor privado formal devem contribuir obrigatoriamente para o RGPS; o pagamento da contribuição é dividido entre o trabalhador e o empregador – a CPP era de 20% do valor da folha de pagamento. A política de desoneração substitui essa contribuição por um imposto sobre as receitas brutas, exceto de exportações, com alíquotas que inicialmente eram de 1,5% e 2,5%, respectivamente para os setores industriais e de serviços.19 A adesão a essa política era obrigatória entre as empresas dos setores e produtos selecionados e que não operavam pelo Simples Nacional. A desoneração inicialmente tinha uma focalização desenhada para induzir competitividade nos setores e produtos mais intensivos em trabalho e com maior exposição à concorrência externa.20 Essa focalização, no entanto, perdeu-se com a expansão do programa para diversos setores e incluiu setores não exportadores (AFONSO; BARROS, 2013). A desoneração de folha tinha validade até 2014, prazo que foi expandido, porém com modificações nas regras do programa. A partir de 2015 a adesão se tornou voluntária e, a partir de 2017, a abrangência setorial foi reduzida para os setores de transportes, construção civil e comunicações. A nova versão do benefício seria encerrada no fim de 2021, mas foi ampliada por mais dois anos.21 Apesar de a seleção para o tratamento representado pela política de desoneração não ser aleatória, a literatura de avaliação daquela política explorou o fato de que as suas regras colocam critérios claros de seleção por setores e produtos e pelo regime de tributação para identificar seus impactos. No geral, os estudos comparam empresas ou clusters incluídos e não incluídos na política ao longo do tempo, com a metodologia de diferenças em diferenças ou de triplas diferenças, para estudar os efeitos sobre o emprego e os salários no setor formal da economia.22 Os resultados 19 As alíquotas foram reduzidas para respectivamente 1% e 2% no primeiro ano de vigência da política pela Lei 12.715 de 2012. 20 Os setores inicialmente selecionados foram de indústria de confecção, de artefatos de couro e calçados, serviços de tecnologia da informação, tecnologia da informação e comunicação e serviços de call center cf. Dallava ( 2014). 21 Expansão instituída pela Lei 14.288 de 2021. 22 Os estudos levantados exploram essas variações com estimações pelo método de diferenças em diferenças. Maiores detalhes sobre essa metodologia podem ser encontrados no capítulo 12 deste livro. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 143 das avaliações têm convergido para a ausência de efeitos significantes da política sobre o emprego e salários, embora estudos tenham encontrado efeitos positivos. O trabalho de Carmo (2012) usa dados no nível de pessoas de 2011 e 2012 e que incluem tanto o mercado formal quanto o informal para avaliar os efeitos da política de desoneração. A autora não encontra efeitos significantes nem sobre o grau de formalização nem sobre a realocação da mão de obra entre atividades econômicas. Os demais estudos utilizam dados somente do mercado formal, provenientes da Relação Anual de Informações Sociais (RAIS), atualmente divulgados pela Secretaria Especial de Trabalho do Ministério da Economia. Com dados sem identificação por empresa, Dallava (2014) trabalha com cluster de empresas e define como grupo de tratamento os clusters de setores incluídos na desoneração e como grupo de controle os clusters de setores não incluídos, ambos formados por empresas que não operavam no Simples Nacional. A autora não encontra efeitos sobre emprego e salários nos setores industriais, mas estima efeitos positivos nos serviços de tecnologia da informação e negativos no setor de hospedagem e alimentação. São possíveis problemas de identificação daquele estudo que os controles utilizados são possivelmente impactados pela política de desoneração (SCHERER, 2015) e os contrafactuais na estimação do setor de tecnologia da informação não são bons (BAUMGARTNER, 2017). Scherer (2015) procura resolver esses problemas utilizando-se de outro contrafactual – as empresas que operavam no Simples. O autor trabalha com dados no nível de empresa, de 2010 a 2012, e encontra efeitos positivos sobre o emprego (entre 14% e 16%), horas trabalhadas (entre 8% e 10%) e os salários (entre 2% e 2,3%). As estimativas, no entanto, podem novamente apresentar problemas de identificação, considerando-se que o autor não encontra tendências paralelas entre os grupos de tratamento e controle no período pré-tratamento (GARCIA; SACHSIDA; CARVALHO, 2018) e as empresas do Simples podem também ter sido indiretamente afetadas peladesoneração (BAUMGARTNET, 2017). Outra contribuição relevante é a de Baumgartner (2017), que usa dados de 2009 a 2014, diferencia sua análise entre as empresas desoneradas pelo critério do setor de atividade ou pelo critério do produto produzido e avalia diretamente os efeitos sobre as empresas do Simples. O autor não encontra efeitos significativos entre empresas incluídas devido aos produtos, porém, ao analisar as empresas incluídas Ministério da Saúde144 em função do setor encontra efeitos positivos sobre o emprego entre as empresas que foram desoneradas (7,5%). Comparando-se empresas do Simples de setores afetados com as de setores não afetados, o autor encontra efeitos negativos e indica possível migração das empresas do Simples para o regime comum de tributação. Garcia, Sachsida e Carvalho (2018) procuram superar as dificuldades da metodologia de diferenças em diferenças e utilizam um modelo de triplas diferenças, cuja hipótese de identificação é relativamente mais fraca. Os autores comparam setores afetados e não afetados, entre empresas do regime comum e do Simples, ao longo do tempo, e encontram efeitos não significantes sobre o emprego no geral e efeitos positivos fracos em algumas especificações. Em resumo, não há evidência consolidada de efeitos positivos da desoneração da folha de pagamento sobre o emprego formal e os salários. Em contrapartida, as estimativas de custos são relativamente elevadas (AFONSO; BARROS, 2013; BARROS; AFONSO, 2013; DINIZ; AFONSO, 2014). Diniz e Afonso (2014) estimam custos de R$ 22,71 bilhões em 2004, cerca de 0,46% do PIB. Como comparação, esse valor é semelhante ao custo do PBF em anos mais recentes (FGV Social, s.d.; SOUZA, 2011). 4 Conclusão Avaliações de impacto de programas sociais são ferramentas importantes para a tomada de decisão sobre a alocação de recursos públicos – em meio à restrição desses recursos, especialmente nos últimos anos – e à crescente demanda da sociedade. A decisão sobre a alocação de recursos afeta diretamente o bem-estar de grupos de cidadãos e as avaliações podem contribuir trazendo transparência às decisões. Neste capítulo descrevem-se alguns fundamentos lógicos – o modelo de causalidade de Rubin – e hipóteses fundamentais para o trabalho com dados orientado para a realização de avaliações de impacto. Foram realizados também levantamentos de avaliações sobre três políticas relevantes nas áreas de transferências de renda, educação e mercado de trabalho: o Programa Bolsa Família (PBF), o Fundeb e a política de desoneração da folha de pagamentos. As avaliações trazem evidências de que o PBF afeta o comportamento dos beneficiários não somente pelo aumento na renda familiar, mas também pelas condicionalidades de educação e saúde das crianças, jovens e gestantes das famílias que Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 145 recebem o benefício. Há ainda efeitos de segunda ordem sobre as economias locais, os quais podem impactar a população de modo geral. Verificou-se extensa produção de avaliações de impactos sobre áreas como pobreza, desigualdade de renda, consumo, nutrição, saúde, educação, alocação de tempo dos jovens, fecundidade, crimes e crescimento econômico. A literatura de avaliação sobre o Fundeb também encontra efeitos de melhorar o desempenho em exames e o fluxo de estudantes de ensino fundamental e ensino médio. Há também impactos estimados das transferências no sentido de aumentar os gastos dos governos locais em educação. As avaliações sobre a política de desoneração da folha de pagamentos, por outro lado, não indicam efeitos consolidados no sentido de aumentar o emprego ou os salários nos setores formais da economia, os quais eram seus objetivos iniciais. Apesar de não haver um cálculo monetário dos benefícios do programa, a informação sobre o custo dessa política – de ordem similar ao do PBF – indicam que provavelmente o programa não está gerando benefícios maiores do que seus custos. Ministério da Saúde146 Referências ALMEIDA, A. T. C; MEQUITA, S. P. de; SILVA, M. V. B. da. Impactos do Programa Bolsa Família sobre a diversificação do consumo de alimentos no Brasil. Pesquisa e Planejamento Econômico, v. 46, n. 1, p. 7-39, 2016. Disponível em: http://repositorio .ipea.gov.br/bitstream/11058/6645/1/PPE_v46_n01_Impactos.pdf. Acesso em: 23 ago. 2022. AFONSO, J. R.; BARROS, G. L. de. Desoneração da folha: renúncia revisitada. Rio de Janeiro: FGV, 2013. 22p. Disponível em: https://bibliotecadigital.fgv.br/dspace/ handle/ 10438/11698?locale-attribute=en ALVES, F. J. O.; MACHADO, D. B.; BARRETO, M. L. Effect of the Brazilian cash transfer programme on suicide rates: a longitudinal analysis of the Brazilian municipalities. Social Psychiatry and Psychiatric Epidemiology, v. 54, n. 5, p. 599–606, 2019. DOI: 10.1007/ s00127-018-1627-6. AMARAL, E. F. de L.; MONTEIRO, V. do P. Avaliação de impacto das condicionalidades de educação do Programa Bolsa Família (2005 e 2009). Dados, v. 56, n. 3, p. 531–570, 2013. DOI: https://doi.org/10.1590/S0011-52582013000300003. AMARAL, E. F. de L.; GONÇALVES, G. Q.; WEISS, C. The impact of Brazil’s Bolsa Família Program on school attendance, age-grade discrepancy, and child labor, 2010. Journal of Social Science for Policy Implications, v. 2, n. 1, p. 101–125, 2018. DOI: https://doi.org/ 10.31235/osf.io/u8crb. ANDRADE, G.; PINTO, C. C. de X. Higher salaries, more teaching, better performance? 2014. 47p. Disponível em: https://2014.economicsofeducation.com/user/pdfsesiones/155.pdf. Acesso em: 23 ago. 2022. ANDRADE, M. V. et al. Income transfer policies and the impacts on the immunization of children: the Bolsa Família Program. Cadernos de Saúde Pública, v. 28, n. 7, p.1347- 1358, 2012. Disponível em: http://www.scielosp.org/pdf/csp/v28n7/13.pdf. Acesso em: 22 ago. 2022. ARAÚJO, G. S.; RIBEIRO, R.; NEDER, H. D. Impactos do Programa Bolsa Família sobre o trabalho de crianças e adolescentes residentes na área urbana em 2006. Economia, v. 11, n. 4, p. 57-102, dez. 2010. Disponível em: http://www.anpec. org.br/revista/ vol11/ vol11n4p5 7_ 102.pdf. Acesso em: 24 ago. 2022. ARVATE, P.; ENLINSON, M; ROCHA, F. Intergovernmental transfers and public spending in Brazilian municipalities. São Paulo: Department of Economics- FEA/USP, 2015. 44p. (Working Papers REAP nº 2015-03). Disponível em: http://www.repec.eae. fea.usp.br/documentos/Arvate_Mattos_Rocha_03WP.pdf. Acesso em: 24 ago. 2022. BAPTISTELLA, J. C. F. Avaliação de programas sociais: uma análise do impacto do Programa Bolsa Família sobre o consumo de alimentos e status nutricional das famílias. Revista Brasileira de Monitoramento e Avaliação, v. 3, p. 26-53, 2012. DOI: https://doi.org/10.4322/rbma201203003. BARBOSA, A. L. N. de H.; CORSEUIL, C. H. L. Conditional cash transfer and informality in Brazil. IZA Journal of Labor and Development, v. 3, n. 1, p. 1-18, 2014. DOI: https://doi.org/10.1186/s40175-014-0024-0. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 147 BARRIENTOS, A.; DEBOWICZ, D.; WOOLARD, I. Heterogeneity in Bolsa Família outcomes. Quarterly Review of Economics and Finance, v. 62, p. 33–40, 2016. DOI: https://doi.org/10.1016/j.qref.2016.07.008. BARROS, G. L. de; AFONSO, J. R. Evolução inicial da desoneração da folha salarial. 2013. Disponível em: http://www.brasilmaior.mdic.gov.br/ Acesso em: 24 ago. 2022. BATISTA DE OLIVEIRA, L. F.; SOARES, S. S. D. The Impact of the Programa Bolsa Família on grade repetition: results from the single registry. Attendance Project and School Census. Brasília, DF: International Policy Centre for Inclusive Growth, 2013. (IPC Working Paper, nº 119). BAUMGARTNER, E. A desoneração da folha salarial e seu efeito sobre o mercado de trabalho no Brasil. 2017. Dissertação (Mestrado em Teoria Econômica) – Faculdade de Economia, Administração e Contabilidade, Universidadede São Paulo, São Paulo, 2017. Disponível em: https://teses.usp.br/teses/disponiveis/12/12138/tde-28092017-104436/pt- br.php. Acesso em: 24 ago. 2022. BRASIL. VIS Data - Base de dados online. Brasília, DF: Secretaria de Avaliação e Gestão da Informação-SAGI, 2022. Disponível em: https://aplicacoes.mds.gov.br/sagi/vis/data3/data-explorer.php. BRASIL. Casa Civil da Presidência da República. Avaliação de políticas públicas: guia prático de análise ex post. Brasília, DF: Casa Civil da Presidência da República, 2018. v.2. BRAUW, A. et al. Bolsa Família and household labor supply. Economic Development and Cultural Change, v. 63, n. 3, p. 423–457, 2015. DOI: https://doi.org/10.1086/680092. BRAUW, A. et al. The impact of Bolsa Família on schooling. World Development, v. 70, p. 303-316, 2015. DOI: https://doi.org/10.1016/j.worlddev.2015.02.001. BRAUW, A. et al. The impact of Bolsa Familia on child, maternal, and household welfare. Washington, D.C: IFPRI, 2012. CACCIAMALI, M. C.; TATEI, F.; BATISTA, N. F. Impactos do Programa Bolsa Família federal sobre o trabalho infantil e a frequência escolar. Revista de Economia Contemporânea, v. 14, n. 2, p. 269–301, 2010. DOI: https://doi.org/10.1590/ s1415-98482010000200003. CAMARGO, P. C.; PAZELLO, E. T. Uma análise do efeito do programa bolsa família sobre o desempenho médio das escolas brasileiras. Economia Aplicada, v. 18, n. 4, p. 623-640, 2014. DOI: https://doi.org/10.1590/1413-8050/ea388. CARMO, A. S. et al. Influence of the Bolsa Família Program on nutritional status and food frequency of schoolchildren. Jornal de Pediatria, v. 92, n. 4, p. 381-387, 2016. DOI: http://dx.doi.org/10.1016/ j.jped.2015.10.008. CARMO, M. S. do. Avaliação empírica da desoneração da folha salarial. 2012. Dissertação (Mestrado Profissional em Economia) - Departamento de Economia, Instituto de Ensino e Pesquisa (Insper), São Paulo, 2012. Disponível em: https://repositorio.insper.edu.br/bitstream/11224/880/1/MICHELLE%20SCHUINDT%20DO %20CARMO.inserido.pdf. Acesso em: 24 ago. 2022. Ministério da Saúde148 CARVALHO, G. R.; CARVALHO, C. O. Demand analysis on food: effects of Bolsa Família on dairy consumption as a source of calcium. Planejamento e Políticas Públicas, v. 45, p. 221-244, 2015. Disponível em: http://www.ipea.gov. br/ppp/index.php/ PPP/article/ view File /493/376. Acesso em: 24 ago. 2022. CASONATO, L.; CORRÊA, A. L.; PAIVA, S. C. F. de. O Bolsa Família no enfrentamento da pobreza e na sequência histórica das grandes políticas econômicas brasileiras: suas condições de possibilidade. Leituras de Economia Política, v. 26, p. 77-94, jan./jun. Disponível em: https://www.eco.unicamp.br/images/arquivos/artigos/3655/Artigo5A.pdf. Acesso em: 25 ago. 2022. CAVALCANTI, D. M.; COSTA, E. M.; DA SILVA, J. L. M. Programa Bolsa Família e o nordeste: impactos na renda e na educação, nos anos de 2004 e 2006. Revista de Economia Contemporânea, v. 17, n. 1, p. 99-128, 2013. DOI: https://doi.org/10.1590/S1415-98 4820 13000100004. CAVALCANTI, D. M. et al. Impactos do Programa Bolsa Família na renda e na oferta de trabalho das famílias pobres: uma abordagem usando o efeito quantílico de tratamento. Economia Aplicada, v. 20, n. 2, p. 173-201, 2016. DOI: https://doi.org/10.11606/1413- 8050/ea130092. CECHIN, L. A. W.; CARRARO, A.; RIBEIRO, F. G.; FERNANDEZ, R. N. O impacto das regras do Programa Bolsa Família sobre a fecundidade das beneficiárias. Revista Brasileira de Economia, v. 69, n. 3, p. 303-329, 2015. DOI: https://doi.org/10.5935/0034- 7140. 2015 0014. CHAUVIN, J. P. Public education investment and local labor markets: evidence from a large Federal Program in Brazil. Washington, D.C: Inter-American Development Bank/Department of Research and Chief Economist, 2018. (Discussion paper, IDB-DP nº 606). Disponível em: https://publications.iadb.org/en/public-education-investment-and- local-labor-markets-evidence-large-federal-program-brazil. Acesso em: 25 ago. 2022. CHIODA, L.; MELLO, J. M. P. de; SOARES, R. R. Spillovers from conditional cash transfer programs: Bolsa Família and crime in urban Brazil. Economics of Education Review, v. 54, p. 306-320, 2016. DOI: https://doi.org/10.1016/j.econedurev.2015.04.005. CHITOLINA, L.; FOGUEL, M. N.; MENEZES-FILHO, N. A. The impact of the expansion of the bolsa família program on the time allocation of youths and their parents. Revista Brasileira de Economia, v. 70, n. 2, p. 183-202, 2016. DOI: https://doi.org/10.5935/0034- 7140.20160009. COELHO, P. L.; MELO, A. S. S. D. A. The impact of the “Bolsa Família” Program on household diet quality, Pernambuco state, Brazil. Ciência Saúde Coletiva, v. 22, n. 2, p. 393-402, 2017. DOI: https://doi.org/10.1590/1413-81232017222.13622015. COSTA, L. V.; BRAGA, M. J.; TEIXEIRA, E. C. Impactos do Programa Bolsa Família sobre o consumo de nutrientes das famílias beneficiárias. Ensaios FEE, v. 37, n.4, p. 947-974, 2017. Disponível em: https://revistas.dee.spgg.rs.gov.br/index.php/ensaios/ /article/view/3486. Acesso em: 26 ago. 2022. COSTA, R. A.; COSTA, E. M.; MARIANO, F. Z.; CAVALCANTI, D. M. Impactos do Programa Bolsa Família no mercado de trabalho e na renda dos trabalhadores rurais. Nova Economia, v. 28, n. 2, p. 385-416, 2018. DOI: https://doi.org/10.1590/0103- 6351/3289. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 149 CRUZ, T. Teacher hiring decisions: how do governments react to an exogenous redistribution of education funds? Economics of Education Review, v. 67, p. 58-81, May, 2018. DOI: https://doi.org/10.1016/j.econedurev.2018.09.002. CRUZ, T.; SILVA, T. Minimum spending in education and the flypaper effect. Economics of Education Review, v. 77, Aug. 2020. DOI: https://doi.org/ 10.1016/ j.econedurev. 2020. 102 012. CRUZ, G.; ROCHA, R. Efeitos do FUNDEF/B sobre frequência fscolar, fluxo fscolar e trabalho infantil: uma análise com base nos censos de 2000 e 2010. Estudos Econômicos, v. 48, n. 1, p. 39-75, mar. 2018. DALLAVA, C. C. Impactos da desoneração da folha de pagamentos sobre o nível de emprego no mercado de trabalho brasileiro: um estudo a partir dos dados da RAIS. 2014. Dissertação (MPFE) - Escola de Economia de São Paulo, Fundação Getúlio Vargas, São Paulo, 2014. Disponível em: https://bibliotecadigital.fgv.br/dspace/bitstream/ /handle/104 38/11497/ Dissertacao_CarolineDallava.pdf?sequence=1&isAllowed=y. Acesso em: 26 ago. 2022. DENES, G.; KOMATSU, B. K.; MENEZES-FILHO, N. Uma avaliação dos impactos macroeconômicos e sociais de programas de transferência de renda nos municípios Brasileiros. Revista Brasileira de Economia, v. 72, n. 3, p. 292-312, 2018. DOI: https://doi.org/10.5935/0034-7140.20180014. DINIZ, E.; AFONSO, J. R. Benefícios fiscais concedidos (e mensurados) pelo Governo Federal. Rio de Janeiro: FGV/IBRE, 2014. (Texto de discussão). Disponível em: https://portalibre.fgv.br/sites/default/files/2021-03/benef_cios-fiscais-concedidos-_e- mensurados_-pelo-governo-federal.pdf. Acesso em: 26 ago. 2022. DUARTE, G. B.; SAMPAIO, B.; SAMPAIO, Y. Programa Bolsa Família: impacto das transferências sobre os gastos com alimentos em famílias rurais. Revista de Economia e Sociologia Rural, v. 47, n. 4, p. 903-918, 2009. DOI: https://doi.org/10.1590/S0103- 20032009000400005. DUARTE, H. F. F. L.; FARIA, A. C. L. de; RODRIGUES, C. T. Avaliação de impacto do Programa Bolsa Família sobre o consumo das famílias beneficiárias: uma análise através da Pof 2008- 2009. RDE - Revista de Desenvolvimento Econômico, v. 3, n. 44, p. 230- 251, 2019. DOI: https://doi.org/10.36810/rde.v3i44.6357. ECONOMIC COMMISSION FOR LATIN AMERICA AND THE CARIBBEAN. RReeppoorrtt oonn tthhee eeccoonnoommiicc iimmppaacctt ooff ccoorroonnaavviirruuss ddiisseeaassee ((CCOOVVIIDD--1199)) oonn LLaattiinn AAmmeerriiccaa aanndd tthhee CCaarriibbbbeeaann.. 2020a. Disponível em:https://repositorio.cepal.org/bitstream/handle/11362/ 45603/1/ S2000312_en.pdf. Acesso em: 25 dez. 2022. ECONOMIC COMMISSIONFOR LATIN AMERICA AND THE CARIBBEAN. TThhee ssoocciiaall cchhaalllleennggee iinn ttiimmeess ooff CCOOVVIIDD--1199.. 2020b. (Special Report COVID-19, n. 3). Disponível em: https://repositorio.cepal.org/handle/11362/45544?locale-attribute=en. Acesso em: 25 dez. 2022. ESTEVAN, F. Public education expenditures and private school enrollment. Canadian Journal of Economics, v. 48, n. 2, p. 561-584, May 2015. DOI: https://doi.org/ 10.1111/ caje.12136. Ministério da Saúde150 FAHEL, M. C. X.; FRANÇA, B. C.; MORAES, T. O efeito da condicionalidade educação do Bolsa Família em Minas Gerais: uma avaliação por meio da PAD/MG. Revista Brasileira de Monitoramento e Avaliação, v. 2, p. 4-25, 2011. DOI: https://doi.org/10.4322/rbma20 1102 002. FERRAZ, C.; FINAN, F.; MOREIRA, D. B. Corrupting learning. Evidence from missing federal education funds in Brazil. Journal of Public Economics, v. 96, n. 9-10, p. 712- 726, 2012. DOI: https://doi.org/10.1016/j.jpubeco.2012.05.012. FGV Social comenta os cortes no Bolsa Família e o aumento da extrema pobreza no Brasil. [20-]. Disponível em: https://cps.fgv.br/bf2020. Acesso em: 26 ago. 2022. FRANCO, A. M. de P.; MENEZES-FILHO, N. A. Os impactos do FUNDEF sobre indicadores educacionais. In: ENCONTRO NACIONAL DE ECONOMIA, 39., 2011, Foz do Iguaçu. Anais [...]. Foz do Iguaçu: ANPEC, 2018. FREGUGLIA, R. da S.; KERN, A. P.; VIEIRA, M. de T. Impacto do Programa Bolsa Família na oferta de trabalho dos beneficiários. In: ENCONTRO NACIONAL DE ECONOMIA, 46, 2018, Rio de Janeiro. Anais [...]. Rio de Janeiro: ANPEC, 2018. 20p. Disponível em: https://www.anpec.org.br/encontro /2018/submissao/files_I/i13- 0067d7849ac13f746bba8538313776d3.pdf. Acesso em: 26 ago. 2022. GARCIA, F.; SACHSIDA, A.; CARVALHO, A. X. Y de. Impacto da desoneração da folha de pagamentos sobre o emprego: novas evidências. Brasília: IPEA, 2018. (Texto para Discussão, n. 2357). Disponível em: https://www.econstor.eu/bitstream/10419/177573/1/td _ 2357.pdf. Acesso em: 30 ago. 2022. GONÇALVES, G. Q.; MENIUCCI, T. M. G.; AMARAL, E. F. de L. Diferencial educacional entre beneficiários e não beneficiários do Programa Bolsa Família. Cadernos de Pesquisa, v. 47, n. 165, p. 770-795, 2017. DOI: https://doi.org/10.1590/198053144297. GORDON, N.; VEGAS, E. Educational finance, equalization, spending, teacher quality, and student outcomes: the case of Brazil’s FUNDEF. Incentives to Improve Teaching. Lessons from Latin America. 2004. 34p. Disponível em: https://register.rti.org/ Education Finance/background/Equity/gordon_vegas_06_01_04%20(4).pdf. Acesso em: 26 ago. 2022. HADDAD, M. A.; FREGUGLIA, R.; GOMES, C. Public spending and quality of education in Brazil. Journal of Development Studies, v. 53, n. 10, p. 1679-1696, 2017. DOI: https:// doi.org/10.1080/00220388.2016.1241387. JULIÃO, N. A.; CHEIN, F. Avaliação de impacto do Programa Bolsa Família sobre a educação dos jovens. Revista de Desenvolvimento e Políticas Públicas, v. 1, p. 75- 107, 2015. DOI: https://doi.org/10.31061/redepp.v0n1.75-107. KAMAKURA, W. A.; MAZZON, J. A. Measuring the impact of a conditional cash transfer program on consumption behavior with propensity scoring. Customer Needs and Solutions, v. 2, n.4, p. 302-316, 2015. DOI: https://doi.org/10.1007/s40547-015-0037-0. KERN, A. P.; VIEIRA, M. de T.; FREGUGLIA, R. da S. Impactos do Programa Bolsa Família na educação das crianças. In: ENCONTRO NACIONAL DE ECONOMIA, 45., 2017, Natal. Anais [...]. Natal: ANPEC, 2017. 20p. Disponível em: https://www.anpec.org.br/ encontro/ 2017/ submissao/files_I/i12- 00e6a236f55d70ceed 173a. 082b0e15a9.pdf. Acesso em: 26 ago. 2022. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 151 KERN, A. P.; VIEIRA, M. de T.; FREGUGLIA, R. da S. Impactos do Programa Bolsa Família na educação das crianças. In: ENCONTRO NACIONAL DE ECONOMIA, 46., 2018, Rio de Janeiro. Anais [...]. Rio de Janeiro: ANPEC, 2018. 20 p. Disponível em: https://www.anpec.org.br/encontro/2017/submissao/files_I/i12-00 e6a236f55d70ceed 173a082b0e15a9.pdf. Acesso em: 26 ago. 2022. KOSEC, K. Politics and preschool: the political economy of investment in pre-primary education. The World Bank, 2011. (The World Bank, 2011). Disponível em: https://documents1.worldbank.org/curated/en/942241468091776922/pdf/WPS5647.pdf. Acesso em: 26 ago. 2022. MACHADO, D. B. et al. Conditional cash transfer programme: impact on homicide rates and hospitalisations from violence in Brazil. PLoS ONE, v. 13, n. 2, p. 1-13, 2018. DOI: https://doi.org/ 10.1371/ journal.pone.0208925. MALERBA, D. The heterogeneous effects of conditional cash transfers across geographical clusters: do energy factors matter? Manchester: University of Manchester/ Global Development Institute, 2018. (Global Development Institute Working Paper Series, 2018/021). Disponível em: https://papers.ssrn.com/sol3/papers.cfm? abstract_id=314371 8.Acesso em: 26 ago. 2022. MARTINS, A. P. B.; MONTEIRO, C. A. Impact of the Bolsa Família Program on food availability of low-income brazilian families: a quasi experimental study. BMC Public Health, v. 16, n. 1, p. 1-11, 2016. DOI: https://doi.org/10.1186/s12889-016-3486-y. MATTOS, E.; POLITI, R.; YAMAGUCHI, A. Grants and dispersion of local education spending in Brazil. Regional Studies, v. 52, n. 2, p. 239-249, 2018. DOI: https://doi.org/ 10.1080/00343404.2017.1287891. MELO, A. S. S. D. A.; STARZEC, C.; GARDES, F. The “ Bolsa-Família” Program and the Food Insecurity in Brazilian household between 2009 and 2013. In: ENCONTRO NACIONAL DE ECONOMIA, 44., 2013, Foz do Iguaçu. Anais [...]. Foz do Iguaçu: ANPEC, 2013. 19 p. Disponível em: https://www.anpec.org.br/encontro/2016/submissao/ /files_I/i5-15947443edc6e1498446b776165267a7.pdf. Acesso em: 26 ago. 2022. MENEZES-FILHO, N.; PAZELLO, E. Do teachers’ wages matter for proficiency? Evidence from a funding reform in Brazil. Economics of Education Review, v. 26, n. 6, p. 660-672, 2007. DOI: https://doi.org/10.1016/j.econedurev.2007.08.003. NERI, M.; CAMILLO OSORIO, M. Bolsa Família, tempo na escola e motivações estudantis. Revista de Administração Pública, v. 53, n. 5, p. 859–878, 2019. DOI: https://doi.org/ 10.1590/0034-761220180267. NERY, J. S. et al. Effect of Brazil’s conditional cash transfer programme on tuberculosis incidence. International Journal of Tuberculosis and Lung Disease, v. 21, n. 7, p.790– 796, 2017. DOI: https://doi.org/10.5588/ijtld.16.0599. NETO, V. R. de P.; BERRIEL, C. M. Transferências condicionais de renda e nutrição: efeitos do Bolsa Família nas áreas rurais e urbanas do Brasil. Economia Aplicada, v. 21, n. 2, p. 185-205, 2017. DOI: https://doi.org/10.11606/1413-8050/ea139199. NEVES, J. A. et al. The Brazilian cash transfer Program (Bolsa Família): a tool for reducing inequalities and achieving social rights in Brazil. Global Public Health, v. 0, n. 0, p. 1-17, 2020. DOI: https://doi.org/10.1080/17441692.2020.1850828. Ministério da Saúde152 OLIVEIRA, A. M. H. C. de et al. Primeiros resultados da análise da linha de base da pesquisa de avaliação de impacto do Programa Bolsa Família. In: VAITSMAN, J.; PAES- SOUZA, R. Avaliação de políticas e programas do MDS: resultados. Brasília, DF: MDS, 2007. v. 2. OLIVEIRA, L. F. B. de; SOARES, S. S. D. "Efeito Preguiça" em Programas de Transferência de Renda? In: CAMPELO, T.; NERI, M. C. Programa Bolsa Família: uma década de inclusão e cidadania. Brasília, DF: IPEA, 2013. PAES DE BARROS, R.; LIMA, L. Avaliação de impacto de programas sociais: por que, para que e quando fazer? In: MENEZES FILHO, N. A.; PINTO, C. C. de X. (orgs.). Avaliação econômica de projetos sociais. 3. ed. São Paulo: Fundação Itaú Social, 2016. PAIVA, L. H.; SOARES, F. V.; VIANA, I. A. V.; CIRENO, F.; DURAN, A. C. The effects of conditionality monitoring on educational outcomes: evidence from Brazil’s Bolsa Família Programme. Brazilian Political Science Review, v. 15, n. 1, p. 1-39, 2021.DOI: https://doi.org/10.1590/1981-3821202100010001. PESCARINI, J. M. et al. Effect of a conditional cash transfer programme on leprosy treatment adherence and cure in patients from the nationwide 100 million brazilian cohort: a quasi-experimental study. The Lancet Infectious Diseases, v. 20, n. 5, p. 618-627, 2020. DOI: https://doi.org/10.1016/S1473-3099(19)30624-3. PEW-MACARTHUR. Results first initiative. Evidence-Based Policymaking: a guide for effective government. Washington, DC: Pew Charitable Trusts and the MacArthur Foundation, 2014. POLITI, R.; REIS, I. Financiamento da educação e a disparidade no desempenho escolar entre municípios brasileiros. In: ENCONTRO NACIONAL DE ECONOMIA, 47, 2019, São Paulo. Anais [...]. São Paulo: ANPEC, 2019. Disponível em: https://www.anpec.org.br /encontro/ 2019/submissão /files_I/i5-8077df959cc98d5eac7a6ae31a327f8e.pdf. Acesso em: 26 ago. 2022. RAMOS, D. et al. Conditional cash transfer program and child mortality: A cross-sectional analysis nested within the 100 million brazilian cohort. PLoS Medicine, v. 18, n. 9, p. 1-20, 2021. DOI: https://doi.org/10.1371/journal.pmed.1003509. RASELLA, D. et al. Long-term impact of a conditional cash transfer programme on maternal mortality: a nationwide analysis of brazilian longitudinal data. BMC Medicine, v. 19, n. 1, p. 1-9, 2021. DOI: https://doi.org/10.1186/s12916-021-01994-7. RASELLA, D. et al. Effect of a conditional cash transfer programme on childhood mortality: a nationwide analysis of brazilian municipalities. The Lancet, v. 382, n. 9886, p. 57-64, 2013. DOI: https://doi.org/10.1016/S0140-6736(13)60715-1. RIBEIRO, R.; CACCIAMALI, M. C. Impactos do Programa Bolsa-Família sobre os indicadores educacionais. Economia, v. 13, n. 2, p. 415-446, 2012. ROCHA, M. A.; MATTOS, L. B. de; COELHO, A. B. Influência do Programa Bolsa Família na alocação de recursos: uma análise considerando a presença de mulheres no domicílio. Economia e Sociedade, v. 27, n. 3, p. 997-1028, 2018. DOI: https://doi.org/10.1590/1982-3533.2018v27n3art11. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 153 ROCHA, M. A.; MATTOS, L. B. de; RODRIGUES, C. T.; LIMA, J. E. de. Efeito do Programa Bolsa Família sobre o consumo dos domicílios rurais e urbanos no Brasil. Revista Econômica do Nordeste, v. 47, n. 2, p. 9-25, 2016. ROCHA, R. C. B. da. Programas condicionais de transferência de renda e fecundidade: evidencias do Bolsa Família. Economia Aplicada, v. 22, n. 3, p. 175-201, 2018. DOI: https://doi.org/10.11606/1980-5330/ea168739. ROUGIER, E.; COMBARNOUS, F.; FAURÉ, Y. A. The “Local Economy” effect of social transfers: an empirical assessment of the impact of the Bolsa Família Program on local productive structure and economic growth. World Development, v. 103, p. 199-215, 2018. DOI: https://doi.org/10.1016/j.worlddev.2017.09.019. SANTOS, D. B.; LEICHSENRING, A. R.; MENEZES FILHO, N.; MENDES-DA-SILVA, W. Os efeitos do Programa Bolsa Família sobre a duração do emprego formal dos indivíduos de baixa renda. Revista de Administração Pública, v. 51, n. 5, p. 708-733, 2017. DOI: https://doi.org/10.1590/0034-7612171851. SCHAFFLAND, E. Conditional cash transfers in Brazil: treatment evaluation of the “Bolsa Família” Program on Education. Göttingen: University of Göttingen, 2011. (Discussion Papers, n� 84). Disponível em: http://www2.vwl.wiso.uni- goettingen.de/courant-papers/CRC-PEG_DP_84.pdf. Acesso em: 26 ago. 2022. SCHERER, C. Payroll tax reduction in Brazil: effects on employment and wages. Rotterdam: International Institute of Social Studies, 2015. 64p. (Working Paper, n. 602). Disponível em: https://repub.eur.nl/pub/77532. Acesso em: 30 ago. 2022. SEKHON, J. S. The Neymar-Rubin model of causal inference and estimation via matching methods. Oxford: University Press, 2007 SHEI, A. Brazil’s conditional cash transfer program associated with declines in infant mortality rates. Health Affairs, v. 32, n. 7, p. 1274-1281, 2013. DOI: https://doi.org/ 10.1377/hlthaff.2012.0827. SIGNORINI, B. A.; QUEIROZ, B. L. The Impact of Bolsa Família Program in the beneficiary fertility. Belo Horizonte: UFMG/CEDEPLAR, 2011. 24p. (Texto para discussão, n� 439). Disponível em: https://www.cedeplar.ufmg.br/pesquisas/td/TD%20439.pdf. Acesso em: 26 ago. 2022. SILVA, E. S. de A. da; PAES, N. A. Programa Bolsa Família e a redução da mortalidade infantil nos municípios do semiárido brasileiro bolsa. Ciência Saúde Coletiva, v. 24, n. 2, p. 623-630, 2019. DOI: https://doi.org/10.1590/1413-81232018242.04782017. SILVA, E. S. de A. da; PAES, N. A.; SILVA, C. C. da. Efeitos dos programas governamentais e da fecundidade sobre a mortalidade infantil do semiárido brasileiro. Saúde em Debate, v. 42, n. 116, p. 138-147, 2018. DOI: https://doi.org/10.1590/0103- 1104201811611. SILVEIRA, F. G.; Van HORN, R.; CAMPOLINA, B. A substitute for substitution: Bolsa Família’s effects on the combination of work and school for children and adolescents aged 10-18. Brasília: International Policy Centre for Inclusive Growth (IPC - IG), 2013. 27p. Disponível em: https://ipcig.org/sites/default/files/pub/en/IPCWorkingPaper121.pdf? page= 73d9cd4d54. Acesso em: 26 ago. 2022. Ministério da Saúde154 SILVEIRA, I. M. da et al. Avaliação do efeito do FUNDEB sobre o desempenho dos alunos do ensino médio no Brasil. Pesquisa e Planejamento Econômico, v. 47, n. 1, p. 7-44, 2017. SIMÕES, A. A.; SABATES, R. The contribution of Bolsa Família to the educational achievement of economically disadvantaged children in Brazil. International Journal of Educational Development, v. 39, p. 151-166, 2014. DOI: https://doi.org/10.1016/ j.ijedudev.2014.07.012. SIMÕES, P.; SOARES, R. B. Efeitos do Programa Bolsa Família na Fecundidade das Beneficiárias. Revista Brasileira de Economia, v. 66, n. 4, p. 533-556, out./dez. 2012. DOI: https://doi.org/10.1590/S0034-71402012000400004. SOUZA, A. P. Políticas de distribuições de renda no Brasil e o Bolsa-Família. São Paulo: FGV-EESP, 2011. 33 p. (Texto para discussão, nº 281-C-Micro nº 01). Disponível em: https://bibliotecadigital.fgv.br/dspace/bitstream/handle/10438/9995/TD% 2081%20 -%20C-Micro%2001%20-%20Andr%C3%A9%20Portela.pdf. Acesso em: 26 ago. 2022. SPERANDIO, N.; RODRIGUES, C. T.; FRANCESCHINI, S. DO C. C.; PRIORE, S. E. Impacto do Programa Bolsa Família no consumo de alimentos: estudo comparativo das regiões Sudeste e Nordeste do Brasil. Ciência Saúde Coletiva, v. 22, n. 6, p. 1771-1780, 2017. DOI: https://doi.org/10.1590/1413-81232017226.25852016. TAVARES, P. A. Efeito do Programa Bolsa Família sobre a oferta de trabalho das mães. Economia e Sociedade, v. 19, n. 3, p. 613-623, 2010. DOI: https://doi.org/10.1590/s0104-06182010000300008. TAVARES, P.; PAZELLO, E.; FERNANDES, R.; CAMELO, R. Uma avaliação do Programa Bolsa Família: focalização e impacto na distribuição de renda e pobreza. Pesquisa e Planejamento Econômico, v. 39, n. 1, p. 25-58, 2009. DOI: http://www.memoria.nemesis. org.br/index.php/ppe/article/viewFile/1062/1044. Acesso em: 26 ago. 2022. TEIXEIRA, C. G. A heterogeneity analysis of the Bolsa Familia Programme effect on men and women’s work supply. Brasília: International Policy Centre for Inclusive Growth (IPC - IG). Poverty Practice, Bureau for Development Policy, UNDP, 2010. 20p. (Working Paper IPC-IG, nº 61), 2010. Disponível em: http://www.ipc-undp.org /pub /IPC Working Paper61.pdf. Acesso em: 26 ago. 2022. TORRENS, A. W. et al. Effectiveness of a conditional cash transfer programme on TB cure rate: a retrospective cohort study in Brazil. Transactions of the Royal Society of Tropical Medicine and Hygiene, v. 110, n. 3, p. 199-206, 2015. DOI: https://doi.org/10.1093/ trstmh /trw011. VASCONCELOS, A. M. et al. Programa Bolsa Família e geração “nem-nem”: Evidências para o Brasil. Revista Brasileira de Economia, v. 71, n. 2, p. 233-257, 2017. DOI: https://doi.org/10.5935/0034-7140.20170012.Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 155 Capítulo 5 Isabela Furtado1 Carolina Marinho1 Carolina Melo1 1Insper - Instituto de Ensino e Pesquisa RESUMO: A teoria da mudança é uma ferramenta útil para o desenho, monitoramento e avaliação de programas. Por meio de uma sequência lógica descreve como os resultados almejados por uma intervenção podem ser alcançados. Este capítulo tem como objetivo informar o gestor público, o avaliador ou a parte interessada no processo de desenho, monitoramento e avaliação de uma política ou programa sobre a definição, utilidade e método de construção de uma teoria da mudança. Por fim, para ilustrar os conceitos apresentados, a última seção do capítulo apresenta um exemplo prático. PALAVRAS-CHAVE: Teoria da mudança. Cadeia de resultados. Desenho e avaliação de políticas e programas. Teoria da Mudança: definição, utilidade e como construir Ministério da Saúde156 1 Introdução Nas últimas décadas, as sociedades têm investido recursos monetários e não monetários em políticas públicas. De maneira geral, as intervenções que constituem tais políticas são desenhadas com objetivos específicos como, por exemplo, aumentar a renda de uma população, reduzir analfabetismo e combater problemas de saúde (GERTLER et al., 2016). Muitas vezes, políticas públicas são apresentadas para a sociedade sem que seus resultados sejam acompanhados e mensurados (CRUMPTON et al., 2016). Porém, tão importante quanto lançar e implementar uma intervenção é realizar seu desenho, monitoramento e avaliação de impacto de forma adequada. Do ponto de vista da gestão, o monitoramento permite revelar se a intervenção está sendo (ou foi) implementada conforme seu protocolo pré-estabelecido, enquanto a avaliação de impacto busca mensurar justamente os efeitos do programa e medir os efeitos causais da intervenção sobre os resultados de interesse. O monitoramento é importante para a avaliação, pois, sem esse, não se sabe o que foi de fato entregue aos beneficiários. É, então, por meio do monitoramento e de uma avaliação de impacto que policy makers terão os elementos necessários para verificar se o programa atingiu os efeitos esperados, e, a partir de uma análise custo-benefício ou custo-efetividade, compreender se realizaram um bom investimento e se, portanto, o programa deve ser continuado – condicionado ou não a um redesenho – expandido ou cancelado. Do ponto de vista da sociedade programas que contam com desenho, monitoramento e avaliação bem estruturados são mais transparentes e permitem o conhecimento do grau de assertividade das decisões dos gestores. Porém, na prática, os programas sociais são complexos – particularmente os desafios no setor de saúde – de forma que para que o objetivo final seja alcançado, há uma cadeia de resultados que deve ser percorrida previamente. Nesse contexto, tão importante quanto monitorar a implementação e mensurar os impactos sobre resultados finais está o estabelecimento dessa cadeia de resultados interligados, que deve explicitar quais mecanismos e hipóteses são necessários para que as ações do programa atinjam seus objetivos. O ponto de partida é, então, a elaboração de uma teoria da mudança, a qual irá expor à sociedade, de forma clara e objetiva, o mapa que conecta as ações executadas, as mudanças que podem ser provocadas por essas ações e os resultados esperados. A teoria da mudança é um conceito de bastante utilidade e está presente em políticas públicas, programas ou projetos cujo objetivo é gerar impacto social ou ambiental positivo Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 157 (IMAS; RIST, 2009; KUSEK; RIST, 2004; ROGERS, 2014). Tal teoria descreve como o resultado almejado de uma intervenção pode ser alcançado por meio de uma sequência lógica de resultados intermediários que partem diretamente dos produtos gerados pelas intervenções previstas (BREUER et al., 2016; GERTLER et al., 2016). A ferramenta tem importante função na disseminação de informações relevantes de uma política pública, programa ou projeto entre formuladores, investidores, gestores, implementadores, avaliadores e também para a sociedade. Pode ser elaborada na fase de desenho e planejamento da política, programa ou projeto em questão ou ainda pode ser construída para intervenções que estão desenhadas e/ou lançadas. Independentemente da situação em que é elaborada, a ferramenta é útil para explicitar o objetivo da política, programa ou projeto, o problema que é atacado pela intervenção e os resultados almejados. Este capítulo está dividido em 4 seções além desta introdução. Na segunda seção o conceito de teoria da mudança será exposto detalhadamente, assim como sua origem e sua estrutura. Na terceira seção, será abordada a utilidade da ferramenta, expondo-se os principais agentes que se beneficiam da teoria da mudança. Na quarta seção, será explicado como a teoria da mudança deve ser construída. Por fim, na última seção, se evidenciará um exemplo prático de aplicação da teoria da mudança, que será fundamental para que os principais conceitos sejam expostos e trabalhados. 2 O que é a Teoria da Mudança A teoria da mudança é um conceito bastante amplo presente em políticas, programas ou projetos que têm como objetivo gerar um impacto social ou ambiental positivo (IMAS; RIST, 2009; KUSEK; RIST, 2004; ROGERS, 2014). Assim, é construída para evidenciar e auxiliar no entendimento do potencial encadeamento lógico entre as iniciativas de uma política, programa, ou projeto socioambiental e as mudanças de longo prazo ou resultados finais pretendidos. Para que se alcance o resultado final há uma série de resultados iniciais e intermediários, os quais devem ocorrer previamente e o estabelecimento dessa cadeia de resultados interligados deve expor os mecanismos e hipóteses necessários para que as ações do programa sejam bem sucedidas (BREUER et al., 2016; GERTLER et al., 2016). A teoria da mudança é, portanto, uma ferramenta que estrutura esse mapa e conecta as Ministério da Saúde158 ações de uma única intervenção ou de um conjunto de intervenções1 às mudanças pretendidas. Em uma avaliação de impacto, tão importante quanto mensurar os resultados, é o estabelecimento das hipóteses e mecanismos que explicam como esses foram atingidos, uma vez que identificar mecanismos é essencial para que se compreenda como a intervenção atua e seus possíveis desdobramentos. Assim, a teoria da mudança está inserida no desenho do plano de monitoramento de avaliação de intervenções, pois permite definir quais indicadores serão utilizados para mensurar os resultados pretendidos, quais as hipóteses necessárias para que as ações iniciais tenham os impactos esperados e como e por que o programa deve funcionar. O conceito de teoria da mudança teve sua origem em duas correntes de pensamento distintas. Foi desenvolvida para auxiliar avaliações de impacto, mas também está ligada a discussões mais amplas relacionadas a teorias de mudança social na década de 70 (JAMES, 2011).2 Em relação à avaliação, durante os anos 90 houve a necessidade, por parte dos avaliadores, de se ter um framework conceitual mais explícito para auxiliá-los no estudo de projetos sociais complexos, envolvendo diversas esferas sociais. Muitas vezes, não estava claro como o projeto atuaria e como atingiria seus principais objetivos (JAMES, 2011). Nesse contexto, o termo “Teoria da Mudança” foi inicialmente utilizado por Weiss (1995), que propôs um método de avaliação para intervenções complexas. Em vez de utilizar metodologias que enfatizam o impacto por meio de avaliação de métricas quantitativas e indicadores de resultados, a teoria da mudança assume que os programas sociais são baseados em teorias explícitas ou implícitas que descrevem como o programa funcionará. Weiss enfatiza queessas teorias devem ser a base da avaliação, a qual deve considerar e avaliar as hipóteses necessárias para que o programa tenha sucesso e ainda ancorar a avaliação em sólida literatura. A teoria da mudança pode ser representada de diversas maneiras, com diferentes níveis de complexidade e aprofundamento da cadeia de processos, atividades e indicadores de resultado. Para avaliação de impacto de projetos sociais complexos, e particularmente os projetos de saúde, a teoria da mudança é muitas vezes representada por diagramas ou por 1 Por exemplo, para que se atinja determinado objetivo de saúde pública em áreas urbanas vulneráveis, determinada intervenção pode envolver não somente uma intervenção isolada, mas um conjunto de ações nos campos da educação, infraestrutura básica e moradia (FUNDAÇÃO TIDE SETÚBAL; ITAÚ SOCIAL; INSPER METRICIS, 2021). 2 As teorias de mudança social estão relacionadas à corrente de pensamento do educador Paulo Freire, que argumentava pela combinação de teoria e ação para se criar uma mudança social. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 159 uma cadeia de resultados (GERTLER et al., 2016; BREUER et al., 2016; MAINI; MOUNIER- JACK; BORGHI, 2018). Os diagramas permitem que os elementos de programas que envolvem diversas esferas sociais se relacionem de maneira não linear e admitam ligações indiretas e loops nos indicadores avaliados (MAINI; MOUNIER-JACK; BORGHI, 2018). Apesar de serem representadas de diversas maneiras, existem algumas etapas principais ou elementos que são usualmente encontrados em teorias da mudança (INSPER METRICIS, 2022; GERTLER et al., 2016). 1) Recursos e insumos ou inputs: incluem todos os recursos monetários e não monetários disponíveis para o programa. Nessa etapa serão descritos os financiamentos, os recursos físicos e os recursos de pessoal que serão utilizados. 2) Atividades: incluem as ações e intervenções do programa e todas as iniciativas que serão efetuadas para que o programa atinja seus objetivos; 3) Produtos ou outputs: representam o que é gerado diretamente pelas atividades e recursos do programa e geralmente podem ser contabilizados (por exemplo, em um programa de formação de professores o produto será o número de professores treinados ou em um programa de vacinação em massa o produto será o número de doses de vacinas ofertadas). Como são gerados diretamente pelas atividades, estão sob controle da agência ou instituição responsável por lançar a política, programa ou projeto. Os produtos não representam resultados, mas são o ponto de partida para a transformação almejada; 4) Resultados das atividades ou outcomes: representam os primeiros resultados a serem alcançados pela iniciativa ou programa social quando a população beneficiária usufrui dos produtos. São as primeiras mudanças que podem ocorrer e, por isso, são também chamados de resultados iniciais – quando são gerados diretamente pelos produtos – ou de resultados intermediários – quando dependem dos resultados iniciais para ocorrerem. Por serem as primeiras mudanças pretendidas, são essenciais para auxiliar no mapeamento e entendimento dos mecanismos necessários para que o programa alcance os resultados finais almejados; Ministério da Saúde160 5) Resultados finais ou resultados à sociedade: 3 representam as mudanças de longo prazo4 almejadas pelo programa ou os seus resultados finais. São as mudanças sociais mais amplas que o programa pretende gerar, as quais podem ser influenciadas por diversos fatores e, muitas vezes, há uma defasagem temporal entre a implantação da intervenção e o atingimento dessas mudanças. A cadeia de resultados ou diagrama apresenta assim um encadeamento entre insumos, atividades, produtos, resultados das atividades e resultados finais. São essas as cinco etapas principais de uma teoria da mudança e, para que os resultados sejam aferidos e a relação de causa e efeito seja de fato documentada, faz-se necessário uma avaliação de impacto do programa em questão. Importante ressaltar que cada etapa da cadeia de resultados é conectada com as demais por uma série de hipóteses fundamentais que explicam como e por que o programa age. Muitas vezes, o próprio diagrama irá mostrar os pressupostos e as condições necessárias para que o programa funcione, mas tais pressupostos não estão sob o controle dos implementadores (ROGERS, 2014). A cadeia de resultados também pode ser utilizada para representações mais complexas, com diferentes atores atuando e caminhos causais distintos e não lineares (ROGERS, 2014). Importante ressaltar que, em alguns casos, a teoria da mudança também irá mapear possíveis resultados negativos de um programa. Há ainda outras ferramentas muito utilizadas para monitoramento de programas sociais que têm uma estrutura similar àquela da teoria da mudança. O marco lógico, por exemplo, descreve algumas etapas da teoria da mudança e destaca as atividades, os produtos e os resultados pretendidos para uma intervenção, porém, tende a ser mais rígido e linear, sem representar a relação entre as etapas e sem explicitar as hipóteses necessárias para que a iniciativa atinja os resultados finais (BREUER et al., 2016). Não há consenso na literatura sobre quais são as características de uma “boa teoria da mudança”, porém, segundo Mayne (2017), essa deve apresentar um modelo bem 3 Usualmente são também conhecidos como “Efeito” ou “Impacto”, porém por serem resultados pretendidos preferimos as nomenclaturas “Resultados finais ou Resultados à sociedade” já que a definição de impacto está ligada ao efeito causal propriamente dito. Quando se mapeia resultados em uma teoria da mudança, mapeia-se potenciais resultados causais, que não podem ser considerados impactos até que seja feita uma avaliação rigorosa que confirme-os como tais (INSPER METRICIS, 2022). 4 O conceito de longo prazo, neste contexto, não significa necessariamente um grande espaço de tempo entre a intervenção e os resultados finais. Existem políticas sociais em que os resultados são mais imediatos, havendo um curto espaço de tempo entre a intervenção e os resultados ou efeitos à sociedade. O longo prazo significa que são os resultados mais distantes ou finais almejados desde a implantação do programa ou ainda que serão os últimos resultados alcançados. Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 161 articulado, conectado, lógico e crível. Uma teoria da mudança com esses atributos irá apoiar a intervenção, evidenciará que os resultados são plausíveis e também fornecerá uma base sólida tanto para o monitoramento desta intervenção quanto para sua avaliação de impacto. 3 A Utilidade de uma Teoria da Mudança A teoria da mudança é uma ferramenta que comunica de forma clara, lógica e visual a política pública, programa ou projeto, explicita a intervenção que se pretende implementar, os insumos necessários para que essa seja colocada em funcionamento, os produtos que se espera obter a partir dessa intervenção e os resultados iniciais, intermediários e finais necessários para que se alcance o objetivo mais amplo da intervenção (IMAS; RIST, 2009; INSPER METRICIS, 2022; FUNNEL; ROGERS, 2011). Assim, a ferramenta tem importante função na disseminação de informações relevantes da política pública, programa ou projeto entre diferentes stakeholders como formuladores, investidores, gestores, implementadores, avaliadores e também para a sociedade. A partir da teoria da mudança, os stakeholders interessados podem, por exemplo, facilmente identificar quais são os Objetivos de Desenvolvimento Sustentável com que a intervenção contribui, permitindo entender como a política, programa ou projeto colabora para avanços e resultados à sociedade.5 Se o processo de construção da teoria da mudança envolver uma etapa de benchmarking e uma revisão de literaturarigorosa – como sugere Weiss (1995) e Insper Metricis (2022), em que são analisados cuidadosamente estudos prévios de intervenções similares levando-se em consideração a validade interna e externa deles, a teoria da mudança pode ser uma ferramenta de comunicação ainda mais poderosa, que convence a relevância da intervenção com alta credibilidade. Para além da função como ferramenta de comunicação da política, programa ou projeto em sentido mais amplo, a teoria da mudança pode ser útil para os formuladores da intervenção no processo de desenho da política, programa ou projeto. Isso se deve a que ferramenta pode ser utilizada como complemento de uma “árvore de problema” e/ou “árvore de 5 O Guia de Avaliação de Impacto Socioambiental para Utilização em Projetos e Investimentos de Impacto do Insper Metricis, por exemplo, sugere que o avaliador que desenvolverá a teoria da mudança faça a conexão dos resultados mapeados com os Objetivos de Desenvolvimento Sustentável e, assim, facilite o entendimento dos stakeholders da contribuição da intervenção para o cumprimento da agenda 2030 (INSPER METRICIS, 2022). Ministério da Saúde162 objetivos”,6 contribuindo para a identificação das causas e consequências de um problema socioambiental e das possíveis ações a serem tomadas para resolver tal problema e alcançar os objetivos pretendidos (MACKENZIE; BLAMEY, 2005). Além disso, a ferramenta é útil para formuladores no processo de argumentação no que se refere à obtenção de financiamento. Para financiadores, a teoria da mudança pode auxiliar na justificativa da decisão de investimento (BRASIL, 2018). Adicionalmente, a teoria da mudança tem grande utilidade para o monitoramento e a avaliação da política, programa ou projeto. Gestores podem guiar a implementação e o monitoramento da intervenção utilizando os indicadores definidos a partir da ferramenta; os avaliadores podem utilizá-la para fundamentar o desenho de uma avaliação de impacto (MACKENZIE; BLAMEY, 2005). A partir de uma teoria da mudança, é possível definir indicadores para os produtos e resultados esperados de uma intervenção (INSPER METRICIS, 2022). Esses indicadores podem ser utilizados por gestores para monitorar a implementação da política, programa ou projeto e revelar se a intervenção está sendo (ou foi) implementada conforme seu protocolo preestabelecido. Sem o monitoramento, não se sabe o que, de fato, foi entregue aos beneficiários, o que tem implicações negativas na utilidade de uma futura avaliação de impacto. Ainda que se encontre evidência sólida de que a intervenção foi bem sucedida, se não houve monitoramento de sua implementação, são limitados os aprendizados gerados para a sociedade e as possibilidades de expansão da política, programa ou projeto. Por sua vez, os indicadores dos resultados mapeados a partir de uma teoria da mudança, além de serem utilizados para monitoramento, também são úteis para mensuração de impacto. Como os indicadores de resultado medem mudanças valorizadas pelos beneficiários da intervenção, esses são adequados para avaliar o sucesso – ou impacto – da política, programa ou projeto (INSPER METRICIS, 2022). A teoria da mudança também auxilia o avaliador a definir quando a mensuração de impacto deve ser realizada. O encadeamento dos resultados apresentados pela ferramenta pode revelar o tempo que a intervenção leva para gerar as mudanças pretendidas para a população-alvo (IMAS; RIST, 2009). Por exemplo, se a intenção do avaliador for mensurar o impacto da intervenção sobre um resultado que deve ser observado no longo prazo, não é recomendável realizar a avaliação no curto prazo ou logo após o início da implementação. 6 Para mais informações sobre o que é uma árvore de problema e uma árvore de objetivos, veja (DEARDEN et al., 2002). Avaliação de Impacto das Políticas de Saúde: um guia para o SUS 163 Além de contribuir para a definição do que e quando medir, a teoria da mudança pode ser útil para a definição da estratégia de identificação (método para inferência causal) a ser utilizada na avaliação de impacto (MACKENZIE; BLAMEY, 2005). A partir do claro mapeamento da intervenção, incluídos os critérios para participação dos beneficiários, as variáveis de resultado de interesse e quanto tempo após a intervenção é necessário para que se observe algum efeito, o avaliador pode traçar uma estratégia factível para aferição do impacto. De forma mais prática: a teoria da mudança irá, em um primeiro momento, guiar o avaliador na busca por dados que permitam realizar medição de impacto. Ciente dos dados disponíveis, o avaliador poderá, então, recorrer à teoria da mudança para obter outras informações relevantes sobre a intervenção e para traçar uma estratégia de medição factível que forneça o mais alto grau de validade interna possível, sem abdicar do poder de generalização dos resultados para outros contextos (o que é importante, por exemplo, para futuras discussões de expansão da política, programa ou projeto). Por fim, a teoria da mudança pode ainda auxiliar o avaliador e o gestor público a entenderem os resultados da avaliação. A avaliação pode gerar evidências de que a conexão entre um produto e um resultado ou entre um resultado e outro resultado é confirmada para aquela intervenção em particular. No entanto, quando a avaliação revela que a conexão outrora mapeada não se sustenta, faz-se necessário buscar entender se alguma hipótese assumida para garantir tal conexão é violada. Esse exercício ajuda na identificação de potenciais causas de falhas no desenho da intervenção que impedem o atingimento dos objetivos pretendidos. Dessa forma, a teoria da mudança contribui para o redesenho de políticas, programas e projetos sociais (FUNNEL; ROGERS, 2011). O constante aprimoramento da intervenção motiva a contínua revisão da teoria da mudança, em um processo de busca incessante pela solução para um problema social complexo. 4 Como construir a Teoria da Mudança A estratégia utilizada para construção da teoria da mudança dependerá do estágio de implantação da política pública, programa ou projeto - se a intervenção está em fase de elaboração e desenho, ou se já foi desenhada e até mesmo lançada. Na situação em que a teoria da mudança é construída na fase de desenho e planejamento da política pública, programa ou projeto, essa será essencial na definição das atividades Ministério da Saúde164 necessárias para gerar os resultados pretendidos pela intervenção (MACKENZIE; BLAMEY, 2005). A abordagem “de trás para frente” será utilizada para sua construção, iniciada pela definição dos objetivos mais amplos e resultados finais pretendidos, partirá para a definição dos resultados intermediários e, depois, dos resultados iniciais. Com a cadeia de resultados mapeada, o próximo passo é propor um conjunto de atividades e produtos que a essa se conectem (CLARK, 2021; MACKENZIE; BLAMEY, 2005; ANDERSON, 2005). Na segunda situação, em que a teoria da mudança é elaborada quando a intervenção já foi desenhada e possivelmente lançada, a ferramenta será estruturada, por exemplo, com o objetivo de apoiar a avaliação de impacto (MACKENZIE; BLAMEY, 2005). Os insumos, atividades e produtos da política, programa ou projeto estão estabelecidos e precisam apenas ser documentados. Resta, então, mapear os resultados que se pretende gerar com a intervenção proposta e possivelmente levantar indicadores relevantes para a intervenção.7 A construção da teoria da mudança poderá ser realizada utilizando-se a abordagem retrospectiva, a partir de documentos, conversas com os envolvidos e registros de monitoramento e avaliações anteriores (CLARK, 2021). Nesse caso, recomenda-se partir da descrição das atividades da política, programa ou projeto social e passar para a documentação dos insumos necessários para a implementação das atividades