Prévia do material em texto
GESTÃO DE POLÍTICAS PÚBLICAS AULA 4 Prof. Paulo Nascimento Neto 2 CONVERSA INICIAL Implementação e avaliação de políticas públicas Ao longo das aulas anteriores, estudamos as primeiras etapas do ciclo de políticas públicas. Já discutimos a dinâmica de formação de problemas públicos e seus reflexos sobre a formulação de políticas públicas. A partir desse momento, aprofundaremos nossos estudos no processo de implementação e avalição dessas políticas. Essas duas etapas encerram o ciclo de políticas públicas (figura 1), de forma que a partir das conclusões de avaliações empreendidas é possível ao decisor verificar se haverá continuidade de uma política pública, sua modificação ou término. Figura 1 – Ciclo da Política Pública Fonte: Nascimento Neto, 2020. Conforme já estudado, é preciso lembrar que o ciclo da política pública é um modelo heurístico, ou seja, de simplificação da realidade, que nos permite separar as diferentes etapas do agir público. Muitas vezes veremos no cotidiano da gestão pública avaliações que não ocorrem ao final do processo de implementação de uma política pública ou ainda alterações substanciais no conteúdo de uma política pública ao longo do mesmo processo de implementação. Para podermos nos aprofundar nessas questões, trataremos inicialmente do processo de implementação de políticas públicas e de suas 3 dimensões críticas (temas 1 e 2), de tópicos de reflexão sobre o monitoramento de políticas públicas (tema 3) e de sua avaliação (temas 4 e 5). Desejamos a você um excelente estudo! TEMA 1 – IMPLEMENTAÇÃO DE POLÍTICAS PÚBLICAS Ao adentrarmos nesta etapa, nos debruçaremos sobre a execução de uma política pública, refletindo sobre como concretizar diretrizes, programas e normas legais em ações efetivas de intervenção sobre determinado problema público. Para tanto, em um primeiro nível de discussão, vemos um esforço para especificação de detalhes dos programas e alocação de recursos humanos, materiais e financeiros, relacionado à tomada de decisões complementares. Contudo, ao contrário do que o senso comum nos leva a pensar, tratar da implementação de políticas públicas não significa apenas instrumentalizar a ação pública, constituindo-se, na realidade, em uma dimensão crítica do processo. Segundo Pressman e Wildavsky (1973), consubstanciado por Jann e Wegrich (2007), a implementação transforma a política pública em tal medida que as intenções e as declarações iniciais podem até mesmo ser substancialmente alteradas. Devemos nos recordar que a gestão de políticas públicas tem um componente inerentemente político, não sendo possível olharmos para esse assunto unicamente a partir de critérios técnicos. Você se lembra do conceito de redes de políticas públicas que estudamos nas aulas anteriores? Ele é fundamental para melhor compreendermos como se dá o processo de implementação, pois as dinâmicas de conflito e interação entre os diferentes atores envolvidos em uma política pública são decisivas, conformando um processo contínuo de negociação no qual as coalizações de interesses empregarão os recursos de que dispõe (cognitivos, financeiros, políticos e de tempo) para adaptar as metas e ações às suas agendas internas. Por vezes veremos, inclusive, que essas coalizões de atores se organizam durante o próprio processo de implementação, segundo valores cuja perenidade e intensidade podem variar. Os rumos de determinadas políticas, dessa forma, também podem sofrer modificações de rota, a depender da concertação governamental vigente, sobretudo nos casos em que esta foi concebida em gestão diferente da atual. Contribuindo com o exposto, Frey (2000) ressalta que esses processos evidenciam diferentes possibilidades de aprendizagem política e administrativa 4 que permeiam todas as etapas do agir público. Dentro desse contexto, Lotta (2019) destaca como principais temáticas de atenção os arranjos multiníveis de governança, as interações entre atores estatais e de fora do estado e as capacidades estatais de implementação. Ainda, para a autora: As políticas públicas são constituídas por diversas camadas decisórias – às vezes hierárquicas, às vezes paralelas. Essas camadas são compostas por atores responsáveis por decidirem temas ou questões distintas ao longo das políticas públicas. Assim, a separação real não é entre quem formula (e decide) e quem implementa (e executa), mas sim sobre quem decide com quem sobre o quê. E quais decisões são passíveis de serem questionadas, alteradas e “redecididas”. (Lotta, 2019, p. 18) Alinhado a essa discussão, um elemento essencial é a identificação dos atores envolvidos na implementação de cada política pública. Aqui devemos recordar outro tópico de estudo visto em aulas anteriores: a autonomia relativa do Estado. Em um cenário no qual atores não estatais têm um papel fundamental no campo de políticas públicas, não podem ser menosprezados a influência e o papel de atores externos ao aparelho do Estado. Da mesma forma, os diferentes níveis de execução de uma política não devem ser desconsiderados. Como já amplamente estudado por Lipsky (2019), mesmo os servidores públicos alocados em funções de atendimento direto aos cidadãos exercem papel decisivo no processo de implementação. De forma a ilustrar essa questão, vejamos dois exemplos. No caso de uma política pública de educação no município XPTO, um dos agentes diretamente responsáveis pela implementação é o corpo docente de cada escola, ou seja, cada professor tem papel essencial na forma e na abrangência de determinadas diretrizes. Da mesma maneira, ao implementar uma política de segurança pública, em última instância, é a conduta de cada policial em serviço que permitirá a concretização das diretrizes delineadas. Ora, se olharmos o processo de implementação apenas como a instrumentalização de uma política “já pronta”, desconsideraremos determinadas arenas de negociação, articulação de interesses e constelação de agentes fundamentais ao sucesso das diretrizes inicialmente concebidas. Por isso, enquanto gestores públicos, precisamos identificar as dimensões críticas desse processo, de forma a podermos planejar nossa atuação. É sobre essas questões que trataremos no tema seguinte. 5 TEMA 2 – DIMENSÕES CRÍTICAS DO PROCESSO DE IMPLEMENTAÇÃO As reflexões apresentadas no tópico anterior nos permitem compreender duas dimensões críticas centrais no processo de implementação de políticas públicas: por um lado, há uma dimensão técnica inegável, ou seja, a depender do tema abordado por uma política pública, questões específicas de atendimento, prestação de serviços e distribuição de recursos deverão ser planejadas e enfrentadas; contudo, por outro lado, há uma dimensão da ação política que se coloca permanentemente em contexto, exigindo pactuações e negociações contínuas ao longo de todo o processo. Não há como tratarmos da implementação de políticas públicas sem termos em mente essas duas dimensões, para as quais determinadas condicionantes e ambientes decisórios são evidenciados. Tendo por base os estudos de Yanow (1990), podemos elencar algumas das questões que emergem para cada uma das dimensões (figura 2). Figura 2 – Dimensões críticas do processo de implementação Fonte: Nascimento Neto, 2020. Na dimensão técnica, considerando o cenário contemporâneo de autonomia relativa do Estado, observamos uma proeminência das atividades de coordenação e comunicação, particularmente presentes em modelos de governança pública nas quais a pactuação entre diferentes grupos de interesse é crucial. Dentro desse panorama, podemos discutir, inclusive, o que seria uma implementação bem-sucedida. Apenas a manutenção das rotas previamente delineadas é suficiente para que possamos dizer que determinada política teve sua implementaçãorealizada de forma adequada? Muitas vezes, é justamente esse é um critério de enfraquecimento da própria política pública, pois desconsidera as arenas de articulação de poder e interesses presentes ao longo de todas as etapas do ciclo da política pública. 6 Lembre-se: estamos tratando de um tema multidimensional e complexo, que se materializa em um contexto sociocultural, político e econômico também complexo. Em outras palavras, a própria articulação de fatores de determinada política pode se alterar ao longo do processo de formulação e implementação de uma política pública, exigindo sua repactuação a fim de possibilitar sua adequada execução. A excessiva rigidez de determinar políticas públicas pode, inclusive, ser um dos motivos de determinados “déficits de implementação” (Frey, 2000). Contribuindo com o exposto, Matland (1995) estabelece quatro tipologias de implementação, a depender dos graus de conflito e ambiguidade de cada política pública. Esses dois fatores, para o autor, são fundamentais na análise de efetividade de uma política pública, pois se refere à clareza de objetivos e meios (levando a maior ou menor ambiguidade) e aos conflitos de interesse em torno de seus conteúdos. A figura 3 ilustra esse modelo analítico. Figura 3 – Tipologias de implementação de políticas públicas Fonte: Nascimento Neto, 2020. Assim, quando há um baixo nível de conflito, mas um alto grau de ambiguidade (falta de clareza sobre objetivos e meios de consecução), a tendência é termos uma implementação experimental, na qual os resultados dependerão, em grande medida, de condições situacionais. No outro extremo, ao termos maior clareza dos objetivos e dos meios de efetivação, mas, ao 7 mesmo tempo, existir um alto conflito entre coalizões de interesse envolvidas com o tema, a implementação de uma política pública tende a depender majoritariamente da disposição e da capacidade política do governo para ser efetivada. Esse modelo poderá auxiliá-lo diretamente na prática da gestão pública, permitindo mapear tendências de implementação e desafios a serem enfrentados nesse percurso. Veja que, mesmo quando há clareza nos conteúdos de determinada política pública e baixo grau de conflito, uma implementação administrativa também trará desafios, pois será dependente diretamente da disponibilidade de recursos. Esse panorama nos leva a retomar a reflexão sobre a burocracia do nível de rua (Lipsky, 2019), pois, quanto maior forem as ambiguidades de uma política pública e as restrições de recursos impostas, maiores serão os impactos das decisões realizadas pelos agentes de atendimento direto na efetivação das diretrizes delineadas. Ao lidar com restrição de tempo e recursos (humanos e financeiros), os servidores públicos tendem a estabelecer critérios discricionários de atendimento e classificação, alterar formas de prestação do serviço e, geralmente, uniformizar tratamentos para demandas diferentes. Ao lidar com tais desafios, há uma tendência de que sejam colocados em evidência os próprios valores, crenças e ideologias dos funcionários públicos da “linha de frente” de cada departamento, secretaria ou repartição, que responderão majoritariamente à gestão de suas próprias cargas de trabalho (Pressman; Wildavsky; 1973; Meyers; Nielsen, 2012). É difícil imaginarmos uma política pública na qual não exista algum grau de ambiguidade, mesmo que mínimo. Também são raras as condições sobre as quais as políticas públicas são formuladas de forma centralizada, por um grupo restrito de atores. A regra é termos um conjunto variado, articulado e dinâmico de interações e coalizões de interesse, que atuam sobre uma dimensão inevitável de ambiguidade, em um processo com um grau inerente de incerteza. É fundamental termos em mente essas questões, para que não sejamos “surpreendidos” no exercício da gestão pública e para que possamos gerir adequadamente as duas dimensões críticas da implementação de políticas públicas. 8 TEMA 3 – MONITORAMENTO DE POLÍTICAS PÚBLICAS Em nossos estudos sobre a gestão de políticas públicas, propositalmente incluímos um tópico específico sobre monitoramento de políticas públicas. Ao revisitar o esquema gráfico do policy cycle que viemos trabalhando ao longo das últimas aulas, você conseguiria identificar em que etapa essa atividade está inserida? Ademais, por que falamos aqui especificamente de monitoramento ao invés de discutir diretamente a avaliação de políticas públicas? Essas dúvidas, em certa medida, revelam as dificuldades de estabelecimento de processos de monitoramento de políticas públicas no Brasil. Particularmente no nível local, e em municípios de menor porte, a carência de equipe técnica e de recursos é a resposta utilizada recorrentemente por gestores para justificar a ausência de indicadores de monitoramento de políticas públicas. Nesse cenário, os esforços dos governos locais tendem a estar na formulação de políticas públicas e em sua execução. As impressões personalistas da equipe técnica municipal, por vezes, são adotadas como “acompanhamento” do processo de execução. Isso nos coloca frente a um desafio central, enquanto profissionais da gestão pública, sobretudo em políticas de corte local. Ao tratarmos do monitoramento, estamos falando de parte intrínseca do processo de implementação de uma política pública. Diferentemente da etapa de avaliação, de natureza finalística, o monitoramento de políticas públicas constitui um processo estruturado e sistemático de acompanhamento com base em informações relevantes, geradas na gestão de determinada política pública. Para viabilização dessa atividade, a ênfase não recai sobre todos os seus aspectos (o que ampliaria consideravelmente o tempo de elaboração e conformaria a etapa de avaliação em si), mas apenas sobre as dimensões críticas da implementação, mensuradas segundo indicadores estratégicos específicos a cada contexto e temática. Como bem colocado por Jannuzzi et al. (2009, p. 116): Para acompanhar a implementação dos programas e, posteriormente, para gestão, quando eles entrarem em plena operação, são necessários indicadores que permitam acompanhar regularmente as ações programadas, do provisionamento e da alocação do gasto à produção dos serviços e, idealmente, aos eventuais resultados e impactos esperados quando da idealização dos programas. São os indicadores que estruturam processos formais de monitoramento [...]. 9 Estruturalmente, para que possamos produzir indicadores estratégicos e analisá-los adequadamente, três caraterísticas fundamentais devem ser observadas na atividade de monitoramento, quais sejam: (a) regularidade, devendo se constituir em prática rotineira institucionalizada, ou seja, formalizada no fluxo de trabalho; (b) sistematizada e cumulativa, impondo-se a necessidade de ser realizada sistematicamente em um processo cumulativo de geração de informações que alcançará resultados progressivamente mais efetivos após diversas rodadas de monitoramento, demandando uma ação institucional e não individual; (c) tempestiva, por demandar observância à periodicidade planejada, de forma a garantir uma adequada mensuração de indicadores e fomento aos processos de revisão periódica do processo de implementação (Cardoso Jr., 2015). Uma das formas mais utilizadas para organizar os dados de monitoramento são os dashboards (painéis) em sistemas informatizados, pois possibilitam a visualização de diferentes indicadores simultaneamente, permitindo sua articulação em uma análise mais profunda. A utilização de sistemas informatizados unificados também permite maior facilidade no cadastro de informações nas atividades cotidianas de gestão, com reflexos no aumento do diálogo entre dados produzidos por diferentes secretarias ou departamentos. Nesse contexto, é importante lembrarmos que, viade regra, as informações utilizadas para atividades de monitoramento não se originam de levantamentos primários de dados específicos para esse fim, mas sim de dados produzidos sistematicamente em processos institucionalmente estabelecidos (Jannuzzi et al., 2009; Vaz, 2009; Cardoso Jr., 2015). A seguir apresentamos um exemplo de painel de monitoramento disponibilizado publicamente pelo Departamento Penitenciário Nacional (DEPEN), relativo às medidas de prevenção contra a Covid-19 (figura 4). 10 Figura 4 – Painel de Monitoramento – Medidas contra a Covid-19 Fonte: Depen, 2020. Como podemos visualizar, esse painel apresenta, na porção superior, a distribuição dos casos de pessoas vinculadas ao sistema penitenciário com suspeita ou confirmação de acometimento pela Covid-19. Os dados são organizados por estados, de modo que podem ser detalhados por região, e são articulados às medidas específicas adotadas em cada unidade prisional. Esses dados, correlacionados a outros indicadores relevantes de saúde e segurança pública, contribuem para uma gestão adequada do sistema prisional nas diferentes instâncias federativas. TEMA 4 – AVALIAÇÃO DE POLÍTICAS PÚBLICAS: ASPECTOS INTRODUTÓRIOS Se precisássemos descrever de forma extremamente sintética, podemos pensar na política pública como uma resposta a um determinado problema público. Dessa forma, a etapa de avaliação, entendida como aquela realizada após a implementação de uma política pública, possui grande importância, pois permite verificar se as metas e os objetivos buscados foram efetivamente alcançados. Essa é uma função primordial da etapa de avaliação, mas é importante percebermos que ela não se encerra apenas nisso. Como já falamos anteriormente, as políticas públicas são produzidas em um contexto complexo e dinâmico e, ao passarmos por cada uma das etapas anteriores, você pôde perceber as diferentes tensões e arenas de negociação 11 nas quais os conteúdos dessa política são continuamente pactuados. Isso faz com que dificilmente consigamos identificar um ponto de início e um ponto-final de uma política pública: há um contínuo de leis, programas e ações públicas passíveis de sofrerem modificações a qualquer tempo e, com isso, alterar também direções e conteúdos específicos em diferentes frentes de atuação de cada política pública. Diante desse cenário, como identificar o momento específico de avaliação? No cotidiano da gestão pública observaremos que as avaliações poderão ocorrer, simultaneamente, ao final de uma gestão governamental (não necessariamente coincidente com o final do ciclo de uma política), por motivações específicas de grupos políticos de oposição ou ainda por grupos externos à arena política, em uma ação específica de controle social. Os momentos poderão ser diversos, mas há um certo consenso na literatura sobre as diferenças entre essas avaliações e as atividades de monitoramento. A diferença central dos processos de avaliação quanto comparados aos de monitoramento é a profundidade de análise. Enquanto no monitoramento utilizamos painéis com indicadores sintéticos, na avaliação buscamos uma maior densidade analítica, a partir da compilação de um conjunto amplo de variáveis, além da produção de dados primários especificamente para a avaliação que se pretende realizar (Jannuzzi et al., 2009; Cohen; Franco, 1999). Para Worthern, Sanders e Fitzpatrick (2004), as avaliações podem ser inicialmente classificadas segundo a equipe responsável por sua realização, podendo ser do tipo interna, externa, mista e participativa. A avaliação interna, apesar de reduzir custos e tempos de execução, corre o risco de produzir análises com maior grau de interferência por interesses de governo, já que podem revelar uma ação bem ou malsucedida de sua gestão. Por sua vez, avaliações realizadas por consultorias contratadas ou equipes externas à unidade de governo em questão (auditorias do TCU, por exemplo) geram maior transparência e credibilidade no processo avaliativo, ainda que demandem maior tempo de desenvolvimento e, quando relacionadas à contratação de equipe externa, custos adicionais à gestão pública. Quando há uma articulação entre esses dois tipos, temos uma avaliação mista. Por fim, Worthern, Sanders e Fitzpatrick (2004) classifica como participativa o tipo de avaliação em que os beneficiários de determinada política pública são integrados 12 nesse processo, possibilitando contribuições mais amplas de análise dos resultados. A despeito das diferentes classificações, a nós, enquanto profissionais do campo da gestão pública, é fundamental compreendermos os diferentes tipos de avaliação, tema a ser aprofundado no tópico a seguir. TEMA 5 – TIPOS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS Dentro da perspectiva de avaliação de uma política pública, podemos dividi-la inicialmente pelo momento em que é realizada, se utilizada como base para a concepção de uma política pública (ex-ante) ou se posterior à sua execução (ex-post). Além disso, pode também ter natureza formativa, se direcionada ao aperfeiçoamento de uma política ou somativa, se relacionada à verificação dos impactos com vistas à sua revisão, expansão ou término (Ipea, 2018a; Ipea, 2018b). Essas tipologias podem ainda ser desmembradas, a depender do autor que adotemos como referência. Para Rossi, Lipsey e Freeman (2018), por exemplo, as avaliações ex-ante se dividem em dois momentos: um primeiro voltado à avaliação de necessidades, fomentando o desenho do problema público, e um segundo, relacionado ao desenho da política pública e de seu processo de implementação. Já as avaliações ex-post podem se relacionar às avaliações de impacto (outcome) ou de alcance dos objetivos inicialmente planejados (output). Neste momento do curso, interessa-nos avançar em uma maior compreensão dos instrumentos de avaliação ex-post. Como base de reflexão, trazemos aqui a relação de possibilidades elencadas pelo Ipea (2018b). Longe de ser uma lista terminativa, ou seja, que se encerra em si mesma, devemos considerá-la como um rol exemplificativo das diferentes possibilidades. 13 Figura 5 – Possibilidades de avaliação ex-post de políticas públicas Fonte: Nascimento Neto, 2020, com base em IPEA, 2018b. Em nossa prática cotidiana da gestão pública, é fundamental compreendermos a multiplicidade de caminhos possíveis, de forma a selecionar aquele que melhor se aplica à política pública em que estaremos envolvidos. Não há um único caminho nem uma melhor tipologia de avaliação, mas parâmetros de base e critérios mínimos a serem observados para que possamos estruturar um processo adequado de monitoramento e avaliação do agir público. No tópico seguinte observaremos os reflexos práticos disso ao estudarmos o caso da gestão do uso e ocupação do solo urbano. NA PRÁTICA Para podermos compreender, na prática, como ocorrem as etapas de implantação, monitoramento e avaliação de políticas públicas, nos debruçaremos sobre a gestão do uso e ocupação do solo urbano. De acordo com as competências estabelecidas pela Constituição Federal e em observância ao disposto na Lei Federal n. 10.257/2001, conhecida como Estatuto da Cidade, os municípios são os responsáveis por gerir adequadamente o desenvolvimento urbano em seu território, garantindo o “pleno desenvolvimento das funções sociais da cidade e da propriedade urbana” (Brasil, 2001, art. 2º). Para isso, o instrumento básico da política urbana a ser adotado pelos municípios é o Plano Diretor Municipal. Sem adentrar em maiores detalhamentos 14 que escapam ao nosso foco, uma das formas de organização da ocupação urbana é justamente pelo Zoneamento de Uso e Ocupação do Solo, ou seja, a divisão da área urbana de um município em compartimentos, com a definição de quais osusos permitidos e de quanto pode se construir em cada lote. Ao considerarmos o ciclo da política pública, podemos considerar a aprovação da lei municipal que dispõe sobre o Zoneamento como um dos marcos iniciais de implementação dessa política. Mas, nesse contexto, a lei é suficiente para garantir uma adequada gestão do uso do solo? Obviamente que não, sendo necessário ser complementada por um processo de fiscalização, visando o cumprimento das disposições legais, e um processo de monitoramento do uso e da ocupação do solo, de forma a produzir dados relevantes ao governo local, possibilitando, entre outras questões, a compreensão do processo de evolução urbana, a identificação de vetores de crescimento, e de cumprimento das diretrizes estabelecidas no Plano Diretor tem sido cumpridas. Agora, pense no contexto do município onde vive. Como podemos conceber um sistema adequado de monitoramento do uso e ocupação do solo? Um instrumento central de monitoramento e gestão é o chamado Cadastro Técnico Multifinalitário, entendido como o inventário oficial e sistemático do município, organizado segundo uma base cartográfica de todos os lotes, vinculados a sistemas de planilhas eletrônicas, que podem ser acessados por diferentes secretarias (Cunha; Erba, 2010). Com isso, por exemplo, ao aprovar um loteamento, a Secretaria de Urbanismo atualizaria a base cartográfica (o que, simplificadamente, poderíamos chamar de mapa), com os novos lotes aprovados. Ao serem calculados os valores de Imposto Predial Territorial Urbano (IPTU), a Secretaria de Finanças poderá vincular esses valores aos lotes em questão. Posteriormente, ao emitir o alvará de construção de novas edificações, a Secretaria de Obras poderá informar, em planilha específica, a área total construída, o uso da edificação e o padrão de acabamento, específico para lote da cidade. A compilação de todas essas informações, já produzidas, em mapeamentos sintéticos gera o equivalente ao que estudamos anteriormente como painéis de monitoramento. A esse mapa podemos somar gráficos com a variação da quantidade de metros quadrados construídos por bairros ao longo dos diferentes meses e anos ou ainda a concentração de determinados usos por bairros. 15 Esse conjunto de dados, sinteticamente reunidos, são fundamentais à gestão urbana do município. Em outras palavras, significa dizer que esse processo sistemático e institucionalizado de informações permite ao gestor público compreender processos de transformação urbana no município, como um número maior de comércios ou edifícios residenciais e, em última instância, avaliar se as diretrizes do Plano Diretor têm se efetivado ou não. FINALIZANDO Nesta aula, nos aprofundamos nas etapas de implementação e avaliação de políticas públicas. Ao encerrarmos os estudos sobre o ciclo da política pública, podemos perceber a complexidade de cada um desses momentos e como eles ocorrem de forma articulada e, geralmente, sobrepostas. Compreender essa característica intrínseca da gestão de políticas públicas é fundamental para atuar de forma adequada, independentemente de qual das etapas, instâncias federativas ou atividades você esteja ou estará inserido. Nas aulas seguintes, passaremos a analisar alguns modelos teóricos explicativos desse processo complexo de produção de políticas públicas e ampliaremos a compreensão dessas discussões no contexto brasileiro, com base no estudo das políticas de desenvolvimento urbano, desenvolvimento rural e desenvolvimento social. Até a próxima aula! 16 REFERÊNCIAS BRASIL. Lei n. 10.257, de 10 de julho de 2001. Diário Oficial da União, Brasília, DF, 11 jul. 2001. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/leis_2001/l10257.htm>. Acesso em: 15 maio 2020. CARDOSO JÚNIOR, J. C. Monitoramento estratégico de políticas públicas: requisitos tecnopolíticos, proposta metodológica e implicações práticas para a alta administração pública brasileira. Brasília: IPEA, 2015. COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 1999. CUNHA, E. M. P.; ERBA, D. A. CTM: diretrizes para a criação, instituição e atualização do CTM. Brasília: Ministério das Cidades, 2010. DEPEN – Departamento Penitenciário Nacional. Covid-19: painel de monitoramento dos sistemas prisionais. Depen, abr. 2020. Disponível em: <http://depen.gov.br/DEPEN/covid-19-painel-de-monitoramento-dos-sistemas- prisionais>. Acesso em: 15 maio 2020. FREY, K. Políticas públicas: um debate conceitual e reflexões referentes à prática da análise de políticas públicas no Brasil. Planejamento e Políticas Públicas, n. 21, p. 211-259, jun. 2000. IPEA. Avaliação de políticas públicas: guia prático de análise ex-ante. Brasília: Ipea, 2018a. v. 1. IPEA. Avaliação de políticas públicas: guia prático de análise ex-post. Brasília: Ipea, 2018b. v. 2. JANN, W.; WEGRICH, K. Theories of the policy cycle. In: FISCHER, F. et al. Handbook of public policy analysis. Boston: CRC Press, 2007. JANNUZZI, P. M. et al. Estruturação de Sistemas de Monitoramento e Especificação de Pesquisas de Avaliação. In: JANNUZZI, P. M. (Org.). Reflexões para a Ibero-América: Avaliação de Programas Sociais. Brasília: Enap, 2009. LIPSKY, M. Burocracia de nível de rua: dilemas do indivíduo nos serviços públicos. Brasília: Enap, 2019. 17 LOTTA, G. A política pública como ela é. In: LOTTA, G. (Org.). Teoria e análises sobre implantação de políticas públicas no Brasil. Brasília: Enap, 2019. MATLAND, R. E. Synthesizing the Implementation Literature. Journal of Public Admin. Res. and Theory, v. 5, n. 2, p. 145-74, 1995. MEYERS, M. K.; NIELSEN, V. L. Street-level bureaucrats and the implementation of public policy. In: PETERS, B. G.; PIERRE, J. The SAGE Handbook of Public Administration. 2. ed. London: SAGE, 2012. NASCIMENTO NETO, P. Gestão de políticas públicas: conceitos, aportes teóricos e modelos analíticos. Curitiba: Intersaberes, 2020 (no prelo). PRESSMAN, J. L.; WILDAVSKY, A. Implementation: How great expectations in Washington are dashed in. California: University of California, 1973. ROSSI, P. H.; LIPSEY, M W.; FREEMAN, H. E. Evaluation: a systematic approach. Thousand Oaks: Sage, 2018. VAZ, J. C. O monitoramento do planejamento governamental em ambientes complexos. In: JANNUZZI, P. M. (Org.). Reflexões para a Ibero-América: Avaliação de Programas Sociais. Brasília: Enap, 2009. WORTHERN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. São Paulo: Edusp, 2004. YANOW, D. Tackling the implementation problem: epistemological issues in implementation research. In: PALUMBO, D. J.; CALISTA, D. J (Eds.). Implementation and the policy process. New York: Greenwood Press, 1990.