A ideia é simples: tratar políticas públicas como hipóteses. Em vez de adotar um programa porque soa bem, testá-lo, medir os resultados e manter o que funciona. O Nobel de Economia de 2019 premiou Banerjee, Duflo e Kremer por experimentos assim contra a pobreza.
Nesta lição, você vai
- Entender a ideia de tratar leis como hipóteses
- Conhecer a hierarquia das evidências e o ciclo na prática
- Ver os limites e por que os políticos resistem
Ajuda ter lido: Valores morais × decisões políticas, Como comparar projetos políticos.
Uma analogia
Um remédio novo não chega à farmácia só porque o fabricante jura que é bom. Ele é testado: um grupo toma o remédio, outro não, e alguém compara os resultados. Se fizer mal, sai de cena. Leis e programas também afetam a vida de milhões de pessoas, mas muitas vezes são aplicados sem esse teste. Políticas baseadas em evidências tentam levar esse cuidado para o governo.
Explicando para uma criança
Sua turma quer saber se as plantas crescem mais com música. Vocês pegam vasos iguais, sorteiam quais ficam com música e cuidam de todos do mesmo jeito. Depois, medem. Assim ninguém precisa brigar sobre quem acha o quê: dá para olhar o resultado. Com as regras de uma cidade, os adultos podem fazer algo parecido. Só que as plantas não dizem o que é mais justo: isso ainda é preciso conversar.
Antes de ler: o que você faria?
Um programa social parece funcionar: quem participa melhora. Mas quem participa é quem já estava motivado.
O programa funcionou? Como saber de verdade?
Ver o que a lição responde
Comparar participantes com não participantes não basta; é preciso um grupo de comparação equivalente (sorteio, por exemplo). A lição mostra a hierarquia das evidências, o ciclo testar-medir-corrigir e os limites.
De onde vem a ideia
| Quando | O que aconteceu |
|---|---|
| 1747 | O médico James Lind compara tratamentos entre marinheiros com escorbuto, e as frutas cítricas se destacam. É um marco inicial dos testes comparativos. |
| Anos 1960 e 1970 | O psicólogo Donald Campbell defende, em “Reforms as Experiments” (1969), que reformas sociais sejam avaliadas como experimentos. Os EUA testam uma renda garantida com famílias reais. |
| 1972 | O médico Archie Cochrane critica, em Effectiveness and Efficiency, a falta de provas para muitos tratamentos. |
| Anos 1990 | Surge o termo “medicina baseada em evidências”, e a Colaboração Cochrane passa a reunir os estudos em revisões sistemáticas. |
| 1997 | O México lança o Progresa, de transferência de renda, e o avalia com sorteio na ordem de entrada das comunidades. Foi o primeiro grande experimento de política social em um país de renda baixa ou média, e ajudou a espalhar esse tipo de programa. |
| 1999 | O governo Blair, no Reino Unido, adota o discurso de “o que importa é o que funciona” no documento Modernising Government. A expressão ganha o mundo. Na mesma época, nasce a Colaboração Campbell, para fazer nas políticas sociais o que a Cochrane fazia na saúde. |
| Anos 2000 e 2010 | Surgem o J-PAL (2003), a rede britânica What Works e, nos EUA, a Evidence Act (2018). |
| 2019 a 2021 | No Brasil, o decreto 9.834/2019 cria o CMAP, conselho de monitoramento e avaliação. A Emenda Constitucional 109/2021 coloca a avaliação de políticas públicas entre as obrigações da administração pública. |
Ou seja: a ideia veio em boa parte da medicina, foi levada às ciências sociais e virou programa de governo. Isso explica sua força e também um dos debates: a sociedade é mais complicada do que um ensaio clínico.
A hierarquia das evidências
- Revisões sistemáticas reúnem muitos estudos, inclusive os que não deram o resultado esperado.
- Experimentos aleatorizados: grupos sorteados recebem ou não a política. O sorteio torna os grupos parecidos, então a diferença tende a vir da política.
- Experimentos naturais: comparações aproveitando uma mudança real, como uma lei em um estado e não em outro.
- Correlações simples: úteis, mas não provam causa. Cidades com mais policiais podem ter mais crimes porque a polícia foi enviada a elas.
- Casos e opiniões: o nível mais fraco, ainda que ajudem a formular perguntas.
A ordem é uma regra prática, e não uma lei. Um experimento natural bem feito pode valer mais que um experimento ruim, e para perguntas sobre por que algo acontece, entrevistas e estudos qualitativos são indispensáveis.
O ciclo na prática
- Definir o problema e o que seria sucesso, antes de começar.
- Ver o que já se sabe em outros lugares.
- Testar em escala menor, com grupo de comparação, quando for possível.
- Medir custos e efeitos, inclusive os indesejados.
- Publicar, mesmo se der errado.
- Decidir: ampliar, ajustar ou encerrar.
Exemplos
| Caso | O que se aprendeu |
|---|---|
| Scared Straight (EUA) | Levar jovens para visitar presídios parecia óbvio, e o programa era popular. Revisões de experimentos concluíram que ele não reduz a criminalidade e pode até aumentá-la. A intuição estava errada. |
| Progresa (México) | A avaliação sustentou a continuidade do programa mesmo após a troca de governo, e o modelo inspirou outros países. |
| Bolsa Família (Brasil) | Um estudo na The Lancet (2013), com municípios, associou maior cobertura do programa a menos mortes de crianças, sobretudo por causas ligadas à pobreza, como a diarreia. Não foi um experimento com sorteio, e isso limita a certeza. |
| Vermífugos (Quênia) | Um estudo famoso indicou que o tratamento melhorava a frequência escolar. Reanálises geraram a chamada “guerra dos vermes”. Um só estudo, por melhor que seja, raramente encerra a questão. |
Os limites
- Valores: dados dizem o que acontece, não o que importa. Se um programa reduz o crime, mas fere direitos, a decisão continua sendo moral. Veja a ética normativa.
- Validade externa: o resultado em Minas pode não se repetir no Pará.
- Grandes mudanças: não dá para sortear uma constituição, um câmbio ou uma guerra.
- Longo prazo: os efeitos demoram a aparecer, e os testes costumam acabar antes.
- Ética: nem tudo pode virar experimento. Sortear costuma ser mais aceitável quando as vagas são escassas ou a implantação é gradual.
- O que se mede: o que é fácil de medir pode roubar a atenção do que importa.
As críticas
- Experimentos não são mágicos. Angus Deaton e Nancy Cartwright, em artigo de 2018, argumentam que o sorteio não garante, sozinho, conclusão confiável nem resultado aplicável a outro lugar.
- Tecnocracia. “A ciência mostra” pode encerrar debates que deveriam ser democráticos, e quem encomenda o estudo escolhe a pergunta.
- Foco no pequeno. É mais fácil testar um ajuste do que uma mudança estrutural, o que pode desviar a atenção de questões maiores, como poder e desigualdade.
- Falsa bala de prata. Uma sátira famosa no BMJ (2003) nota que nunca houve teste aleatorizado do paraquedas. Exigir sempre o padrão máximo pode ser absurdo.
Por que resistem
Avaliar significa poder ser desmentido. Um programa querido pode não funcionar, o resultado costuma aparecer depois da eleição e encerrar um programa contraria quem depende dele. Avaliações independentes, públicas e obrigatórias ajudam, como as de órgãos como o Ipea. No Brasil, porém, pesquisadores do próprio Ipea ainda descreveram esse movimento como incipiente.
Como cobrar isso de um político
- Que problema esta proposta resolve, e como saberemos se funcionou?
- Onde já foi testada, e o que aconteceu?
- Com o que foi comparada?
- Quanto custa, e o que deixa de ser feito com esse dinheiro?
- Quem vai avaliar, e o resultado será público?
Use também o guia para comparar projetos.
Para guardar
- Testar, medir e corrigir: um programa não é bom porque soa bem.
- Revisão sistemática vale mais do que um experimento, que vale mais do que a opinião de um especialista.
- Evidência diz o que funciona; não diz o que é justo. As duas perguntas continuam separadas.
Para pensar
Que política você defende com mais convicção? Que evidência existe sobre ela, e você já a procurou?
Teste rápido · 1 de 3
Aplique · 2 de 3
Confira · 3 de 3