monitoramento, avaliação e proposição de melhorias do ... · grupo de tratamento e um grupo de...
TRANSCRIPT
Monitoramento, Avaliação e Proposição de
Melhorias do Programa Cartão Família Carioca
PRODUTO 3
Coordenação: Marcelo Cortes Neri
Visão Geral do Terceiro Produto
A avaliação específica de impactos do Programa FC, iniciada após um ano de
execução do programa, analisada em outro texto deste produto final do projeto, aponta
quais foram os primeiros efeitos monetários do programa, e em particular sua relevância
para a educação dos beneficiários, incluindo também dimensões conceituais. Os testes
empíricos têm a proposta de começar a apontar quais os instrumentos de política
funcionam melhor, de modo a maximizar os recursos escassos disponíveis.
A melhor expressão do esforço analítico de políticas públicas se dá no J-Pal
(Abdul Latif Jameel Poverty Action Lab), do Massachusetts Institute of Technology
(MIT), cuja missão é “reduzir a pobreza assegurando que a política é baseada em
evidências científicas”.[1] Um time de acadêmicos de várias nacionalidades e altamente
gabaritados testa e aprimora a efetividade dos programas e ações a partir de
randomizações, que correspondem a um método bastante rigoroso de avaliação de
impactos a partir de um grupo de comparação escolhido ao acaso dentro de uma
população, tais quais os utilizados em testes médicos, por exemplo. Formam-se um
grupo de tratamento e um grupo de controle. O primeiro é contemplado com os
benefícios do programa, daí o nome de grupo de tratamento. O grupo de controle, por
sua vez, permanece em uma situação de neutralidade em relação à atuação do programa,
não recebendo os benefícios do mesmo. Por meio da comparação entre esses dois
grupos, é possível analisar empiricamente os impactos de programas e ações e, a partir
dos resultados, inferir sobre quais ações foram efetivas. Avalia-se, assim, a efetividade
do processo e testa-se se os resultados são robustos do ponto de vista dos gestores do
programa.
Discutimos ainda upgrades a serem incorporados ao programa (Familia Carioca
2.0)
Na segunda parte este terceiro relatório vamos além da aferição dos efeitos
preliminares do programa e olhamos para o atendimento de metas mais abrangentes
assumidas pela prefeitura. Defendemos o uso de instrumentos de medição,
monitoramento e de metas de pobreza usando pesquisas de uso público como a
PNAD/IBGE. Realizamos análise de grupos da sociedade.
[1]
Tradução livre do site: http://www.povertyactionlab.org/about-j-pal. Acessado em 13 de março de 2012.
Propomos seguir uma tendência mundial de avaliar criticamente o conjunto de
ações de combate à pobreza, visto o compromisso da comunidade mundial de
adequação com as Metas do Milênio da ONU. As metas vão ao encontro do desejo de
uma sociedade mais justa e com menos pobres.
Desenvolvemos análise da evolução e característica da pobreza na cidade bem
como dos beneficiários do Cartão Família Carioca. Além dos textos apresentamos
alguns bancos de dados interativos a partir de tabulações e modelos multivariados,
vídeos síntese de coletivas e cerimonias oficiais associadas ao programa, artigos de
autorados na imprensa e repercussões de mídia.
Sítio da Pesquisa
O sítio www.fgv.br/cps/familiacarioca2 oferece um amplo banco de dados com dispositivos interativos e amigáveis de consulta às informações. Através dele, você pode avaliar o perfil dos das famílias cadastradas no CadÚnico que são ou não beneficiárias do Cartão Família Carioca e/ou do Bolsa Família abertos por variáveis sócio-demográficas (tais como sexo, idades, escolaridade dos pais, acesso a outros programas sociais entre outras). Além disso, oferecemos simuladores de probabilidades de acesso dos alunos da rede municipal ao FC e dos impacto destas mesmas características (com destaque ao acesso ao programa) sobre a performance escolar dos alunos nas provas bimestrais. Além disso, oferecemos panorama da população carioca em geral ao longo dos últimos 13 anos onde se pode analisar como variáveis como renda, pobreza, escolaridade entre outras se correlacionam com uma série de estatísticas espaciais e demográficas.
Monitoramento, Avaliação e Proposição de
Melhorias do Programa Cartão Família Carioca
PRODUTO 3
Relatório 1: Perfil dos Alunos Beneficiários e Impa ctos sobre Educação 1
Sumário Executivo
Coordenação: Marcelo Cortes Neri
1 Esta pesquisa é parte integrante do relatório final de projeto de desenho e avaliação de impacto do programa Cartão Família Carioca da Prefeitura da Cidade do Rio de Janeiro no âmbito da Secretaria da Casa Civil e do Instituto Pereira Passos (IPP). Agradecemos a Secretaria Municipal de Assistência Social (SMAS), a Secretaria Municipal de Educação e ao Instituto de Planejamento (IPLAN-Rio) o fornecimento das bases de microdados aqui utilizadas.Agradecemos os comentários preliminares recebidos durante seminário no Instituto Pereira Passos (IPP) e em diversas reuniões de trabalho com diversas secretarias municipais. Agradecemos em especial os comentários de Eduardo Paes, Pedro Paulo Carvalho, Jean Caris, Roberta, Rodrigo Bethlen, Janine, Claudia Costin, Ricardo Henriques, Sérgio Ferreira e Fernando Cavalieri. Isentando-os porém de possíveis erros e imprecisões remanescentes.
Sumário Executivo
I - Visão Geral do Cartão Família Carioca
Os benefícios totais variam de acordo com a pobreza e a proficiência escolar indo do piso fixado de R$ 20 até R$ 417 mês por família O programa busca quem é pobre e não apenas quem está pobre, busca os mais pobres dos pobres tratando os diferentes na medida de sua diferença.
Programas de transferência condicionada de renda são cada vez mais usados como
políticas públicas focadas nos pobres de países da América Latina. O fato da
desigualdade de renda estar caindo de maneira generalizada nos diversos países da
região onde estes programas ganharam maiores escala e notoriedade os coloca na
fronteira do combate a pobreza e desigualdade no mundo. O programa Bolsa Família
(BF) brasileiro provê um benefício monetário mínimo às famílias pobres; reduzindo a
transmissão intergeracional de pobreza condicionando o recebimento dos benefícios a
investimentos em capital humano pelos beneficiários. As condicionalidades do BF são:
educação – frequência escolar mínima de 85% para crianças e adolescentes entre 6 e 15
anos, e mínima de 75% para adolescentes entre 16 e 17 anos; saúde – acompanhamento
do calendário vacinal para crianças até 6 anos; pré-natal das gestantes e
acompanhamento das nutrizes na faixa etária de 14 a 44 anos.
Eduardo Paes e Pedro Paulo, Prefeito e Secretário da Casa Civil da Cidade do Rio
de Janeiro, requisitaram ao Centro de Políticas Sociais da Fundação Getulio Vargas,
desenho de estratégia complementar a do BF para ser aplicada no Rio em curto intervalo
de tempo. O Cartão Família Carioca (FC) foi criado a partir de repetidas e ricas
interações com o próprio prefeito e diversos órgãos da cidade tais como a Casa Civil, o
Instituto Pereira Passos, o Instituto de Planejamento, a Secretaria de Assistência Social
e a Secretaria Municipal de Educação. Podemos dividir as inovações do FC em duas
partes: o sistema de pagamentos que visa tornar as pessoas menos pobres no presente e
os incentivos ao investimento que vai tornar as pessoas menos pobres no futuro. No que
tange ao sistema de pagamentos nos beneficiamos da experiência e práticas federais
aninhando o FC em seu desenho no BF. O FC usa como pedra fundamental da
construção de futuro a experiência exitosa da secretaria municipal da educação sob a
batuta de Claudia Costin que avalia os estudantes da maior rede municipal do país em
provas bimestrais para além das provas que cada escola aplica em seu cotidiano. O
Índice de Desenvolvimento da Educação Básica (IDEB) do Rio de Janeiro em 2009 já
mostra movimento de recuperação na educação. Apesar da elevação na taxa de
reprovação no primeiro segmento de 1º a 5º anos fruto do abandono da aprovação
automática, o IDEB passou de 4,5 em 2005, para 5,1 em 2009.
Sistema de Pagamento
O sistema de pagamento do programa se beneficia do Cadastro Social Único
(CADÚNICO), um verdadeiro censo dos pobres brasileiros com quase 60 milhões de
pessoas registradas com uma variedade de informações sócio-demográficas, de acesso a
outros programas federais, endereço físico das pessoas e para os beneficiários um
endereço de pagamento. Só na cidade do Rio de Janeiro são mais de um milhão de
cadastrados, quase um quinto da população carioca, destes 575 mil percebem benefícios
do Bolsa Família. A decisão foi começar por este grupo que está na folha utilizando
como parceiro a Caixa Econômica Federal o que facilita a localização física dos
beneficiários, a emissão de cartões e de senhas dos beneficiários.
Uma inovação foi evitar o uso simples da renda reportada pelas pessoas como no
BF, para lançar mão do rico acervo de informações presente no CadÚnico referentes ao
acesso e uso de ativos. Estas informações vão desde a configuração física da moradia
Descrição Geral do Família Carioca
• Complementos do programa federal BolsaFamília
• Inovação no sistema de pagamentos e nosinvestimentos em capital humano
• Sistema de Pagamentos:
– Renda estimada pelas informações do CadastroSocial Único
– Completa a renda até a linha de pobreza U$ 2dólares dia
(tipo, número de cômodos, materiais chão, teto, paredes etc.), acesso aos diversos
serviços públicos (água, esgoto, luz etc.). Além disso, inclui a educação de todas as
pessoas no domicílio, acesso e tipo de posição na ocupação e na desocupação de marido
e esposa, a presença de grupos vulneráveis como pessoas com deficiência, grávidas,
lactantes e crianças (aí incluindo o status escolar) bem como o acesso a outras
transferências federais a começar pelo próprio Bolsa Família. Isto foi implementado
mediante a uma equação minceriana de renda contra esta miríade de informações do
CadÚnico, assim como um modelo de renda não monetária responsável por 25% da
renda dos pobres segundo a POF. A renda estimada por este sistema de imputação gera
um conceito de renda permanente similar ao criado por Milton Friedman. No topo da
renda estimada é adicionada a renda de programas sociais da folha de pagamentos. A
questão aqui é ampliar o critério da renda que as pessoas dizem que tem hoje para um
conceito mais abrangente. Neste sentido, o FC se importa com quem é pobre, e não com
diz que está pobre, este já objeto do BF.
A segunda característica do sistema de pagamentos do programa é completar a
renda estimada das pessoas até a linha de pobreza fixada de forma a dar mais a quem
tem menos. Este expediente trata os pobres, e apenas eles, na exata medida de sua
Conceito de Renda Permanente:A renda familiar será estimada a partir de informações contidas no
CADÚNICO:
• configuração física da moradia;
• acesso aos diversos serviços públicos (água, esgoto, luz);
• nível de escolaridade das pessoas no domicílio;
• inserção no mercado de trabalho de marido e esposa;
• presença de grupos vulneráveis (como pessoas com deficiência, idosos, crianças);
• o acesso a transferências federais de renda.
Identifica quem é pobre, não quem está (ou diz que está) pobre
diferença. A tentativa é buscar os mais pobres dos pobres. Isto só é possível por
usarmos renda estimada, pelos óbvios incentivos de sub-reportagem de renda, se a renda
auto-reportada fosse o critério utilizado.
A linha de pobreza usada no programa é a de U$S 2 dólares dia por pessoa
ajustada por diferenças internacionais e internas de custo de vida que corresponde a
preços locais de hoje a cerca de R$ 108 mês por carioca. Este parâmetro corresponde a
mais generosa linha da primeira e mais importante das oito metas do milênio da ONU
que é a redução da pobreza extrema à metade no período de 25 anos terminados em
2015. A outra linha das metas da ONU de 1 U$S é adequada apenas para países mais
pobres como os da África. Desta forma o programa alinha o Rio ao mundo,
aproveitando a vocação internacional da cidade reforçada com eventos internacionais
como o final da Copa do Mundo de futebol de 2014 e as Olimpíadas de 2016. O fato da
data final da meta, 2105 estar neste horizonte ajuda na mobilização. O Brasil ao
contrário de países como EUA, Irlanda e Índia não dispõe de uma linha oficial de
pobreza. O uso das linhas internacionais reforça a consistência espacial das ações locais
com o pensar global.
Educação
No que tange aos aspectos educacionais, o FC mais uma vez constrói em cima das
bases do BF dando um benefício básico e até três benefícios por família, número
máximo de forma a evitar incentivos a natalidade. A diferença é exigir níveis mais altos
PROGRAMA DE TRANSFERÊNCIA DE RENDA:Impacto na Distribuição de Renda
0 5 10 15
2 dólares PPP dia
Re
nd
a m
en
salf
amili
arp
er
cap
ita
mé
dia
(R
$)
Hiato dePobreza
População (%)
R$ 70,00 = 1,25 dólares PPP dia Linha pobreza extrema BSM/BF
Linha Pobreza
Os benefícios variam para cada família: quanto mais pobre, maior o benefício
de frequência escolar mínimos de 90% contra 85% do BF, além da exigência da
presença de um dos pais, ou responsável, em reuniões bimestrais nas escolas numa
tentativa de aprimorar o background familiar responsável por mais de 70% dos
diferenciais de educação, segundo a literatura empírica. Outra diferença nesta direção é
que cada um destes benefícios não são fixos, mas proporcionais à insuficiência de renda
estimada das famílias em relação à linha internacional, como explicado antes.
Os benefícios adicionais na faixa de 16 a 17 anos presentes na extensão do BF
proposta em 2007, não foram incorporados, pois a responsabilidade constitucional da
cidade é com o ensino fundamental. Dado o atraso escolar reinante no Brasil, os alunos
da rede municipal nesta faixa de 16 e 17 são incorporados às demais até o máximo de
três benefícios por família.
A maior inovação educacional do FC é premiar os alunos pelo desempenho
escolar, alavancado no sistema de provas bimestrais de avaliação levados a cabo pela
secretaria de educação. O profissional de educação já tem incentivos salariais dados
pelo desempenho escolar. No lado da demanda, os alunos terão que atingir um mínimo
de nota nestes exames de oito, ou para aqueles com rendimento insuficiente até o
mínimo de quatro terá que apresentar uma melhora mínima de 20% a cada bimestre de
forma a se habilitar a um prêmio extra bimestral de R$ 50 reais por estudante. Neste
caso não há limite de prêmios por família dados à natureza individualizada do prêmio
por desempenho escolar. Estes requisitos são diferenciados nas Escolas do Amanhã
situadas em áreas conflagradas da cidade.
Outra inovação do FC está na ênfase dada à educação na primeira infância que
tem se mostra como determinante no desempenho escolar e social futuro dos egressos.
Como apesar dos esforços da cidade, os desafios de cobertura estão presentes nesta
faixa etária, optou-se por inverter os termos de oferta nesta faixa se privilegiando as
famílias mais pobres presentes no CadÚnico na alocação de crianças em creches e pré-
escolas da cidade, assim como no programa Primeira Infância Carioca (PIC) com
atividades complementares para aqueles que não obtiveram vagas na da rede municipal.
A presença dos pais em reuniões bimestrais também é parte das condicionalidades nesta
faixa etária.
II – Metas, Medição e Monitoramento de Pobreza
Proposta de Metas de Pobreza
Sintese: Indicador P2, por dar mais peso a quem tem menos como no
Cartão Família Carioca
Linha de Pobreza - U$S 2 dólares por dia PPC para dois contextos:
i) Pnad com imputação de dados de renda faltantes
ii) CadÚnico com Renda permanente para todos os beneficiários do
Bolsa Famílía como forma de avaliação do Cartão Família Carioca
A proposta ideal e que se use os mesmos parâmetros de meta de pobreza que os
do Cartão Família Carioca (FC). Esta consistência vai permitir que toda otimização no
desenho do programa se reflita nos resultados auferidos.
Em primeiro lugar, propomos o valor da linha equivalente a U$S 2 dólares por dia
PPC (cerca de R$ 108 por pessoa mês) Que foi escolhida pelo prefeito Eduardo Paes
como linha de corte do FC. Esta e a linha mais generosa das Metas do Milênio da Onu
que vence em 2015. Isto permite alinhar o agir local com o pensar global e de certa
forma dialoga com a linha oficial de extrema pobreza de R$ 70 recém adotada que esta
• FC constrói em cima das bases do Bolsa Família
• Investimentos em educação– Maior Engajamento dos pais
• Transmite importância da educação
• Gera controle social
– Garante acesso a informação privilegiada Educação na Primeira Infância
• Aperfeiçoamento cognitivo e não cognitivo
• Prioridade aos mais pobres
– Investimento nos filhos• Prêmio por desempenho
• Maior frequência obrigatória
• Alta agilidade administrativa nas Condicionalidades e Prêmios
próxima da linha de U$S 1,25 dia das Metas da Onu. O horizonte das metas da cidade
se sobrepõe ao da Onu 2015 (entre a Copa e as Olimpíadas)2.
Em segundo lugar, sugerimos que se acompanhe uma medida que priorize os mais
pobres dos pobres tal como o FC. O FC da mais a quem tem menos. Esta medida se
chama P2, favorita entre 99 de cada 100 estudiosos de pobreza. Pode-se acompanhar
toda a Família de Indicadores FGT que são os mais usados (proporção dos pobres (P0),
o custo de erradicação de pobreza por carioca, por exemplo 5 reais mês (P1) e o P2
como meta.
Finalmente, propomos uso de imputação de renda para as rendas não respondidas.
Desta forma teremos indicadores de pobreza mais precisos e menores do que, por
exemplo, se atribuísse o valor nulo a eles. A amostra refletira toda a população o que
não aconteceria se retirássemos os valores ignorados (missing) da amostra. Este
problema afeta especialmente a cidade do Rio e nos levou a usar renda imputada no
desenho do Cartão Família Carioca no caso para todas famílias.
Em termos de sistema de monitoramento da cidade como um todo propomos: o
uso da Pnad para acompanhar a evolução anual a PME compatibilizada para falarmos
de movimentos mais recentes, e o Censo para termos a distribuição entre Bairros, APs
entre outras).
No que tange ao acompanhamento dos impactos diretos do FC sobre a pobreza
propomos que se use o universo de beneficiários do Bolsa Família e medidas baseados
em renda permanente.
i) A meta de aumento dos cadastrados do CadÚnico deve ser complementada
com a de melhora da qualidade do cadastro medida pelo IGD (Índice de Gestão Descentralizada) do MDS. Desta forma cria-se um incentivo a se cadastrar mais e melhor as pessoas.
No que tange ao acompanhamento do impacto de longo prazo do FC já dispomos
de um grupo de controle aleatório para se medir os impactos das notas relativas nas
provas bimestrais aplicadas pela SME.
2 Os dados baseados em frações de salário mínimo tem o inconveniente de acumular massa da
distribuição distorcendo a análise de evolução de proporção dos pobres e por mudar de valor real ao longo do tempo o que torna inconveniente seu uso como numerário.
Apresentamos abaixo estimativas de três linhas de pobreza alternativas e rendas
estimadas posso detalhar mais. Temos de ajustar os algarismos significativos da linha de
U$ 2 dólares por dia. Vide Link de Panorama de Dado
Fonte: CPS/FGV a partir dos microdados da PNAD/IBGE
Utilizamos aqui uma visão econômica, sendo a renda a medida central usada. A
análise da renda familiar per capita pode ocorrer, inicialmente, de duas maneiras: pela
renda corrente, que diz respeito aos recursos financeiros oriundos de trabalho,
previdência, programas sociais ou outras fontes; e pela renda permanente, fluxo de
recursos constante, que pode ser sustentado pelo restante do horizonte de vida do
indivíduo – determinado por recursos físicos e humanos como propriedades, educação,
etc. A primeira é de fácil mensuração, pois a PNAD faz perguntas diretas sobre os
valores das rendas de cada fonte. Já em relação à renda permanente, a estimamos
através de um modelo robusto baseado em informações sobre posse de ativos físicos,
condições habitacionais, entre outros atributos, o que constitui inovação metodológica
na análise empírica, sendo um processo amplamente adotado em estudos acadêmicos e
em políticas sociais mundo afora. A inovação é utilizar a renda estimada para
determinar o tamanho do benefício concedido.
7.77
10.85
7.35
4.93
7
45
3
5.39
7.75
5.63
3.5
0
2
4
6
8
10
12
1996 1997 1998 1999 2001 2002 2003 2004 2005 2006 2007 2008 2009
Evolução Pobreza Renda Estimada (para rendas faltantes (missing))
Linha CPS (R$151) Linha US$2/dia Linha 1/4 SM
A fim de analisar a evolução de indicadores clássicos de desigualdade, bem estar
social e pobreza, inovamos ao adicionar filtros de renda e metodologias de estimação,
totalizando quatro modos diferentes de mensuração que contrastamos aqui: i) renda
baseada apenas nas rendas positivas válidas (eliminando os valores ignorados (missing))
; ii) renda zerando valores ignorados (missing). iii) renda estimada apenas para as
pessoas que reportam ter renda ignorada iv) renda estimada para todas as observações.
Apresentamos abaixo estimativa inicial de impacto inicial do programa (sem a
perda de beneficiários pelo travamento do cadastro inicial mas por outro lado sem o
premio educacional e sem a expansão recente.
Impactos Diretos do Cartão Família Carioca (FC)
RENDA THEIL GINI % Pobres - P0 P1 P2
Antes do FC 104.52 0.055012 0.18144 64.51 14.42 4.38
Depois do FC 116.06 0.0278 0.1139
49.95 4.13 0.57
Variação 11.04% -49.56% -37.21%
-22.57% -71.38% -87.06%
Fonte: CPS/FGV a partir dos microdados do CadÚnico / MDS
Impactos Imediatos na Pobreza A pobreza entre os beneficiários do Bolsa Família caiu instantaneamente no público-alvo um adicional de 46% a partir da implementação do Família Carioca.
De maneira geral, se todas condicionalidades e prêmios forem concedidos o FC
irá transferir R$ 122 milhões de reais por ano para 98 mil famílias compostas de 421
mil pessoas, sendo 56,7% menores de idade. Famílias já contempladas pelo BF com 95
reais médios mensais receberão ainda do FC um benefício médio de 104 reais mês,
composto na média de 70 de benefícios básicos e condicionalidades e mais 34 reais de
prêmios educacionais. Os benefícios totais variam de acordo com a pobreza e o
desempenho escolar indo do piso fixado de R$ 20 até R$ 417 mês por família
beneficiada.
Algumas características dos beneficiários responsáveis por receber o benefício:
Mulheres (96,26%), Solteiras (73,25%), com Ensino Fundamental Incompleto
(67,27%), Fora do mercado de trabalho (42,34%), Informais (30,33%), situadas em
Famílias de 3 a 5 pessoas em média (80%).
Em termos de aferição de impacto, se usar a medida de pobreza denominada de P2
que é a favorita entre 9 entre 10 especialistas de pobreza por enxergar a desigualdade
entre os pobres: o P2 entre os beneficiários do Bolsa Família vai cair instantaneamente
um adicional de 46% a partir da implementação do FC. A meta do milênio da ONU é
reduzir a pobreza em 50% em 25 anos. Passo instantâneo e fundamental nesta direção.
A pobreza neste universo com a aplicação cumulativa do Bolsa Família e do
Família carioca cairá 78%, sendo 46% desta queda do Família Carioca.
Avaliação de benefícios Monetários do FC e Programas Totais (BF e FC)
Fonte: CPS/FGV a partir dos microdados do Cadastro Único/SMAS e MDS
-21%-35%
-46%-34%
-64%-78%
P0 P1 P2
Redução da Pobreza nos Recebedores do Família Carioca
Efeito Família Carioca Efeito Transferências
No que tange ao impacto espacial do programa ele atinge mais as áreas mais
pobres da cidade.
Abertura Espacial
Impactos BC+BF por RA CariocaPopulação Beneficiada
0,600
0,650
0,700
0,750
0,800
0,850
0,900
0,950
1,000
0%Índ
ice
de
de
sen
vo
lvim
en
to h
um
an
o
(ID
H)
Concentração de pessoas cadastradas pelo
No que tange ao impacto espacial do programa ele atinge mais as áreas mais
Abertura Espacial - Bairros Carioca
Impactos BC+BF por RA CariocaPopulação Beneficiada
y = -0,3579x + 0,9031R² = 0,4348
0% 10% 20% 30% 40% 50% 60% 70%
% de Cadastrados
Concentração de pessoas cadastradas pelo IDH dos bairros
No que tange ao impacto espacial do programa ele atinge mais as áreas mais
Impactos BC+BF por RA Carioca
80%
III - Impactos de Incentivos na Vida Escolar3
A nota dos alunos incentivados subiu 17 pontos acima dos demais e a presença dos
seus pais na escola é o dobro dos sem prêmio.
Meios ou Fins?
O Brasil começa a entrar num novo federalismo social onde cidades e estados
começam a desenvolver programas específicos sobre a base do Cadastro Social Único
federal do Bolsa Família. Neste contexto aprende mais do que quando todas as decisões
são tomadas desde Brasília. A diversidade de desenhos gera lições a partir dos erros e
acertos de cada um. A Cidade do Rio de Janeiro lançou há um ano, o Família Carioca,
programa pioneiro cujos primeiros resultados começam a ser avaliados.
A Secretaria Municipal de Educação (SME) do Rio contava em 2011 com 670
mil alunos, a maior rede de ensino da América Latina. A SME tem desenvolvido uma
gama variada de ações, desde avaliações bimestrais dos alunos; avaliações externas
bianuais; prêmios por desempenho dos professores vinculado a performance dos alunos
entre outras.
A SME tem conseguindo gerar melhoras diferenciadas no Índice de
Desenvolvimento da Educação Básica (IDEB), apesar de ter saído do sistema de
aprovação automática. Centramos aqui nas inovações que interagem diretamente com o
programa Cartão Família Carioca (FC), objeto de avaliação nossa cujos resultados serão
disponibilizados em www.fgv.br/cps/fci.
A SME conta com um banco de dados que possui três qualidades raras: i)
riqueza das informações compiladas, aí incluindo o background familiar dos alunos,
características das escolas, diretores, professores etc. ii) O fato dos mesmos alunos
serem acompanhados por longos intervalos de tempo. iii) As avaliações de proficiência
são aplicadas a cada dois meses possibilitam que o sistema de feedback seja rápido e
proveitoso do ponto de vista gerencial constituindo uma verdadeira Disneylândia dos
estudiosos e gestores educacionais.
O FC não procurou criar novos programas escolares, mas potencializar os
impactos daqueles já existentes atuando sobre o lado da demanda por educação. Por
3 Esta parte está baseada em trabalho co-autorado de Marcelo Neri e Rafael Borges.
exemplo, a instituição de um prêmio de performance individualizado por aluno foi
instituído, pois já existiam provas bimestrais aplicadas. No caso do CFC o programa
elegeu um conjunto amplo de condicionalidades escolares e prêmios aos estudantes
aplicados tanto a insumos como a resultados educacionais.
Resultados preliminares mostram que incentivos financeiros ajudam no
aprendizado escolar. Alunos pobres que receberam desafios de desempenho tiveram
melhora de 20 pontos acima daqueles sem prêmio nos três primeiro bimestres após sua
implantação. O efeito sobre as notas depende da matéria: 25 décimos para Ciências, 18
décimos para Matemática, mas 0 décimos para Língua Portuguesa.
Além disso, os pais desses alunos tiveram 70% de participação em reuniões aos
sábados nas escolas, contra 30% daqueles que não foram incentivados. Isto nivela as
oportunidades dadas aos alunos. A literatura brasileira demonstra que 70% da
performance escolar é determinada pelo background familiar, tipo educação dos pais e
especialmente da mãe, renda da família etc.
A lição recente de uma série de estudos recentes baseados no programa
Opportunity de Nova York mostraram que deu mais resultados incentivar insumos
escolares do tipo pagar o aluno para ler livros, ou frequentar uma jornada escolar
estendida do que premiar o desempenho escolar medido por provas. Premiar insumos
seria mais efetivo do que premiar resultados finais que estão menos ao controle dos
alunos que se não se motivariam a se esforçar mais.
A experiência carioca recente fez as duas coisas, incentivos a insumos e a
produtos escolares. Em primeiro lugar, dá bolsas de estudo adicionais condicionadas a
frequência de alunos às aulas e de seus pais nas reuniões bimestrais. Os resultados
sugerem que os dois caminhos são complementares. Se criar novos programas é preciso,
avalia-los também é preciso.
Frequência de Pais em Reuniões Escolares - A frequência dos pais as reuniões
bimestrais em cada uma das escolas de seus filhos constitui uma das condicionalidades
do programa Família carioca (FC) que segue na linha de insumos ao invés de resultados
como os prêmios de educação analisados. Podemos observar neste estágio apenas
tabulações bivariadas relativas à frequência dos pais nas reuniões escolares. Como
vimos, a presença dos pais nas escolas é muito importante para um melhor desempenho
e evolução dos filhos em termos educacionais e sociais. Nesse sentido, podemos
perceber a diferença significativa de frequência na reunião de pais quando comparamos
os beneficiários com os não beneficiários do CFC. Os gráficos divididos por série
escolar (incluindo Educação Infantil (EI), Classes de Realfabetização (Realf) e classes
de Aceleração (Acel)) mostram que a frequência na reunião de pais dos beneficiários é
muito maior do que a dos não beneficiários, sugerindo um impacto positivo das
condicionalidades escolares do CFC.
Fonte: Tabulações da SME de 2011.2
Quando abrimos série escolar dividido por regiões escolares da cidade CRE,
vimos que em todos o mesmo fenômeno é observado, com ampla diferença entre pais
beneficiários e não beneficiários pelo program em todas 209 comparações realizadas,
demonstradas no apêndice.
Frequência de Alunos - Com relação ao percentual de frequência dos alunos, também
percebemos as diferenças entre os beneficiários e os não beneficiários do CFC, com os
primeiros apresentando maiores percentuais de frequência em ambas as análises por
CRE e por série escolar (usando dados gerais do município). No entanto, apesar dos
percentuais de frequência serem maiores para os beneficiários, essas diferenças não são
tão grandes quanto os diferenciais de frequência na reunião de pais.
66
79 76 75 75 73 74 72 69 66 65 65 6357 57
6661 63
59
20
3631 32 33 31 31 31 29 27 25 24 23
27
1824 23
19 20
0
10
20
30
40
50
60
70
80
90
Percentual de Frequência na Reunião de Pais por série escolar (2o Bimestre de 2011)
Beneficiários Não Beneficiários
Fonte: Tabulações da SME de 2011
Os resultados empíricos sugerem numa primeira abordagem que os alunos
beneficiários pelo FC são incentivados a ir à escola. Mas esse resultado é algo não
causal. Por exemplo, em comparação semelhante bivariada das notas bimestrais, os
resultados bem melhor controlados pelas regressões foram em sua grande maioria
invertidos. Nestas comparações bivariadas de séries por CREs, apenas em 7 dos 99
casos analisados o nível da nota pós-programa era superior entre os alunos beneficiários
da Família Carioca. Nas regressões e experimentos propostos não permitiram rejeitar as
hipóteses de que o programa incentiva os alunos a tirarem melhores notas e a tentar
melhorar estas notas pelo incentivo de melhora. Portanto, os resultados da análise de
impacto sobre os insumos escolares podem ser considerados preliminares, incompletos
e arriscados. Falta incorporar dados anteriores ao programa, descer ao nível dos
microdados que nos permitiriam controlar pelas características observáveis dos alunos e
de seus pais e pensar em situações que repliquem condições de experimentos
aleatorizados de forma a lidar com vieses de seletividade inerentes a operação do
programa. Portanto, embora tentados, não podemos afirmar ainda que o FC gera maior
presença dos pais nas reuniões bimestrais nas escolas.
92.13
93.3793.74
94.3794.75
93.36
92.0392.32 92.12
89.87
91.5591.99
92.84
93.57
92.55
91.39 91.43 91.15
87
88
89
90
91
92
93
94
95
96
1º Ano 2º Ano 3º Ano 4º Ano 5º Ano 6º Ano 7º Ano 8º Ano 9º Ano
Percentual de Frequência dos Alunos por ano escolar (2° Bimestre de 2011)
Beneficiários Não Beneficiários
Análise Multivariada
Realizamos um exercício controlado onde comparamos pessoas iguais em várias
dimensões observadas dos alunos (como gênero, raça, repetência no ano anterior e
atraso escolar acumulado), características da escola (localização, turno, se é Escola do
Amanhã ou turma especial (pessoas com deficiência); transporte a escola (modalidade,
tempo e se vai sozinho), background familiar (escolaridade do pai e da mãe e presença
deles)). Focamos inicialmente em aspectos ligados a presença e escolaridade da mãe
que desempenha papel central no programa.
Presença e Acesso
No que se refere ao acesso ao Família Carioca Na análise do índice de presença
do pai, verificamos que alunos com o pai falecido possuem 21% menos chances de
pertencer ao Programa que aqueles que moram com o pai. A redução é de apenas 9%
para aqueles que possuem pai vivo, mas não residem com o mesmo. Mais uma vez,
observamos resultados bastantes mais expressivos referentes às mães. Um estudante
com a mãe falecida desfruta de 49% menos chances de pertencer ao Programa, e de
31% menos caso a mãe seja viva, mas não more com o jovem.
Apontando na mesma direção, alunos que fazem este trajeto sozinhos apresentam 21%
menos chances de pertencer ao Programa que aqueles que o fazem acompanhados.
Como veremos, as notas e a pobreza são inversamente relacionadas à presença do pai e
da mãe.
Este dado é indicativo de que crianças órfãs ou abandonadas tenham carência do
elo de conexão com o programa. Portanto, esta é uma área que sugere possibilidade
melhora de focalização. Em particular, sugerimos a realização de um processo de busca
ativa similar ao empreendido pelo programa Família Carioca em Casa, na escola onde o
processo de busca do público alvo é facilitado pela estrutura institucional e de dados da
SME.
Mãe é Mãe
A escolaridade os pais e da mãe, em particular é um dado fundamental nas várias
etapas do programa a começar pela equação de acesso.
média das provas bimestrais
123% maior que a das sem escolaridade. A mesma comparação nos pais mostra notas
54% maiores apenas. Não é a toa que o Família Carioca elege a mulher como as
receptoras em 96,3% das famílias beneficia
Já quando analisamos o uma criança cuja mãe possui nível superior a chance de
acesso ao Família Carioca na rede municipal é 1/6 das analfabetas. Pois o programa
busca os mais pobres estruturais onde a educação da mãe é por construção uma variável
chave. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a
bônus por notas (resultado) é 59% maior entre as mães em nível superior vis a vis as
analfabetas. Já no cumprimento das condicionalidades dos programa (insumos) acontece
o inverso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo
destas mães em frequentar as reuniões bimestrais.
A escolaridade os pais e da mãe, em particular é um dado fundamental nas várias
etapas do programa a começar pela equação de acesso. O modelo de impacto da nota
média das provas bimestrais mostra que a nota de filhos de mães com nível superior é
123% maior que a das sem escolaridade. A mesma comparação nos pais mostra notas
54% maiores apenas. Não é a toa que o Família Carioca elege a mulher como as
receptoras em 96,3% das famílias beneficiadas.
Já quando analisamos o uma criança cuja mãe possui nível superior a chance de
acesso ao Família Carioca na rede municipal é 1/6 das analfabetas. Pois o programa
busca os mais pobres estruturais onde a educação da mãe é por construção uma variável
ve. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a
bônus por notas (resultado) é 59% maior entre as mães em nível superior vis a vis as
analfabetas. Já no cumprimento das condicionalidades dos programa (insumos) acontece
erso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo
destas mães em frequentar as reuniões bimestrais.
A escolaridade os pais e da mãe, em particular é um dado fundamental nas várias
O modelo de impacto da nota
mostra que a nota de filhos de mães com nível superior é
123% maior que a das sem escolaridade. A mesma comparação nos pais mostra notas
54% maiores apenas. Não é a toa que o Família Carioca elege a mulher como as
Já quando analisamos o uma criança cuja mãe possui nível superior a chance de
acesso ao Família Carioca na rede municipal é 1/6 das analfabetas. Pois o programa
busca os mais pobres estruturais onde a educação da mãe é por construção uma variável
ve. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a
bônus por notas (resultado) é 59% maior entre as mães em nível superior vis a vis as
analfabetas. Já no cumprimento das condicionalidades dos programa (insumos) acontece
erso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo
Já a agenda de condicionalidades mais fortes de educação, a exigência da presença
dos pais nas escolas, a atenção diferenciada a primeira infância e a premiação por notas
procuram abrir as portas do mercado de trabalho para as famílias pobres. Visa com isso
que os maiores fluxos de renda transferidos pela cidade hoje seja consistente por maior
estoque de riqueza dos pobres hoje no futuro..
A agenda de premiar a melhora de desempenho dos alunos explora a principal
vantagem comparativa de grupos pobres que é a de alcançar melhoras e está em
consonância com ideia que os pobres estão para serem motivados por incentivos e não
penalizados pelos mesmos. O programa contém em seu desenho inicial um sistema de
avaliação de seus impactos de forma a orientar seus desenvolvimentos posteriores. De
forma a evitar a escolha de Sofia de excluir parte dos elegíveis ao programa
aleatoriamente, vista em geral como necessária para definir grupos de tratamento e de
controle idênticos, o FC propõe incorporar estudantes não elegíveis no seu desenho
inicial incorporando pessoas do CadÚnico, mas que não estão no Bolsa Família aos seus
beneficiários. O grupo de controle, não saberá que fez parte do sorteio, pois como todos
os alunos contemplados já fazem parte do sistema de aferição de desempenho já em
marcha pela secretaria de educação.
Os princípios e práticas do Família Carioca (FC) estão resumidos abaixo:
• Busca dos mais pobres tratando os diferentes na medida de sua diferença.
• Privilegiar a igualdade de oportunidades e a capacidade de geração de renda dos
beneficiários (quem é pobre e não apenas quem diz que está pobre)
• Preservar a liberdade nas escolhas individuais (o que e quando gastar)
• Condicionar escolhas coletivas sujeitas a imperfeições de mercado (como as
externalidades educacionais)
• Condicionalidades mais fortes, atenção a primeira infância e presença dos pais,
• Bolsa de estudos com prêmio aos avanços de qualidade educacional
• Alavancar potencialidades da administração atual (Plano Estratégico da Cidade)
• Integrar com outros níveis de governo e sociedade civil
• Conexão com melhores práticas e compromissos internacionais MDGs)
• Avaliar impactos e buscar aprimoramentos constantes (FC 1.1,.,FC 2.0 ..etc.)
Familia Carioca 2 .0 Filosofia Operacional: Aplica as regras do programa com agilidade (fluxos altos
entrando e saindo da folha)
Filosofia dos Upgrades:
Começar pelo mais operacional, aquilo que o município tem capacidade de oferta (e de
gerenciamento) já instalada, valorizando e que seja custo/efetivo Escolhas que sejam
integradas a outros níveis de governo
Alunos com deficiência (novo programa federal: Viver Sem Limites).
Alunos do segundo segmento das Escolas do Amanha.
Proposta de Extensão: Busca Ativa de Estudantes Pobres Sem Pai ou Sem Mae
presentes
Avaliação: 10 mil incluídas no cadastro mais recentes na folha do Bolsa Familia e retirei
uma amostra aleatória de 50% dela. Portanto, temos nas cinco mil aleatoriamente
excluídas das últimas 10 mil o grupo de controle de teste do programa. A folha
excluindo apenas as 5 mil últimas famílias também está pronta, mas acredito que
devemos aproveitar a oportunidade.
A Secretaria de Assistência Social do Município uma série de mecanismos de busca
ativa no programa denominado de “Família Carioca em Casa”.
Aprimorar conexões com a estratégia federal intitulada “Brasil Sem Miséria” e com a
nova estratégia do Estado denominada Renda Melhor inspirada no Família carioca e
avaliação dos resultados obtidos.
Apresentamos abaixo uma visão esquemática da estrutura original e melhoramentos
propostos no programa.
Família Carioca 2.0
Condicionalidades do Bolsa Família
continuam em vigor
Condicionalidades adicionais
Benefício básico
Educação – 6 a 17 anos (estudantes de 16 e 17
anos das escolas municipais)
Educação - 0 a 6 anos
Renda imputada
Benefício variável
Renda que falta para cada membro, em média, chegar à
linha de pobreza
- Frequência de pelo menos90% às aulas nas creches eescolas municipais;- Frequência dos pais ourepresentantes legais àsreuniões bimestrais dasescolas municipais, mesmoque seus filhos não estejammatriculados.
- Frequência de pelo menos 90%às aulas nas escolas municipais;- Melhora de 20% nas notas dasprovas bimestrais em relação aobimestre anterior; 15% paraEscolas do Amanhã;- Frequência dos pais ourepresentantes legais às reuniõesbimestrais das escolas municipais
Amostra aleatória de
10.000Familias
OBS: melhora do desempenho a partir de 7,5 para 1º a 5º anos e 6,5 para 6º a 9º anos; Escolas do Amanhã: 7,0 e 6,0, respectivamente
Upgrades recentes
Benefícios dobrados
Estudantes do 2º Segmento Áreas
Conflagradas
Estudantes com Deficiência
25
Nome do arquivo: CFC_TextoFIM_PRODUTO3-Texto0.docx Diretório: C:\Documents and Settings\luiza\Meus documentos Modelo: C:\Documents and Settings\luiza\Dados de
aplicativos\Microsoft\Modelos\Normal.dotm Título: Assunto: Autor: Rafael Palavras-chave: Comentários: Data de criação: 4/4/2012 23:25:00 Número de alterações: 4 Última gravação: 4/4/2012 23:59:00 Salvo por: luiza Tempo total de edição: 6 Minutos Última impressão: 4/4/2012 23:59:00 Como a última impressão Número de páginas: 25 Número de palavras: 5,326 (aprox.) Número de caracteres: 28,763 (aprox.)