guia - indicadores (versao preliminar dez 09)
TRANSCRIPT
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
1/113
MELHORIADAGESTO PBLICAPORMEIODADEFINIODEUMGUIAREFERENCIALPARA MEDIODODESEMPENHO DAGESTO,E
CONTROLEPARA OGERENCIAMENTODOSINDICADORESDEEFICINCIA,EFICCIAEDERESULTADOSDOPROGRAMANACIONALDEGESTOPBLICAEDESBUROCRATIZAO
PRODUTO4:GUIAREFERENCIAL PARA
MEDIODEDESEMPENHO EMANUALPARACONSTRUODEINDICADORES
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
2/113
SUMRIO
APRESENTAO......................................................................................................... 3
1. CONCEITOS:DAGOVERNANAPARARESULTADOSMENSURAODO
DESEMPENHO............................................................................................................ 5
1.1. GOVERNANAEGOVERNANAPARARESULTADOS.......................................................5
1.2. GESTOEMENSURAODODESEMPENHO................................................................9
1.3. MODELOSEINDICADORES.....................................................................................11
2. UM(META)MODELOPARAMENSURAODODESEMPENHO:ACADEIADE
VALOREASSEISDIMENSESDODESEMPENHO(6ES).............................................14
2.1. ELEMENTOSDACADEIADEVALOREDIMENSESDODESEMPENHO................................17
2.2. SUBDIMENSESDOS6ESDODESEMPENHO..............................................................20
2.3. APLICAODOMODELODOS6ESDODESEMPENHO..................................................23
2.4. DESEMPENHOTIMOEESTRUTURADEPONDERAO................................................33
2.5. FORMULAODEINDICADORES..............................................................................39
3. CONSTRUINDO
INDICADORES
DE
DESEMPENHO
..........................................
40
3.1. PASSO1IDENTIFICAODONVEL,DIMENSO,SUBDIMENSOEOBJETOSDE
MENSURAO.................................................................................................................43
3.2. PASSO2ESTABELECIMENTO DEINDICADORES..........................................................46
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
3/113
3.8. PASSO8MENSURAODODESEMPENHO..............................................................69
3.9. PASSO9ANLISEEINTERPRETAODOSINDICADORES.............................................71
3.10. PASSO10COMUNICAODODESEMPENHO...........................................................71
3.11. PAINISDECONTROLE..........................................................................................72
4. LISTADEVERIFICAODACONSISTNCIADOMODELODEMEDIODE
DESEMPENHO.......................................................................................................... 81
5. CONSIDERAESFINAIS............................................................................... 84
BIBLIOGRAFIA..................................................................................................................85
ANEXO1.DIMENSESEINDICADORESDEDESEMPENHO........................................88
ANEXO2.DICIONRIODEINDICADORESDASREASDEGESTODESUPORTE.......102
ANEXO3.MODELOSDEPLANILHASPARAAMODELAGEMDEINDICADORES.........107
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
4/113
Apresentao
Opropsitodeumguiaorientara realizaooualcancedealgo,
oferecendoumcaminhoaserseguido.No se tratadeummanual
cujaestritaeacrticaobedincialevaraomelhorresultadopossvel.
Tratase da proposio de uma metodologia conceitualmente
embasadaquepara renderosmelhores resultadospossveisrequer
apropriao:deve fazersentidoparaquemaaplicae,noobstante
basearse em princpios firmes, ser flexvel o bastante para ser
aplicadaemvastavariedadedecasos.
com este esprito que a Secretaria de Gesto do Ministrio do
Planejamento, Oramento e Gesto lana a primeira edio deste
Guia Referencial para Medio de Desempenho na Administrao
Pblica. Tratase de um referencial metodolgico que permitir a
governos (Federal, estaduais e municipais), reas ou domnios de
polticaspblicas,conjuntosdeorganizaes,organizaespblicase
suas unidades definirem e mensurarem seu desempenho
assumindosequeesteumprimeiroedecisivopassoparaagestodo desempenho, possibilitando, em bases metodologicamente
anlogas, sua pactuao, avaliao, divulgao em momentos
posteriores.
Dentrodoespectrodasiniciativasdepolticasdegestoatualmente
deslanchadas pela SEGES, acreditase que esta contribuio
metodolgica possa no apenas complementar o GESPPLICA
proporcionando uma reflexo e direcionamento mais finalstico ao
MEGP, mas alinhase com outras iniciativas tais como avaliao
institucional,contratualizaoderesultados,avaliaodeestruturas
etc.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
5/113
A construo da metodologia baseouse no estado da arte daliteraturagerencialsobregestododesempenhoebuscouencontrar
um difcil equilbrio entre complexidade e simplicidade. A
complexidade est, primeiramente, no tema, suscitando
controvrsias sobre o conceito de desempenho e sua mensurao,
questesestas que temmerecido na literatura tcnica no apenas
tratamento variado, mas sujeito a razovel confuso semntica econceitual. Mas a complexidade tambm est nos objetos de
aplicao, de distintos portes, naturezas de atividades, pblicos e
contextosdeatuao.Asada foiaconcepodeummetamodelo,
um modelo que oriente a construo de modelos especficos de
definioemensuraododesempenhocasoacaso,respeitandose
conceitos e princpios bsicos. Dessa forma, buscouse ao mesmo
tempo reconhecer a complexidade e perseguir a simplicidade,renunciandose busca de solues exaustivas ou universalmente
vlidas.
Ademais, esta iniciativa constitui a primeira edio do Guia, que,
alem das virtudes e limitaes inerentes a qualquer modelo,
necessitadeaplicaesparaseucontnuoaperfeioamento.
Buscouseconstruirumtextomaissucintopossvel,comexemplosde
aplicaoe ilustraesquepossamfacilitaracompreenso.O texto
estdivididoem5partes.Aprimeiraparteconceitualecontextual,
buscando elaborar uma aproximao ao tema, situando a
mensurao do desempenho na gesto para resultados e esta na
governana contempornea. A segunda parte apresenta o
metamodelo,oconceitodedesempenhoelaboradoeosprincpios,elementosgeraiseescopodametodologiademensurao.Aterceira
parteest focadadamensuraopropriamentedita,concentrando
se na construo de indicadores. A quarta parte apresenta
sucintamente um conjunto de questes que permitem uma rpida
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
6/113
1. Conceitos: da governana para resultados mensurao do desempenho
Opropsitodestecaptulo introdutrioelaboraropanode fundo
conceitual subjacente mensurao do desempenho, abordandoconceitos como governana, governana para resultados, gesto e
mensuraododesempenhoe indicadores,a fimdeestabeleceros
elementos fundamentais para a compreenso do guia e sua
adequadaaplicao.
1.1. Governana e Governana paraResultados
A Governana e a Governana para Resultados so expresses em
ascendenteusonaliteraturagerencialnosetorpblicoquepossuem
fortes e centrais significados para o processo de mudana
organizacionaleparaamensuraododesempenho.
OtermoGovernanabuscaexpandiresuperaroatualparadigmade
administrao pblica. Hoje o termo administrao pblica est
associadoaumpapelpreponderantedoestadocomoexecutordireto
nodesenvolvimento,nagestodepolticaspblicasenoprovimento
de servios. O modelo de gesto alinhavase principalmente com
modelos burocrticos ortodoxos, espelhados em modelos
organizacionais mecanicistas, dotados de caractersticas dehierarquia,verticalizao,rigidez,insulamento.
AGovernanapblica,porsuavez,baseiaseemmltiplosarranjos
com a participao de diversos atores (estado, terceiro setor,
mercadoetc.)nodesenvolvimento,nagestodepolticaspblicase
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
7/113
Aorientaopara resultadosuma fixaodestenovoparadigma,ou seja, o que est em foco so as novas formas de gerao de
resultados em um contexto contemporneo complexo e
diversificado.
Nesse contexto, uma boa gesto aquela que alcana resultados,
independentementedemeritriosesforose intenes.E,alcanar
resultados,nosetorpblico,atendersdemandas,aosinteresseses expectativas dos beneficirios, sejam cidados ou organizaes,
criandovalorpblico.
Noentanto,osresultadosnoacontecemporacaso,poisgovernos,
organizaespblicas,polticas,programaseprojetosnosoauto
orientadospararesultados.Assimcomo, tambmnobastaapenas
definirbemosresultados,poisnosoautoexecutveis.Portanto,aimplementaopassaaseravarivelcrtica.
Diferentes pesos so atribudos a diversos fatores promotores de
resultados, tais como conscincia estratgia (formulao
compartilhada e comunicao da estratgia), liderana (capacidade
de influenciar e mobilizar pessoas), estrutura (definio clara de
competncias, reas e nveis de responsabilidade), processos(definio detalhada de procedimentos), projetos (desdobramento
deresultadosemaesqueperpassamestruturaseprocessosquese
submetemaregimesintensivosdemonitoramento),contratualizao
(pactuaoderesultadosmediantemecanismosdemonitoramentoe
avaliao, e incentivos), pessoas (dimensionamento de equipes,
capacitao, comprometimento, alinhamento de valores),
tecnologias de informao e comunicaes (inovao e integraotecnolgicas, automao), recursos financeiros (disponibilidade,
previsoeregularidadedefluxo).
Assim,aprincipalquestoconcentraseemcomofazerosresultados
serem obtidos e para isso faz se necessrio harmonizar todos esses
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
8/113
envolveraconstruodemecanismosdemonitoramentoeavaliaoquepromovamaprendizado,transparnciaeresponsabilizao.
Arevisodeliteratura1realizadasobrediversosconceitosetipologias
degestopararesultados,ressalta,apartirdaanlisedeabordagens
metodolgicas2,casosreferenciais3eseuscontextosdeatuao,um
conjuntodeatributosessenciaisqueumbommodelodegestopara
resultados deve possuir, tais como: ser dinmico, abrangente emultidimensional.
Serdinmico significano se limitarapenasemdefiniremensurar
resultados, mas sim, em definir resultados (a partir de um
planejamento abrangente), alcanlos (mediante processos claros
deimplementao),monitorloseavalilos(apartirdecontroles,
acompanhamentos e ajustes decorrentes). Em sntese, tratase deuma viso de gerao e incorporao das informaes sobre
desempenho nos processos decisrios tanto internos quantos
externosdaorganizao,criandodemandasparaestas informaes
(situaodeinstitucionalizao).
Alm disso, ser abrangente basearse num conceito amplo de
desempenho que englobe tanto os esforos quanto os resultadospropostos,presumindoquenoh resultados semalinhamentode
esforos, assim como, esforos desalinhados s promovem
desempenhoporcontadoacaso.Portanto,gerirodesempenhono
significa somente monitorar resultados, mas tambm promover o
alinhamentodosesforosparaosresultadosesperados.
1DocumentodenominadodeMapeamentoBibliogrficoedoEstadodaArte
sobre IndicadoresdeGesto,disponvelno stio eletrnicodoGesPblica.Endereo de acesso:https://www.gespublica.gov.br/folder_publicacoes/pasta.20090423.1308768764/produto_1_indicadores_versao_final_110809.pdf.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
9/113
Porltimo,masnomenos importante,ummodelo idealdegestopara resultados deve ser multidimensional, isto , considerar as
mltiplas dimenses de esforo (processos, recursos, estruturas,
sistemas informacionais e pessoas) para alinhlos aos resultados.
Para isso,deveseevitardefiniesreducionistaseunidimensionais,
em que aspectos significativos do esforo e do resultado sejam
deixados de fora, ou aspectos pouco significativos permaneam
dentrodomodelodegestopararesultados.
Em suma, a concepo e a implementao de modelos de gesto
pararesultadosdinmicos,abrangentesemultidimensionaissoum
desafio. Os fatores e elementos detalhados representam variveis
basilaresdemodelosdedesempenho.Segundoa linhadeevoluo
demonstrada por Boukaert&Halligan (2008), os modelos ilustrados
noquadro1aseguir,quevodesdeummodeloprperformance,
caracterizado pela ausncia de agenda estratgica, estruturas
autocentradasesemfocodeatuao,eausnciademecanismosde
monitoramentoeavaliaoderesultados,evoluindoparaummodelo
de Governana para o Desempenho, o mais completo,
caracterizado pela integrao das agendas, alinhamento das
estruturas implementadoras a partir de redes de governana eintegrao sistmica interna e externa, e mecanismos claros de
monitoramento e avaliao, que fortalecem o uso social e a
conscinciaestratgica.
Quadro1.LinhadeevoluodosmodelosdeGestodoDesempenho
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
10/113
Fonte:AdaptadodeBouckaert&Halligan,2008
1.2. Gesto e Mensurao do Desempenho
Desempenhoumtermosujeitoainmerasvariaessemnticase
conceituais,emboraexistamalgunsconsensosmajoritriosemtorno
de uma definio. Segundo uma abordagem abrangente, o
desempenhopode sercompreendido comoesforosempreendidos
nadireoderesultadosaseremalcanados.Aequaosimplificada
:desempenho=esforos+ resultados;oudesempenho=esforos
resultados.
Assim, a definio sinttica e ao mesmo tempo ampla para o
desempenho estabelecida pela atuao de um objeto (uma
organizao, projeto, processo, tarefa etc.) para se alcanar um
resultado.Logo,desempenhoumconceitopeculiar,umconstruto
especfico,paracadaobjeto.
Entretanto,aconstruodedefiniespeculiaresdedesempenho,a
partirdasquaismodelosdemensuraododesempenhopossamser
concebidos caso a caso, devem respeitar algumas regras e
consideraes metodolgicas, tais como: i) evitar definies
reducionistaseunidimensionais; ii) incluirosaspectosedimenses
significantesnomodelo;e;iii)deixarosaspectosedimensespouco
significativasforadomodelo.
Para isso, tornase necessria a concepo de um metamodelo de
definio e mensurao do desempenho que seja robusto o
suficientepara sercapazdeunirasmaisdiversasabordagens,bemcomoorientaraconstruodemodelosespecficosparaadefinioe
mensuraododesempenho.Pormeiodeummetamodelopodese
indicarmdulosapartirdosquaisosmodelosespecficospossamser
configurados.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
11/113
estrito,pormeiode indicadores,valoresoumedidasdosesforoseresultados.Umsistemademensuraodeve iralmdageraode
indicadores (que, em princpio, nunca trivial) e permitir: a) a
gerao de indicadores em distintas dimenses de esforos e
resultados, com diferentes pesos entre estes (uma vez que
representammedidasdedistintas importncias);eb) ageraode
umanotaparacadaindicador(oquerequerernoapenasapuraro
valordoindicadornoatodamedio,mascompararovalorapurado
comumvalormeta,sejacorrespondenteaumametapropriamente
dita, seja correspondente a um benchmark), que expresse uma
medida relativa (medida atual em relao a uma medida ideal).
Tratase, assim de uma mensurao agregada e ponderada que
permitir a gerao de uma medida sntese do desempenho, uma
nota global, que, de certa forma, carrega consigo um componenteavaliativo(dorealapuradoemrelaoaumideal).
Valedestacarqueconceitoscomocapacidadetangenciamoconceito
de desempenho. Os termos capacidade, capacidade institucional e
outrosderivados,tambmsesujeitamamuitasvariaessemnticas
e conceituais podendo oscilar do domnio de recursos,
competncias, habilidades e atitudes at a prontido para efetivaatuao (realizao de esforos orientados para resultados) em
funodeoutrosatributostaiscomopoder,legitimidadeeurgncia.
Em todo caso,esteGuiano incluio conceitode capacidade como
partedoconceitodedesempenho;trataocomopressupostodobom
desempenho, embora algumas das dimenses do desempenho, tal
comoaexcelncia,possamtratardeatributoscomunsrelacionados
capacidade,comoserdemonstradomaisadiante.
Em sntese, o escopo deste Guia a medio/mensurao do
desempenho, parte essencial da gesto do desempenho. Buscando
clarificar bem este propsito e as expectativas em torno dele, o
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
12/113
Quadro
2.
Principais
mitos,
posturas
e
imposturas
da
mensurao
do
desempenho
1.Omitodamedioabsoluta:precisomedir tudo.Quempretendemedir tudoacabanomedindo
nada!Pordetrsdeste mito, esto fetichedopanopticon,que gera a impostura,movidaporuma
necessidadeobsessiva,demonitorarecontrolartudoetodosaomesmotempoenamesmahora.Gerir
odesempenhoumaformadecontrole,masquedeveserextremamenteseletivo.Aposturacorreta
altaseletividade.Medirapenasoqueimportante,oquesignificativo,oquevaleapena.Medircusta
tempo edinheiro! E algumasmedidas soperecveis s fazem sentido sepuderem gerardecises
tempestivas.
2.Paramediroque importa,precisogerar todasas informaes,coletardadosde formaexaustivae
precisa.Quemsepreocupaemgerartodasasinformaesprovavelmentemorrerafogadonummarde
informaes,cheiodeinformaesinviveiseinteis.Porumlado,ageraodeindicadores(medidas)
relevantesrequererdadoseinformaesespecficoscujaobtenoetratamentodemandaromais
ou menos tempo e representaro custos. A postura correta , sempre que possvel, trabalhar com
aproximaes, buscando construir indicadores a partir de dadosj existentes e tratados dentro de
padresaceitveisdequalidadeapostandoseque,namaioriadoscasos,adisponibilidadededadose
informaesnooproblemafundamental.
3.Primeirovamosmedir,depoisvamosveroquefazemoscomasmedidas.Inicialmente,medidasno
podem ser vistas como modismos ou obrigao. Medese para controlar/melhorar o desempenho.
Medidastmqueserteis, fazersentidoparaorientaragestonodiaadia.Amediotemqueserorientadaparaamelhoriadodesempenhoeamelhoriadodesempenho temqueserorientadapela
medio.
4.Preciso, sobretudo,do sistema informticoperfeitopara isto.Vocprecisa,acimade tudo,deum
bommodelodemensurao,quepermitaumaboadefinioespecficadoqueoseudesempenhoe,a
partir da, como mensurlo. Primeiro a sistemtica, depois o sistema. Sistemas informacionais so
instrumentosque devem estar a serviode uma lgicanoo contrario, sua lgicade definio emensuraonopodeestara serviodeum sistema.Hmuitas soluesde sistemas (deprateleira,
baratos, amigveis e acessveis)para sistemticasdemensurao. Lembrese domandamento: no
adorarsferramentasinformticas4!
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
13/113
qualitativa,pormeiode indicadores).Assumeseque a realidadeum todo complexo e os modelos, ao inclurem apenas algumas
variveispararepresentla(buscandodescrever,explicarouprever
algo), sero sempre recursos limitados, revelando e escondendo,
deixando de fora muitas variveis potencialmente importantes e
contendolimitaesparaestabelecerospadresdecomportamento
entreasvariveis.Emsuma,todomodelolimitado,masalimitao
deve ser sempre minorada por meio da escolha das variveismais
relevantes:incluiroquemaisimportaeexcluiroquenoimporta.
A construo de modelos, a partir da escolha das variveis e seus
padres(hipteses)derelacionamento(causao),podeseguirvrias
lgicas: relaes causais verificadas empiricamente ou lgica
dedutiva.
O desafio deste Guia proporcionar a construo de modelos
especficosdemensuraododesempenho. Logo, inicialmente isto
implica a definio de variveis (aspectos ou dimenses) do
desempenho que devem ser consideradas (includas no modelo).
Tratase, portando, de um modelo lgicodedutivo, que inclui
variveis sugeridas pela literatura e estabelece uma ordem de
causalidadeentreelas:desempenho=aspectosrelativosaosesforos
+aspectosrelativosaosresultados;ouseja,umconjuntodeesforos
que(presumivelmente)causamumconjuntoderesultados.
Modelos so, portanto, um conjunto de indicadores relacionados.
Indicadores so mtricas que proporcionam informaes sobre o
desempenho de um objeto (seja governo, poltica, programa,
organizao, projeto etc.), com vistas ao controle, comunicao emelhoria.
Os indicadoresso instrumentosdegestoessenciaisnasatividades
de monitoramento e avaliao das organizaes, assim como seus
projetos programas e polticas pois permitem acompanhar o alcance
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
14/113
De formageral,os indicadoresno so simplesmentenmeros,ouseja, so atribuies de valor a objetivos, acontecimentos ou
situaes,deacordocomregras,quepossamseraplicadoscritrios
deavaliao,como,porexemplo,eficcia,efetividadeeeficincia.
Dessaformaosindicadoresservempara:
mensurarosresultadosegerirodesempenho;
embasar a anlise crtica dos resultados obtidos e doprocessodetomadadeciso;
contribuir para a melhoria contnua dos processosorganizacionais;
facilitaroplanejamentoeocontroledodesempenho;e
viabilizar a anlise comparativa do desempenho daorganizao e do desempenho de diversas organizaes
atuantesemreasouambientessemelhantes.
Emsuma,conformeapresentadoaolongodocaptulo,oconceitode
desempenho especfico para cada organizao, ejustamente por
serpeculiarrequerdasorganizaesautilizaodeummetamodelo
dinmico,abrangenteemultidimensionalquepermitaaconstruocasoacasodeseuprprioconceitodedesempenho.
Nessesentido,oprximocaptulotemcomoobjetoaproposiode
ummetamodelocapazdeunirosmaisdiversosaspectos,dimenses,
eabordagens,orientandoaelaboraodemodelosespecficosparaa
definioemensuraododesempenhodasorganizaes.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
15/113
2. Um (Meta) Modelo para Mensurao doDesempenho: a Cadeia de Valor e as seis
dimenses do Desempenho (6Es)
Conforme apresentado no captulo anterior, existem mltiplos
aspectos nas dimenses de esforo e do resultado que devem ser
consideradosemummodeloparaamediodedesempenho.
Nesse sentido, foi utilizado como metamodelo uma concepo de
cadeia de valor5 que identifica seis dimenses do desempenho,
permitindoqueseidentifiqueemcadadimensodistintosobjetosde
mensurao,orienteamodelagemde indicadores (semprejuzodese identificarem, em alguns casos, indicadores j consagrados) e
permitaaconstruodepainisdeacompanhamentodagesto.O
metamodelo preconiza assim regras bsicas para construo de
modelosespecficosdemensuraodedesempenho.
O metamodelo, portanto, permite s instituies (re) pensarem os
seusconceitosdedesempenhocombasenametodologiadacadeiade valor, com alguns aprimoramentos. A cadeia de valor possui
algumas limitaes que foram atenuadas: i) a linearidade, pois a
cadeia de valor no considera outros fatores que influenciam os
efeitos,porexemplo, fatoresqueproduzem impactose fatoresque
concorremcomprodutosqueaorganizaogera,esta restrio foi
minimizada ao introduzir no modelo a abordagem de redes de
organizaesenadefiniode indicadorescombasena teoriado
programa; ii) a unidimensionalidade, pois o bloco das
"aes/atividades" representaapenasprocessoseestrutura (o lado
mais visvel das organizaes), esta restrio foi minimizada ao
contemplar as dimenses que possuem papis imprescindveis para a
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
16/113
depoder,questesticasentreoutrasdimensesquepodemviraserconsideradas.
O modelo da Cadeia de Valor e os 6Es do Desempenho permite a
construo das definies especificas de desempenho para cada
organizaodemodoaexplicitarasdimensesdosresultados(mais
a montante da cadeia de valor) e dos esforos (mais ajusante da
cadeia de valor), alm de sugerir o necessrio alinhamento entreambasasperspectivas.Emsntese,omodelomensuraoquesedeve
realizarparaseproduzirumresultadosignificativonofuturo.
OmodelodaCadeiadeValoredos6EsdoDesempenhoconstituise
das dimenses de esforo e de resultado desdobradas em outras
dimenses do desempenho. As dimenses de esforo so
economicidade,execuoeexcelncia;easdimensesderesultadosoeficincia,eficciaeefetividade.
Valeressaltarqueometamodelopodeseraplicvelemvriosnveis
da administrao pblica, tais como, nvel macro (Governo), nvel
meso(polticapblicaousetordegoverno),nvelmesomicro(redes
deorganizaes),nvelmicro(organizaes)envelnano(unidadede
organizao).
A figura 1 a seguir ilustra o metamodelo denominado Cadeia de
valoreos6EsdoDesempenho.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
17/113
16
Figura1.Cadeiadevaloreos6EsdoDesempenho
Fonte:Martins&Marini.GuiadeGovernanaparaResultados.
Dimensesdo Resultado
Impactos(outcomes)
Produtos(outputs)
Insumos(inputs)
ExecuoExcelnciaEconomicidade
Eficcia EfetividadeEficincia
Dimensesde Esforo
OutrosOutrostica
PoderCultura
Aes/Atividades
Organizaes
Projetos
ticaPoder
Cultura
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
18/113
2.1. Elementos da Cadeia de Valor edimenses do desempenho
O presente modelo prope uma tipologia de seis categorias de
indicadores, conforme apresentado anteriormente, que esto
relacionadossdimensesdeesforoeresultado.
As seis categorias de indicadores esto relacionados a algum dos
elementos da cadeia de valor, que representa a atuao da ao
pblicadesdeaobtenodos recursosatageraodos impactos
provenientesdosprodutos/servios.Oselementosdacadeiadevalor
so:
Insumos(inputs);
Processos/Projetos(aes);
Produtos/servios(outputs)
Impactos(outcomes).
Mensurar o desempenho da organizao (ou outros objetos) com
base nesses elementos da cadeia de valor permite que as
organizaes analisem suas principais variveis associadas ao
cumprimento dos seus objetivos: quantos e quais insumos so
requeridos, quais aes (processos, projetos etc.) so executadas,
quantos e quais produtos/servios so entregues e quais so os
impactosfinaisalcanados.
A figura 2 a seguir mostra a relao entre os elementos que
compem a cadeia de valor e sua contribuio para os resultados
finais, tambm relaciona a pergunta que os indicadores associados
procuramresponder:
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
19/113
Figura
2.
Elementos
da
Cadeia
de
Valor
e
suas
contribuies
A figura 3 a seguir mostra as duas categorias de dimenses quecompem os 6Es do Desempenho, assim como os tipos de
indicadoresqueascompem:
Insumos(inputs)
Produtos(outputs)
Impactos(outcomes)
tica
Poder
Cultura
Aes/Atividades
Organizaes
Pro
jetos
tica
Poder
Cultura
Quaismudanasosprodutos/serviostrazemparaos
beneficirioseasociedade?
Quaisosprodutos/serviosgerados?Quantidadedeprodutos/servios?Qualidadedoproduto/servio?
Quaissoasaes,processoseprojetos executados?
Tempomdiodeciclodoprocesso?Qualocustodoprocesso?
Quaissoosrecursosnecessriosparagerarosprodutos/servios
estabelecidos?Quantidadederecursosnecessria?
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
20/113
Figura3.Di ensesqu
Uma
dimen
deind
econstitue
combina
sesdode
icadoresd
Efetivida
produtos
vinculad
Por exe
exemplo
de deter
efetiva. I
nadime
Eficcia
entregue
servios
campanh
nmero
Indicado
mos6Esd
o dos el
empenho
desempe
de so
/servios,
aograud
plo, se
acima real
minada do
ndicadore
soestrat
aquanti
s ao usu
da organiz
adevacin
foi alcana
es de efic
oDesemp
mentos d
permiteid
ho:
os i
rocessos
esatisfa
mesma
mente imu
ena entre
de efetivi
gicadoPla
adeequa
rio (benefi
ao). Por
ao imu
do ou sup
cia podem
nho
a cadeia
ntificarsei
mpactos
uprojetos.
ouainda
campanha
nizouedi
as crian
dade pode
noPlurian
lidadede
cirio dire
exemplo,
nizar100.
rado, a c
ser encon
de valor
scategoria
gerados
Aefetivid
aovalora
de vacin
inuiua in
s, a camp
m ser enc
al(PPA);
rodutose
o dos pro
se a meta
00 criana
mpanha f
trados na
com as
bsicas
pelos
deest
regado.
o do
cidncia
nha foi
ntrados
servios
dutos e
de uma
seeste
i eficaz.
arta de
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
21/113
seus elementos de custos e em informaes de sistemasestruturantesdoGoverno,comooSIAFI;
Execuo referese realizao dos processos, projetos eplanos de ao conforme estabelecidos. Indicadores de
execuo podem ser encontrados no monitoramento das
aesdoPPA;
Excelncia a conformidade a critrios e padres dequalidade/excelncia para a realizao dos processos,
atividades e projetos na busca da melhor execuo e
economicidade;sendoumelementotransversal.Indicadores
epadresdeexcelnciapodemserencontradosnoModelo
deExcelnciaemGestoPblica(MEGP);e
Economicidadeestalinhadaaoconceitodeobtenoeusode recursos com o menor nus possvel, dentro dos
requisitos e da quantidade exigidas pelo input, gerindo
adequadamenteosrecursosfinanceirosefsicos.Indicadores
deeconomicidadepodemserencontradosnasunidadesde
suprimentos.
2.2. Subdimenses dos 6Es do Desempenho
Os 6Es do desempenho podem ser desdobrados em subdimenses
que qualificam e auxiliam na caracterizao de tipologias de
indicadores a serem utilizados. O quadro 3 apresenta as principais
subdimensesidentificadasesuasrespectivasdescries.
Quadro3.Dimensesesubdimensesdos6EsdoDesempenho
Dimenso Subdimenses
1.1.ImpactoFinal:oresultadogeradopelosprodutoseservios
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
22/113
Dimenso
Subdimenses
E2Eficcia
2.1Quantidade/Volume:onveldeofertaedisponibilidadede
umbensouserviosgeradoporumdeterminadosistema
(organizao,programa,polticapblica,redeetc.).Exemplo:
Nmerodejovenseadultosalfabetizados;Quantidadede
habitaesconstrudas;ExtensodaMalharodoviriapavimentada.
2.2Qualidadedoproduto/servio:representaaadequaoentre
ascaractersticasdosprodutoseserviosentregues,eosrequisitos
enecessidadesdosbeneficirios.Exemplos:Qualidadepercebida
(Percepo/Expectativa),durabilidade,esttica,Confiabilidade,
Tempestividade,Inovaoetc.
2.3AcessibilidadeeEquidade:acapacidadededisponibilizarbens
eserviosequitativamenteeforneclosdeformaequnime,
atendendoigualmenteasnecessidadesdosbeneficirioseasociedade.
2.4Cobertura:corresponderelaoentreapopulaoatendida
sobreaquedeveriaseratendidacombensouserviospblicos
geradosporumdeterminadosistema(organizao,programa,
polticapblica,redeetc.).
2.5Risco:avaliaaprobabilidadequeumdeterminadosistema
asseguraraentregadebenseserviosparadeterminados
beneficirioseapopulao.
3.1Custoefetividade:relaoentreosinsumosparaaprestaode
umdeterminadoservioouelaboraodeumprodutoea
efetividade,ouseja,entendesepelograudecontribuiodeum
programaouaonaconsecuodemetaseobjetivosdeimpactofixadosparareduzirasdimensesdeumproblemaoumelhorar
umadadasituao.
3.2Produtividade:relaoentreonveldeproduo(serviose
produtos)eosrecursosutilizados,sejaocapitalhumano,
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
23/113
Dimenso
Subdimenses
3.5Custobenefcio(qualidadedogasto):relaoentreos
dispndiosrealizadosporumdeterminadosistemaeosretornos
obtidosporcontadessesdispndios,apresentaarelaoentreos
insumoseosprodutosgerados.
E4Execuo
4.1Execuofinanceira:relaoentreovolumederecursos
disponibilizadospelooramentoeonveldeutilizaodesses
recursosvisandoatenderrealizaodeetapase/ouatividadesde
umprograma,projetoouprocesso(finalsticosoudesuporte).
Exemplo:taxadeexecuofinanceira.
4.2Execuofsica:relaoentreovolumedeprodutosprevistos
paraserementreguespelooramentoeonveldeentregadessesprodutos,visandoatenderrealizaodosprojetose/ouatividades.
Exemplo:taxadeexecuofsica.
E5Excelncia
5.1Conformidadeemrelaoapadresdeexcelnciagerencial.O
MEGPumexcelenteproxyparaamediodaexcelnciade
organizaespblicas.umindicadorcompostoqualitativoe
quantitativoqueabrangecritrioscomo:Liderana,Estratgiae
Planos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,
Processos.
5.2Conformidade:representaaadequaodosprojetos,aese
processosaospadreserequisitosdefinidos.Exemplos:retrabalhos,
erros,responsabilidadeambiental,infraestrutura(confortoetc.),medidaseespecificaes,segurana(acidentesporhoras
trabalhadas),transparncia,confidencialidade,acessibilidade,
confiabilidade,inovao,prazoetc.
5.3Riscos:avaliaaprobabilidadedeocorrnciadefalhasoua
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
24/113
Dimenso
Subdimenses
5.5Comunicao:aavaliaodafluxosdeinformaoeseus
canais,averiguandoaexistnciaounodefalhasnoprocessode
comunicao.Exemplo:percentualdepessoascomacesso
informaescrticasdaorganizao.
E6Economicidade
6.1Quantidadederecursos:onveldeofertaedisponibilidadede
umprodutoouserviogeradoporumdeterminadofornecedorou
sistema(organizao,programa,polticapblica,setorredeetc.).
6.2Qualidadedosrecursos:representaaadequaoentreas
caractersticasdosprodutoseserviosadquiridos,eosrequisitose
necessidadesdaorganizao(ouGoverno).Exemplos:durabilidade
tcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.
6.3Acessibilidade:acapacidadedecaptarbenseservios
equitativamenteeforneclosdeformaequnime,atendendo
igualmenteasnecessidadesdosbeneficirioseasociedade.
6.4Cobertura:aavaliaodonveldeabrangnciadeum
determinadoinsumocrticoparaaexecuodeprogramas,
projetos,processos,sendodestaformauminsumoquerequeralta
disponibilidade.Exemplo:quantidadedefornecedoresdeum
determinadoinsumo.
6.5Risco:Avaliaapossibilidadedeocorrnciadefalhasno
fornecimentoderecursosparaproverprogramas,projetose
processos.Exemplo:graudepropensodenorecebimentode
insumoscrticos.
2 3 Aplicao do Modelo dos 6Es do
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
25/113
(unidade de organizao), no qual em cada clula (interseco dalinha e coluna) so detalhadas as subdimenses e ilustrados por
alguns indicadores representativos segundo as caractersticas do
nvel de Governo estabelecido. Os nveis so concebidos pela
necessidade de tratar das especificidades concernentes a cada
contexto de aplicao, criando aproximaes a fim de evitar um
tratamentoigualpararealidadesdistintas.
Os anexos 1 e 2 deste Guia contemplam alguns exemplos de
indicadores levantadosemoficinascomrgoscentraisdoGoverno
Federa e em pesquisas documentais representados segundo as
mltiplasdimensesdodesempenho.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
26/113
25
Quadro4.MatrizsntesedomodelodeMediododesempenhosegundoas6dimensesenveisdeaplicao
DimensoNveis
MacroGoverno
MesoSetorialdepolticapblica
MicroOrganizaesemrede
MicroOrganizao
NanoUnidade
E1Efetividade
Subdimenso:1.1ImpactoFinalNvelgeraldebemestar,
desenvolvimento(social,econmicoescioambiental),igualdadesocialetc.
ExemplosdeIndicadores:ndicede
DesenvolvimentoHumano(IDH)PIBpercapitaCoeficientedeGini
Subdimenso:1.2ImpactoIntermedirioResultadosdePolticaPblica,impactosintermediriosde
desenvolvimentoetc.
ExemplosdeIndicadores:TaxadeAnalfabetismode15anosoumaisCoeficientedemortalidadeinfantilExpectativamdiadevidada
populaoHabitantes/domiclioTaxadeHomicdiosPercentualdapopulaoinfectadapelovrusHIVndicededistoroIdade/SrieTaxadeconclusodoensinomdionaRededeEnsino
Subdimenso:1.2ImpactoIntermedirioResultadosemtemasde
PolticasPblicas,impactosintermediriosdepolticaspblicasetc.
ExemplosdeIndicadores:ndicededesenvolvimentoSocial
RegionalndicedeVulnerabilidadeSocialndicedeconvergnciacompetitiva
Subdimenso:1.2ImpactoIntermedirioResultadosintermediriosdedesenvolvimento,
polticaspblicasoutemasdepolticaspblicas,Satisfaodosstakeholders,MelhoriadaGestoetc.
ExemplosdeIndicadores:todosdosnveisanteriores.
1.2Subdimenso:Impactoinicial,Resultadosdaorganizao.
ExemplosdeIndicadores:todosdosnveisanteriores.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
27/113
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
28/113
27
DimensoNveis
Macro
GovernoMeso
Setorialdepolticapblica
Mesomicro
OrganizaesemredeMicro
OrganizaoNano
Unidade
E3Eficincia
Subdimenses:3.1CustoefetividadeRelaocustoefetividadedaatuaogovernamental3.4Utilizaoderecursos
ExemplosdeIndicadores:Custoefetividade(outcomes/custo)
Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaoPIB/capitaeIDHRelaogastospblicoseIDH
Subdimenses:3.1CustoefetividadeRelaocustoefetividadedevriosdomniosdepolticapblica3.2Produtividadedevriosdomniosdepolticaspblicas3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue
ExemplosdeIndicadores:Custoefetividade(outcomes/custo)
Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaogastospblicoseIDH
Subdimenses:3.1CustoefetividadeRelaocustoefetividadedevriostemasdepolticapblica3.2Produtividadedevriostemasdepolticaspblicas3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue
ExemplosdeIndicadores:
Custoefetividade(outcomes/custo)Volumedogastopblico(despesaoramentria)emrelaoaoPIBRelaogastospblicoseIDHCustomdiodeconexo
debandalargaporescolaCustomdioportelecentroinstalado
Subdimenses:3.2Produtividadedaorganizao3.3TempoTempodeciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovosbenseservios,Desperdcioetc.3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue
3.5Custobenefcio
(qualidade
do
gasto)
ExemplosdeIndicadores:CustosunitriosdeserviosestratgicosTempomdiodeatendimentoaocidado
TempomdioparaabrirumnegcioEficinciaOramentria
Subdimenses:3.2ProdutividadedaunidadefinalsticaCargadeTrabalho,Consumo,Desperdcioetc.3.3TempoTempodeciclo,Freqnciadeentrega,Tempodedesenvolvimentodenovosbenseservios,Desperdcioetc.3.4UtilizaoderecursosCustounitriodoservio/bem/valorentregue
3.5Custobenefcio(Eficinciadosgastos)
ExemplosdeIndicadores:CustoporaodefiscalizaoTempomdiodeatendimentosdemandas(emdias)
Custocomcombustvel/peas/serviosporperodoCustoporunidadedoservioprestado(custounitrioporcirurgia,porhoraaula,porkmpavimentado)
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
29/113
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
30/113
29
DimensoNveis
Macro
GovernoMeso
Setorialdepolticapblica
Mesomicro
OrganizaesemredeMicro
OrganizaoNano
UnidadeExemplosdeIndicadores:ImplantaodasaesdoPlanejamentoEstratgicoGraudeconfiabilidadedasinformaesoramentrias,financeirasecontbeisndicedequalidadedapropostaoramentriandicedequalidadedainformaoGraudeacessopblicoasinformaesdecompras(editais,solicitaesdepropostas,outorgasde
contrato)PercentualdecontratocomnveldeserviocontratualizadoGraudeadequaoaomarcolegaleregulatriodecompraspblicas(conformidadesdetectadas)Percentualdeavaliaes
prviasderiscos
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
31/113
30
DimensoNveis
Macro
GovernoMeso
Setorialdepolticapblica
Mesomicro
Organizaesemrede
Micro
OrganizaoNano
Unidade
E5Excelncia
ExemplosdeIndicadores:PercentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasnoPrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasda
administraodiretaeindiretacomsistemadegestodaqualidadeimplantado
ExemplosdeIndicadores:PercentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasnoPrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasdaadministraodiretaeindiretacomsistemadegestodaqualidadeimplantado
Subdimenses:5.1CritriosdoMEGPOMEGPumexcelenteproxyparaamediodaexcelnciadeorganizaespblicas.umindicadorcompostoqualitativoequantitativoExemplosdeIndicadores:Percentualdeorganizaespblicasdaadministraodiretaeindiretacandidatasno
PrmioNacionaldaGestoPblica PQGFPorcentagemorganizaespblicasdaadministraodiretaeindiretacomsistemadegestodaqualidadeimplantado
Subdimenses:OMEGPumexcelenteproxyparaamediodaexcelnciadeorganizaespblicas.umindicadorcompostoqualitativoequantitativo5.1CritriosdoMEGPLiderana,EstratgiaePlanos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,Processos5.2ConformidadeRetrabalho,Erros,ResponsabilidadeAmbiental,
Infraestrutura(confortoetc.),Medidaseespecificaes,Segurana(acidentesporhorastrabalhadas),TransparnciaConfidencialidade,AcessibilidadeConfiabilidade,Inovao,Prazoetc.
5.3
Riscos
5.4Causalidade5.5Comunicao5.6Integrao
ExemplosdeIndicadores:
Subdimenses:OMEGPumexcelenteproxyparaamediodaexcelnciadeunidadesorganizacionais.umindicadorcompostoqualitativoequantitativo5.1CritriosdoMEGPLiderana,EstratgiaePlanos,Cidados,Sociedade,InformaoeConhecimento,Pessoas,Processos5.2Conformidade
Retrabalho,Erros,ResponsabilidadeAmbiental,Infraestrutura(confortoetc.),Medidaseespecificaes,Segurana(acidentesporhorastrabalhadas),Transparncia
Confidencialidade,AcessibilidadeConfiabilidade,Inovao,Prazoetc.5.3Riscos5.4Causalidade5.5Comunicao5.6Integrao
ExemplosdeIndicadores:
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
32/113
31
DimensoNveis
Macro
GovernoMeso
Setorialdepolticapblica
Mesomicro
Organizaesemrede
Micro
OrganizaoNano
UnidadePontuaonoscritriosdeexcelnciaemgesto(MEGP)ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos)TaxaderegistrodeocorrnciasemauditoriasPercentualdecontratoscomAcordosdeNveldeServios(ANS)pactuados
Pontuaonoscritriosdeexcelnciaemgesto(MEGP)NmerodeatividadesqueseguemestritamenteospadresorganizacionaisNmerodeatividadescertificadasporinstituiesreconhecidas
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
33/113
32
DimensoNveis
Macro
GovernoMeso
SetorialdepolticapblicaMesomicro
Organizaesemrede
Micro
OrganizaoNano
Unidade
E6Economicidade
Subdimenso:6.1Quantidadederecursos
ExemplosdeIndicadores:GastototaldecomprasdoGovernoGastosdecusteioeoutrosgastosadministrativosCustodaatividadefinalsticadeGoverno/custototal
Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosQualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura6.5Risco
ExemplosdeIndicadores:Gastospblicospercapitacomasade
GastoscomProgramaseServiosSociaisGastoscommerendaescolar
Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosQualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura6.5Risco
Exemplos
de
Indicadores:Custodemedicamentoscomvalidadevencida
Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosDurabilidadetcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.
ExemplosdeIndicadores:Economiacomatividademeio
Custodasatividadesdesuporte/Custototalndicedequalidadedosprodutoseserviosadquiridosndicedeeconomiadasaquisies
Subdimenso:6.1Quantidadederecursos6.2QualidadedosrecursosDurabilidadetcnica,esttica,Qualidadepercebida(Percepo/Expectativa),Confiabilidade,Tempestividade,Inovaoetc.6.3Acessibilidade6.4Cobertura
6.5
Risco
ExemplosdeIndicadores:NdeadmissesconformeoperfilRequeridorealizadasduranteoperodo
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
34/113
2.4. Desempenho timo e Estrutura dePonderao
Segundoestemodelo,aotimizaododesempenhorequeratuao
ao longo de toda a Cadeia de Valor. Existe o risco de modelos
construdos focarememalgunsEsdodesempenho(eficinciaouna
economicidade, por exemplo) em detrimento dos demais Es. AnfasepuramentenoEdaeficincia (desconsiderandoseos Es
daeficciaedaefetividade)tendeatornarprecriooatendimentoe
a qualidade dos servios prestados ao cidado. Para tanto,
importanteressaltaroquantonegativoprivilegiaraeconomicidade,
aexecuo,aexcelnciaeaeficincia,enocontemplaraeficciae
aafetividadeemmodelosdemensurao.
Nessesentido,necessriopensarsenobalanceamentodos6Esdo
Desempenho.Odesempenhotimoaquelequeefetivo,eficaz,
eficiente, excelente, econmico e cuja execuo de aes e
atividades ocorre em conformidade com requisitos e prazos
definidos. Embora haja precedncia da dimenso efetividade (e
sucessivamente, eficcia e eficincia, excelncia, execuo e
economicidade, da direita para a esquerda da cadeia de valor),
problemas em qualquer uma das dimenses impe padres sub
timosdedesempenho.
Portanto,omodelodedesempenhotimorepresentadopor:
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
35/113
Ouseja,Desempenhotimo=E1+E2+E3+E4+E5+E6=6;
Desempenho Subtimo = E1+E2+E3+E4+E5+E6 E2>E3]>[E4 E5 E6].
A estrutura de ponderao proposta prioriza o resultado sobre o
esforo.Paraisso,duasalternativassopropostas:
Alternativa
1 Ponderaocomgraudeflexibilidade:
Resultado=[E1+E2+E3] 60%/70%;sendoque,PE1>PE2>PE3;
Esforo=[E4+E5+E6] 40%/30%,sendoque,PE4 PE5 PE6.
Alternativas2 Ponderaofixa:
DimensodoDesempenho Peso Proporo
Efetividade(E1) 2,5 60%
resultadoEficcia(E2) 2
Eficincia(E3) 1,5
Execuo(E4) 1,5
40%EsforoExcelncia(E5) 1,5
Economicidade(E6) 1
Totaldospesos 10 100%
Algicadestaponderaoinicialrelativamentesimpleseintuitiva:
resultados valem mais que esforos. Entre situaes limite
hipotticas, organizaes que se esforam menos, mas alcanam
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
36/113
estabelecer pesos (entre 1 a 5) segundo critrios de seleo deindicadores, propiciando obter maior sensibilidade no processo de
priorizao. A frmula de clculo para a formao do peso do
indicador ser aprofundada no item 3.7. Passo 7 Ponderao e
ValidaofinaldosindicadorescomaspartesenvolvidasdesteGuia.
Oquadro5 ilustraa sntesedomodelodeponderaes.Omodelo
envolve algumas instncias de agregao de valores que requer
formulasdeclculoespecficas,apresentadassegundoasreferncias
aseguir:
(A) Nota ponderada do indicadorx= Peso do indicadorx* Nota do
indicadorx;
(B) Nota da Dimenso = (Nota ponderada do indicador1 + Nota
ponderadadoindicador2+...+Notaponderadadoindicadorn)/(Pesodoindicador1+Pesodoindicador2+...+Pesodoindicadorn);
(C) Nota ponderada da Dimenso: Peso da Dimensox * Nota da
Dimensox;;e
(D) Nota do Desempenho Agregado: das Notas ponderadas das
Dimenses.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
37/113
36
Quadro5.Exemplodeponderaesenotasaplicadasaosindicadoresesuanotaconsolidadafinal
DimensodoDesempenho
PesodaDimenso
Indicador(segundoSubdimenso)Pesodo
indicadorNotado
indicador
Notaponderada
(A)
NotadaDimenso
(B)
Notaponderada
daDimenso(C)
E1Efetividade 2,5
1.1.Impactofinal
8,18 20,44
ndicedeDesenvolvimentoHumano(IDH) 5 9 45
1.1.ImpactoIntermedirio
TaxadeAnalfabetismode15anosoumais 5 7 35ndicededistoroIdade/Srie 4 8 32
TaxadeconclusodoensinomdionaRededeEnsino 3 9 27
E2Eficcia 2
2.1.Quantidade
7,91 15,82Nmerodejovenseadultosalfabetizados 5 7 35Quantidadedenovasescolasconstrudas 4 9 36NmerodeescoladeEducaobsicacomconexodeBandaLarga 2 8 16
E3Eficincia 1,5
3.1.Custoefetividade
7,50 11,25
Custoefetividade(outcomes/custo)daspolticasdeeducao 5 6 30
3.4.Utilizaoderecursos
Volumedogastopblicoemeducao(despesaoramentria)emrelaoaoPIB
4 9 36
Customdioporhoraaula 3 8 24
E4Execuo 1,5
4.1.Execuofsicaeexecuofinanceira
7,71 11,57
GraudeimplantaodasaesdoPlanejamentoEstratgico 5 9 45
Taxadeempenho 3 7 21
Taxadeliquidao 3 7 21
Taxadeexecuooramentria 3 7 21
E5Excelncia 1,55.1CritriosdoMEGP
8,38 12,56Pontuaonoscritriosdeexcelnciaemgesto(MEGP) 5 8 40
ndicedeInovaoemGesto(prmiosereconhecimentosrecebidos) 3 9 27
E6Economicidade
1
6.1.Quantidadederecursos
7,67 7,67GastospblicospercapitacomaEducao 3 9 27
GastototaldecomprasdoGovernocomosetorialdeEducao 3 7 21
Gastoscommerendaescolar 3 7 21
NotadoDesempenhoAgregado(D) 79,31
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
38/113
Acerca do modelo de desempenho e ponderaes, duas principaiscondies ideais so ressaltadas:a)que sejapossvelamodelagem
deindicadoressignificativoserepresentativosnasseisdimenses;b)
quesejapossvelgerarumanotaparacadaindicador.Emcondies
reais,algumasvezes,possvelquenemtodasasseisdimensesdo
Desempenhopossamsercontempladas(tendoemcontaproblemas
na disponibilidade de dados que inviabilizem a gerao de
indicadores)comotambmpossvelquenoseconsigagerarumanotaparacadaindicador.
Omaisimportantediantedasinevitveisdificuldadesdomundoreal
apostura:precisoesforo, imaginaoehonestidade intelectual
para resolver ou atenuar as limitaes. A seguir, so comentadas
algumaspossveiscomunslimitaeseoquefazeremrelaoaelas:
Indicadoresdeefetividade:
i) O problema: a questo menos gerlos (hmuitos indicadores consagrados de
polticaspblicas)emaisassumiloscomo
integrantesdoconceitodedesempenho
problema este maior nos nveis
organizao e unidade organizacional. Oque est em questo o grau de
atribuio de responsabilidade
(diretamente relacionado
governabilidade)emrelaoaindicadores
deefetividade inerentementesujeitosa
fatoresrivaisetemporalidade;ii)A soluo: tentardecomplosem impactos
intermedirios e identificar aqueles
impactos onde haja uma relao de
atribuio de responsabilidade maior de
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
39/113
acordo com a teoria do programa6 em
questo;
Geraodenotaparacadaindicador:
i) O problema: bastante provvel que muitasmedidas possam ser feitas, mas sem um
correspondente parmetro de
comparao, tal como uma meta ou umbenchmark em relao ao qual se possa
mediradistnciarelativaeseestabelecer
umanota(dealcance);
ii)A soluo: o estabelecimento de metasincrementais (aumentar20%noperodo
seguinte)pelotemponecessrioparaquese compreenda a curva de desempenho
doindicadoremquesto,permitindouma
fixaorealistaedesafiadorademetas;
Indicadoresdasdemaisdimenses:
i) O problema: ainda que haja dificuldades na
identificao e na coleta de dados paragerao de indicadores em geral
(principalmentenadimensoeficincia),
ii)A soluo: a postura correta utilizaraproximaes e, sobretudo, comear a
medir para incorporar ao modelo no
momentoseguinte.Em suma, prefervel que haja aproximaes a lacunas. Mas o
fundamental aprimorar o modelo de mensurao ao longo do
tempo, tendose em conta que se trata de um processo que
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
40/113
dificilmente se inicia com o pleno atendimento de todos os
requisitos.
2.5. Formulao de Indicadores
Aformulaode indicadorespodeserrealizadaporumconjuntode
passosnecessriosparaassegurarqueosprincpiosdaqualidadee
do sistema de medio do desempenho estejam em conformidade
comodesejadopelaorganizao.Ospassosso:
Identificaodonvel,dimenso,subdimensoeobjetosdemensurao;
Estabelecimentodosindicadoresdedesempenho;
Validao preliminar dos indicadores com as partesinteressadas;
Construodefrmulas,estabelecimentodemetasenotas;
Definioderesponsveis;
Geraodesistemasdecoletadedados;
Ponderaoevalidao finaldos indicadorescomaspartesinteressadas;
Mensuraodosresultados;
Anliseeinterpretaodosindicadores;e
Comunicaododesempenhoegerirmudana.
Oobjetodoprximocaptuloaapresentaodospassosprincipaispara a concepo e implantao dos indicadores a partir da
metodologiadaCadeiadeValoreos6EsdoDesempenho.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
41/113
3. Construindo Indicadores de desempenho
Oprocessodeconstruodeindicadoresdedesempenhonopossui
umprocedimentonicoouumametodologiapadro.Noentanto,a
partir da reviso das principais experincias de construo de
indicadoresparaosetorpblicoeprivado,sugereseumconjuntode
etapas (Figura 4) que asseguram a coerncia da formulao e
implementaodoconjuntodeindicadoresqueseplanejaconstruir.
Emsequncia,afigura5apresentaodesdobramentodasetapasnos
passoscorrespondentes.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
42/113
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
43/113
Figura5.Os10passosparaaconstruodeindicadores
O queMensurar?
Comomensurar?
Coleta deinformaes
Mensurao
Anlise
1. Identificao donvel, dimenso,subdimenso e
objetos demensurao
2. Estabelecimentode indicadores
5. Definio deresponsveis
6. Gerao desistema de coleta
de dados
7. Ponderao evalidao final dosindicadores com aspartes interessadas
IndicadoresOK?
8. Mensurao dodesempenho
9. Anlise einterpretao dos
indicadores
Sim No
3. Validaopreliminar dos
indicadores com aspartes interessadas
4. Construo defrmulas,
estabelecimento demetas e notas
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
44/113
3.1. Passo 1 - Identificao do Nvel, Dimenso,Subdimenso e Objetos de Mensurao
Definiroquesermensuradoconstituiareflexoinicialdoprocesso
de criao de indicadores de desempenho. No entanto, cabe
responderaalgumasquestessignificativaspreliminarmente.
Primeiro, devese definir em qual nvel da administrao pblica
desejase criar medidas. Ou seja, para quem ser construdo oindicadorequem sero responsvelpelodesempenhodaunidade
monitorada.Podeserapenasumaunidadedeorganizao,umnvel
de polticapblica ou mesmoo Governo comoum todo.Osnveis
principaispropostossoos:macro(Governo),meso(polticapblica
ou setor de governo), mesomicro (redes de organizaes), micro
(organizaes)enano(unidadedeorganizao).
Umavezidentificadoqualonveldemensurao,necessriodefinir
paracadadimensodos6Essuaspossveissubdimensesnasquais
sedesejacriarosindicadores.
Adefiniodasubdimensoprocuraexplorarasmedidaspossveise
cabveisdeseremextradasapartirdadimensoescolhida.Ouseja,
oquemaisimportantesermensuradoparaadimenso?
Em alguns casos, alm da definio da subdimenso, poder ser
requerida a definio precisa do que ser mensurado qual ,
especificamente, o objeto de mensurao. Este caso pode ser
identificado, por exemplo, no nvel meso (poltica pblica) da
subdimenso Impacto Intermedirio da dimenso Efetividade,
isto,asubdimensonodetalhaouexplicitaodomniodapolticapblica a ser mensurado (sade, educao, segurana etc.). Para
tanto, recomendase o uso da cadeia de valor por ser um
instrumento facilitador da representao do universo de anlise,
contribuindo para uma melhor compreenso do ambiente interno e
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
45/113
interessados no desempenho da unidade sob anlise. A figura 6
abaixorepresentaesteinstrumento.
Figura 6. Diagrama da Cadeia de Valor: instrumento de elucidao dos objetos demensurao
Conformeressaltaocaptuloanterior,recomendasebuscarabarcar
todasasdimensesdos6EsdoDesempenho,devendosequestionar
quaissoasmedidasdesejveisparacadadimensodometamodelo.
O desenho da cadeia de valor do objeto auxilia a identificar os
elementosdemensuraesparaasseisdimenses.
EstepassoconduzidocomacontribuiodacadeiadevalorecombasenaMatrizsntesedomodelodeMediododesempenho(vide
quadro4anterior).
O quadro 6 a seguir ilustra o extrato da Dimenso Efetividade e o
d 7 t i i t d d b t t d
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
46/113
Quadro6.Extratodoquadro2DimensoEfetividade
Dimenso
Nveis
MacroGoverno
MesoSetorialde
polticapblica
MesomicroOrganizaes
emredeMicro
OrganizaoNano
Unidade
E1Efetividade
Subdimenso:1.1Impacto
FinalNvelgeraldebemestar,desenvolvimento(social,econmicoescioambiental),
igualdadesocialetc.
Subdimenso:1.2Impacto
IntermedirioResultadosdePolticaPblica,impactosintermediriosdedesenvolvimentoetc.
Subdimenso:
1.2ImpactoIntermedirioResultadosemtemasdePolticasPblicas,impactosintermedirio
sdepolticaspblicasetc.
Subdimenso:1.2Impacto
IntermedirioResultadosintermediriosdedesenvolvimento,polticaspblicasoutemasde
polticaspblicas,Satisfaodosstakeholders,MelhoriadaGestoetc.
1.2Subdimenso
:Impactoinicial,Resultadosdaorganizao.
Quadro
7.
Definio
do
nvel,
dimenso,
subdimenso
e
objetos
de
mensurao
Nvel Dimenso Subdimenso Objetodemensurao
MacroGoverno E1Efetividade 1.1 ImpactoFinal Desenvolvimentoeconmico,
esperanadevidaeeducao
E2
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
47/113
objetivos estratgicos so direcionadores para a criao de
indicadores coerentes que reflitam de maneira clara e vlida o
quanto da estratgia foi alcanado no nvel definido (Governo,
polticaetc.).AsorganizaesouGovernosquepossuemumaagenda
estratgica detalhada e legtima dispem de informaes
importantesparasubsidiaraescolhadassubdimenseseobjetosde
mensuraoparacadaumdos6Esdodesempenho.
3.2. Passo 2 - Estabelecimento de Indicadores
Apsrealizaropasso1,ossubsdiosprincipaisparaaelaboraodo
indicador(comomedir)jestodefinidos.
Os indicadores devem ser especificados por meio de mtricas
estatsticas,comumenteformadosporporcentagem,mdia,nmerobruto,proporoendice.
Oscomponentesbsicosdeumindicadorso:
Medida: grandeza qualitativa ou quantitativa que permiteclassificarascaractersticas,resultadoseconseqnciasdos
produtos,processosousistemas;
Frmula: padro matemtico que expressa forma derealizaodoclculo;
ndice (nmero): valor de um indicador em determinadomomento;
Padro de comparao: ndice arbitrrio e aceitvel para
umaavaliaocomparativadepadrodecumprimento;e
Meta: ndice (nmero) orientado por um indicador emrelaoaumpadrodecomparaoaseralcanadodurante
certoperodo.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
48/113
devem ser facilmente compreendidos e conhecidos por
todosospblicosinteressados;
Representatividade, confiabilidade e sensibilidade:capacidadededemonstraramaisimportanteecrticaetapa
deumprocesso,projetoetc.Osdadosdevem serprecisos,
capazesderesponderaosobjetivosecoletadosnafontede
dados correta e devem possibilitar a pronta avaliao dos
efeitosdedeterminadainterveno;
Investigativos:osdadosdevemser fceisdeanalisar,sejamestes para registro ou para reter informaes e permitir
juzosdevalor;
Comparabilidade: os indicadores devem ser facilmentecomparveis com as referncias internasouexternas,bem
comosrieshistricasdeacontecimentos;
Estabilidade:procedimentosgeradosdeformasistemticaeconstante,semmuitasalteraesecomplexidades,umavez
querelevantemanteropadroepermitirasriehistrica;
e
Custoefetividade: projetado para ser factvel eeconomicamentevivel.Osbenefciosemrelaoaoscustosdevem satisfazer todososoutrosdemaisnveis.Nem todas
as informaesdevemsermensuradas,precisoavaliaros
benefciosgeradosemdetrimentodonusdespendido.
Almdisso,necessrioidentificarseaescolhadoindicadoratende
s expectativas de seus pblicos de interesse, como os rgos
setoriais, rgos centrais, rgos de controle e outros possveis
interessados, de modo a assegurar a relevncia do indicador
proposto.
O d 8 b i t d d b t d di d
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
49/113
48
Quadro8.Desdobramentodadimensodos6Esemindicadores
Nvel Dimenso Subdimenso Objetodemensurao Indicador
Macro Governo E1Efetividade 1.1 ImpactoFinal Desenvolvimentoeconmico,
esperanadevidaeeducao
ndice de Desenvolvimento Humano(IDH)
E2Eficcia
E3Eficincia
E4Execuo
E5Excelncia
E6Economicidade
Meso Setorial de
polticapblica
E1Efetividade 1.2 ImpactoIntermedirio
Resultado de Poltica Pblica deeducao
TaxadeAnalfabetismode15anosoumais
E2Eficcia
E3Eficincia
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
50/113
3.3. Passo 3 - Validao Preliminar dosIndicadores com as Partes Interessadas
Selecionar e validar os indicadores com as partes interessadas
fundamental para a obteno de um conjunto significativo de
indicadores que propicie uma viso global da organizao e
represente o desempenho da mesma. O processo de validao conduzido visvis com a anlise dos critrios de avaliao do
indicador. Durante a validao so levados em conta diversos
critrios apresentados (ver passo 2 Estabelecimento de
indicadores), tais como: seletividade; simplicidade e clareza;
representatividade; rastreabilidade e acessibilidade;
comparabilidade; estabilidade; custoefetividade. Esses critrios
servirodebaseparaadecisodemanter,modificarouexcluiros
indicadoresinicialmentepropostos.
3.4. Passo 4 - Construo de Frmulas,estabelecimento de Metas e Notas
Uma vez definido o conjunto de indicadores e, por sua vez,analisados a luz dos critrios (principalmente, seletividade e
viabilidade),opassodeconstruodefrmulaseestabelecimentode
metasenotaspodeseriniciado.
3.4.1.ConstruodefrmulasA frmula descreve como deve ser calculado o indicador,possibilitandoclarezacomasdimensesaseremavaliadas.Afrmula
permite que o indicador seja: inteligvel; interpretado
uniformemente;compatibilizadocomoprocessodecoletadedados;
especfico quanto interpretao dos resultados e apto em fornecer
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
51/113
Cada frmula possui uma unidade de medida que confere um
significadoaoresultado.Asunidadesdemedidapodemserdiversas,
contudo, sua composio deve seguir uma linha de raciocnio,
possibilitandoaanlisedoresultadoobtidoeacomparaocomuma
seriehistrica.
Asunidadesdemedidamaiscomunsso:
Indicadores
Simples:Representamumvalornumrico(umaunidadedemedida)atribuvelaumavarivel.Normalmente,
soutilizadosparamedireficcia,ouseja,aquantidadede
determinadoproduto ou serviosentregue aobeneficirio.
Noexpressaarelaoentreduasoumaisvariveis.
Exemplos:
Nmerosdealunosmatriculadosnoensinomdio;
Nmerodealunosaprovadosnoensinofundamental;
Nmerodenovospostosdetrabalhoscriados.
Indicadores Compostos: Os indicadores compostosexpressamarelaoentreduasoumaisvariveis.Deacordo
com as relaes entre as variveis que os constituem e a
forma como so calculadas, sodenominados de maneiras
especficas. Assim tmse quatro tipos de indicadores
compostos:
i) ProporoouCoeficiente:oquocienteentreo nmero de casos pertencentes a uma
categoriaeototaldecasosconsiderados.
Esse quociente tambm chamado de
coeficiente,representandoarazoentreo
nmero de ocorrncias e o nmero total
(nmerodeocorrnciasmaisonmerode
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
52/113
Coeficiente de evaso escolar = nmero de
alunosevadidos/nmeroinicialdematrculas
realizadas.
ii)Porcentagem: Obtida a partir do clculo daspropores,simplesmentemultiplicandoo
quociente obtido por 100. As
porcentagens e propores tm por
objetivo principal criar comparaes
relativas destacando a participao de
determinadapartenotodo.
Exemplo:
Porcentagem de alunos matriculados na 1
srie do ensino mdio = (n de alunos
matriculados na primeira srie do ensino
mdio / n total de alunos matriculados no
ensinomdio)x100.
iii)Razooundice:ArazodeumnmeroAemrelaoaoutronmeroBsedefinecomo
A dividido por B. As propores
representamum tipoparticularde razo.
Entretanto, o termo razo usado
normalmente quando A e B representam
categorias separadas e distintas. Este
quociente tambm chamado de ndice,
indicando tratarse de razo entre duas
grandezastaisqueumanoincluiaoutra.Exemplos:
Densidade demogrfica = Populao /
superfcie; e
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
53/113
Taxa de natalidade = Coeficiente de
natalidadex1.000;e
Taxa de evaso escolar = Coeficiente de
evasoescolarx100.
Afrmuladeclculoeaunidadedemedidafornecemsubsdiospara
identificar o comportamento esperado do indicador, ou seja, se o
indicador maiormelhor, menormelhor ou igualmelhor. Dessa
forma,ainterpretaodoindicadorinformaseobomdesempenho
alcanado quando o resultado do indicador est aumentando,
diminuindooupermanecendoomesmo.Tratasedeumainformao
integrantequeorientaaanlisecrticadodesempenhodoindicador.
Por exemplo, o IDH representa um bom desempenho quanto mais
prximode1,aferindoumamelhorqualidadedevidadapopulao
daregio.
Concomitantemente construo da frmula do indicador,
necessriodefiniraorigemdeondeosdadossoextrados,ouseja,a
fonte de dados, podendo ser de um setorial, organizao, unidade
organizacional,sistemainformatizadoououtrafontecomorelatrios
oupesquisasdeorigemexterna.Exemplosdealgumasfontessoas
basesestatsticas de indicadores sociais, econmicos,entre outros:IPEA, INEP, Banco Mundial, PNUD, OCDE. Vale destacar que a
identificaoda fontedosdadosum importedirecionadorparaa
definiodemetas.
3.4.2.EstabelecimentodemetasUmavezestabelecidasasfrmulaseasfontesdosdados,segueseo
estabelecimentodemetas.Ametaumaexpressonumricaque
representaoestadofuturodedesempenhodesejado.
Todososindicadoresdedesempenhodevemtermetas,podendoser
d f d d d d
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
54/113
Recomendase buscar referenciais comparativos (benchmarks)
pertinentes quando tratar de indicadores consagrados e de ampla
utilizao.Osobjetivosdousodeinformaescomparativasso:
Forneceroentendimentodaposiorelativadaunidadedeanliseemrelaoexperinciasreferenciaisexistentes;
Melhoraroentendimentodeseusdesempenhos;e
Fornecersubsdiosparaoprecisoestabelecimentodemetas,eparadirecionarmelhoriasemudanassignificativas.
As informaesdebenchmarkspodemserobtidas internamenteouexternamente unidade de anlise a partir de referenciais como
outra organizao, processo, servios, produtos ou resultado
considerados de notrio destaque; envolve o levantamento de
mdiassetoriais,organizaessimilaresnamesmaregiogeogrficaou que fornecem tipos semelhantes de servios e produtos em
distintas regies. Em sntese, o benchmark visa sugerir valoresreferenciais para comparao do desempenho da organizao (ou
Governo)emrelaoacadaindicadorestabelecido.
No caso de indicadores especficos, como o caso de indicadores
concernentes a um contexto singular, em geral, devem serconstrudasasmetascombase,principalmente,emsrieshistricas
de desempenho, e que estejam alinhados com os objetivos
estratgicospretendidos.
Algunscuidadosdevemsertomadosaoestabelecermetas,asaber:
considerarosdesempenhosanteriores;
descreverocenrioemqueseinsereoobjetodoindicador;
possuir uma compreenso clara do estgio de refernciainicial,ouseja,da linhadebase (Vo).Exemplo:ltimoano,
valor da ltima aferio feita mdia da tendncia etc ;
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
55/113
audaciosas.Nestecaso, recomendaseutilizarumasriede
metasestabelecidasconformecenriosprevistos.
Oquadro9aseguirapresentaasntesedasetapasdaconstruodo
indicadoratestaetapa.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
56/113
55
Quadro9.Modelosntesedeconstruodoindicador
Nvel Dimenso SubdimensoObjetode
mensuraoIndicador Frmula Unid. Interpretao/
sentidoFonte
Sriehistrica
VoBenchmark
Metas
2005 2007 2010 2011
Macro Governo
E1Efetividade
ImpactoFinal
Desenvolvimentoeconmico,
esperanadevidaeeducao
ndicedeDesenvolvimentoHumano(IDH)
(Longevidade+Educao+Renda)/3
decimal
Maiormelhor
PNUD 0,794 0,816 Canad=0,966Chile =0,878
0,823 0,843
E2
Eficcia
E3
Eficincia
E4
Execuo
E5
Excelncia
E6Economicidade
Meso Setorialdepolticapblica
E1Efetividade
ImpactoInterme
dirio
ResultadodePolticaPblicadeeducao
TaxadeAnalfabetismode15anosoumais
Totaldeanalfabetosnafaixaetria/totaldapopulaocomamesmafaixaetria
%
Menormelhor
IBGE 10,9 9,9Chile=3,5ReinoUnido=1Japo=1
9,2 9
E2
Eficcia
E3
Eficincia
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
57/113
3.4.3.Definio
de
notas
A nota deve refletir o esforo no alcance da meta acordada, por
indicadoremparticular,oqueimplicarnadeterminaodevalores
de 0 (zero) a 10 (dez) para cada um, conforme a relao entre o
resultado observado e a meta acordada. Sugerese o uso de uma
escalapadroouescalasespecificasparacadaindicador.
Valedestacarqueescalasespecficasparacada indicadordevemserfixadas em funo dos valores correspondentes grandeza da
medida,demaneiraqueo instrumentodemedio tenhapreciso
adequada a sua utilizao, primando por captar a variao do
estmulo correspondente. Por exemplo, um indicador anual de
disponibilidade de energia eltrica deve possuir escala delineada
entre90%e100%.Poroutrolado,umindicadordetaxadeexecuo
fsicadeprogramadeveapresentarescalacomvariaoentre0%e
100%, e sua respectiva interpolao de notas. A adequao da
sensibilidade da escala ao indicador fundamental para evitar
interpretaes enviesadas na anlise de valores aferidos pela
mensurao.
Oquadro10ilustraumexemplodeescaladenotas.
Quadro10.Escaladenotas
Resultadoobservadono
alcancedametaNotaatribuda
96%oumais 10
91%a95% 9
81%a90% 8
71%a80% 7
61%a70% 6
51% a 60% 5
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
58/113
57
Quadro
11.
Definio
da
escala
de
notas
por
indicador
Indicador Frmula Unid.Interpretao/
sentidoFonte
Sriehistrica
VoBenchmark
Metas Taxadealcance/nota
2005 2007 2010 2011 10 9 8 7 6 5 4
ndicedeDesenvolvimento
Humano(IDH)
(Longevidade+Educao+
Renda)/3
decimal
Maiormelhor
PNUD 0,794 0,816Canad=0,966
Chile=0,878
0,823 0,843 100%99,86%
99,99%
99,75%
99,85%
99,60%
99,74%
99,46%
99,59%
99,3%
99,45%
99,16%
99,29%
TaxadeAnalfabetismode15anosoumais
Totaldeanalfabetosnafaixaetria/totaldapopulaocomamesmafaixaetria
%
Menormelhor
IBGE 10,9 9,9Chile=3,5ReinoUnido=1Japo=1
9,2 999% 100%
97,01%
98,9%
96,01% 97%
95,01% 96%
94,01% 95%
93,01% 94%
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
59/113
3.5. Passo 5 - Definio de Responsveis
Osindicadoresdedesempenhosedesdobramparatodaorganizao
epossuemcomoobjetivocentralentregarinformaessobreograu
de cumprimento das metas. Portanto, o passo seguinte aps a
construodasfrmulaseestabelecimentodasmetasestabelecer
osresponsveispelaapuraodoindicador.Nesta fase necessria a indicao do responsvel pela gerao e
divulgao dos resultados obtidos de cada indicador. Em alguns
casos, o responsvel de pela apurao e pelo desempenho do
indicadorpodemserosmesmos. Indicadoressem responsveispor
sua coletaeacompanhamentono soavaliados, tornandose sem
sentidoparaaorganizao.
Uma vez identificado o responsvel pela coleta, definida a
periodicidade de coleta do indicador, ou seja, descrita a
periodicidade temporalemqueos resultados conexos ao indicador
devem estar disponveis para serem apurados. Exemplos, semanal,
mensal,semestral,anual.
Oquadro12aseguirapresentaoestabelecimentoderesponsveiseperiodicidadeporindicador.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
60/113
59
Quadro12.Estabelecimentoderesponsveiseperiodicidadeporindicador
Indicador Frmula Unid.Interpretao/
Sentido/Periodicidade
Fonte/Responsvel
Sriehistrica
VoBenchmark
Metas Taxadealcance/nota
2005 2007 2010 2011 10 9 8 7 6 5 4
ndicedeDesenvolvimentoHumano(IDH)
(Longevidade+Educao+
Renda)/3decimal
Maiormelhor
Anual
PNUD 0,794 0,816 Canad=0,966Chile=0,878
0,823 0,843 100%99,86%
99,99%
99,75%
99,85%
99,60%
99,74%
99,46%
99,59%
99,3%
99,45%
99,16%
99,29%
TaxadeAnalfabetismode15anosoumais
Totaldeanalfabetosnafaixaetria/totaldapopulaocomamesmafaixaetria
%
Menormelhor
Anual
IBGE 10,9 9,9Chile=3,5ReinoUnido=1Japo=1
9,2 999% 100%
97,01% 98,9%
96,01% 97%
95,01% 96%
94,01% 95%
93,01% 94%
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
61/113
3.6. Passo 6 - Gerao de Sistema de Coleta deDados
A sistemtica de coleta de dados determina os requisitos para o
levantamento de informaes sobre os indicadores. Essa etapa
complexa, uma vez que h necessidade de se coletar dados
acessveis,confiveisedequalidade.
Aidentificaodosdadosvariadeacordocomotempoeosrecursos
disponveis,assimcomoo tipode informaonecessria.Demodo
geralasprincipaistcnicasdecoletadedadosso:
Tradicionais: aplicao de questionrios, realizao deentrevistas,observaodireta,anlisedocumental(fsicose
virtuais);
Em grupo: oficinas, brainstorm, reunies em equipe (porexemplo,JointApplicationDesign JAD7);
Deprototipao:simulaoeexperimentao;
Cognitivas:anlisemental,deduoeinferncias;e
Contextuais: anlise social, anlise do ambiente interno eanlisedoambienteexterno.
Apsdefinidososmtodosde coletadas informaesnecessrio
seguir para o prximo passo, de validao dos indicadores pelas
partesinteressadas.
3.7. Passo 7 - Ponderao e Validao Final dosIndicadores com as Partes Interessadas
A ponderao e validao final dos indicadores com as partes
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
62/113
desempenhoeparacadacritriodeseleodoindicador,avaliando
o grau de relevncia de dimenses e de indicadores para a
mensuraododesempenhodaorganizao(ouGoverno).
A ponderao da dimenso do desempenho realizada segundo
recomendaes apresentadas no item 2.3. Desempenho timo e
EstruturadePonderao.
Umavezdefinidosospesosdasdimenses,necessrioponderaros
critriosdeseleodoindicadorparaseobterumconjuntoseletode
indicadores por dimenso. Recomendase que a definio do
conjunto finalde indicadoresvalidadanopossuamaisquequatro
oucincoindicadorespordimensodos6EsdoDesempenho.
AseleodosindicadoresfeitacombasenametodologiadaMatriz
de Avaliao Quantitativa8, elaborada pela SPI e adaptada ao
contextodoGuia.
Os critrios de seleo so fundamentados nos atributos dos
indicadores(item3.2)eservemparaestabelecerumranqueamento
dasmedidaspropostas,permitindoumaseleocoerenteesegura.
Oscritriosdeseleosoapresentadosnoquadro13aseguir.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
63/113
Quadro
13.
Critrios
de
seleo
do
indicador
No Critrios
1 Representatividade(proximidadecomoobjetivodaunidadede
anlise)
2 Atendimentosnecessidadesdeinformaodaspartesinteressadas
3 Confiabilidademetodolgica
4 Confiabilidadedafonte5 Simplicidade
6 Objetividade,ClarezaeComunicabilidade
7 Exequibilidadedemensurao
8 Economicidadedeobteno
9 Estabilidadeaolongodotempo
10 Investigativos(rastreabilidadeaolongodotempo)
11 Tempestividade
12 Comparabilidade
13 Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.
Definidos os critrios de seleo do indicador, necessrio oestabelecimento de pesos (variando entre 1 e 5 para obteno de
umamaiorsensibilidade)paracadaindicadorsugerido,segundoseu
grau de importncia no contexto. A anlise dos indicadores
realizada a partir da Matriz de Avaliao Quantitativa, ilustrada no
quadro14.Oindicadoratendendoaumdeterminadocritriorecebe
onmero 1 em sua respectiva clulae, caso contrrio, recebeo
nmero0.Oquadro14representaumexemplodaMatrizemque
a coluna Peso ponderado total resulta da soma ponderada dos
pesosassinaladosparacadaindicador.
A frmula de clculo para o peso ponderado total dos indicadores :
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
64/113
Valeressaltarqueamatrizdeavaliaonoanicadeterminante
daseleode indicadores,mastambmoutroscritrios,sendoeles
objetivosou subjetivos,comoexperincia,opiniesdeespecialistas
etc.podemserutilizados.
A definio de pesos se faz til tambm quando h um conjunto
extensode indicadoresparaumdeterminadoobjetivooudimenso
dos6Esdodesempenho,requerendoousodeummtodoadequado
depriorizao.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
65/113
64
Quadro14.MatrizdeAvaliaoQuantitativadeIndicadores
Indicador DimensoCritriosePonderaes Peso
ponderadototal1
Peso 2 Peso 3 Peso 4 Peso 5 Peso 6 Peso 7 Peso 8 Peso 9 Peso 10 Peso 11 Peso 12 Peso 13 Peso
IDH Efetividade 1 5 1 4 1 4 1 4 1 4 1 5 1 5 1 3 1 3 1 3 1 3 1 3 1 4 5,0
Taxadeanalfabetismode15anosoumais
Efetividade 1 5 1 4 1 4 1 4 1 4 1 5 1 5 1 3 1 3 1 3 1 3 1 3 1 4 5,0
Nmerodehorasdecapacitao/servidor
Excelncia 0 5 0 4 1 4 1 4 1 4 0 5 1 5 1 3 1 3 1 3 1 3 1 3 0 4 3,2
Critrios
1 Representatividade(proximidadecomoobjetivodaunidadedeanlise)
2 Atendimentosnecessidadesdeinformaodaspartesinteressadas
3 Confiabilidademetodolgica
4 Confiabilidadedafonte5 Simplicidade
6 Objetividade,ClarezaeComunicabilidade
7 Exequibilidadedemensurao
8 Economicidadedeobteno
9 Estabilidadeaolongodotempo
10 Investigativos(rastreabilidadeaolongodotempo)11 Tempestividade
12 Comparabilidade
13 Sensibilidade
Fonte:AdaptadodeSecretariadePlanejamentoeInvestimentosEstratgicos(SPI),2009.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
66/113
Aps a ponderao das dimenses e dos indicadores, sugerese
utilizar conceitos da teoria do programa para exprimir asinterrelaes entre os indicadores.Tratase de uma avaliao
qualitativa de probabilidade e impacto de condicionantes
mapeadas.Paraisso,deveseidentificarosprincipaispadrescausais
existentesentreosindicadores.
Assim, possvel verificar os indicadores contribuidores para o
alcance dos resultados desejados a partir de uma abordagemmetodolgicabaseadaemhiptese.Ashiptesesapiamasrelaes
deinflunciaentreasvariveisquerelacionamosindicadores.
Noobstante,algunscuidadosdevemser tomadosquandose trata
de modelos causais lgicos, visto que, na maioria dos casos, o
indicadorpossuiapenasumapartenainflunciasobreoresultadode
seuindicadorsubsequente.Ouseja,existeumavariedadedefatoresexternos desconhecidos e que so desconsiderados da anlise. O
principal objetivo compreender a dinmica da abordagem das
conexes causais. Por exemplo, por um lado, o IDH diretamente
influenciadopelosindicadoresdeExpectativadevidaaonascer,Taxa
dealfabetizao,TaxadematrculaePIBpercapita.Poroutro lado,
portratarsedeumindicadordeimpactofinal,noinfluenciaoutros
indicadoressubjacentesaele.
Adefinioderelaesqualitativaspareceseramaisapropriada,no
entanto, h tambm mtodos quantitativos. As relaes causais
identificadas por metodologias quantitativas (estatsticas) so
experimentos ou quaseexperimentos projetados que
frequentementesodispendiosose/ouinexequveis.
Por fim, vale ressaltar que modelos lgicos de causalidade so
somente modelos e no a realidade; todavia, mesmo modelos
simples so teis, pois ajudam a qualificar relaes esperadas,
direcionar ou testar princpios proposies e gerar ao e
Quadro15.PonderaodeDimenseseIndicadoreserelaesdecausalidade
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
67/113
66
Nvel DimensoPesoda
DimensoSubdimenso
Objetodemensurao
Indicador Frmula Unid.
Sriehistrica
VoBenchmark
Metas Indicadorespelosquaisinfluenciado
Indicadoresque
influencia
Pesoponderado
doIndicador2005 2007
2010 2011
Macro Governo
E1Efetividade 2,5 ImpactoFinal
Desenvolvimentoeconmico,
esperanadevidaeeducao
ndicedeDesenvolvimento
Humano(IDH)
(Longevidade+Educao+
Renda)/3
decimal 0,794 0,816
Canad=0,966Chile=0,878
0,823 0,843
Expect.devidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita
5
E2
Eficcia 2E
3Eficincia 1,5
E4
Execuo 1,5E
5Excelncia 1,5
E6Economicidade
1Meso Setorialdepolticapblica
E1Efetividade 2,5 Impacto
Intermedirio
ResultadodePolticaPblica
deeducao
TaxadeAnalfabetismode15anosou
mais
Totaldeanalfabetosnafaixaetria/totalda
populaocomamesmafaixaetria
% 10,9 9,9
Chile=3,5ReinoUnido=1
Japo=1
9,2 9
Taxadeescolarizaoentrejovensde15a17anos;Nomatrculasentreos
jovensde15a17anos;Nmeroabsolutodeanalfabetos
IDH 5
E2
Eficcia 2
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
68/113
Uma vez selecionados e validados os indicadores prioritrios, os
atributos descritivos de cada indicador devem ser corretamenteformalizados,deformaaassegurarauniformizaodoentendimento
pela organizao, bem como sua estabilidade e confiabilidade ao
longo do tempo. O quadro 16 exemplifica um modelo de
detalhamentodoindicador.
Quadro16.Detalhamentodoindicador9
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
69/113
68
Dimensodoindicador/Subdimenso
E1Efetividade/
ImpactoFinal
Indicador ndicedeDesenvolvimentoHumano(IDH)
Objetodemensurao Desenvolvimentoeconmico,sadeeeducao
FrmuladeclculoMdiaaritmticadeindicadoresnormalizadosdezeroaumdeeducao(alfabetizaoetaxadematrcula),longevidade(expectativadevidaaonascer)erenda(PIBpercapta)
Unidadedemedida Valordecimalentre0e1
Periodicidade Anual
Fonte/Formadecoletadedados ProgramadasNaesUnidasparaoDesenvolvimento(PNUD)
Interpretaodoindicador/Recomendaes
Comomdiadevaloresentre0e1,ovalordeescaladoIDHtambmvariade0a1.Quantomaisprximode1,melhoraqualidadedevidadapopulaodaregio.
Responsvelpelodesempenho GovernoResponsvelpelaapuraodoindicador
PNUD
Peso 5
Benchmark Canad=0,966;Chile=0,878.
Indicadorespelosquaisinfluenciado Expectativadevidaaonascer;Taxadealfabetizao;Taxadematrcula;PIBpercapita.Indicadoresqueinfluencia
ObservaoOIDHumindicadordenaturezaestrutural,porissopoucosujeitoaalteraesnocurtoprazo.Nessaperspectiva,importaanalisarastendnciasdosIDHinternacionais,querevelamoprocessodereduodasdesigualdadesnograudedesenvolvimentohumanoentreospases.
SrieHistrica/Metas 2005 2006 2007 2008 2009 2010 2011
Previsto 0,794 0,805 0,8015 0,821 0,829 0,837 0,843Realizado 0,794 0,803 0,816 0,823
9AfichadedetalhamentodoindicadorapresentapartedosdadosextradosdoRelatriodeAvaliaoPlanoPlurianual20092011eoutra
partedosdadosdisponibilizadoscomcartermeramenteilustrativo.
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
70/113
3.8. Passo 8 - Mensurao do Desempenho
Aps a execuo de todos os passos bsicos para a criao do
indicador e sua sistemtica, tornase necessrio medir o que se
deseja.Essepasso iniciadocomacoletadedadoseoclculodo
indicador, e finalizado com a converso do valor obtido na nota
correspondente.
De forma a facilitar amensuraoe aponderao relativas a cada
indicador, o quadro 17 a seguir exemplifica o modelo de
desempenhoconsolidadodaunidadedeanlisecomdestaquepara
as notas atribudas por indicador, por dimenso e o valor do
desempenho agregado mensurados em um determinado ciclo de
monitoramentoeavaliao.
Quadro 17 Exemplo de ponderaes e notas aplicadas aos indicadores e sua consolidao
-
8/6/2019 Guia - Indicadores (Versao Preliminar Dez 09)
71/113
70
Quadro17.Exemplodeponderaesenotasaplicadasaosindicadoresesuaconsolidao
DimensodoDesempenho
PesodaDimenso
Indicador(segundoSubdimenso)Pesodo
indicadorNotado
indicadorNota
ponderadaNotada
DimensoNota
ponderadadaDimenso
E1Efetividade 2,5
1.1.Impactofinal
8,18 20,44
ndicedeDesenvolvimentoHumano(IDH) 5 9 45
1.1.ImpactoIntermedirio
TaxadeAnalfabetismode15anosoumais 5 7 35
ndicededistoroIdade/Srie 4 8 32
TaxadeconclusodoensinomdionaRededeEnsino 3 9 27
E2Eficcia 2
2.1.Quantidade
7,91 15,82Nmerodejovenseadultosalfabetizados 5 7 35Quantidadedenovasescolasconstrudas 4 9 36NmerodeescoladeEducaobsicacomconexodeBandaLarga 2 8 16
E3Eficincia 1,5
3.1.Custoefetividade
7,50 11,25
Custoefetividade(outcomes/custo)daspolticasdeeducao 5 6 30
3.4.Utilizaoderecursos
Volumedogastopblicoemeducao(despesaoramentria)emrelaoaoPIB
4 9 36
Customdioporhoraaula 3 8 24
E4Execuo 1,5
4.1.Execuofsicaeexecuofinanceira
7,71 11,57
GraudeimplantaodasaesdoPlanejamentoEstratgico 5 9 45
Taxadeempenho 3 7 21
Taxadeliquidao 3 7 21
Taxadeexecuoorament