sumário executivo de avaliação do modelo pendulum

7/23/2019 Sumário Executivo de Avaliação do Modelo PENDULUM

http://slidepdf.com/reader/full/sumario-executivo-de-avaliacao-do-modelo-pendulum 1/16

!"#$ &'()$#( *(+ *+,-,.+-/( .(0 ( -&(+( /( 1'(2'-0- /- 3,+4( !5'(&$+- &-'- ( !0&'$2( $ - 6(7+/-'+$/-/$ 6(.+-7 8 19:;9!66 <=>>?8

=>@ABC

1-'- 0-+" +,*('0-DE$" .(,"57#$ F##&GHH$.C$5'(&-C$5H&'(2'$"" I" +,*('0-DE$" .(,#+/-" ,$"#- &5J7+.-D4( ,4( '$*7$#$0 ,$.$""-'+-0$,#$ - &("+D4( (5 (&+,+4( /- K(0+""4( !5'(&$+-C

Avaliação do Projeto Europeu

de Mentorização MEGAN(Mentoring for ExcludedGroups and Networks)

Resumo



Pontos chave:Impacto do Programa! O projeto MEGAN testou a viabilidade do uso de uma metodologia de Experiência

Aleatória Controlada (em inglês Randomized Control Trial), para determinar o impacto damentorização, com base nos resultados quantitativos e qualitativos. O estudo foirealizado em três países: Hungria, Portugal e Reino Unido.

! Através da aplicação abordagem “Experiência Aleatória Controlada (EAC), foi possível,pela primeira vez, descortinar o impacto da mentorização na empregabilidade e maisespecificamente nos resultados em termos de Empregabilidade em Portugal.

! Os resultados qualitativos também permitiram evidenciar nos mentorandos odesenvolvimento de competências, nomeadamente, confiança, resiliência, comunicaçãoe integração social.

! Os mentores podem apoiar os mentorandos numa fase inicial de implicação com osserviços sociais, nomeadamente de apoio na procura de emprego, atuando comofacilitadores e encorajando esse processo de implicação. Uma vez ultrapassadas asbarreiras iniciais, a mentorização pode ajudar a desenvolver competências sociais epessoais e consequentemente conduzir a uma integração social. A mentorização podeigualmente traduzir-se num suporte que permita aos mentorandos atingir metassignificativas, como por exemplo a integração laboral.

! A mentorização tem igualmente um impacto importante sobre os mentores. Mentoresnão-pares exploram as suas competências já existentes em novas áreas, enquanto osmentores pares desenvolvem novas competências de índole prática e do foro pessoal,que potenciam uma maior empregabilidade. Um número significativo de mentoresconseguiu alcançar a integração profissional.

Desenho do Programa! A Mentorização parece ser mais eficaz se as metas estiverem interiorizadas e alinhadas

com o escopo e plano de ação do programa. A mentorização é flexível o suficiente paraalcançar uma amplitude vasta de hard e soft outcomes, quantitativos e qualitativos emdiferentes cenários/condições, desde que os objetivos estejam desde o início doprocesso de mentorização, bem articulados e compreendidos pelos mentores ementorandos.

! A mentorização é frequentemente considerada como fazendo parte de um pacote maisamplo e holístico de suporte e não como uma intervenção isolada; está provado tratar-sede um modelo de intervenção eficaz no projeto MEGAN. A mais-valia da mentorização,sobre o que uma organização já realiza, é a intensidade do apoio que um mentor

consegue providenciar.! A mentorização e o apoio técnico podem coexistir com sucesso. No programa MEGAN osmentores desempenham o papel de identificar as necessidades dos mentorandos e



providenciar o suporte necessário para capacitá-los para se relacionarem com os serviçossociais de forma produtiva, aumentando o acesso e usufruto das apoio social disponível.

Desenho da Experiência Aleatória Controlada (EAC): a exequibilidade

da metodologia de experimentação ! Organizações comunitárias mais pequenas podem administrar com sucesso um projeto

desafiador de avaliação EAC. Os principais fatores de sucesso são uma abordagem deseleção aleatória flexível, a existência de uma formação inicial e o empenho dosparceiros transmissores do programa.

! A EAC pode ser administrada com sucesso em comunidades estreitamente ligadas. Noentanto, poderá ser mais apropriada a seleção aleatória de comunidades ao invés daseleção aleatória de indivíduos pertencentes a essas comunidades, particularmente emcomunidades desfavorecidas e onde todos os membros precisem de suporte.

! A EAC está dependente de um processo de recolha de dados exaustivo e robusto, quepode ser um desafio quando as intervenções trabalham arduamente na capacitação daspopulações e durante períodos de mudança organizacional.

IntroduçãoO Projeto MEGAN procurou testar a mentorização como uma forma de facilitar a inclusãosocial e a empregabilidade de grupos vulneráveis, incluindo os ciganos (roma), imigrantes eminoria étnicas, jovens, mulheres, desempregados de longa duração e reclusos. O projeto

assenta numa aprendizagem a partir de um projeto anterior, também financiado peloprograma PROGRESS (União Europeia) – MOMIE (Models of Mentoring for Inclusion andEmployment). O projeto MOMIE tinha como principal foco testar a variável mentorizaçãopelos pares VS não Pares como um modelo intervenção junto de grupos vulneráveis.

O projeto MEGAN foi implementado em três Estados-Membros (Reino Unido, Hungria ePortugal), e focou-se essencialmente em comunidades em situação de exclusão e seusdescendentes que enfrentam situações de exclusão social e isolamento e múltiplas ecomplexas barreiras à integração laboral. O projeto foi construído para avaliar a forma

como a mentorização pode auxiliar a integração social dos diferentes grupos de pessoasvulneráveis.

O projeto MEGAN foi financiado pela Comissão Europeia, Direção Geral de Emprego, Assuntos Sociais e Inclusão. O mesmo suporta as iniciativas emblemáticas no quadro dainiciativa Europa 2020 da «Innovation Union» e a «Plataforma contra a Pobreza e aExclusão Social". Complementa igualmente a Estratégia de Juventude da UE, o Plano de Ação da Juventude Roma (ciganos), o Plano de Acção de melhoramento da situação dosciganos na zona OSCE, e um elevado número de diretrizes relativas à igualdade detratamento e integração dos migrantes na UE.

Os objetivos específicos deste projeto foram os seguintes:



! Potenciar a inclusão social das comunidades migrantes através da mentorização;

! Promover estratégias eficazes e eficientes de suporte à inclusão social eempregabilidade de grupos vulneráveis;

! Avaliar o impacto da mentorização em comunidades migrantes vulneráveis, tendocomo base resultados hard e soft (quantitativos e qualitativos) obtidos;

!

Testar a viabilidade da realização de uma experiência aleatória controlada damentorização para identificar impactos.

AvaliaçãoOs dois objetivos finais do programa foram o foco específico da avaliação, concretizadopelo Centre for Economic and Social Inclusion, e por este relatório. A avaliação consistiunos seguintes elementos:

Análise do ImpactoO projeto MEGAN adotou uma metodologia de experiência aleatória controlada (EAC) paraavaliar o impacto dos resultados, tais como a inserção laboral, empregabilidade e atividadesrelacionadas com o emprego, nível de escolaridade, reclusão, alfabetização e saúde. Estametodologia implicou ainda a avaliação dos resultados de um grupo experimental (quebeneficiou do processo de mentorização) e de um grupo de controlo (que não beneficioude mentorização), a fim de determinar o papel da mentorização no alcance dos resultadosapresentados.

Os resultados referentes aos participantes do programa (grupo experimental e grupo decontrolo) foram avaliados a cada três meses, durante os seis meses do programa e duranteseis meses após o fim do programa. Em cada etapa, os investigadores monitorizaram osprincipais resultados para ambos os mentorandos e para os participantes do grupo decontrolo. Os resultados dos dois grupos foram comparados no final do programa paraavaliar o impacto da mentorização.

Esta metodologia baseia-se na estratégia inovação inserida na iniciativa Europa 2020,através de um método de avaliação sólido e rigoroso. No entanto, o grande desafio de

realizar uma análise rigorosa do impacto dos programas de mentorização é evidente naconstatação de inexistência de estudos. Portanto, este projeto visa testar a viabilidade darealização de uma EAC para testar o impacto da mentorização nas comunidades de gruposvulneráveis. Ao adotar a presente metodologia, o projeto visa contribuir para a tarefacontínua de desenvolver e conciliar investigação e inovação, para enfrentar os desafios dasociedade.

Avaliação QualitativaPara obter informações detalhadas sobre a execução e experiência obtida naimplementação do programa de mentorização, foram realizadas entrevistas emprofundidade com os mentorandos (grupo experimental) e elementos do grupo de controlo,mentores e coordenadores do projeto. As entrevistas permitiram explorar a concepção e



execução de cada programa de mentorização e as experiências dos participantes; foramfeitas perguntas detalhadas sobre a vida dos participantes, o suporte que receberam, assuas razões para quererem receber mentorização e o impacto da sua participação noprograma.

As entrevistas foram realizadas a cada três meses, durante os seis meses do programa e

durante seis meses após o fim do programa, acompanhando desta forma a avaliação dosresultados quantitativos.

Execução do ProgramaPontos-chave:

! A mentorização é muitas vezes entendida como parte de um pacote de suporte maisamplo e holístico e não como uma intervenção isolada; provou ser um modelo eficaz dereferência no projeto MEGAN.

! A mais-valia da mentorização, sobre o que uma organização já realiza, é a intensidadedo apoio que um mentor consegue providenciar.

! A mentorização e o apoio técnico podem coexistir com sucesso. No programa MEGAN osmentores desempenham o papel de identificar as necessidades dos mentorandos eprovidenciar o suporte necessário para capacitá-los para se relacionarem com os serviçossociais de forma produtiva, aumentando o acesso e usufruto das apoio social disponível.

Em cada projeto, os voluntários foram recrutados ou referenciados para iniciarem processo

de mentorização. Os voluntários foram divididos aleatoriamente em grupos experimental ede controlo pela equipa de avaliação da Inclusion . O grupo experimental recebeumentorização por um período de seis meses, juntamente com o apoio base já oferecido erealizado pelo responsável pela coordenação do programa de mentorização. O grupo decontrolo recebeu somente o apoio habitual, disponível no parceiro que implementou oprograma de mentorização. À coordenação das diferentes organizações, foi dada aliberdade para construir os seus próprios programa de mentorização para atender àsnecessidades dos seus grupos-alvo e para decidir se a mentorização pelos pares ou pelosnão pares seria a mais adequada. Todavia, algumas orientações foram exigidas em todos

os projetos, nomeadamente:! Contato Semanal entre mentores e mentorandos;

! Suporte regular e supervisão aos mentores;

! Multiplicidade de formas de contato entre mentor e mentorandos (por exemplo,reuniões 1-2-1, sessões de grupo, telefone e e-mail).

Hungria - BagÁZS: Comunidade Cigana

O grupo-alvo do Projeto Húngaro foi a comunidade cigana residente em Bag, uma vila a 40km de Budapeste. Trinta e três mentorandos fizeram parte do projeto MEGAN e receberammentorização de um total de vinte e quatro mentores. O projeto foi conduzido pela BAGázs,uma organização sem fins lucrativos.



O projeto húngaro tem três vertentes direcionadas a diferentes grupos: homens, mulherese jovens rapazes. O projeto foi fortemente alinhado com outras atividades que a BAGázsestava a empreender na comunidade: construção de casas para os homens, programas dealfabetização para as mulheres e futebol para jovens rapazes. A razão para se procederdesta forma, seria para angariar voluntários e maximizar a sua participação, assim como

para a BAGázs conseguir alcançar metas mais amplas de aproximação à comunidade epromover a integração da comunidade cigana. As reuniões de mentorização foram o únicoelemento de suporte adicional às atividades e serviços disponíveis para o grupo decontrole.

Em todas as três vertentes do programa húngaro, mentores e mentorandos reuniram-seformalmente e semanalmente, durante uma hora (sessões 1-2-1), sendo o momentodeterminado pelo mentor. Todavia, devido à proximidade e às relações estabelecidas entrementores e mentorandos, muitos acabaram por reunir informalmente e com muito maiorfrequência do que o definido.

Portugal – Aproximar e Santa Casa Misericórdia da Amadora(Consórcio Pendulum): Famílias beneficiárias do Rendimento Socialde InserçãoO grupo-alvo do projeto Português consistiu em residentes locais beneficiários doRendimento Social de Inserção, um apoio social para aqueles que vivem em extremapobreza. No projeto MEGAN participaram 38 mentorandos, tendo sido divididos em doisgrupos – Grupo Empreendedor e Grupo Vulnerável, com base nas competências inicias de

cada elemento.

O projeto foi conduzido pelo Consórcio Pendulum, uma parceria entre duas organizações, Aproximar e Santa Casa da Misericórdia da Amadora (SCMA), formada após a aprovação earranque oficial do projeto MEGAN. A Aproximar assumiu um papel de coordenação e aSCMA foi responsável pela sua execução.

O modelo de mentorização português adotou a mentorização pelos pares, realizada por 15mentores pares, recrutados essencialmente a partir de uma base de dados de elementospertencentes ao anterior projeto MOMIE. O modelo Pendulum apresentou uma estrutura eum foco de trabalho específicos. Os mentorandos frequentaram 24 sessões ao longo domesmo número de semanas. Cada sessão teve um foco especial, com um "tema"prevalente relacionado com competências específicas de empregabilidade que foramdesenvolvidas ao longo do projeto.

UK - London Probation Trust e Praxis: Reclusos de NacionalidadeEstrangeiraO grupo-alvo do projeto Britânico consistiu em Reclusos de Nacionalidade Estrangeira que

haviam sido libertados e que estavam num período mínimo de 6 meses sob ordem desupervisão com o seu oficial de justiça. Foram envolvidos no MEGAN cerca de 31mentorandos nacionais.



O projeto foi executado através de uma parceria entre a London Probation Trust (LPT) e aPraxis (Praxis Community Projects). A LPT ficou responsável pela referenciação dementorandos para o programa. A Praxis ficou responsável pelo recrutamento e formaçãodos mentores, pelo emparelhamento entre mentores e mentorandos e pela gestão dasrelações de mentorização.

O modelo de mentorização britânico envolveu 24 mentores não-pares, ou seja, cidadãosnacionais não reclusos, embora muitos tivessem experienciado questões relacionadas coma imigração, pessoal ou profissionalmente. Os mentorandos participaram numa reuniãoinicial com o seu mentor e oficial de justiça para elaborar um plano de ação relativamenteao que esperavam alcançar com o processo de mentorização. Posteriormente e ao longo de6 meses, os mentores e mentorandos reuniam, em média, uma vez por semana. Osmentores também se reuniam em grupo, em momentos de supervisão, para discutir osdesafios e as melhores práticas.

O projeto britânico foi um verdadeiro desafio na sua concretização. O grupo-alvocaracterizou-se como sendo um grupo muito transitório, com entrada e saída de elementose dispersos por toda a cidade de Londres, sendo que, a fraca participação dosmentorandos, foi considerada um problema que afetou a concretização da mentorizaçãoassim como a sua avaliação.

A Praxis tem sido bem sucedida na acreditação Approved Provider Standard (APS) daFundação Mentorização e Befriending para o programa MEGAN e em futuros projetos dementorização. O logotipo da APS é uma marca padrão de qualidade nacional que é

reconhecida pelos financiadores e comissários como prova de uma prática segura ecompetente.

Modelos de MentorizaçãoPontos-chave:! A Mentorização parece ser mais eficaz se as metas estiverem interiorizadas e alinhadas

com o escopo e plano de ação do programa. A mentorização é flexível o suficiente paraalcançar uma amplitude vasta de hard e soft outcomes, quantitativos e qualitativos em

diferentes cenários/condições, desde que os objetivos estejam desde o início doprocesso de mentorização, bem articulados e compreendidos pelos mentores ementorandos.

! Tanto a abordagem “goal-oriented” ( orientada para objetivos) como a abordagem

“open-ended ” (sem finalidade definida) adotadas no processo de mentorização podemser bem sucedidas na obtenção de resultados. As organizações devem ser realistas nadefinição do objetivos a alcançar e como deverão demonstrar o impacto na transmissãodos seus programas.

! A mentorização é flexível o suficiente para alcançar resultados quantitativos e

qualitativos em diferentes situações, desde que os objetivos estejam articulados ecompreendidos pelos mentores e mentorandos desde o início.



A avaliação realizada identificou dois modelos predominantes de mentorização, queclassificámos como mentorização “orientada para objetivos” e mentorização “sem finalidadedefinida” . O primeiro está mais associado ao modelo Português e ao projeto dos homens daHungria. Os outros projetos húngaros foram considerados como sendo uma mentorização “sem finalidade definida”. O projeto britânico incorporou ambos os modelos.

Mentorização orientada para objetivosOs Projetos considerados como orientados para objetivos, têm um alvo específico que éincorporado na conceção do projeto. Em alguns casos, foram os mentorandos queidentificaram a mentorização como uma atividade mais orientada para o alcance deobjetivos, e iniciaram este processo com uma necessidade específica que pretendiamresolver. Mentorandos envolvidos em mentorização orientada para objetivos, descreverama mentorização como uma atividade de suporte no alcance de determinada meta,associado ao foco do programa ou às suas próprias necessidades.

A avaliação constatou que, ao existir um objetivo claro, pode aumentar as chances damentorização abordar necessidades específicas (potencialmente, num espaço de tempomais curto). Os nossos resultados sugerem que os mentorandos podem percecionar oprocesso de mentorização como tendo menos valor se a “necessidade” específica não fortida em conta, mesmo que isso se deva a fatores fora do controle do mentor (como porexemplo a situação económica). Os mentorandos envolvidos em mentorização orientadapara objetivos podem não percecionar os resultados mais qualitativos, tal como o aumentoda confiança e motivação. Pode mesmo acontecer, os mentorandos desenvolverem estas

competências, sem terem consciência disso, sendo por isso difícil de apreender. O projetoportuguês adotou uma mentorização orientada para objetivos, contudo os mentorandosforam capazes de identificar resultados qualitativos. É provável, que tal resulte da estruturado programa, que alocou 50% do tempo da mentorização a temas relacionados com odesenvolvimento de competências sociais e profissionais e os restantes 50% a momentosde discussão mais abrangente.

Mentorização sem finalidade definidaEm oposição à mentorização “orientada para objetivos”, a mentorização “sem finalidade

definida” incorpora uma série de metas intermédias, em vez de um objetivo final específico.Nestas situações, a mentorização foca-se em resultados mais qualitativos (por exemplo,melhorar as competências de comunicação e as relações entre indivíduos), com o fim dealcançar a longo prazo resultados quantitativos, com um impacto mais evidente. Osmentorandos podem trabalhar no sentido de conseguirem atingir resultados mais objetivos,contudo, a relação de mentorização não é especificamente orientada para a concretizaçãodesses resultados, e os mentorandos podem mesmo não estar cientes dos resultados finais,uma vez que muitas vezes está implícito e não é mencionado abertamente.

Este tipo de mentorização pode centrar-se em atividades específicas; no entanto, não háuma meta definida associada à atividade como na mentorização orientada para objetivos.Neste modelo, os mentorandos podem percecionar um ganho mais amplo de resultados e



consideram o suporte dado como sendo mais flexível na resposta às suas necessidades. Noentanto, os mentorandos, neste tipo de mentorização, tendem a considerar mais difícil aidentificação das competências adquiridas, assim como, poderão ser menos propensos aalcançar resultados quantitativos mais evidentes. Isto é importante, uma vez que é estetipo de resultados que muitas vezes, potenciais financiadores de projetos, procuram avaliar.

Impacto do ProgramaPontos-chave:

! Através da aplicação abordagem “Experiência Aleatória Controlada (EAC), foi possível,pela primeira vez, descortinar o impacto da mentorização na empregabilidade e maisespecificamente nos resultados em termos de Empregabilidade em Portugal.

! Os mentores podem contribuir para ajudar os mentorandos a atingir uma série deresultados quantitativos e qualitativos, incluindo empregabilidade, confiança, resiliência,

comunicação e competências pessoais. O desenvolvimento destas competênciaspessoais, poderão contribuir para uma maior empregabilidade.

! Nas situações onde o suporte na mentorização é intensivo, os resultados podem ser maistardios, uma vez que os resultados podem não ser identificados até o programa dementorização estar concluído.

! Os mentores podem apoiar os mentorandos numa fase inicial de implicação com osserviços sociais, nomeadamente de apoio na procura de emprego, atuando comofacilitadores e encorajando esse processo de implicação. Uma vez ultrapassadas asbarreiras iniciais, a mentorização pode ajudar a desenvolver competências sociais e

pessoais e consequentemente conduzir a uma integração social. A mentorização podeigualmente traduzir-se num suporte que permita aos mentorandos atingir metassignificativas, como por exemplo a integração laboral.

! A mentorização tem igualmente um impacto importante sobre os mentores. Mentoresnão-pares exploram as suas competências já existentes em novas áreas, enquanto osmentores pares desenvolvem novas competências de índole prática e do foro pessoal,que potenciam uma maior empregabilidade. Um número significativo de mentoresconseguiu alcançar a integração profissional.

A avaliação decorreu durante um período de 12 meses, numa tentativa de avaliar osimpactos de 6 meses de mentorização, bem como se esses impactos persistiram 6 mesespós-mentorização.

Resultados QualitativosCentenas de entrevistas qualitativas desenvolvidas em profundidade foram realizadastrimestralmente com mentorandos e participantes do grupo de controlo durante o período

de avaliação, e os resultados qualitativos da mentorização foram apurados com base naanálise dessas entrevistas.



Os mentorandos adquiriam competências de confiança e resiliência para lidar de formaautónoma e gerir mais eficazmente as suas vidas, como resultado da mentorização. Osmentorandos relataram sentirem-se mais positivos relativamente ao seu futuro, maiorcapacidade de lidar com a rejeição (por exemplo, em situações de oportunidades deemprego) e maior capacidade de lidar com as emoções e relacionamentos. Do ponto de

vista da avaliação, verificou-se que a confiança e competências de comunicação dosentrevistados melhoraram ao longo da duração do programa.

A mentorização potenciou a capacitação dos mentorandos, através da criação de umespaço onde poderiam discutir os seus problemas, bem como usufruir de um suporteemocional e prático para lidar melhor com os mesmos. A mentorização assumiu-seigualmente como um desbloqueador em termos de acesso a apoio e a serviços sociais quepermitiu melhorar a situação e bem-estar dos mentorandos, e ajudou a equipá-los com ascompetências necessárias para tirar o melhor partido do suporte (por exemplo,competências de comunicação, linguagem e alfabetização).

A mentorização fomentou a criação de redes de interações sociais e relações interpessoaisentre indivíduos que se encontravam socialmente isolados, melhorando desta forma o seusentido de comunidade e alargando os seus laços sociais. Em situações em que osindivíduos se encontravam isolados da sociedade em geral, os mentorandos estabeleceramrelações com outros indivíduos e serviços da comunidade, que noutras circunstâncias omesmo não teria acontecido. A mentorização ajudou-os a estarem mais envolvidos nasociedade em geral. Aquando da execução da mentorização em comunidades maisfechadas, foi possível evidenciar que a mentorização tem desempenhado um papel

importante na capacitação e preparação dessas comunidades para colaborar de forma maisativa com a sociedade em geral, por exemplo, através da participação em conferências, dainteração com serviços fora da comunidade, da socialização em espaços mais afastados dacomunidade, e produção de meios de difusão de informação para dar a conhecer a suasituação a um público mais vasto.

Resultados QuantitativosProcedeu-se à avaliação do impacto da mentorização a partir de uma série de resultadosquantitativos, controlando as características pessoais e as experiências de ambos osparticipantes do grupo experimental e de controle.

Obteve-se informação suficiente de ambos os projectos em Portugal e na Hungria pararealizar uma análise do impacto dos projetos MEGAN em 2 momentos, nomeadamente aos6 meses e aos 12 meses (ou seja, que coincidem com o fim do programa e seis mesesdepois). A análise efetuada ao projeto britânico será apresentada na Conferência final, umavez que os dados não foram disponibilizados a tempo da presente publicação. Realizou-seuma avaliação distinta dos resultados para cada projeto, uma vez que os grupos-alvo e osmodelos de execução da mentorização eram muito distintos.

No primeiro momento de avaliação, ou seja no final dos 6 meses de mentorização, nãoforam encontradas diferenças estatisticamente significativas entre os grupos experimental e



de controlo em ambos os projetos húngaro e português. No entanto, constataram-sediferenças percetíveis nos resultados relacionados com a empregabilidade no projetohúngaro entre o grupo experimental e o de controlo, embora estes não fossemestatisticamente significativos. Acrescenta-se ainda que, aqueles que se encontravam atrabalhar disponibilizaram informação que permitiu concluir que estavam a ser melhor

pagos do que os mentorandos do grupo de controlo.No segundo momento de avaliação, ou seja 6 meses após o fim da mentorização, osresultados da avaliação mostraram que o processo de mentorização em Portugal produziuefeitos positivos estatisticamente significativos em 2 tipos de variáveis/resultados – “otrabalho remunerado nos últimos três meses” e a “gestão do orçamento familiar”. Osresultados relacionados com a empregabilidade foram largamente considerados comoocorrendo no grupo “Empreendedor”, o que não é surpreendente, uma vez que eles eramobjetivamente mais empregáveis, ou seja, apresentavam maiores competências e melhorescapacidades linguísticas ao nível do português.

O facto de esta diferença não ter sido observada no final do programa pode sugerir umefeito de retardamento ('lock-in') presente no modelo Português, que significa que anatureza intensiva do programa impediu ou atrasou os mentorandos na sua procura detrabalho enquanto a mentorização estava a decorrer. Em termos dos resultados ao nível doorçamento familiar, especula-se que o efeito possa ter sido retardado, uma vez que, osmentorandos só percecionaram mudanças na sua capacidade de gestão do orçamento,quando tiveram tempo suficiente para colocar essas competências desenvolvidas emprática.

Relativamente ao projeto húngaro, o segundo momento de avaliação não evidenciounenhuma mudança significativa em qualquer resultado medido entre ambos os grupos.

Impacto nos MentoresTodos os mentores parecem obter satisfação pessoal e um verdadeiro sentido de utilidadeno trabalho de suporte aos mentorandos. Isto verificou-se particularmente no caso dosmentores pares, que beneficiaram tanto, se não mais, do que os mentorandos. Os

mentores em ambos os projetos húngaro e português falam de uma relação dereciprocidade, onde ganharam tanto com a experiência como o seu mentorando, emtermos de autoconfiança.

Os mentores não-pares, muitas vezes tinham ideias pré-definidas sobre que competênciaspoderiam ser trabalhadas na relação de mentorização; podiam, desta forma, ficardesiludidos se a sua experiência de suporte ao mentorandos não fosse ao encontro dasexpectativas deste. Por esta razão, os mentores não-pares podem necessitar de apoioadicional no âmbito do programa e networking.

Em Portugal, sete dos mentores pares que estiveram envolvidos tanto no projeto MOMIEcomo no MEGAN encontraram emprego. Na Hungria, um mentor do sexo masculinoconseguiu arranjar emprego. Outros estão a trabalhar no sentido de criar um Grupo de



Emprego com o objetivo de ajudar os indivíduos a criar os seus próprios negócios. Oprojeto britânico envolveu mentores não-pares, cuja maioria já se encontrava empregada.No entanto, sabe-se que, após a sua participação na mentorização na Praxis, doismentores conseguiram emprego a tempo inteiro no setor público e um conseguiu umemprego temporário.

Estudo de ViabilidadePontos-chave:! As organizações devem procurar utilizar a metodologia de avaliação mais sólida para

determinar o impacto dos seus programas. Organizações comunitárias mais pequenaspodem administrar com sucesso um projeto desafiador de avaliação EAC. Os principaisfatores de sucesso são uma abordagem de seleção aleatória flexível, a existência de uma

formação inicial e o empenho dos parceiros transmissores do programa.! A EAC pode ser administrada com sucesso em comunidades estreitamente ligadas. No

entanto, poderá ser mais apropriada a seleção aleatória de comunidades ao invés daseleção aleatória de indivíduos pertencentes a essas comunidades, particularmente emcomunidades desfavorecidas e onde todos os membros precisem de suporte.

! A EAC está dependente de um processo de recolha de dados exaustivo e robusto, quepode ser um desafio quando as intervenções trabalham arduamente na capacitação daspopulações e durante períodos de mudança organizacional. As condições em que oprograma está sendo executado, bem como o impacto potencial sobre os resultados

devem ser considerados durante a fase de conceção do programa.! Amostras maiores são necessárias, onde se espera que o impacto da intervenção seja

menor. Portanto futuras avaliações poderão focar-se em programas de mentorização emgrande escala.

A avaliação do projeto MEGAN adotou uma abordagem rigorosa de experiência aleatóriacontrolada (EAC), para testar o impacto da mentorização face aos resultados, tais como aempregabilidade, nível de escolaridade, criminalidade, alfabetização e medidas de saúde.Esta abordagem é considerada enquanto metodologia de referência (“gold standard”) para

a avaliação, uma vez que a referenciação aleatória para o grupo experimental e para ogrupo de controlo significa que, as diferenças nos resultados entre os dois grupos pode seratribuído ao programa em si, ao invés de quaisquer características pessoais ou fatoresambientais.

No entanto, esta forma de avaliação nem sempre é utilizada por dificuldades na suaimplementação prática. O projeto MEGAN procurou testar a viabilidade da realização deuma EAC para testar o impacto da mentorização em grupos vulneráveis. Ao adotar apresente metodologia, o projeto visa contribuir para a tarefa contínua de desenvolver e

conciliar investigação e inovação, para enfrentar os desafios da sociedade.

Implementação



Em oposição às vantagens da avaliação EAC, apresentam-se dificuldades (e às vezesimpossibilidades) na alocação de pessoas de forma aleatória dentro de uma área particularpara um grupo experimental ou de controlo. No caso de programas de acesso voluntárioexistem óbvias questões éticas, nomeadamente no anúncio de programas para os quaisalgumas pessoas verão o acesso negado se se candidatarem. No Reino Unido, o conceito

de experiência aleatória controladas, onde, por definição, nem todos os mentorandosreferenciados podiam receber mentorização, levou ao afastamento por parte de algunstécnicos de reinserção social, resultando num número menor que o esperado dereferenciações para o projeto.

Embora os resultados resultantes deste método de avaliação possam ter uma credibilidadeque outros projetos de avaliação não têm, a estimativa dos efeitos do programa pode sertendenciosa, se ocorrer qualquer uma das seguintes situações:

! Se alguns dos elementos do grupo de controlo participar no programa. Os

projetos foram rigorosos na implementação da avaliação EAC e não acreditamos queos membros do grupo de controle beneficiaram de processo de mentorização damesma forma que o grupo experimental. No entanto, em dois projetos a naturezapróxima das comunidades envolvidas significa que a distinção entre os 2 grupos podenão ter sido totalmente atingida.

! Se aqueles que foram escolhidos aleatoriamente para o programa , afetarem o comportamento ou atitudes dos elementos do grupo de controle (que podeacontecer se os membros de ambos os grupos se conhecerem). O projecto do ReinoUnido teve a distinção mais visível entre os 2 grupos. Ao contrário dos outros doisprojetos, pode ter havido problemas de contaminação entre membros decomunidades pequenas e muito unidas; no projeto britânico os mentorandos dosdiferentes grupos não eram suscetíveis de se juntar. O projeto húngaro foi realizadonuma pequena aldeia com uma grande proporção de moradores envolvidos e, assim,o suporte dado pela BAGázs resultou num enorme impacto na comunidade como umtodo. Do ponto de vista da avaliação, isto significa que a intervenção teve efeitossobre a população em geral e no grupo de controlo, bem como no grupoexperimental. Em alguns casos, ambos os membros do grupo de mentorandos e do

grupo de controlo participaram nas atividades do programa (por exemplo, construção / reparação de casas, jogar futebol) em que outros moradores não estavamenvolvidos - mais uma vez diminuiu a vantagem da experiência do grupoexperimental. Os pais de alguns jovens do grupo de controlo podem ter passado porprocessos de mentorização, o que significa que o impacto da mentorização nosadultos seria experienciada pelos seus filhos.

!

Se as técnicas de recolha de informação, para medir os resultados, foremaplicadas de forma desequilibrada num ou em outro grupo (casos bemsucedidos e caso de insucesso). No projeto britânico, só foi possível realizarentrevistas qualitativas com aqueles que ainda estavam envolvidos no projeto e,portanto, eram mais propensos a falar com os mentorandos cujas relações tinha sidobem sucedidas.



! Se for negado o acesso a um programa faz com que aqueles que fizeremparte do grupo de controlo ajam de forma diferente de como iriam agir naausência total do programa. Não se considera que isto tenha sido um problema.No entanto, este foi claramente uma preocupação no projeto húngaro e é por issoque os membros do grupo de controle tiveram um fácil acesso aos serviços da

BAGázs.Factores reais externos, são muitas vezes negligenciados na conceção dos programas, maspodem constituir grandes obstáculos na execução de uma avaliação rigorosa. Um fatorexterno que afetou a avaliação do impacto foram as mudanças nos serviços de ReinserçãoSocial (Probation Trust) no Reino Unido. A recolha de dados no Reino Unido deveria tersido o mais rigorosa possível, uma vez que era independente do parceiro executor doprograma e já tinham sido recolhidos dados para outros fins. No entanto esta recolha dedados estava dependente de atualizações regulares do Instituto de Reinserção Social deLondres (London Probation Trust). Devido a importantes reformas estruturais a acontecer

nos serviços de reinserção social, foi muito difícil formalizar o processo de recolha etransmissão de dados, apesar da significante benevolência por parte da London ProbationTrust. Como resultado, os dados não foram recolhidos tão regularmente como estavaprevisto no início do projeto, pelo que os dados do projeto britânico, resumem-se aresultados referentes no final dos 12 meses, não havendo nenhuma avaliação no final de 6meses de mentorização.

Recomendações A avaliação proporciona alguns conhecimentos úteis para as organizações terem em contaaquando da implementação do programa de mentorização, nomeadamente algumasconsiderações práticas que estão envolvidas na conceção e execução de um programabem-sucedido:

! Considere o tempo do processo de mentorização de acordo com a históriade vida dos mentorandos. Os benefícios da mentorização podem ser maximizadosassim que forem superadas as barreiras iniciais para fazer mudanças positivas na

vida, tais como dificuldades de linguagem e questões habitacionais. Apesar damentorização permitir apoiar os mentorandos a enfrentar essas barreiras iniciais, osuporte profissional tem maior probabilidade de ser necessário. Para ser mais eficaz,os programas de mentorização deverão ser implementados assim que estas barreirassejam ultrapassadas.

! Um programa eficaz deve ser construído previamente antes de serimplementado. Isto é particularmente crítico para projetos de mentorização, onde éexigido antecipadamente a formação intensiva de mentores e o estabelecimento de

relações através de um cuidadoso emparelhamento de perfis.

! É fundamental existir uma correspondência de perfil entre mentor ementorando. Uma correspondência incorreta pode levar à rutura da ligação entre



mentor e mentorando. Mentores e mentorandos não precisam necessariamente decompartilhar características e experiências pessoais (embora isso possa ajudar), sendoque a correspondência deve ter como ponto de partida as necessidades domentorando e o suporte que o mentor poderá oferecer a este respeito.

! Antes de iniciar o trabalho de mentorização, mentores e mentorandos

devem esclarecer o objetivo e os propósitos desta parceria. Isso ajudaria osmentorandos a terem expectativas realistas e a sentirem-se mais envolvidos naconceção da intervenção e dariam aos mentores uma noção mais precisa do objetivoe direção da intervenção.

! É fundamental o envolvimento contínuo com serviços de referência e desuporte. Este é um ponto particularmente importante para as organizações querecebem mentorização através de terceiros (por exemplo, um organismo estatal).Quando existe uma associação gerida por uma organização estatal, seja como

referenciadora, ou como executora, podem ser necessários esforços adicionais paragarantir que os mentorandos entendam completamente a natureza voluntária da suaparticipação.

! Manter o envolvimento e o grau de participação dos mentorandos pode serum desafio. Mecanismos úteis para manter o envolvimento incluem: a abordagem dequestões práticas, tais como ultrapassar barreiras relativamente à sua participação(nomeadamente, cobrir despesas de viagem) e garantir que os mentorandoscompreendam o que esperar do programa e os potenciais benefícios (ou seja, a

criação de materiais de informação para potenciais mentores e organizações dereferência).

! Os mentores devem ser apoiados pelas organizações responsáveis pelaexecução do programa e ao longo de todo o processo. O apoio contínuo aosmentores, contribui para assegurar que a experiência de mentorização seja positiva ebenéfica. Algumas problemáticas experienciadas pelos mentorandos podem sersentidas pelos mentores como angustiantes e seja difícil lidar com tais situações. Asorganizações deverão desta forma criar espaços onde os mentores possam

compartilhar as suas experiências e proporcionar suporte em áreas desconhecidaspara os mesmos.

! Propocionar a possibilidade de progressão em programas de mentorização.Ser mentorando, pode igualmente ser o ponto de partida no seu desenvolvimento, noqual mentorandos podem tornar-se mentores. Por isso, é importante que osprogramas de mentorização estejam suficientemente incorporados para permitir queessa progressão ocorra.

A avaliação referencia igualmente as seguintes instruções para (A) a implementação de

experiências aleatórias controladas e (B) a realização de pesquisas com grupos vulneráveis:



! Organizações comunitárias mais pequenas podem administrar com sucesso um projetodesafiador de avaliação EAC. Os principais fatores de sucesso são uma abordagem deseleção aleatória flexível (de acordo com as necessidades da organização responsávelpela execução do programa); a existência de uma formação inicial (para garantir acompreensão da lógica de avaliação EAC, o processo de seleção aleatória e a

necessidade contínua de separação de ambos os grupos de experimental e de controlo);e o empenho dos parceiros transmissores do programa.

! Quando as comunidades-alvo são pequenas ou muito próximas, poderá sermais apropriada a seleção aleatória de comunidades ao invés da seleçãoaleatória de indivíduos pertencentes a essas comunidades, particularmenteem comunidades desfavorecidas e onde todos os membros precisem de suporte.

!

Ao avaliar programas cujo alvo esteja disperso ou onde existe uma

dificuldade de envolvimento dos grupos, serão necessários esforçosadicionais para implementar uma avaliação. É necessário ser flexível nostempos de entrevista, datas e locais, assim como deverá existir alocação adicional derecursos, nomeadamente de trabalho de campo para este grupo.

! Futuras avaliações poderão querer focar-se em programas de Mentorizaçãoem grande escala. Como parte de um pacote global de suporte, o impacto damentorização é provável que seja menor. Por isso, um maior número de participantespoderá tornar mais provável que um impacto estatístico significativo possa ser

identificado através da avaliação.

sumário executivo de avaliação do modelo pendulum

Documents