907-3192-1-pb (1)

ANÁLISE ENVOLTÓRIA DE DADOS:CONCEITOS, METODOLOGIA E ESTUDO

DA ARTE NA EDUCAÇÃO SUPERIOR

FRANK LEONARDO CASADO1

1 Bacharel em Ciências Econômicas pela Universidade Federalde Santa Maria

Resumo

Esta pesquisa procura realizar uma revisão de lite-ratura, de modo a obter um referencial histórico dametodologia de avaliação da produtividade, eficiência esua evolução para a metodologia de Análise Envoltória deDados- DEA como ferramenta da avaliação da educaçãosuperior. No Brasil, os primeiros trabalhos utilizando atécnica DEA na construção de medidas de avaliação deIES têm origem em grupos de pesquisa da UniversidadeFederal de Santa Catarina (UFSC). A DEA, sendo assim,é uma técnica não-paramétrica que emprega programaçãomatemática para construir fronteiras de produção de uni-dades produtivas – DMUs que empregam processostecnológicos semelhantes para transformar múltiplosinsumos em múltiplos produtos. Tais fronteiras são em-pregadas para avaliar a eficiência relativa dos planos deoperação executados pelas DMUs e servem, também,como referência para o estabelecimento de metas eficien-tes para cada unidade produtiva. A DEA foi desenvolvidapara avaliar a eficiência de organizações cujas atividadesnão visam lucros ou para as quais não existem preços pré-fixados para todos os insumos e/ou todos os produtos. Porestes motivos este técnica é uma alternativa no estudo daeficiência das instituições superiores.

Palavras chaves: Análise Envoltória de Dados;Avaliação Institucional; Produtividade e Eficiência.

Abstract

This research seeks to carry through a literaturereview, in order to get a historical reference of themethodology of evaluation of the productivity, efficiencyand its evolution for the methodology of DataEnvelopment Analysis - DEA, as tool for the evaluationof the superior education. In Brazil, the first works usingDEA technique in the construction of measures of IESevaluation were originated in research groups from theFederal University of Santa Catarina (UFSC). The DEA,then, is a not-parametric technique that uses mathematicalprogramming to construct borders of production of

productive units - DMUs that use similar technologicalprocesses to transform multiple input into multipleproducts. Such borders are used to evaluate the relativeefficiency of the plans of operation executed by the DMUsand serve, also, as reference for the establishment ofefficient goals for each productive unit. The DEA wasdeveloped to evaluate the efficiency of organizationswhose activities do not aim for profits or for which thereare no settled prices for the input and/or all the products.For these reasons this technique is an alternative in thestudy of the efficiency of the superior institutions.

Key words: Data Envelopment Analysis;Institutional evaluation; Productivity and efficiency.

1 - Introdução

A literatura sobre a avaliação de uni-versidades no Brasil está carente de mode-los quantitativos de avaliação da eficiênciaprodutiva que contemplem os múltiplos fa-tores envolvidos na atividade universitáriae considerem os princípios e as característi-cas norteadores da avaliação institucional.A busca de “... outras informações e indica-dores que permitam análises maisaprofundadas de cada uma das dimensõese aspectos de atividade institucional”(MEC/PAIUB, 1994:15) expressa no docu-mento original do PAIUB (Programa de Ava-liação Institucional das Universidades Bra-sileiras), permanece atual: “A disponibili-dade de um conjunto confiável de indica-dores para as universidades tende a ser umproduto em crescente demanda, tanto pela

SOCIAIS E HUMANAS, SANTA MARIA, v. 20, n. 01, jan/jun 2007, 59-71

60

própria universidade, como pela Sociedadee pelo Estado” (Schwartzman, J. 1997:149).

No entanto, grandes esforços têm sidodedicados ao estudo de formas de mensurare fazer análises da eficiência de empresasprivadas e de instituições públicas. Desdea década de cinqüenta, a partir dos traba-lhos de Koopmans (1951), Farrel (1957) eDebreu (1951), técnicas não-paramétricasvêm sedo utilizadas para avaliar se um pla-no de operação é eficiente. Mas foi a partirda década de setenta que houve grande pro-gresso na aplicação dessas técnicas, vistoque, sob o prisma gerencial, os seus resulta-dos revelaram-se mais expressivos queaqueles obtidos através da abordagemparamétrica tradicional. Assim, Charnes ,Cooper e Rhodes (1978) generalizaram osestudos de Farrel tanto no sentido de tra-balhar com múltiplos recursos e múltiplosresultados, quanto na obtenção de um indi-cador que atendesse ao conceito de eficiên-cia de Koopmans. Essa generalização deuorigem a uma técnica de construção de fron-teiras de produção e indicadores da eficiên-cia produtiva conhecida como AnáliseEnvoltória de Dados (Data EnvelopmentAnalysis - DEA).

A Análise Envoltória de Dados – DEAé uma técnica não-paramétrica que empre-ga programação matemática para construirfronteiras de produção de unidades produ-tivas – DMUs que empregam processostecnológicos semelhantes para transformarmúltiplos insumos em múltiplos produtos.Tais fronteiras são empregadas para avaliara eficiência relativa dos planos de operaçãoexecutados pelas DMUs e servem, também,como referência para o estabelecimento demetas eficientes para cada unidade produ-tiva. DEA foi desenvolvida para avaliar aeficiência de organizações cujas atividadesnão visam lucros ou para as quais não exis-tem preços pré-fixados para todos osinsumos e/ou todos os produtos.

No Brasil, os primeiros trabalhos uti-lizando a técnica DEA na construção demedidas de avaliação de IES têm origemem grupos de pesquisa da UniversidadeFederal de Santa Catarina (UFSC). Desta-

cando-se trabalhos como de Belloni (2000)que em sua tese de doutorado, construiuuma metodologia DEA na avaliação da efi-ciência produtiva de Universidades Fede-rais Brasileiras.

No entanto, esses trabalhos têm comoobjeto de estudo setores isolados de umaIES (departamentos, cursos, unidades aca-dêmicas, etc). Neste sentido, é relevante umlevantamento de um referencial metodoló-gico próprio para as Instituições de EnsinoSuperior que contemple o estudo de indi-cadores da eficiência produtiva buscando,através deste levantamento, observar os di-versos trabalhos e experiências alcançadosno processo de avaliação da eficiência e pro-dutividade de Instituições de Ensino Su-perior e poder construir futuramente, atra-vés desta ferramenta estatística, uma maiorabrangência desta metodologia na avaliaçãoglobal das Instituições Públicas de EnsinoSuperior.

O objetivo desta pesquisa é realizaruma revisão de literatura, de modo a obterum referencial histórico da metodologia deavaliação da produtividade, eficiência e suaevolução para a metodologia de AnáliseEnvoltória de Dados como ferramenta daavaliação da educação superior; com o obje-tivo de estudar a viabilidade do uso destametodologia na mensuração da eficiência eprodutividade na educação superior.

A metodologia para o desenvolvimen-to desta pesquisa será realizada por meio daanálise de textos clássicos e atuais sobre ametodologia DEA, de forma a se obter oestado da arte deste assunto. Tratando-seassim de uma pesquisa bibliográfica (Gil,1991) deverá responder às seguintes ques-tões: quem já escreveu e o que já foi publi-cado sobre o assunto, que aspectos já foramabordados, quais as lacunas existentes naliteratura.

Para tanto o trabalho encontra-se di-vidido quatro partes. Explora-se na primei-ra parte, algumas considerações acerca daquestão de eficiência e produtividade, seusprincipais conceitos e debates acadêmicosatuais. Na segunda parte, tem-se o levanta-mento do debate sobre a avaliação da efici-

FRANK LEONARDO CASADO ANÁLISE ENVOLTÓRIA DE DADOS: CONCEITOS, METODOLOGIA E ESTUDO DA ARTE NA EDUCAÇÃO SUPERIOR

61

ência nas Instituições de Ensino Superior eas principais metodologias e correntes teó-ricas utilizadas nessas avaliações. Na tercei-ra parte há o estudo da arte da metodologiade Análise Envoltória de Dados e sua apli-cação no Ensino Superior, dando ênfase àaplicação em universidades brasileiras; elogo após, o estudo da metodologia clássicae suas principais pressuposições. E na últi-ma parte as considerações finais.

2 - Considerações sobre eficiênciae produtividade

A grande maioria dos trabalhos emeconomia faz uso de regressão por mínimosquadrados ordinários, e suas variantes, paramedir eficiência de empreendimentos. Essaabordagem traça o melhor ajuste aos dados(Coelli, 1995), ou seja, é uma função demédias. Uma outra possibilidade para me-dir eficiência de unidades produtivas é usarfronteiras de produção. Estimar fronteirasde produção, ao invés de funções de médi-as, tem as seguintes vantagens, conformeGomes et al. (2001):

Reflete a tecnologia usada, já que a esti-mativa de uma fronteira de produção éinfluenciada pelas unidades de melhordesempenho dentro da amostra de uni-dades analisada, enquanto que as funçõesde médias fornecem a forma da tecnologiade uma unidade média;A função de produção representa as me-lhores práticas e, assim, as eficiências dasunidades podem ser medidas.

Sendo assim, os modelos de Análisede Envoltória de Dados (Data EnvelopmentAnalysis – DEA), aqui detalhados, estãoinseridos nesse último contexto, já que sãomodelos de avaliação de eficiência.

A eficiência técnica, então, é um cri-tério que permite comparar o desempenhode unidades de produção pertencentes aambientes institucionais diferentes. As ins-tituições públicas perseguem objetivos di-ferentes aos de uma instituição privada cujabusca essencial é o lucro. Portanto, o cam-po da eficiência técnica é um campo comum

para se estabelecer comparações entre ins-tituições de diferentes naturezas, (Lovell eSchimidt, 1993).

Conforme Belloni (2000), a eficiênciana produção pode ser analisada sob doispontos de vista: da eficiência produtiva e daeficiência alocativa. A eficiência produtiva,componente físico que se refere à habilida-de de evitar desperdícios produzindo tan-tos resultados quanto os recursos utilizadospermitirem ou utilizando o mínimo possí-vel de recursos para aquela produção. As-sim, a avaliação da eficiência produtiva podeser orientada para o crescimento da produ-ção, que visa ao aumento dos níveis de pro-dução mantidas as quantidades de recursos;ou orientada para a economia de recursos,que busca a redução dos recursos utilizadosmantendo-se os níveis de produção; ou ori-entada para alguma combinação desses doisobjetivos. Em todos os casos, o objetivo éobter ganhos de produtividade através daeliminação das fontes de ineficiência.

O segundo ponto de vista correspondeà eficiência alocativa e se refere à habilida-de de combinar recursos e resultados emproporções ótimas dados os preços vigen-tes. A inexistência de qualquer tipo de re-lação de preços entre os resultados da ativi-dade acadêmica inviabiliza a avaliação daeficiência alocativa de uma empresa públi-ca.

Estudos de avaliação da eficiência pro-dutiva têm sua origem nos trabalhos de T.C.Koopmans e G. Debreu (Färe, Grosskopf eLovell, 1994). Koopmans (1951, apud Färe,Grosskopf e Lovell, 1994) assim definiu efi-ciência produtiva:

...um produtor é eficiente quando umaumento na produção de qualquer dos re-sultados exige uma redução em pelo me-nos um outro resultado ou um acréscimono consumo de pelo menos um dos re-cursos, e, quando a redução do consumode qualquer recurso exige um acréscimono consumo de pelo menos um outro re-curso ou a redução na produção de pelomenos um dos resultados.


62

Debreu (1951, apud Färe, Grosskopfe Lovell, 1994), ao determinar o seu “coefi-ciente de utilização de recursos”, estabele-ceu o primeiro indicador de eficiência pro-dutiva conhecido. Orientado para aminimização do consumo de recursos, essecoeficiente consiste na reduçãoequiproporcional máxima possível em todosos recursos, mantida a produção da mesmaquantidade de (um único) resultado. Essadefinição induz um conceito de eficiênciadiferente daquele de Koopmans. Assim,Debreu postulou que um produtor é efici-ente no consumo de recursos quando não épossível gerar a mesma produção com umconsumo equiproporcionalmente menor.De modo análogo, um produtor é eficientena produção de resultados quando não épossível, com as mesmas quantidades derecursos, gerar uma produção equipropor-cionalmente maior.

Indicadores de eficiência radiais(equiproporcionais) semelhantes ao deDebreu têm a vantagem de serem indepen-dentes das unidades de medidas das variá-veis e, portanto, independem do conheci-mento de preços de mercado. Por conse-guinte, esses indicadores são apropriadospara avaliar a eficiência produtiva de uni-versidades.

Farrel (1957) estendeu o trabalho ini-ciado por Debreu e desenvolveu um proce-dimento para calcular o indicador de efici-ência produtiva de Debreu. Farrel restrin-giu suas análises e cálculos à eficiência pro-dutiva com um único resultado, embora ti-vesse formulado o problema para o caso commúltiplos resultados.

Os trabalhos de Koopmans, Debreu eFarrel foram redescobertos na década desetenta, não só pelos economistas, mas, tam-bém, como tema de interesse da PesquisaOperacional (Färe, Grosskopf e Lovell,1994). Charnes , Cooper e Rhodes (1978)generalizaram os estudos de Farrel tanto nosentido de trabalhar com múltiplos recur-sos e múltiplos resultados, quanto na obten-ção de um indicador que atendesse ao con-ceito de eficiência de Koopmans. Essa ge-neralização deu origem a uma técnica de

construção de fronteiras de produção e in-dicadores da eficiência produtiva conheci-da como Análise Envoltória de Dados (DataEnvelopment Analysis - DEA).

Essa técnica permite decompor a efi-ciência produtiva em dois componentes: aeficiência de escala, associada a variações daprodutividade decorrentes de mudanças naescala de produção, e a eficiência técnica,associada à habilidade gerencial da organi-zação (Banker, Charnes e Cooper, 1984). Aimportância da decomposição da eficiênciaresulta da capacidade de mensurar, para asuniversidades ineficientes, as magnitudesdesses dois componentes da eficiência pro-dutiva e, portanto, as suas importâncias re-lativas, possibilitando estimar o impacto deações corretivas na redução das ineficiências.

3 - Considerações sobre avaliação deeficiência nas instituições de Ensino Su-perior

As novas experiências de ensino sãonormalmente avaliadas de forma subjetivae pelos que as propuseram. Não há proce-dimentos claros e aceitos de transformaçãodos princípios e características que devemnortear a avaliação institucional e o desen-volvimento dos seus procedimentosavaliativos e características em critérios deavaliação.

Segundo Freitas e Silveira (1997): nãose discute mais se a avaliação institucionaldeve ou não ser feita, mas, como fazê-la, ouseja, qual a metodologia que conduzirá amaior qualidade e eficiência.

O Documento Básico do PAIUB,quando define o objetivo geral da avaliaçãoinstitucional, apresenta a avaliação do de-sempenho como um instrumento para amelhoria da qualidade, MEC/PAIUB (1994)

Lapa e Neiva (1996) e Belloni (2000)classificam os critérios mais usuais de avali-ação em dois grandes grupos: os ligados àidéia de desempenho (aí considerados, pro-dutividade, eficiência, eficácia e efetivi-dade) e aqueles ligados à idéia de qualida-de (utilidade e relevância).


63

O desempenho organizacional consi-dera referências e valores internos à insti-tuição de ensino. Para Belloni (2000), naavaliação do desempenho organizacional, oobservador deve colocar-se dentro da orga-nização universitária e considerar os recur-sos e os procedimentos utilizados, os resul-tados alcançados, as metas estabelecidas ea missão definida pela instituição, ou seja, apercepção que a própria instituição tem dasdemandas político-culturais.

Em resumo, conforme os critérios deavaliação institucional mais comumenteencontrados na literatura podem ser classi-ficados em dois grupos: · os instrumentais,que tratam do desempenho organizacional;e os substantivos, que tratam da qualidadeinstitucional.

Belloni (2000) destaca que o desem-penho de uma Instituição de Ensino Supe-rior está relacionado com a forma como ainstituição se organiza para atender às ne-cessidades da sociedade. A perspectiva daavaliação do desempenho é, portanto,organizacional, com referências internas,julgando a “organização universidade” atra-vés de critérios relativos à missãoinstitucional, objetivos, programas e metas,recursos, resultados e todas as relações degestão e produção que ocorrem no seu inte-rior. Decorrem daí três dimensões distintasda avaliação do desempenho de uma uni-versidade definidas por três diferentes ma-neiras de observar o objeto:

- Dimensão técnico-operacional, que pro-cura conhecer os recursos, os resultados eas relações de produção que ocorrem nointerior da universidade, e cujos critériosde avaliação são a produtividade e a efici-ência;- Dimensão pedagógica, que está relacio-nada com os processos educacionais pro-priamente ditos, tem como referência osobjetivos e as metas organizacionais, cujocritério de avaliação é a eficácia;- Dimensão política, que busca aferir emque medida a instituição consegue res-ponder aos desafios que lhe são impos-tos, em termos do cumprimento da mis-são institucional. O critério de avaliação éa efetividade. (Belloni, 2000, p. 32-33)

No entanto, a efetividade nem sem-pre é vista como um critério de avaliação dodesempenho, já que está associada às ne-cessidades e aos objetivos políticos da soci-edade. Sua classificação como critério dedesempenho pressupõe que tais necessida-des e objetivos estejam refletidos na mis-são institucional que constitui, assim, refe-rência (interna) para a avaliação daefetividade. Uma visão mais restritiva, quenão incorpora a efetividade como critério dedesempenho, é dada por Lindsay (1982) quedescreve o conceito de “desempenhoinstitucional” somente com as dimensões daeficácia e da eficiência. Eficácia, relaciona-da com a extensão com que as metas e ob-jetivos são alcançados, e eficiência, que dizrespeito às relações entre recursos utiliza-dos e resultados alcançados.

Assim, para Lindsay, para mensurar aefetividade é necessário que se conheçama missão e os objetivos institucionais e suarelação com os recursos disponíveis, com osprocessos acadêmicos utilizados e com osresultados alcançados.

A avaliação da eficácia, enquanto cri-tério associado à dimensão pedagógica, sedá pela confrontação dos processos acadê-micos utilizados e dos resultados alcança-dos com as metas e os objetivos relativos atoda atividade de ensino, pesquisa e exten-são desenvolvida. Pressupõe que estejamexplicitados os projetos pedagógicos, os cur-rículos de cursos e programas, as políticasde pesquisa e de extensão e demais docu-mentos que definem as metas e objetivosdas atividades acadêmicas, e suas relaçõescom os resultados alcançados.

Os procedimentos de avaliação da efi-ciência de uma IES baseiam-se em infor-mações relativas aos recursos utilizados e aosresultados alcançados pela instituição sobanálise e por um conjunto de instituiçõessimilares tomadas como referências. São in-formações existentes nos sistemas acadêmi-co e contábil das universidades e, em geral,disponíveis em publicações oficiais.

O enfoque utilizado pelas pesquisasrecentes, têm-se restringindo à avaliação dodesempenho sob o ponto de vista técnico-


64

operacional através dos critérios de eficiên-cia e produtividade, destacando-se trabalhoscomo de Belloni (2000), Façanha Rezendee Marinho (1997); Lopes (1998); Nunes(1998); Marinho (1996).

4 - Análise envoltória de dados -Metodologia e Estudo da Arte na Edu-cação Superior

No Brasil, os trabalhos que utilizam atécnica DEA na construção de medidas deavaliação de IES ainda é recipiente, care-cendo de maiores discussões e aplicações naavaliação do ensino.

4.1 - DEA – Estado da Arte

Desde o final da década de setenta, atécnica conhecida como Análise Envoltóriade Dados (Data Envelopment Analysis -DEA) vem sendo utilizada na avaliação daeficiência produtiva de unidades educacio-nais. A própria origem da DEA localiza-seem um trabalho voltado para a avaliação daeficiência de programas escolares especiaisno Estado do Texas – USA (Charnes ,Cooper e Rhodes, 1978). A técnica DEAverifica se cada unidade opera de maneiraadequada ou não, relativamente a um elen-co específico de recursos utilizados e de re-sultados obtidos, em comparação com uni-dades consideradas similares por seus ad-ministradores, sem a necessidade de conhe-cer a priori qualquer relação de importância(pesos) entre as variáveis consideradas.

Sendo assim, no campo da AnáliseEnvoltória de Dados a obra seminal é“Measuring the efficiency of decision makinunits” Abraham Charnes, Willian W. Cooperand Edwardo Rhodes (CCR) de 1978(Charnes, Cooper e Rhodes, 1978) que de-ram início ao estudo da abordagem não-paramétrica, para a análise de eficiência re-lativa de firmas com múltiplos insumos emúltiplos produtos, cunhando o termo DataEnvelopment Analysis (DEA). Vale ressal-tar que, na literatura relacionada aos mode-los DEA, uma firma é tratada como DMU(decision making unit- unidade tomadora de

decisão), uma vez que estes modelos pro-vêm uma medida para avaliar a eficiênciarelativa de unidades tomadoras de decisão.

A DEA foi desenvolvida para deter-minar a eficiência de unidades produtivas,onde não seja relevante ou não se desejaconsiderar o aspecto financeiro. Dispensa-se, assim, a conversão de todos os insumose produtos em unidades monetárias e suaatualização para valores presentes.

Os principais objetivos da DEA, po-dem ser resumidos, conforme Gomes, et al.(2001):

Comparar um certo número de DMUsque realizam tarefas similares e se dife-renciam nas quantidades de inputs queconsomem e de outputs que produzem;Identificar as DMUs eficientes, medir elocalizar a ineficiência e estimar uma fun-ção de produção linear por partes (piece-wise linear frontier), que fornece obenchmark (referência) para as DMUsineficientes. Ao identificar as origens equantidades de ineficiência relativas decada uma das DMUs, é possível analisarqualquer de suas dimensões relativas aentradas e/ou saídas. A fronteira de efici-ência compreende o conjunto de DMUsPareto eficientes;Determinar a eficência relativa dasDMUs, contemplando cada uma, relati-vamente a todas as outras que compõemo grupo a ser estudado. Assim, sob deter-minadas condições, DEA pode ser usadona problemática da ordenação como fer-ramenta multicrédito de apoio à decisão;Subsidiar estratégias de produção quemaximizem a eficiência das DMUs avali-adas, corrigindo as ineficientes através dadeterminação de alvos;Estabelecer taxas de substituição entre asentradas, entre as saídas e entre entradase saídas, permitindo a tomada de decisõesgerenciais. O estabelecimento dessas ta-xas de substituição nem sempre tem so-lução única;Considerar a possibilidade de os outliersnão representarem apenas desvios em re-lação ao comportamente “médio”, maspossíveis benchmarks a serem analisadospelas demais DMUs. Os outliers podem


65

representar as melhores práticas dentro douniverso investigado;Não necessidade de determinar uma for-ma funcional para a estimativa da frontei-ra, como é feito nos modelos de frontei-ras estocástica.

A literatura internacional disponi-biliza, ainda, de um número significativo deaplicações DEA na área da educação e, emparticular, na avaliação de IES (Rhodes,1978; Ahn, 1987; Ahn and Seiford, 1993;Harrison,1988; Johnes e Johnes, 1993;Johnes, Taylor e Francis, 1993; Glass,McKillop e Hyndman, 1995).

No Brasil, os primeiros trabalhos uti-lizando a técnica DEA na construção demedidas de avaliação de IES têm origemem grupos de pesquisa da UniversidadeFederal de Santa Catarina (UFSC). Algunsdesses trabalhos pioneiros são: Lopes, Lapae Lanzer (1995, 1995a e 1996); Lapa, Lopese Lanzer (1995); e Cury (1995).

Alguns trabalhos desenvolvidos naUniversidade Federal do Rio de Janeirocombinam DEA com a Análise em Compo-nentes Principais. Marinho (1996) utilizouDEA para avaliar e ordenar as unidades aca-dêmicas da Universidade Federal do Rio deJaneiro, tendo a distribuição de recursoscomo objetivo. A escolha das variáveis foiarbitrária, utilizando como resultados o nú-mero de formados nos três níveis de ensino(Graduação, Mestrado e Doutorado) e osconceitos emitidos pela CAPES para os cur-sos de Pós-Graduação, e, como recursos, onúmero de docentes distribuídos conformea titulação, o número de funcionários, o nú-mero de matrículas nos três níveis de ensi-no, a carga horária total dos docentes e osrecursos financeiros provisionados a cadacentro. O autor estendeu o modelo para oconjunto das IFES através de dois procedi-mentos: i) aplicando DEA “aos percentuaisde inputs e outputs de cada instituição ouaos seus respectivos correspondentes finan-ceiros”, e, ii) aplicando DEA a um conjun-to de variáveis transformadas obtidas com ouso de Análise Fatorial, conforme FaçanhaRezende e Marinho (1997). A utilização da

Análise Fatorial foi justificada com o obje-tivo de redução do número de variáveis. Emambos os casos o autor concluiu com a gera-ção de um ranking de universidades a par-tir das medidas de eficiência relativa obti-das.

Em Lapa, Belloni e Neiva (1997),DEA é utilizada na avaliação das unidadesacadêmicas da Universidade do Estado deSanta Catarina. O trabalho tem um caráterde divulgação do uso de DEA e comparaseus resultados com os tradicionais indica-dores de produtividade parcial. Lopes(1998), em sua tese de doutorado, utilizaDEA na construção de um procedimento deavaliação cruzada para estimar medidasdifusas da produtividade parcial e da quali-dade de departamentos de uma IES. Nunes(1998) propôs a utilização de DEA na avali-ação da produção científica dos departamen-tos de uma IES.

Esses trabalhos têm como objeto deestudo setores de uma IES (unidades, de-partamentos, cursos) e a natureza relativadas medidas DEA não possibilitam umaanálise global da instituição.

Por se tratar de um método não-estocástico, a fronteira gerada pela DEA ésuscetível a erros de medida e aoquestionamento das propriedades estatísti-cas de seus resultados. Uma boa discussãodas alternativas de superação dessa proble-mática está em Banker (1993). As possibili-dades de combinação da DEA com outrasmetodologias aparecem em Marinho (1996).Em Thanassoulis (1993), encontra-se umaextensa lista, ilustrada com aplicação, dasvantagens e desvantagens da análise deenvoltória de dados em relação aos mode-los de regressão.

4.2- Análise Envoltória de Dados

A pressuposição fundamental na téc-nica DEA é que, se uma dada DMU “A” écapaz de produzir Y(A) unidades de produ-to, utilizando X(A) unidades de insumos,então outras DMU’s poderiam também fa-zer o mesmo, caso elas estejam operandoeficientemente. De forma similar, se uma


66

DMU “B” é capaz de produzir Y(B) unida-des de produto, utilizando X(B) de insumos,então outras DMU’s poderiam ser capazesde realizar o mesmo esquema de produção.Caso as DMU’s “A” e “B”sejam eficientes,elas poderiam ser combinadas para formaruma DMU composta, isto é, que utiliza umacombinação de insumos para produzir umacombinação de produtos. Desde que estaDMU composta não necessariamente exis-te, ela é denominada DMU virtual. A análi-se DEA consiste em encontrar a melhorDMU virtual para cada DMU da amostra.Caso a DMU virtual seja melhor do que aDMU original, ou por produzir mais com amesma quantidade de insumos, ou produ-zir a mesma quantidade usando menosinsumos, a DMU original será ineficiente.

Percebe-se, portanto, que a fronteiraeficiente de produção será aquela que re-presenta as unidades avaliadas que conse-guem maximizar o uso dos inputs na pro-dução de outputs ou, ainda, consegue pro-duzir uma quantidade maior de outputs comuma quantidade menor de inputs.

Quando da aplicação dos modelosDEA, deve-se fazer uma opção: usar ummodelo orientado a outputs, no qual se ob-tém o máximo nível de outputs mantendoos inputs fixos, ou um modelo orientado ainputs, que visa a obter um menor uso deinputs dado o nível dos outputs. A decisãode usar um ou outro modelo deve ser previ-amente selecionada pelo pesquisador.

Resumidamente, os modelos básicosexistentes são: CCR - insumo orientado,CCR - produto orientado, BCC - insumoorientado e BCC – produto orientado. Es-ses quatro modelos estão descritosdetalhadamente em Fried et al. (1993) eCharnes et al. (1994).

4.2.1 Modelo CCRO modelo CCR original, apresentado

por Charnes, Cooper e Rhodes em 1978, foiconcebido inicialmente como um modeloorientado à entrada (input) e trabalha comretorno constante de escala (CRS), isto é,qualquer variação nas entradas (inputs) pro-duz variação proporcional nas saídas

(outputs)”. Segundo Biondi Neto (2001, p.51):

A característica essencial do modelo CCRé a redução de múltiplos produtos e múl-tiplos insumos (para cada DMU) para umúnico produto ‘virtual’ e um único insumo‘virtual’. Para uma DMU, a razão entreesse produto virtual e o insumo virtualfornece uma medida de eficiência que éfunção dos multiplicadores. Essa propor-ção, que será maximizada, forma a fun-ção-objetivo para a DMU “O” sendo ava-liada. (Charnes et al,l996, p. 40).

A eficiência técnica de uma DMUobservada (DMU O) será obtida através deum PPNL (Problema de Programação Não-Linear), utilizando o seguinte modelo deprogramação fracionário:

onde:

ho = eficiência da DMU O (zero)

r = quantidade total de inputs

s = quantidade total de outputs

n = quantidade total de DMU

Yjk = quantidade de output j para a

DMUk

Xik = quantidade de input i para a DMUk

uj = peso referente ao input j

vi = peso referente ao input i


(1)

sujeito a:

(2)

(3)

67

Yjo = quantidade de output j para a

DMU0 (DMU observada)

Xio = quantidade de input i para a DMU0

(DMU observada)

Uma variação do modelo CCR

originou o modelo de Programação Linear

conhecido como modelo dos multipli-

cadores, que surgiu da necessidade de

determinar os valores dos pesos uj e vi de

forma a maximizar a soma ponderada dos

outputs (output “virtual”) dividida pela

soma ponderada dos inputs (input “virtual”)

da DMU em estudo (Lins e Ângulo-Meza,

2000, p. 11).

Esse procedimento deverá ser

repetido para cada DMU analisada e através

dos valores encontrados para os pesos

(multiplicadores), determina-se o valor das

eficiências relativas de cada DMU. O

modelo dos multiplicadores será

apresentado a seguir:

Segundo Biondi Neto (2001, p. 58):

É possível derivar o dual do modelo dosmultiplicadores (primal). Assim, o dualapresentará uma menor quantidade derestrições (s + r < n + 1), pois o modelo

DEA exige que o número de DMUs sejamaior que o número de variáveis. Pelasrazões expostas e por ter solução compu-tacional mais simples, o modelo dual, de-nominado Envelope, tem preferência so-bre o dos Multiplicadores.

Assim o modelo do Envelope tem a

seguinte formulação:

4.2.2 Modelo BCCO modelo BCC, elaborado por Banker,

Charnes e Cooper em 1984, utiliza o retor-no variável de escala (VRS), procurando, as-sim, evitar problemas existentes em situa-ções de competição imperfeita. O BCC(VRS) é usado quando ocorrem RetornosVariáveis de Escala, sejam eles crescentesou decrescentes ou mesmo constantes. Nomodelo BCC (VRS), os escores de eficiên-cia dependem da orientação escolhida. Casose pretenda maximizar h1, a formulação domodelo BCC é a seguinte:


(4)

sujeito a:

(5)

(6)

(7)

(8)

sujeito a:

(9)

(11)

(10)

Maximixe (12)

sujeito a:

(13)

, para todo j=1,2,...,n (14)

(15)

68

Por meio da utilização desses mode-los, é possível detectar a eficiência dasDMUs, construindo, assim, a fronteira deprodução com as unidades que atingirem omáximo de produtividade (benchmarks).

4.2.3 Ilustração da Fronteira Eficien-te em DEA

A Figura 1 ilustra uma situação queenvolve um insumo e um produto. Pode-setraçar as fronteiras eficientes calculadas pelaDEA, isto é, a fronteira obtida com retornosconstantes (CCR), e a obtida com retornosvariáveis (BCC).

Considerando-se o ponto P, na Figura1, na pressuposição de retornos constantes,a ineficiência técnica do ponto P é dada peladistância PPc, enquanto a ineficiência téc-nica, para retornos variáveis, é dada peladistância PPv. E a diferença entre essasduas, PcPv, fornece a ineficiência de escala.

BCC

CCR

Pc

Pv

P

X

Y

RND

RNC

Figura 1 – Eficiência Técnica e Eficiência de Escala

1'1 =λN 1'1 ≤λN

Assim, além de identificar as DMUseficientes, os modelos DEA permitem me-dir e localizar a ineficiência e estimar umafunção de produção linear por partes, quefornece o benchmark para as DMUsineficientes. Esse benchmark é determina-do pela projeção das DMUs ineficientes nafronteira de eficiência. A forma como é fei-ta esta projeção determina orientação domodelo: orientação a inputs (quando se de-seja minimizar os inputs, mantendo os va-lores dos outputs constantes) e orientação aoutputs (quando se deseja maximizar os re-sultados sem diminuir os recursos).

Contudo, se a medida de eficiência deescala for igual a um, a firma estará operan-do com retornos constantes à escala; no en-tanto, se for menor que um, poderão ocor-rer retornos crescentes ou decrescentes.Para contornar essa situação, é necessárioformular outro problema de programação,impondo a pressuposição de retornos nãocrescentes ou não decrescentes. Conside-rando-se o caso de retornos não crescentes,a formulação consiste em alterar a pressu-posição de retornos variáveis no modeloDEA. Para isso, basta substituir a restrição,

em (20), pela restrição

Sendo assim, a fronteira obtida para o mo-delo com retornos não crescentes (RNC)está indicada na Figura 1. Para o caso deretornos não decrescentes (RND), segue omesmo raciocínio.


(16)

A forma dual do BCC, visando aminimizar h0 será dada pela formulação aseguir:

Minimize (17)

sujeito a:

Xijλj = 0, para todo i = 1, 2, ..., m (18)

Yrj λj = Yr0, para todo r = 1, 2, ..., s (19)

(20)

λj > 0, para todo j = 1, 2, ..., n (21)

sr > 0, para todo r = 1, 2, ..., s

ei > 0, para todo i = 1, 2, ..., m(22)(23)

69

5 - Conclusão

A Análise Envoltória de Dados, que éum método de suporte básico daMetodologia do Modelo de Avaliação, é umatécnica determinística e não-paramétricaque mede eficiência relativa de observaçõeshomogêneas.

A característica de agregar variáveis eindicadores de avaliação sem exigir que se-jam conhecidos pesos relativos entre elescredencia a técnica DEA a ser utilizada notratamento da informação coletada nos pro-cessos de avaliação interna desenvolvidospelas Universidades Brasileiras. Pesquisasnessa direção podem explorar diversos cri-térios de avaliação como, por exemplo, iden-tificar indicadores da eficácia dos processosde ensino e aprendizagem a partir da infor-mação da avaliação de cursos em uma uni-versidade.

Sendo assim, no que diz respeito àpossível aplicação da DEA, é importantenotar as possibilidades de exploração dasvirtudes da metodologia como mecanismopermanente de avaliação comparativa deeficiência. Entre outras razões, porque a téc-nica possui características positivas de neu-tralidade, incentiva a construção e o apri-moramento de inventários de recursos etambém acolhe participações possíveis edesejáveis de gestores e de agentes na ava-liação. Essa participação é fundamental paraa qualificação e para a determinação de ca-minhos possíveis para a fronteira de efici-ência e para fins de monitoramento de ob-jetivos.

No entanto, observa-se que muitostrabalhos utilizando esta metodologia têmcomo objeto de estudo setores isolados deuma IES (departamentos, cursos, unidadesacadêmicas, etc). Neste sentido, é relevan-te a construção, através do DEA, de umaferramenta capaz de se obter uma maiorabrangência na avaliação global de uma Ins-tituição de Ensino Superior em particular,no caso da Universidade Federal de SantaMaria.

Cabe destacar, ainda, a importância dautilização desta metodologia conjuntamen-

te com as iniciativas de avaliação da quali-dade de atividades específicas já existentes,tais como a avaliação da Pós-Graduação pelaCAPES, o cadastro de pesquisadores doCNPq, os Exames Nacionais de Cursos, aavaliação das condições de oferta de cursosde graduação e as avaliações de cursos rea-lizadas pelas comissões de especialistas daSESU/MEC.

Referências bibliográficas

AHN, T.S. Efficiency and related issuesin higuer education: a DataEnvelopment Analysis approach. Austin,1987. Ph.D. Dissertation, The University ofTexas at Austin.AHN, T.S.; SEIFORD, L.M. Sensitivity ofDEA to models and variable sets in ahyphothesis test setting: the eficiency ofuniversity operations. In: YUJI IJIRI (ed.),Creative and innovative approaches tothe science of management. New York,Quorum Books, 1993.ANDIFES. Uma proposta de avaliaçãodas Instituições de Ensino Superior.Florianópolis, ANDIFES, 1993.ANDIFES. Matriz de alocação para asIFES. Brasília, ANDIFES, 1994.BANKER, R.D. Maximum likelihood,consistency and DEA: a statisticalfoundation. Management Science, v.39,n.10, p. 1265-1273, 1993.BANKER, R.D.; CHARNES A.;COOPER, W.W. Some models forestimation technical and scale inefficienciesin Data Envelopment Analysis.Management Science, 30(9):1078-1092,1984.BELLONI, I. Uma Metodologia de Ava-liação da Eficiência Produtiva de Uni-versidades Federais Brasileiras. Tese deDoutorado, UFSC, 2000.BIONDI NETO, Luiz. Neuro – DEA:Nova Metodologia para Determinaçãoda Eficiência Relativa de UnidadesTomadoras de Decisão. Rio de Janeiro,2001. Tese (Doutorado em Engenharia deProdução) – Engenharia de Produção, Uni-versidade Federal do Rio de Janeiro.


70

CHARNES, A.; COOPER, W. W.;RHODES, E. Measuring the efficiency ofdecision making units. European Journalof Operational Research, 2(6),429-444,1978.CHARNES, A.; COOPER, W. W. Prefaceto topics in Data Envelopment Analysis.Annals of Operations Research, 2, 59-94, 1985.CHARNES, A.; et al. Data EnvolopmentAnalysis: theory, methodology andapplications. USA, Kluwer AcademicPublishers, 1994._______. Data envelopment analysis:theory, metodology and application.Second print. Massachusetts: KluwerAcademic Publishers, 1996.COELLI, T.J. Recent developments infrontier modelling and efficiencymeasurement. Australian Journal ofAgricultural Economics, v.39, n.3, p.219-245, 1995.CURY, K.R.S. Análise Envoltória de da-dos aplicada à avaliação da pósgra-duação das universidades federais.XXVII SBPO, Vitória, 1995.DEBREU, G. The coefficient of resourceutilization. Econometrica, Journal of theEconometric Society, v.19, no 3, 1951.FAÇANHA, L.O.; REZENDE, M.; MARI-NHO, A. Brazilian Federal Universities:relative evaluation and EnvelopmentAnalysis. UFRJ, Rio de Janeiro, 1997.FÄRE, R.; GROSSKOPF, S.; LOVELL,C.A.K. Production frontiers. New York,Cambridge University, 1994.FARREL, M.J. The measurement ofprodutive efficiency. J. Royal StatisticalSociety, v. 120, Part III, 253-290, 1957.FREITAS, I.M.A.C.; SILVEIRA, A. Ava-liação da Educação Superior.Florianópolis, Insular, 1997.FRIED, H.; LOVELL, C.A.K.;SCHMIDT, S.S. (eds). The measurementof productive efficiency. New York: OxfordUniversity, 1993.GLASS, J.C.; MACKILLOP, D.G.;

HYNDMANN, N. Efficiency in theprovision of university teaching on research:an empirial analysis of UK Universities.Journal of Applied Econometrics, v.10,61-72, 1995.GIL, Antonio Carlos. Como elaborar pro-jetos de pesquisa. São Paulo: Atlas, 1991.GOMES, E.G.; et al. Avaliação de eficiên-cia de companhias aéreas brasileiras: umaabordagem por Análise de Envoltória deDados. IN: SETTI, J.R.A.; LIMAHARRISON, M.E. Measuring thecomparative techinal efficiency ofuniversities. Ph D. Dissertation, TheUniversity of North Carolina at Chaper Hill,1988.JOHNES, G.; JOHNES, J. Measuring theresearch performance of UK EconmicsDepartaments: An Application of DataEnvelopment Analysis. Oxford EcnomicPaper, 45; 332-347, 1993.JOHNES, J.; TAYLOR, J.; FRANCIS, B.The research performance of UKUniversities: a statistical analysis of theresults of the 1989 Research SelectivityExercise. J.R. Statistical Society, 156.Part2, 271-286,1993.JÚNIOR, O.F. (eds). Panorama Nacionalda Pesquisa em Transportes 2001, v.2,2001ª, p.125-133.KOOPMANS, T. C. Efficient allocation ofresources. Econometrica, v.19, no.1,october 1951.LAKATOS, E.M.; MARCONI, M.A.Metodologia científica. São Paulo, Atlas,1986.LAPA, J.S.; BELLONI, J.A.; NEIVA, C.C.Medidas de desempenho de universida-des acadêmicas de uma Instituição deEnsino Superior. Relatório Técnico- De-partamento de Engenharia de Produção eSistemas – UFSC (mimeo), 1997.LAPA, J.S, LOPES, A.L.M e LANZER,E.Análise Envoltória de Dados aplicadaà avaliação de IES: determinação dospesos relativos e valoração dos insumose produtos. XXVII SBPO, Vitória, 1995.


71

LAPA, J.S.; NEIVA, C.C. Avaliação em edu-cação: comentários sobre desempenho equalidade. Ensaio, v. 4, nº 12 (jul./set. 1996),213-236, 1996.LINDSAY, A.W. Institutional performancein higuer education: the efficiencydimension. Review of EducationalResearch, 52(2), 1982, 175-199.LINS, M.P.E.; ANGULO-MEZA, L. Aná-lise Envoltória de Dados e perspectivasde integração no ambiente de Apoio àDecisão. Rio de Janeiro: Editora daCOPPE/UFRJ, 2000.LOPES, A.L.M., LAPA, J.S. e LANZER,E.Eficiência produtiva em serviços gover-namentais: o caso da universidades fe-derais brasileiras. First InternationalCongress of Indusrial Engeneering e XVCongresso Nacional de Engenharia de Pro-dução, São Carlos, 1995._____. Eficiência produtiva nas univer-sidades federais: o quê indicam os indi-cadores do MEC? XXVII SBPO, Vitória,1995a._____. Análise Envoltória de dados: umanova ferramenta para a avaliaçãomultidimensional do setor de serviços.XX ENAMPAD, Angra dos Reis, 1996.LOPES, A.L.M. Avaliação cruzada daprodutividade e qualidade de departa-mentos acadêmicos de uma universida-de com um modelo de AnáliseEnvoltória de Dados e ConjuntosDifusos. Florianópolis, 1998. Tese de Dou-torado, UFSC, 1998.LOVELL, C.A.K.; SCHMIDT, S.S. (eds.),The measurement of productiveefficiency. New York, Oxford University,1993.MARINHO, A. Metodologias para avalia-ção e ordenação de universidades públicas:o caso da UFRJ e demais IFES. Ensaio, v.4, nº 13 (out/dez. 1996), 403-424, 1996MEC/PAIUB. Programa de AvaliaçãoInstitucional das Universidades Brasi-leiras. Brasília, MEC, 1994._____. _____. Brasília, MEC, 1998.

NEIVA, C.C., LAPA, J;S. e BELLONI, J.A.Exame Nacional de Cursos: Um Pro-cesso Necessário que precisa ser apri-morado. Sociedade Brasileira de Desenvol-vimento de Educação, 1998.NUNES, N. Avaliação da eficiência pro-dutiva de departamentos universitários:uma aplicação de Análise Envoltória deDados. Florianópolis, 1998. Dissertação deMestrado, UFSC.RHODES, E.L. Data EnvelopmentAnalysis and approaches for measuringthe efficiency of decision making unitswith an application to programfollowthrough in U.S. education. Ph.D.Dissertation, Carnegie Mellon Unversity,1978.SCHWARTZMAN, J. Um sistema de indi-cadores para as universidades brasileiras. In:SGUISSARDI, V. (org.), Avaliação Uni-versitária em Questão. Campinas, Auto-res Associados, 1997.THANASSOULIS, E. A comparision ofregression analysis and data envelopmentanalysis as alternative methods forperformance assessments. Journal ofOperational Research Society, v. 44, n.11, p. 1.128-1.144, 1993.


907-3192-1-pb (1)

Documents