periódicos brasileiros de administração: análise ...anpad.org.br/periodicos/arq_pdf/a_821.pdfo...

Disponível em

http://www.anpad.org.br/rac-e

RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008

Periódicos Brasileiros de Administração: Análise Bibliométrica de Periódicos Brasileiros de Administração: Análise Bibliométrica de Periódicos Brasileiros de Administração: Análise Bibliométrica de Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005Impacto no Triênio 2005Impacto no Triênio 2005Impacto no Triênio 2005----2007200720072007

Brazilian Administration PeriodBrazilian Administration PeriodBrazilian Administration PeriodBrazilian Administration Periodicals: Bibliometric Analysis of the Impact on the Period icals: Bibliometric Analysis of the Impact on the Period icals: Bibliometric Analysis of the Impact on the Period icals: Bibliometric Analysis of the Impact on the Period

of 2005of 2005of 2005of 2005----2007200720072007

Clóvis L. Machado-da-Silva * Ph.D. em Organizações e Estratégia pela Michigan State University, Estados Unidos.

Professor titular do PMDA/UP e da UFPR, Curitiba/PR, Brasil.

Edson Ronaldo Guarido Filho Doutor em Administração pela UFPR.

Professor do PMDA/UP, Curitiba/PR, Brasil.

Luciano Rossoni Doutorando em Administração pela UFPR.

Professor do PMDA/UP, Curitiba/PR, Brasil.

Julia Furlanetto Graeff Doutoranda em Administração pela UFPR, Curitiba,/PR, Brasil.

* Endereço: Clóvis L. Machado-da-Silva PMDA/Universidade Positivo, Rua Prof. Pedro Viriato Parigot de Souza, 5300, Prédio da Biblioteca, 5º andar, Campo Comprido, Curitiba/PR, 81280-330. E-mail: [email protected]

Copyright © 2008 RAC-Eletrônica. Todos os direitos, inclusive de tradução, são reservados. É permitido citar parte de artigos sem autorização prévia desde que seja identificada a fonte.

Clóvis L. Machado-da-Silva, Edson Ronaldo Guarido Filho, Luciano Rossoni, Julia Furlanetto Graeff

RAC-Eletrônica, Curitiba, v. 2, n. 3, art. 1, p. 351-373, Set./Dez. 2008 www.anpad.org.br/rac-e

352

RRRRESUMOESUMOESUMOESUMO O presente artigo trata da avaliação de periódicos científicos da área de administração, no Brasil, com base no uso do conceito de fator de impacto vis-à-vis a classificação por eles obtida no Sistema Qualis da CAPES. Procuramos discutir a aplicabilidade do fator de impacto enquanto instrumento que assegura novos contornos à aferição de qualidade. Para tanto, foram analisados 21 periódicos e os anais do Enanpad no período de 2005 a 2007. Os periódicos foram divididos em três grupos: ‘A’ Nacional Recentes (integrado por periódicos que receberam conceito ‘A’ em 2007); ‘A’ Nacional Antigos (integrado por periódicos que detêm conceito ‘A’ há certo tempo); e ‘B’ Nacional. Os resultados evidenciam a concentração de citações e fator de impacto significativamente maior para o grupo de periódicos enquadrados como ‘A’ Nacional Antigos. Não encontramos diferença significativa quanto ao fator de impacto nos demais grupos. Tal achado revela inconsistências no que concerne aos conceitos obtidos em 2007, no Sistema Qualis-CAPES, pelos periódicos dos outros dois grupos. Complementarmente, não constatamos influência significativa de autocitações, dos anais dos Enanpads ou da janela temporal para cálculo do fator de impacto. Tais resultados possibilitam concluir sobre a viabilidade de uso do fator de impacto como critério relevante na política de avaliação de periódicos. Não se trata de considerar o conceito de qualidade unidimensional, mas sim de reconhecer que a repercussão de um periódico reflete o interesse despertado por artigos nele publicados na construção do conhecimento científico. Palavras-chave: avaliação de periódicos; citações; fator de impacto; Sistema Qualis-CAPES.

AAAABSTRACTBSTRACTBSTRACTBSTRACT This article deals with the evaluation of scientific periodicals from the field of Administration in Brazil, based on the use of the concept of the impact factor vis-à-vis their classification in the CAPES Qualis System. We seek to discuss the applicability of the impact factor as an instrument that ensures new guidelines for gauging quality. To this end, twenty-one periodicals and the Enanpad annals covering the period of 2005 to 2007 were analyzed. The periodicals were divided into three groups: ‘A’ Recent Domestic (made up of periodicals which were assigned the ‘A’ status in 2007); ‘A’ Traditional Domestic (made up of periodicals which have had the ‘A’ status for some time); and ‘B’ Domestic. The results show a significantly higher concentration of quotes and the impact factor for the group designated as ‘A’ Traditional Domestic. We did not find any significant difference concerning the impact factor in the other groups. This finding has some inconsistencies pertaining to the concepts obtained from Qualis-CAPES in 2007 by the other two groups. In addition, we did not find any significant influence of selfquoting in the annals of Enanpads or the temporal window for calculating the impact factor. These results enabled us to reach a conclusion on the viability of the use of the impact factor as a relevant criterion in the evaluation policy of periodicals. This is not about considering the unidimensional quality concept but rather about recognizing that the repercussion of a periodical reflects the interest sparked by the articles published in it in the construction of scientific knowledge. Key words: evaluation of journals; citations; factor of impact; Qualis-CAPES.

Periódicos Brasileiros de Administração: Análise Bibliométrica de Impacto no Triênio 2005-2007


353

IIIINTRODUÇÃONTRODUÇÃONTRODUÇÃONTRODUÇÃO

A avaliação de periódicos é matéria freqüentemente tratada no meio científico. Ela foi associada, em princípio, à gestão de acervos bibliográficos, em face da proliferação crescente de títulos em diferentes áreas do conhecimento. Nos últimos 30 anos, contudo, esse tipo de avaliação vem ganhando força enquanto meio para aferição da qualidade de periódicos, a partir de uma variedade de indicadores e de metodologias (Rousseau, 2002).

Qualidade científica, entretanto, não é um conceito absoluto; está associada a diferentes recortes ou perspectivas analíticas (Camí, 1997). Pode se referir à assertividade da pesquisa científica quanto ao tipo de conhecimento abordado, à originalidade dos temas desenvolvidos ou à adequação metodológica da investigação, entre outras possibilidades. Sob outra ótica, qualidade pode estar associada à noção de relevância, mais especificamente à influência potencial ou contribuições para o avanço do conhecimento científico. Em uma terceira acepção, qualidade pode significar a repercussão imediata de um periódico no sistema de comunicação científica de determinada área ou, mais propriamente, sua popularidade ou visibilidade em determinada comunidade acadêmica. Trata-se, neste último caso, do conceito de impacto (Garfield, 1972).

O impacto de periódicos representa uma modalidade de avaliação baseada na análise bibliométrica que, por meio da contabilização de citações, produz um indicador objetivo, menos sensível aos juízos de valor dos membros da comunidade de pesquisadores no ato da avaliação (Camí, 1997; Strehl, 2005). Internacionalmente, esse tipo de indicador vem ganhando destaque desde a publicação, em 1976, da primeira edição do Journal Citation Reports [JCR] pelo Instituto de Informação Científica da Filadélfia [ISI] (Camí, 1997; Garfield, 1996; Ingwersen, Larsen, Rousseau, & Russel, 2001; Moed, 2005; Rousseau, 2002; Saha, Saint, & Christakis, 2003). No Brasil, todavia, sua utilização para este fim ainda é pouco explorada, especialmente no campo da administração, cuja avaliação ainda é realizada de acordo com o Sistema Qualis da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior [CAPES], fundação vinculada ao Ministério da Educação.

O Sistema Qualis foi instituído em 1998 com o objetivo de fornecer subsídios para aperfeiçoar a avaliação da produção científica dos programas de pós-graduação stricto sensu. Componente importante do processo de avaliação da CAPES, ele foi concebido para aprimorar o processo de classificação de periódicos, considerado até então pouco sistematizado e realizado de modo artesanal e não uniforme (Souza & Paula, 2002). Com base no procedimento de avaliação por especialistas, o Sistema Qualis utiliza escalas de pontos para avaliar conjuntamente diferentes critérios, tais como: normalização, regularidade, projeto gráfico, circulação, visibilidade, origem institucional e geográfica dos autores, gestão editorial, além da quantidade, proporção e qualidade percebida dos artigos publicados (CAPES, 2007). Em conseqüência, possibilita a elaboração de rankings de periódicos, ainda que os critérios utilizados para sua classificação e ordenação constituam elementos de discordância e de debates na comunidade acadêmico-científica, em razão das suas evidentes limitações.

Diante dessas limitações, em 2008 a CAPES resolveu rever a sua orientação para a avaliação de periódicos no Sistema Qualis, que passará a considerar o fator de impacto e a indexação em bases de dados com reputação acadêmico-científica. Ao assim proceder, a CAPES alinha-se à tendência mundial de valorizar o fator de impacto de periódicos como instrumento de avaliação de publicações científicas, o que deverá acarretar mudanças significativas no perfil da pesquisa e da produção acadêmica no país, com o transcorrer do tempo.

Em suma, o crescente número de novos periódicos científicos em conjunção com a proliferação de artigos publicados exige aprimoramentos contínuos nos instrumentos de avaliação (Krzyzanovski & Ferreira, 2003; Strehl, 2005). Por um lado, torna-se necessário melhorar a identificação de periódicos que sirvam aos interesses dos pesquisadores; por outro, é importante minimizar a subjetividade da avaliação decorrente de crenças, muitas vezes simplistas, dos membros das comissões. Assim, a



354

qualidade da informação sobre as características das publicações por meio de parâmetros rigorosos e objetivos constitui elemento relevante a ser utilizado complementarmente aos demais meios de avaliação (Schultze, 2005; Souza & Paula, 2002; Strehl, 2005).

Nessa direção e cientes dessa necessidade procuramos no presente estudo apresentar um primeiro esforço de cálculo de fator de impacto para periódicos da área de administração no Brasil. Temos como propósito central avaliar os periódicos brasileiros a partir do fator de impacto em comparação com a classificação por eles recebida no Sistema Qualis da CAPES em 2007, de modo a discutir sua aplicabilidade no cenário acadêmico nacional enquanto instrumento que assegure novos contornos à avaliação de qualidade. Deixamos claro, desde já, que concordamos com Moed (2005) no sentido de não compartilhar o nosso pensamento com perspectivas que associam linearmente a qualificação de impacto de periódicos e a qualidade da produção científica, reduzindo-a a um conceito quantitativo e unidimensional. Entretanto aceitamos a idéia de que a repercussão de um periódico em determinado campo reflete, ainda que até certo ponto, o interesse despertado pelos artigos nele publicados na construção do conhecimento científico em uma comunidade acadêmica.

Tendo em vista tal propósito, tratamos, em um primeiro momento, do sistema de comunicação acadêmica, posicionando a prática de citações na lógica de recompensa e reconhecimento acadêmicos, ligados à propriedade intelectual do conhecimento veiculado, especialmente, por meio de periódicos. Posteriormente, discutimos as modalidades de avaliação de periódicos realizadas internacionalmente e no Brasil. O foco recai sobre a análise bibliométrica, com destaque para o fator de impacto, como metodologia complementar àquelas tradicionalmente utilizadas. Na seqüência, apresentamos os procedimentos metodológicos que pautam a realização deste estudo; a análise dos dados referente aos periódicos da área de administração é tratada com base no fator de impacto e na avaliação por meio do Sistema Qualis-CAPES vigente em 2007. Concluímos o artigo discutindo os resultados obtidos em face da política de avaliação, recomendando alternativas para o reconhecimento da qualidade dos periódicos no campo da administração. AAAAVALIAÇÃO VALIAÇÃO VALIAÇÃO VALIAÇÃO DDDDE E E E PPPPERIÓDICOS ERIÓDICOS ERIÓDICOS ERIÓDICOS CCCCIENTÍIENTÍIENTÍIENTÍFICOSFICOSFICOSFICOS

O uso do fator de impacto adota as citações recebidas por artigos veiculados em um determinado periódico como princípio avaliativo. Tecnicamente, esse princípio é representado por indicadores formais utilizados na classificação de periódicos segundo a expressão de seu reconhecimento como fonte destacada de referência na elaboração de artigos científicos. Por outro lado, implica considerar pressupostos acerca do caráter epistemológico das citações enquanto parte do sistema de comunicação cientifica. Nos tópicos a seguir discutimos mais detidamente esses aspectos. Sistema de Sistema de Sistema de Sistema de Comunicação Científica, Citações Comunicação Científica, Citações Comunicação Científica, Citações Comunicação Científica, Citações e e e e PPPPeriódicoseriódicoseriódicoseriódicos

De acordo com Merton (1957), a ciência é uma instituição social expressa na forma de imperativos normativos, seu ethos; ou seja, possui sistema próprio de valores e normas que direcionam e legitimam a atividade científica. Cole (2004) explica que, na abordagem mertoniana, esses valores não descrevem a ciência como ela opera de fato na realidade, devendo ser entendidos como ideais para a prática científica. Nessa linha de análise, a originalidade é tratada como o valor supremo da ciência, apresentando forte relação com seu avanço, já que é fator associado às preocupações dos cientistas por reconhecimento e recompensas (materiais ou simbólicas) e, portanto, com a idéia de propriedade sobre o conhecimento produzido.

A propriedade científica, tanto como o sistema de recompensas, deriva das relações interativas entre cientistas. Além disso, tal propriedade não é atribuída pela exclusividade dos direitos de acesso ao conhecimento, mas por sua livre exposição ao domínio público para ser utilizado por aqueles que assim desejarem (Merton, 1957, 1988). Nesse aspecto, o sistema de recompensas assegura a



355

propriedade, na medida em que reitera normas institucionais para a pública identificação das fontes: é o reconhecimento público, por pares qualificados, da validade das contribuições científicas realizadas por um determinado cientista, que afirma sua propriedade intelectual (Merton, 1988).

A reciprocidade no reconhecimento de contribuições para o avanço do conhecimento científico traz importantes implicações sobre a prática institucionalizada de referências nos trabalhos acadêmicos. Como parte do sistema de propriedade intelectual na ciência, as referências apresentam não apenas funções instrumentais cognitivas, mas também simbólicas, de tal modo que as citações nos textos científicos são mais do que apêndices (Cronin, 1984, 2004). Elas afirmam o entendimento comum dos autores com relação às bases sobre as quais são atribuídos reconhecimento, direitos e recompensas simbólicas ligadas à propriedade do conhecimento considerado válido pela comunidade de pesquisadores. Para Leydesdorff (1998), elas indicam contextos sociais e cognitivos das pretensões de conhecimento dispostas no meio científico.

Com base nesse quadro analítico, os periódicos passam a ter papel especialmente relevante na própria medida em que podem ser considerados não apenas repositórios de idéias, mas instrumentos de preservação da confiabilidade e autenticação do conhecimento científico. Além disso, constituem meios de comunicação e de distribuição de créditos entre os membros de uma comunidade científica (Cronin, 1984). Deste modo, periódicos representam práticas sociais da atividade dos pesquisadores, estando associados ao seu contexto social no que tange à institucionalização de uma cultura acadêmica orientada para a produção e o reconhecimento. Por conseguinte, atuam como veículos para se alcançar visibilidade profissional e institucional, fornecendo prestígio aos pesquisadores e ao próprio periódico, uma vez que o compartilhamento e a divulgação das inovações científicas ocorrem por meio deles (Moed, 2005; Rousseau, 2002).

Entretanto, a institucionalização desses aspectos traz também situações adversas que precisam ser, ainda que brevemente, pontuadas. Camí (1997), por exemplo, adverte que há, atualmente, exagero sobre a necessidade de publicar como modo de sobreviver socialmente na comunidade científica. O mote publicar ou perecer representa bem a crítica desse autor, que sugere, ainda, haver o risco dos periódicos irem além do seu papel de disseminador de conhecimento para a valorização superficial de pesquisadores, grupos ou instituições que promovem seu próprio prestígio, muitas vezes mediante publicações espúrias.

Souza e Paula (2002), Yamamoto et al. (2002) e Schultze (2005) observam que preocupação semelhante é também visível no contexto brasileiro. Krzyzanovski e Ferreira (1998) reforçam que essa situação se agrava diante da proliferação de periódicos, cujas características nem sempre atendem ao padrão desejável, seja pela ausência de normalização ou de corpo editorial, seja pela irregularidade de circulação ou, ainda, por conter artigos com baixo nível de originalidade. Todas essas razões, associadas, no Brasil, às freqüentes interpretações equivocadas da extensão das pressões institucionais ligadas à avaliação dos programas de pós-graduação strictu sensu, implicam a necessidade de monitoramento da produção científica em favor, entre outras ações, da avaliação de periódicos. Abordagens de Abordagens de Abordagens de Abordagens de AAAAvaliação de valiação de valiação de valiação de PPPPeriódicoseriódicoseriódicoseriódicos

A avaliação de periódicos pode ter diferentes finalidades, dependendo do público interessado. Bibliotecários a utilizam como ferramenta auxiliar para a gestão do acervo; cientistas podem tratá-la como maneira de identificar o local adequado para publicar seus artigos; agências de fomento podem considerá-la como parâmetro para a concessão de financiamentos e avaliação de programas de pesquisa; editores podem dela se valer para avaliar políticas e práticas editoriais; e assim por diante (Coelho et al., 2003; Dubois & Reeb, 2000; Guedes & Borschiver, 2005). Todas essas possibilidades são consideradas importantes neste artigo, mas chamamos a atenção para o fato de a avaliação de periódicos permitir sua qualificação em termos da visibilidade que adquirem numa determinada área, o que denota seu prestígio e, em certa medida, sua repercussão no processo de construção do conhecimento científico.



356

Três abordagens podem ser consideradas predominantes em processos de avaliação de periódicos (vide Coleman, 2007; Dubois & Reeb, 2000; Garfield, 1990; Ken & Tang, 2003; Rousseau, 2002; Yamamoto et al., 2002). A primeira delas emprega painéis de especialistas que atuam como juízes na valoração dos periódicos, de acordo com critérios de qualidade previamente definidos. A segunda forma procura avaliar os periódicos realizando o levantamento da percepção de qualidade conforme expostas por pesquisadores ou outros grupos representativos da área de interesse. Por fim, a terceira possibilidade, talvez a mais difundida atualmente, leva em consideração informações bibliométricas, especialmente das citações recebidas na literatura acadêmica, para avaliar os periódicos (Moed, 2005).

Tradicionalmente, a avaliação da qualidade de periódicos pode abranger inúmeros atributos. Krzyzanovski e Ferreira (2003) sugerem que na avaliação sejam considerados, além da normalização rigorosa, os seguintes parâmetros: a qualidade dos artigos quanto ao nível científico, atualidade e concordância com a temática proposta pela revista; o número de manuscritos submetidos para avaliação; a qualidade do corpo editorial e dos consultores, incluindo a participação de membros da comunidade nacional e internacional; os critérios de arbitragem dos textos; a natureza da instituição publicadora; a abrangência quanto à origem dos trabalhos; a difusão da revista; e a inclusão em serviços indexadores. De maneira complementar, Rousseau (2002), após revisão dos trabalhos de Garfield (1990), Testa (1998) e Zwemer (1970), inclui outras características, tais como: o grau de exigência para aceitação de trabalhos; a rapidez na publicação; a confiabilidade do material publicado; a freqüência de citações por outros periódicos; a existência de resumos ou sumários em inglês; a indicação do endereço dos autores; a apresentação de informações bibliográficas completas; a reputação dos editores e o volume de empréstimo entre bibliotecas.

Essa lista não é exaustiva, evidentemente, e outros critérios podem ser encontrados na literatura (vide Bollen, Rodriguez, & Van de Sompel, 2006; Coleman, 2007; Uncles, 2004), cujo apego a cada um deles dependerá da finalidade específica da avaliação (Rousseau, 2002). Vale destacar, no entanto, que desde os primeiros esforços de indexação de citações de artigos científicos, durante as décadas de 50 e 60 do século 20, houve crescimento acentuado na utilização da bibliometria para estudo das comunicações científicas, em especial a partir de sua representação formal por meio de referências apresentadas em trabalhos (Moed, 2005; Wouters, 1999). Gradualmente, os estudos avançaram nas considerações a respeito das citações realizadas entre periódicos, culminando, anos mais tarde, em um construto conhecido como fator de impacto. Ele vem sendo bastante utilizado pela comunidade científica, já que caracteriza a importância da produção cientifica, em função do reconhecimento outorgado por outros pesquisadores (Silva & Bianchi, 2001). Avaliação de Avaliação de Avaliação de Avaliação de PPPPeriódicos em eriódicos em eriódicos em eriódicos em AAAAdministração no Brasildministração no Brasildministração no Brasildministração no Brasil

No Brasil, o fator de impacto ainda é pouco utilizado para a avaliação de periódicos. No campo da administração, em especial, fica restrito à avaliação da produção intelectual de pesquisadores, em conformidade com o meio de divulgação de seus trabalhos: a) pela CAPES, como referência para a qualificação de periódicos internacionais com a finalidade de auxiliar a avaliação dos programas de pós-graduação stricto sensu; b) como parâmetro de julgamento utilizado por agências de fomento à pesquisa; c) na avaliação do currículo de pesquisadores (Coelho et al., 2003; Jordão, Garcia, & Marchini, 2006).

A ausência de um mapeamento da produção científica da área, identificando a relação entre os artigos e as citações realizadas, na linha do que foi verificado por Yamamoto et al. (2002) na área da psicologia, praticamente inviabiliza a análise bibliométrica nos moldes do que é realizada internacionalmente. Na área de Administração, especificamente, a avaliação de periódicos considerada mais importante é aquela que decorre do uso do Sistema Qualis-CAPES.

Conforme mencionamos anteriormente, os periódicos e outros meios de divulgação da produção científica são regularmente analisados por comissões de especialistas da respectiva área de conhecimento na CAPES, auxiliando a avaliação da produção científica dos programas de pós-graduação stricto sensu. Em termos gerais, os conceitos decorrem da combinação da avaliação de duas



357

grandes dimensões: qualidade (alta, média ou baixa, correspondendo aos conceitos A, B e C) e circulação (internacional, nacional e local). Nesse sistema, embora haja um conceito de impacto do periódico, ele se restringe à avaliação subjetiva de pelo menos dois avaliadores a partir do exame dos artigos publicados no período da avaliação (CAPES, 2007). Assim, o indicador bibliométrico de impacto é considerado apenas para a pontuação das publicações realizadas em periódicos internacionais, indexados no Journal Citation Reports [JCR] da Thomson Scientific (CAPES, 2007).

Vale mencionar que, além do que se realiza por meio do Sistema Qualis-CAPES, outros esforços de avaliação de periódicos estão em curso. Talvez o mais relevante deles seja aquele realizado pela Scientific Electronic Library Online [SciELO], projeto desenvolvido pela Fundação de Amparo à Pesquisa do Estado de São Paulo [FAPESP] em parceria com o Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde [Bireme], com o apoio do Conselho Nacional de Desenvolvimento Científico e Tecnológico [CNPq].

No primeiro semestre de 2008, a base eletrônica do SciELO continha 209 periódicos nacionais distribuídos pelas diferentes áreas do conhecimento, que já podem contar com um programa de avaliação no mesmo formato daquele realizado pela Thomson Scientific. Entre eles, no entanto, apenas três periódicos nacionais são da área de administração: RAE-e, RAC e RAP. A despeito de terem precisado atender a critérios bibliométricos, de normalização, mérito científico e gestão editorial para fazerem parte da base de dados SciELO (http://www.scielo.org, recuperado em 29 de maio de 2008), pouco pode se concluir a respeito de sua repercussão na área da administração, considerando os dados hoje disponíveis(1) apenas para os três periódicos. Fator de Impacto como Instrumento de Avaliação de PeriódicosFator de Impacto como Instrumento de Avaliação de PeriódicosFator de Impacto como Instrumento de Avaliação de PeriódicosFator de Impacto como Instrumento de Avaliação de Periódicos

Criado por Eugene Garfield e Irving H. Sher no início da década de 1960, o fator de impacto (FI) vem se consolidando como a mais difundida e conhecida medida de avaliação bibliométrica de periódicos na comunidade científica (Frandsen, 2007; Garfield, 1999; Glanzel & Moed, 2002; Krauss, 2007; Moed, 2005; Rousseau, 2002; Strehl, 2005). Originalmente, o indicador de impacto tinha a finalidade de servir como ferramenta de seleção de periódicos para inclusão no recém criado Science Citation Index [SCI] (2) (Garfield, 2005; Glanzel & Moed, 2002). Porém seu uso ganhou ímpeto a partir de 1976, quando anualmente passou a ser publicado o Journal Citation Reports [JCR] pelo Instituto de Informação Científica [ISI] (3), hoje Thomson Scientific (Ingwersen et al., 2001; Rousseau, 2002).

O JCR é um conjunto de dados estatísticos que, a cada ano, apresenta medidas quantitativas para avaliação, categorização e comparação de periódicos. Nele é possível encontrar dados dos últimos dez anos sobre a freqüência de citação recebida pelo periódico, o montante de artigos por ele publicados, a freqüência média de citação de cada um desses artigos, entre outras informações(4) (Rousseau, 2002). A partir delas, outros indicadores bibliométricos são também disponibilizados, dentre os quais o fator de impacto.

Em função dessa ampliação de escopo, o fator de impacto para periódicos atualmente passou a ser associado ao prestígio ou qualidade de periódicos (Moed, 2005). Está sendo utilizado por diferentes públicos e diferentes finalidades, como a avaliação de pesquisadores, grupos de pesquisa ou departamentos de acordo com os periódicos em que veicularam suas publicações (Coelho et al., 2003; Glanzel & Moed, 2002; Moed, 2005), além de outros fins que mencionamos anteriormente.

O fator de impacto (FI) de um periódico é, tradicionalmente, calculado a partir da razão entre dois elementos, citações (C) e artigos publicados (N), para uma janela temporal de dois anos, conforme a

fórmula . Assim, o cálculo do fator de impacto de um periódico para o ano de 2007, por exemplo, considera: no numerador o volume de citações no ano corrente para qualquer item publicado no periódico nos dois anos anteriores, enquanto no denominador está o montante de artigos publicados pelo periódico nesses mesmos dois anos (Garfield, 1972, 2005).



358

Moed (2005) explica que o fator de impacto representa a média aritmética da distribuição de citações entre os artigos de um periódico, o que, para Wouters (1999), em concordância com Garfield (1955), expressa a probabilidade de um autor ser citado caso publique no periódico em questão.

Ressaltamos, contudo, que críticas são direcionadas ao uso desse indicador enquanto medida de avaliação de periódicos. Em especial no que refere às possíveis imperfeições nas bases de dados, ao processo de seleção de periódicos utilizado pelo JCR, à comparabilidade limitada entre áreas, à amplitude de dois anos para consideração da janela temporal de análise, entre outros (vide, por exemplo, Bollen et al., 2006; Camí, 1997; Coleman, 2007). Na realidade, críticas como essas chamam a nossa atenção mais para o uso indiscriminado do indicador do que, propriamente, para as limitações técnicas que possam implicar em sua inutilidade.

Garfield (2005), idealizador do fator de impacto, também reforça essa questão alertando para certos riscos associados à ampliação do uso deste indicador para avaliação de autores e não de periódicos. Ele considera que o FI foi concebido para ser calculado para uma população relativamente grande de artigos e citações, o que normalmente não ocorre quando a unidade de analise é alterada para pesquisadores. Camí (1997), por sua vez, critica o que chama de impactolatria , ou seja, a apreciação exagerada dos indicadores de impacto, de tal modo a corromper políticas editoriais e a própria noção de qualidade científica, reduzindo o conceito a uma única medida representativa.

Por outro lado, Saha et al. (2003) constataram, em pesquisa realizada na área médica, haver alta correlação entre fator de impacto de periódicos e percepção de qualidade expressa por especialistas. Além disso, o indicador se mostrou menos tendencioso do que outras medidas mais qualitativas. O argumento principal para a defesa do FI é que os pesquisadores e praticantes percebem que os jornais com maior fator de impacto são aqueles que apresentam os avanços científicos mais significativos.

Garfield (2005), por sua vez, afirma que o fator de impacto de periódicos sofre pouca variação quando se amplia a janela temporal de análise para até 15 anos. Glanzel e Moed (2002) sintetizam os aspectos positivos colecionados ao longo de 40 anos de uso do indicador, reunindo-os em torno de três características que o consagraram: robustez, compreensão e disponibilidade. Cabe mencionar, todavia, que algumas circunstâncias podem influenciar no cálculo do fator de impacto. Entre elas, a circulação do periódico nos círculos acadêmicos, os atrasos nas publicações, ou as restrições ao uso de referências para indicar a literatura relevante. PPPPROCEDIMENTOS ROCEDIMENTOS ROCEDIMENTOS ROCEDIMENTOS MMMMETODOLÓGICOSETODOLÓGICOSETODOLÓGICOSETODOLÓGICOS

Tendo em vista o objetivo do presente estudo de avaliar os periódicos com base em indicadores bibliométricos, foram necessárias diferentes ações para o seu delineamento. Inicialmente, foi preciso estabelecer critérios para a seleção daqueles periódicos que fariam parte da análise. Alguns critérios foram utilizados: a inserção do periódico no Sistema Qualis-Capes; possuir classificação ‘A’ ou ‘B’ nacional; exibir linha editorial com privilégio para conteúdo predominantemente ligado à área da administração; e ser editado nacionalmente. Com base nos periódicos selecionados, foi realizada a contagem de citações.

Vale destacar que desconsideramos periódicos da área de Turismo e de Contabilidade, assim como outros com abrangência mais exclusiva para a área de Produção e Pesquisa Operacional. As exceções ficaram por conta da Revista de Contabilidade & Finanças e de Organizações Rurais e Agroindustriais que, mesmo possuindo foro mais específico, foram incluídos por conter grande número de artigos sobre administração geral. Além de artigos em periódicos, incluímos como fonte de dados para a coleta de citações os Anais do EnANPAD (Encontro anual da Associação Nacional de Pós-Graduação e Pesquisa em Administração), em razão da sua representatividade para a área de administração no país, bem como o periódico Brazilian Administration Review [BAR], por ser uma publicação editada



359

pela ANPAD e classificada como Qualis ‘B’ Internacional. Alguns periódicos sobre os quais não conseguimos acesso eletrônico ou à edição impressa foram desconsiderados(5).

A partir da escolha das fontes para coleta dos dados, definimos critérios para seleção daqueles trabalhos que seriam úteis para a contagem das citações. Foram selecionados somente artigos de natureza acadêmica, não sendo considerados casos de ensino, resenhas, notas bibliográficas, pensatas e outros tipos de produção que não se enquadraram nos critérios considerados para artigos científicos. Tal raciocínio foi também adotado para palestras, entrevistas, depoimentos e outros materiais jornalísticos, bem como apresentações de fóruns, quando restritos apenas a apresentação dos trabalhos. Trabalhos escritos por autores estrangeiros foram considerados, assim como documentos, desde que em forma de artigo. Na Tabela 1 estão listados os periódicos avaliados e o número de artigos por eles publicados por ano.

Tabela 1: Periódicos Utilizados na Análise e Artigos Publicados por Ano

Periódico 2007 2006 2005 2004a 2003a 2002a 2001a 2000a Total BAR* 15 20 25 5 ─ ─ ─ ─ 65 BASE 14 27 6 10 ─ ─ ─ ─ 57 BBR 10 15 11 10 ─ ─ ─ ─ 46 CAD. EBAPE 30 36 51 20 10 ─ ─ ─ 147 ENANPAD 958 833 776 720 630 556 428 363 5.264 GESTÃO.ORG 15 29 20 18 12 ─ ─ ─ 94 O&S** ─ 38 36 29 29 30 34 35 231 OR&A 8 30 30 20 18 13 12 10 141 RAC 29 35 36 42 41 29 41 26 279 RAE 33 39 35 40 32 37 38 43 297 RAE-E 9 16 20 23 26 35 ─ ─ 129 RAI 8 14 16 12 ─ ─ ─ ─ 50 RAM 21 27 22 16 15 16 7 7 131 RAP 42 43 49 48 55 36 50 65 388 RAUSP 31 35 29 29 26 28 32 36 246 RBI 6 14 14 10 9 10 ─ ─ 63 RCA 8 16 16 12 14 18 19 19 122 RC&F 25 41 25 31 30 18 17 8 195 READ 20 60 60 60 47 34 36 34 351 REGE** ─ 15 28 28 28 28 28 28 183 RGTSI 11 18 16 7 ─ ─ ─ ─ 52 RN** ─ 24 21 23 21 22 19 20 150 RAC-E 21 ─ ─ ─ ─ ─ ─ ─ 21 Total por Ano 1.314 1.425 1.342 1.213 1.043 910 761 694 8.702 Fonte: dados da pesquisa. * Foram considerados artigos publicados na BAR e RAC Edições Especiais BAR. ** Os periódicos não haviam publicados os volumes de 2007 e/ou apresentaram problema de acesso. a Artigos utilizados no cálculo dos indicadores bibliométricos, mas não considerados para contagem de citações.

Em síntese, analisamos 22 periódicos e os anais do EnANPAD, que é considerado o evento científico da área de administração mais importante no país. Entre os anos de 2005 e 2007 foram publicados 4.081 artigos nesses veículos de divulgação. A lista com o nome completo, sigla e ISSN está disponível no Apêndice. Contabilizamos os artigos publicados entre os anos de 2000 e 2004 somente para efeito do cálculo do fator de impacto, não os considerando como fontes de citações. Ao encerrarmos o período de coleta de dados em meados de outubro de 2007, alguns periódicos ainda não tinham publicado todas as edições do ano. Por exemplo, a revista Organizações & Sociedade, até a data de coleta, não havia distribuído nenhuma das edições desse ano. Por sua vez, a Revista de Gestão da USP (REGE, antigo Cadernos de Pesquisa em Administração da USP) e a Revista de Negócios [RN] não exibiram em seus sites as edições de 2007. A ausência desses dados poderia contribuir negativamente para o cálculo do fator de impacto desses periódicos; contudo os dados relativos aos anos de 2005 e 2006 estão completos e permitiram ponderar os resultados.



360

Em relação aos 4.081 artigos selecionados, verificamos a existência e o número de referências direcionadas aos periódicos listados para análise (vide Tabela 1). Para cada uma dessas referências, registramos também o ano de publicação do artigo citado, dado necessário para o cálculo do fator de impacto e de imediatismo dos periódicos. Nesse processo, avaliamos também o volume de citações recebidas por outros eventos da ANPAD, como Encontro Nacional de Estudos Organizacionais [Êneo], Encontro de Estudos em Estratégia [3Es]; Encontro Nacional de Marketing [EMA]; Encontro Nacional de Administração Pública e Governança [EnAPG], Simpósio de Gestão da Inovação Tecnológica, Encontro de Gestão de Pessoas e Relações de Trabalho [EnGPR], Encontro Nacional de Administração de Informação [EnADI] e Encontro Nacional de Ensino e Pesquisa em Administração [EnEPQ]. Constatamos a ausência de citações no que concerne a esses três últimos eventos.

Avaliamos, com base nos dados tabulados, o montante de citações recebidas por cada um dos periódicos selecionados para os anos de 2005, 2006 e 2007. Adicionalmente, exploramos esses dados a fim de conhecer a participação deles sobre o total daquelas citações advindas de artigos publicados nos anais do EnANPAD e das autocitações.

A partir daí, elaboramos a distribuição do total de citações recebidas por cada periódico. O objetivo foi evidenciar a estratificação, conforme a lei do elitismo enunciada por Price (1965) que trata da tendência de concentração de citações em poucas fontes. Avaliamos também o total de autocitações de cada revista e o número de veículos que a citaram na amostra (fontes citantes), de modo a perceber a difusão entre os diferentes meios de comunicação acadêmica analisados.

Calculamos, a seguir, os fatores de impacto de cada um dos periódicos para os anos de 2005, 2006 e 2007. Vale destacar que para o cálculo desses indicadores, as citações aos periódicos, utilizadas no numerador das funções, foram contabilizadas considerando qualquer item referenciado pelos 4.081 trabalhos selecionados para análise, sejam referências a artigos ou não. Já para o denominador, contabilizamos apenas os artigos científicos publicados pelo periódico no período investigado, seguindo os critérios previamente descritos. O único periódico que não teve fator de impacto calculado foi a RAC-e por ainda não ter alcançado dois anos de publicação até o momento da coleta de dados.

A fim de considerarmos diferentes possibilidades de mensuração, calculamos o fator de impacto com base em diferentes janelas temporais, variando de 2 a 5 anos. Além disso, outras variações também foram avaliadas no artigo. Na primeira delas, excluímos do cálculo aquelas citações ao periódico em análise realizadas por artigos nele publicados, as autocitações, de modo a aumentar o critério de justiça e, portanto a sua validade para mensuração da qualidade (Krauss, 2007). Na outra, a janela temporal foi reduzida para apenas um ano. Isso nos remete ao que é conhecido como índice de imediatismo, utilizado para mensurar o impacto das publicações de um periódico durante o seu ano de publicação, isto é, a rapidez com que novos artigos são citados.

Em uma última etapa, realizamos a comparação dos indicadores por meio de correlação não paramétrica entre os fatores de impacto calculados tradicionalmente, para dois anos, e aqueles resultantes de variações da amplitude da janela temporal, para três, quatro e cinco anos. Adicionalmente, utilizamos o mesmo procedimento com relação aos fatores de impacto resultantes de cálculo sem a inclusão de citações advindas de artigos publicados nos anais do EnANPAD e autocitações, considerados isoladamente ou em conjunto. Finalmente, por meio do teste ANOVA, comparamos o fator de impacto médio para diferentes conjuntos de periódicos, segundo a categorização do Sistema Qualis-Capes, ajustado de acordo com o propósito do presente estudo: periódicos classificados como ‘A’ Nacional Antigos; aqueles recentemente classificados como ‘A ’ Nacional; e os classificados como ‘B’ Nacional. Essa categorização tem como base os dados divulgados no site do Sistema Qualis-Capes, em setembro de 2007 e a agenda de alterações para 2008 (publicada em 14 de setembro de 2007).



361

AAAANÁLISE NÁLISE NÁLISE NÁLISE DDDDOS OS OS OS RRRRESULTADOSESULTADOSESULTADOSESULTADOS

A partir da análise dos 4.081 artigos coletados, apresentamos na Tabela 2 o total de citações por períodos.

Consideramos como componente adicional também o total de citações desses mesmos periódicos sem o EnANPAD, o total de autocitações e o total de fonte citantes. Nos artigos analisados, foram citados um total de 6.408 artigos publicados pelos periódicos e nos anais dos eventos avaliados, correspondendo a somente 5% do total de citações. Tal achado corrobora estudos anteriores que afirmam que a nossa produção acadêmica ainda utiliza dominantemente publicações estrangeiras nas citações (52,4% do total) e livros (Caldas & Tonelli, 2004; Rodrigues & Carrieri, 2001; Vergara & Pinto, 2001; Vieira, 2003).

Mesmo havendo pequeno percentual de citações de artigos nacionais, alguns dos veículos se destacam. Entre os analisados, desponta com mais da metade das citações recebidas, os artigos publicados nos anais do EnANPAD. Na própria contramão da valorização crescente de artigos publicados em periódicos (considerados trabalhos em sua versão definitiva) verificamos que a produção científica em administração, ao citar artigos nacionais, considera em grande proporção os artigos publicados em anais de eventos da ANPAD. Ao somarmos o percentual de artigos publicados no EnANPAD com outros eventos analisados (EnEO, EMA, 3Es, EnAPG e Simpósio) chegamos a 55,2% dos artigos citados. Essa circunstância pode levar ao questionamento do nível de maturidade da nossa produção científica, uma vez que artigos em anais de congressos acadêmicos são entendidos como trabalhos em construção (Bertero, Caldas, & Wood, 1999), cujo desenvolvimento ainda não passou por critérios de avaliação mais rigorosos.

Tabela 2: Citações por Periódico ou Evento

Citações Citações sem

Enanpad Autocitações Fontes

Citantes Periódico ou evento 07 06 05 Total % n % n % n %

ENANPAD 1261 1181 821 3263 50,92% 1109 34,0% 2154 66,0% 22 95,7% RAE 392 421 330 1143 17,84% 388 33,9% 72 6,3% 21 91,3% RAC 182 144 125 451 7,04% 139 30,8% 13 2,9% 20 87,0% RAUSP 118 139 121 378 5,90% 179 47,4% 33 8,7% 21 91,3% RAP 88 123 95 306 4,78% 132 43,1% 49 16,0% 16 69,6% O&S 71 57 69 197 3,07% 69 35,0% 20 10,2% 16 69,6% EnEO 33 40 40 113 1,76% 52 46,0% 3 2,7% 11 47,8% RAE-E 39 30 23 92 1,44% 29 31,5% 5 5,4% 15 65,2% READ 31 26 15 72 1,12% 20 27,8% 3 4,2% 13 56,5% RC&F 38 15 7 60 0,94% 38 63,3% 22 36,7% 7 30,4% Simpósio 19 15 24 58 0,91% 15 25,9% 0 0,0% 9 39,1% REGE 26 10 15 51 0,80% 19 37,3% 1 2,0% 12 52,2% 3ES 18 17 11 46 0,72% 15 32,6% 0 0,0% 7 30,4% EMA 24 10 3 37 0,58% 10 27,0% 0 0,0% 5 21,7% CAD. EBAPE 10 10 7 27 0,42% 13 48,1% 2 7,4% 7 30,4% BAR* 12 7 4 23 0,36% 8 34,8% 5 21,7% 5 21,7% RBI 4 7 9 20 0,31% 8 40,0% 7 35,0% 3 13,0% EnAPG 12 5 1 18 0,28% 7 38,9% 0 0,0% 4 17,4% RAM 8 2 6 16 0,25% 6 37,5% 1 6,3% 6 26,1% GESTÃO.ORG 8 3 4 15 0,23% 6 40,0% 0 0,0% 5 21,7% RN 1 1 5 7 0,11% 5 71,4% 3 42,9% 3 13,0% BBR 1 3 2 6 0,09% 1 16,7% 0 0,0% 2 8,7% OR&A 1 2 1 4 0,06% 3 75,0% 3 75,0% 2 8,7% BASE 2 1 0 3 0,05% 1 33,3% 1 33,3% 2 8,7% RCA 0 0 1 1 0,02% 1 100,0% 1 100,0% 1 4,3% RGTSI 1 0 0 1 0,02% 0 0,0% 0 0,0% 1 4,3% Total 2.400 2.269 1.739 6.408 ─ 2.273 35,47% 2.398 37,40% ─ ─ Obs: RAI, RAC-E, EnADI, EnEPQ e EnGRP não receberam nenhuma citação. Fonte: dados da pesquisa. * Foram considerados artigos publicados na BAR e RAC Edições Especiais BAR.



362

Destacamos, entre os periódicos, a Revista de Administração de Empresas [RAE], editada pela Fundação Getúlio Vargas de São Paulo, que recebeu quase 18% das citações de periódicos nacionais. Sendo uma das revistas mais antigas e de maior distribuição no país, diferencia-se das demais em número de citações, uma vez que seus artigos têm penetração não somente no meio acadêmico, mas também no meio empresarial. Outros periódicos também se destacaram. Por exemplo, a Revista de Administração Contemporânea [RAC], editada pela ANPAD, apesar de ter somente onze anos de existência, situa-se logo a seguir como fonte de citações, com 7,04% do total. Periódicos mais antigos e tradicionais como a Revista de Administração [RAUSP] e a Revista de Administração Pública apresentaram também número de citações relativamente elevado, com 5,9% e 4,78% respectivamente.

Periódicos com foco mais específico ou direcionados como Organizações & Sociedade e Revista de Contabilidade & Finanças, bem como aqueles de veiculação exclusivamente eletrônica, como a RAE-Eletrônica e a Revista Eletrônica de Administração [REAd] vêm a seguir em número de citações. Em comum entre esses periódicos está a classificação como Qualis ‘A’ Nacional há mais tempo do que os demais, além de, em sua maioria, terem também maior tempo de existência, o que contribui para a sua maior visibilidade.

Esses periódicos, além de serem os mais citados, também foram os mais utilizados em termos absolutos por outras revistas. Comparando as fontes citantes (Tabela 1), observamos que as quatro fontes mais citadas tendem a ser referenciadas em torno de 90% dos veículos analisados. Entre as revistas classificadas como Qualis ‘A’ , observa-se também grande número de fontes citantes, todas elas com mais de 50% dos periódicos analisados citando-as (com exceção da RC&F com 30,4%).

Periódicos de classificação ‘B’ também apresentaram grande número de citações como a Revista de Gestão [REGE], que é bem utilizada por outras revistas (52,2% delas). Em patamar bem mais abaixo podem ser localizadas a Revista Brasileira de Inovação [RBI] e o periódico Gestão.ORG. Já alguns periódicos recentemente classificados como Qualis ‘A’ , como os Cadernos EBAPE e a Revista de Administração Mackenzie [RAM] também apresentaram bom número de citações.

Ao analisar os dados sobre a quantidade de citações recebidas pelos periódicos, salta aos olhos uma constatação preocupante: dos artigos publicados, apenas pequena parte é lida e parte ainda menor é citada. À luz dos dados até aqui apresentados e como se verá a seguir com a apresentação do fator de impacto fica evidente que em alguns periódicos a probabilidade de um artigo ser lido e ser citado aumenta em escala exponencial. Para ilustrar essa relação, apresentamos no Gráfico 1 a curva J invertida, que demonstra visualmente a relação de artigos citados por veículo de divulgação. Do periódico mais citado para o menos, o número de citações cai exponencialmente (R² = 95%, p < 0,001), em que seis veículos (20 %) correspondem a 89,54 % do total de citações de todos os periódicos nacionais avaliados. Ao se considerar apenas os periódicos, excluindo os eventos, a concentração ainda continua alta com 27% dos veículos, equivalente a seis revistas (RAE, RAC, RAUSP, RAP, O&S e RAE-e), ficando com 89,35% das citações.



363

Gráfico 1: Curva J invertida

Fonte: dados da pesquisa.

Na Tabela 2 é possível visualizar o montante de citações dos periódicos, descontadas as citações recebidas por trabalhos publicados nos anais do EnANPAD, cuja influência é significativa no total de citações. Consideramos essa análise com o objetivo de verificar se alguns periódicos recebem maior ou menor número de citações de artigos dos anais desse evento em comparação aos demais. A maioria das revistas apresentou percentual de trinta a quarenta por cento do total de citações, descontando aquelas originadas de artigos dos anais do EnANPAD. Como os artigos desse evento correspondem a mais da metade das publicações, a nossa expectativa era de uma relação percentual significativa, o que se verificou. O padrão de citações de artigos de evento tende a ser similar ao de citações de periódicos, não se verificando grandes diferenças de citações entre os dois veículos.

Alguns periódicos, no entanto, apresentaram escore bem maior de citações ao se desconsiderar o EnANPAD, como a Revista de Contabilidade & Finanças (63,3%), a Revista de Negócios (71,4%), o periódico Organizações Rurais e Agroindustriais (75%) e a Revista de Ciências da Administração (100%). A maioria delas apresenta número de citações bastante reduzido (menos de 10 citações nos três anos), com exceção da Revista de Contabilidade & Finanças, que está entre as mais citadas. Esta última, por ser de um campo específico, provavelmente tem as suas citações concentradas nela própria e em outras revistas que dão destaque a essa área.

No que concerne às autocitações, verificamos que a maioria das publicações não apresenta percentual significativo de referência a ela própria (escore inferior a 20%,). Entre as que revelaram maior número de autocitações encontra-se a Revista de Contabilidade e Finanças (36,7%), em face do seu escopo mais específico de atuação, por um lado, e do reduzido número de veículos para publicação nesse campo, por outro. O mesmo ocorre com a OR&A, que apresenta escore de autocitações de 75% (3 citações das 4 que recebeu no total). Outras revistas com foro não tão específico receberam maior número de autocitações, entre elas a Revista Brasileira de Inovação (35%), a Revista de Negócios (42,9%) e o periódico Base (33,3%).

As autocitações são contabilizadas nos indexadores internacionais como o ISI Web of Science of Thomson Scientific, entre outros. No entanto são entendidas por muitos pesquisadores como uma citação de menor valor, já que podem ser fruto da tendência de alguns autores tentarem agradar o periódico com citação dele próprio, aumentando as chances de aceitação do artigo. Pode até resultar da atitude deliberada de algumas revistas em exigir a citação de artigos dela mesma (vide, por exemplo,



364

Castiel & Sanz-Valero, 2007). Tal postura não tem somente implicações éticas, mas também implicações para o conhecimento em si, já que pode levar à citação de textos de forma descontextualizada, alguns deles sem sequer terem sido lidos adequadamente pelos autores que os citam.

O comportamento de autocitação também pode decorrer do acesso privilegiado que alguns pesquisadores têm a certos periódicos, o que remete à estratificação social não só do conhecimento, mas dos mecanismos de comunicação na academia. Em alguns casos, em razão da demora na avaliação da maioria dos periódicos, certos pesquisadores podem utilizar de sua influência como conselheiros editoriais ou de seus laços pessoais, para aprovar artigos de forma mais rápida. Em periódicos com grande número de citações, esse comportamento não implica em distorção no montante de autocitações. Em revistas com menor número de citações, no entanto, qualquer inclusão recorrente do mesmo autor, que cita artigos da mesma revista, pode elevar o seu percentual de autocitação. Diante da pressão por publicação, esse comportamento tende a ser cada vez mais comum, o que não significa que ele deva ser aceito como correto. Com exceção de artigo escrito por editor, que usualmente publica um artigo por ano no periódico em que atua, a influência pessoal no processo de avaliação remete a um tipo de personalismo que não condiz com a postura de imparcialidade, fundamental na construção do conhecimento científico.

A influência de autocitações no total de citações e no fator de impacto gerou alguns estudos que desenvolveram medidas ponderadas de avaliação, com o objetivo de descontar as autocitações. Contudo são raros os estudos que avaliam se as citações ou o fator de impacto ponderado diferem significativamente dos escores totais. Neste artigo procuramos avaliar também essa relação, que será tratada em análise posterior.

Ainda que seja considerada relevante, a análise das citações não pondera o total de citações pelo número veiculado de artigos por periódico. É nesse contexto que ganha relevo e aceitação o fator de impacto na análise bibliométrica. Na Tabela 3 estão expostos os fatores de impacto dos periódicos analisados da área de administração para os anos de 2007, 2006 e 2005.

Tabela 3: Fator de Impacto e Imediatismo dos Periódicos

Periódico Qualis FI-07 FI-06 FI-05 Imed-07 Imed-06 Imed-05

RAE A 0,851 0,987 1,069 0,000 0,103 0,257 RAC A 0,451 0,654 0,566 0,000 0,057 0,139 O&S A 0,419 0,062 0,379 nd 0,000 0,028 RAE-E A 0,417 0,372 0,286 0,444 0,188 0,200 BAR* A 0,267 0,233 0,200 0,000 0,000 0,120 ENANPAD A 0,252 0,250 0,223 0,003 0,008 0,012 RC&F A 0,167 0,125 0,049 0,000 0,000 0,000 REGE B 0,140 0,036 0,107 nd 0,000 0,000 RAP A 0,130 0,186 0,165 0,000 0,047 0,000 RAUSP A 0,125 0,362 0,400 0,000 0,029 0,034 READ A 0,108 0,083 0,037 0,000 0,017 0,017 GESTÃO.ORG B 0,102 0,079 0,133 0,000 0,000 0,000 RAM A Nova 0,061 0,000 0,065 0,000 0,000 0,045 CAD. EBAPE A Nova 0,046 0,042 0,100 0,167 0,000 0,059 BBR A Nova 0,038 0,143 0,100 0,000 0,000 0,000 BASE A Nova 0,030 0,063 0,000 0,000 0,000 0,000 OR&A A Nova 0,000 0,020 0,000 0,000 0,000 0,000 RAI B 0,000 0,000 0,000 0,000 0,000 0,000 RBI B 0,000 0,083 0,211 0,000 0,000 0,000 RCA B 0,000 0,000 0,000 0,000 0,000 0,063 RGTSI A Nova 0,000 0,000 0,000 0,000 0,000 0,000 RN B 0,000 0,000 0,000 nd 0,000 0,000

Fonte: dados da pesquisa. * Apesar de ser classificada como B Internacional, foi tratada como A Nacional neste artigo.



365

Entre os periódicos analisados, a RAE aparece como a revista de maior fator de impacto na área de administração, com diferença significativa para os demais periódicos. Observando o fator de impacto nos três períodos, podemos verificar que, em média, a RAE tende a receber uma citação por artigo publicado nos dois anos anteriores ao da avaliação. Vários fatores contribuem para essa posição de destaque: o maior tempo de existência da revista; o vínculo com a Escola de Administração de Empresas de São Paulo da Fundação Getúlio Vargas [EAESP/FGV], uma das tradicionais e prestigiosas escolas de gestão no país; a amplitude de circulação da revista, tanto de maneira impressa como por meio eletrônico; e a preocupação continuada em fazer com que a revista sempre chegue aos seus colaboradores e leitores.

A segunda revista de maior fator de impacto é a RAC, que é publicada pela ANPAD. Apesar de existir a pouco mais de 10 anos, projetou-se como periódico de grande visibilidade acadêmica, principalmente por estar vinculado à associação da área, beneficiando-se, assim, do seu prestígio, da sua amplitude e da sua imparcialidade em relação a pesquisadores e a programas. Outras revistas como Organizações & Sociedade, RAE Eletrônica e RAUSP também apresentaram fator de impacto elevado (entre 0,3 e 0,4), o que permite classificá-las entre as cinco revistas de maior penetração na academia brasileira de administração. Vale destacar que a RAUSP apresentou fator de impacto pequeno no ano de 2007 (FI = 0,125). Todavia os dados de 2007 estão incompletos, pois algumas revistas não tinham publicado todas suas edições até o fim da coleta das informações, o que leva a que esse resultado, especificamente no caso da RAUSP, deva ser visto com ressalva e seja interpretado com certa cautela. Os demais periódicos, ao se comparar os fatores nos três anos, oscilaram pouco em termos de fator de impacto, demonstrando que, mesmo alguns deles estando incompletos em termos dos dados do ano de 2007, não prejudica a análise levada a efeito neste artigo.

Merece destaque também o fator de impacto da Brazilian Administration Review [BAR] que, apesar de ser periódico lançado no final de 2004, atingiu fator de impacto de 0,267 em 2007, o que significa um crescimento gradual e consistente em relação aos anos de 2006 e 2005. Na mesma linha do que se verificou com a RAC, a situação da ANPAD como associação de prestígio no meio acadêmico brasileiro foi fundamental para impulsionar muito rapidamente o primeiro periódico de administração no país com foco e amplitude internacional.

Na direção de destacar os fatores de impacto mais elevados, os anais do EnANPAD, que são publicados pela associação da área, apresentaram FI maior do que a maioria dos periódicos. Tal resultado pode reforçar a opinião de muitos pesquisadores de que eles deveriam continuar a ser pontuados como publicação científica. Pela facilidade de acesso e por serem rapidamente colocados à disposição mediante meios eletrônicos, artigos de eventos podem apresentar descobertas recentes que serão apresentadas em periódicos somente um bom tempo depois. Apesar de o argumento ser sedutor, a apresentação de artigo em congressos acadêmicos caracteriza-se como trabalho em processo de construção e deveria ser pontuado tão somente como mecanismo de participação e envolvimento do pesquisador, seja ele aluno ou professor, com a sua comunidade acadêmica. Assim, a pontuação na CAPES deveria considerar o nível de participação do corpo docente e do corpo discente dos programas de pós-graduação stricto sensu nos congressos científicos relevantes da área, como é o EnANPAD. Essa valorização demonstraria que a CAPES está atenta para importância do estabelecimento de redes de relacionamento entre pesquisadores que, por si só, merece pontuação pelo papel que exercem na construção de uma comunidade científica. Assim, eventos como os da ANPAD seriam pontuados com o objetivo de envolvimento com a comunidade acadêmica e não como publicação científica, locus por excelência dos periódicos.

Entre as revistas com fator de impacto significativo enquadra-se a RC&F, mesmo sendo ela de uma área específica. Considerando a área de contabilidade, o fator de impacto deste periódico tem significado de grande relevância até mesmo pela ausência de outras revistas alternativas que possam com ela competir. Ainda outras, de foro mais específico, como a Revista de Administração Pública apresentaram fator de impacto relevante. Essas revistas enfrentam o desafio de conciliar objeto e campos do conhecimento de natureza complexa e multidisciplinar. Tais revistas, em avaliações de impacto por áreas, tendem a ficar em desvantagem, já que não são consideradas em termos do total de citações pela maior amplitude de suas temáticas.



366

Algumas revistas classificadas com Qualis ‘B’ tiveram fator de impacto superior a boa parte dos periódicos recentemente classificados como Qualis ‘A’ pela CAPES. Por exemplo, a Revista de Gestão da USP (antigo Cadernos de Pesquisa em Administração) e a Revista Eletrônica de Gestão Organizacional [Gestão.Org], ambas de veiculação eletrônica, tiveram fator de impacto maior do que todas as revistas enquadradas como Qualis ‘A’ Nacional no ano de 2007.

Esta situação levou-nos a comparar o fator de impacto médio dos periódicos (excluímos o EnANPAD por razões óbvias) em relação ao conceito atribuído pelo Sistema Qualis-CAPES. Para tanto, definimos três grupos de periódicos: um formado por revistas classificadas anteriormente à última avaliação da comissão como Qualis ‘A’; outro grupo formado pelas revistas recentemente classificadas como Qualis ‘A’ ; o último composto por periódicos classificados como Qualis ‘B’ . Para averiguar a diferença entre fator de impacto realizamos o teste ANOVA de comparação entre médias, com os resultados que podem ser visualizados na Tabela 4.

Tabela 4: Comparação dos Fatores de Impacto entre Qualis

Qualis Fator de Impacto A Novas B A 0,339 0,299 (p < 0,001) 0,289 (p < 0,001) A Novas 0,039 ─ 0,010 (p = 0,930) B 0,049 ─ ─ Diferença entre grupos: 133,90 Diferença dentre grupos: 213,07 F = 18,853 p-value < 0,001 n = 62 Teste Post hoc: Tamhane

Verificamos que o fator de impacto médio das revistas com classificação Qualis ‘A’ foi de 0,339, diferenciando-se significativamente do fator de impacto médio das revistas que obtiveram o Qualis ‘A’ recentemente e das classificadas como Qualis ‘B’ . No entanto, se comparada a media do fator de impacto das revistas Qualis ‘A’ Novas com as Qualis ‘B’, não observamos diferença significativa, ou seja, o fator de impacto desses dois grupos é estatisticamente equivalente. Todavia, como a variância dentro dos grupos mostrou-se alta, poderia se ter a falsa impressão de que o que importa na configuração do fator de impacto é a revista em si, e não a classificação no Sistema Qualis. Isso é verdadeiro apenas para aquelas posicionadas como Qualis ‘A’ por mais tempo.

Para não haver dúvida da diferenciação entre as médias, ilustramos no Gráfico 2 o fator de impacto médio por grupos, acrescido do intervalo de confiança. É nítido que a maior variação do fator de impacto dos periódicos ocorre entre as revistas classificadas como Qualis ‘A’ , indicando que, nesse grupo, a probabilidade de um artigo ser citado ocorre mediante a influência do periódico em si, mais do que a influência do grupo. Contudo se for comparado o fator de impacto médio de periódicos recém classificados como Qualis ‘A’ com aqueles com classificação Qualis ‘B’, não se verifica diferença entre eles. Isso indica que, entre os critérios utilizados pela CAPES, em 2007, não se levou em consideração a probabilidade de uso dos artigos publicados pela revista em termos de citações. Não se pode afirmar que a qualidade dos artigos seja a mesma, mas somente que esses dois grupos de periódicos ainda estão longe de atingir a citação média por artigos das revistas Qualis ‘A’ existentes há mais tempo.



367

Gráfico 2: Comparação entre Fatores de Impacto por Qualis (Intervalo de Confiança de 95%)

Fonte: dados da pesquisa.

Tais resultados possibilitam questionar os critérios utilizados pela CAPES, em 2007, para avaliar a influência efetiva de um periódico sobre a construção do conhecimento científico em seu campo. Ao que parece os critérios utilizados até então não permitem avaliar a influência efetiva de um periódico, razão pela qual a CAPES vem, mais recentemente, atuando no sentido de realizar modificações no Sistema Qualis, que, esperamos, possam contribuir mais efetivamente para o desenvolvimento de uma avaliação mais eficaz.

Acerca do imediatismo, que indica a média de citações por artigos no ano de publicação, em termos gerais, observamos que ele é praticamente inexistente no campo da pesquisa em administração no Brasil, já que a maioria das revistas apresentaram fatores nulos (vide Tabela 3). Uma exceção é o periódico RAE-e, que, sendo veiculado em tempo real por meio eletrônico, teve seu índice de imediatismo bem mais alto do que as demais revistas. Seria possível até atribuir o alto imediatismo ao fato de sua veiculação ser eletrônica. No entanto outras revistas, que também disponibilizam seus artigos exclusivamente pela internet, não apresentam o mesmo resultado. Periódicos que apresentam fator de impacto elevado como a RAE e a RAC também revelam índice de imediatismo elevado, ao se comparar com os demais, realçando que há certa relação entre os dois indicadores. Em linhas gerais, o baixo imediatismo dos periódicos da área de administração ocorre principalmente em decorrência da demora no processo de avaliação. Se os artigos ficam muito tempo em avaliação para serem publicados, não há possibilidade de suas referências serem atuais, afetando não só o imediatismo das revistas, mas o próprio fator de impacto.

Por fim, diante das várias críticas que o fator de impacto recebe em relação ao pequeno período de tempo que utiliza para avaliar as citações, comparamos o fator de impacto de cada um dos anos pesquisados com o fator ampliado em três, quatro e cinco anos. Realizamos a comparação com o fator de impacto sem o EnANPAD, com o ponderado, em que não se considerou as autocitações, e com um fator de impacto sem o EnANPAD e autocitações.



368

Tabela 5: Correlação entre Fatores de Impacto por Diferentes Recortes

FI 3 anos

FI 4 anos

FI 5 anos

FI S/Enanpad

FI Sem Auto Citação

FI Sem Enanpad e Auto Citação

Fator de Impacto 2007 0,97 0,92 0,94 0,87 0,95 0,86 Fator de Impacto 2006 0,96 0,95 0,95 0,90 0,95 0,66 Fator de Impacto 2005 0,98 0,98 0,98 0,94 0,98 0,46

Fonte: dados da pesquisa. Obs. Todas as correlações por meio do teste de Spearman foram significativas.

Ao analisar a correlação entre os fatores de impacto com suas respectivas janelas ampliadas de tempo, observamos que todas elas apresentaram valor maior que 0,9, o que indica que elas estão fortemente correlacionadas. Em termos práticos, isso significa que não importa a amplitude de tempo que é considerado no fator, já que, se o fator de impacto em termos absoluto muda, ele praticamente se altera para todos os periódicos na mesma proporção. Em suma, mesmo avaliando um curto período de tempo, o fator de impacto é útil como medida de impacto dos periódicos.

No que concerne à comparação dos valores sem levar em conta o EnANPAD, o que acarreta a redução da base em mais de sua metade, observamos também correlação forte e significativa, além de demonstrar que os padrões de citações que ocorrem nos periódicos são similares com os dos eventos. No caso das autocitações, também verificamos correlação forte e significativa, indicando que não faz diferença, em termos de classificação, se elas são consideradas ou não no estudo. Em termos gerais, esses resultados corroboram a confiabilidade do fator de impacto como medida relevante para a classificação de periódicos da área de administração, já que essa análise ainda não é levada em consideração pela CAPES como indicador de qualidade da produção científica em nosso campo de conhecimento. CCCCONSIDERAÇÕES ONSIDERAÇÕES ONSIDERAÇÕES ONSIDERAÇÕES FFFFINAIS INAIS INAIS INAIS

A análise precedente sobre o fator de impacto dos periódicos brasileiros no campo da administração nasceu da nossa inquietação com os critérios de avaliação utilizados pelo Sistema Qualis-CAPES, em meados do ano de 2007. A Comissão de Especialistas da área na CAPES realizava a avaliação dos programas de pós-graduação stricto sensu em Administração e um componente fundamental na composição do conceito, que seria atribuído, referia-se à publicação em revistas científicas.

Considerávamos na época, como ainda consideramos nos dias atuais, que os critérios adotados até então eram excessivamente descritivos e com praticamente nenhuma capacidade discriminatória em termos de avaliação da qualidade dos periódicos acadêmicos brasileiros da área de administração. É bem provável que tivessem sido úteis no sentido de orientar certo nível de padronização das revistas acadêmicas, mas o modelo adotado e a correspondente ficha de avaliação estavam decididamente superados.

Apesar de termos ampla, o que não significa plena, consciência das dificuldades de se tratar adequadamente o conceito de qualidade, entendíamos que uma classificação com uso do conceito de fator de impacto seria mais útil do que o modelo segmentado e descritivo em vigência. Foi o que orientou a construção deste artigo, com a nítida orientação de que não se pode e não se deve estabelecer uma relação unidimensional e linear entre a qualificação do impacto de periódicos e a qualidade da produção científica em um campo de conhecimento como o da Administração.

O que procuramos analisar no artigo foi a relação entre grupos de citantes, representados pelos autores da comunidade acadêmica por meio dos seus artigos, e o conjunto de trabalhos citados, representado pelos periódicos. Trata-se, pois, de investigar a expressão agregada das ações de



369

reconhecimento acadêmico, que define, por sua vez, hierarquias no campo científico, na linha do modelo de Leydesdorff (1998). Tem a ver, portanto, com a estratificação da comunicação científica por meio de periódicos.

Deste modo, a tendência de a CAPES adotar o fator de impacto como componente básico de um sistema de avaliação de periódicos é desejável e desafiadora. Desejável, pois significará a adoção de um modelo que deverá valorizar, crescentemente, a qualidade da produção científica, uma vez que o patamar de exigências é móvel no sentido continuamente ascendente e guarda relação complexa com a política editorial dos periódicos em circulação, considerados em termos de rede. Desafiadora, uma vez que implicará em mudanças relevantes na organização dos grupos de pesquisa e na lógica de produção de conhecimento científico tanto do corpo docente como do corpo discente dos programas de pós-graduação stricto sensu.

Por último, cabe registrar uma preocupação. O fator de impacto, para ser utilizado como modelo de avaliação, requer a indexação de periódicos em pelo menos uma base de dados confiável e com reputação científica. No Brasil, a base de dados mais reconhecida é a Scientific Electronic Library Online (SciELO), que produz estatísticas sobre periódicos e possibilita acesso livre ao conteúdo daqueles que estão indexados. No entanto, o processo de indexação de periódicos e bastante lento nessa base de dados e hoje a ScieLO relaciona apenas três periódicos da área de administração, o que inviabiliza o cálculo do FI no curto prazo. Artigo recebido em 08.01.2008. Aprovado em 02.07.2008. AAAAGRADECIMENTOSGRADECIMENTOSGRADECIMENTOSGRADECIMENTOS Os autores agradecem à colaboração, na coleta dos dados que embasam o presente artigo, do Professor João Marcelo Crubellate, da doutoranda Claudia Coser e dos seguintes mestrandos: Cristiane Mello, Deborah Pessoa, José Bonfim de Albuquerque Filho, Karine Francisconi, Luiz Henrique França, Regina Nakayama, Sergio Filipe Chaerki e Vivian Ribeiro de Oliveira.

NNNNOTASOTASOTASOTAS 1 Informações verificadas no site do SciELO (http://www.scielo.org) em 29 de Maio de 2008. 2 A primeira menção a um indicador de impacto como instrumento de avaliação foi realizada anos antes por Garfield, na revista Science em 1955. Cinco anos depois iniciou o projeto de Genetics Citation Index, que culminou na publicação, em 1961, do Science Citation Index [SCI] (Garfield, 2005). 3 O Instituto de Informação Científica [ISI], atual Thomson Scientific, foi fundado por Eugene Garfield em 1955 (Moed, 2005). A empresa publica os índices mais relevantes para avaliação de periódicos, por meio da captação de todas as informações bibliográficas incluindo citações e referências dos artigos ou itens em análise (Rousseau, 2002). Por vários anos, a empresa foi dirigida por Eugene Garfield. 4 Além das informações mencionadas, o JCR apresenta outros indicadores bibliométricos, como vida-média das citações e referências, e índice de imediatismo. A indicação da relação entre periódicos, como citantes e citados, também é possível de ser observada, além da distribuição dessas referências no tempo. 5 Foram excluídos por indisponibilidade os seguintes periódicos: Revista Brasileira de Finanças, Alcance (UNIVALE), Faces (FACE/FUMEC) e Revista Portuguesa e Brasileira de Gestão (Lisboa).



370

RRRREFERÊNCIASEFERÊNCIASEFERÊNCIASEFERÊNCIAS BBBBIBLIOGRÁFICASIBLIOGRÁFICASIBLIOGRÁFICASIBLIOGRÁFICAS Bertero, C. O., Caldas, M. P., & Wood, T., Jr. (1999). Produção científica em administração de

empresas: provocações, insinuações e contribuições para um debate local. Revista de Administração Contemporânea, 3(1), 147-178.

Bollen, J., Rodriguez, M. A., & Van de Sompel, H. (2006). Journal status. Scientometrics, 69(3), 669-687.

Caldas, M. P., & Tonelli, M. J. (2004). Pesquisa em gestão de recursos humanos: nos anos 1990: um estudo bibliométrico, Revista de Administração de Empresas, 44(3), 100-114.

Camí, J. (1997). Impactolatría: diagnostico y tratamiento. Medicina Clínica, 109(13), 515-524.

Castiel, L. D., & Sanz-Valero, J. (2007). Entre fetichismo e sobrevivência: o artigo científico é uma mercadoria acadêmica? Cadernos de Saúde Pública, 23(12), 3041-3050.

Coelho, P. M. Z., Antunes, C. M. F., Costa, H. M. A., Kroon, E. G., Lima, M. C. S., & Linardi, P. M. (2003). The use and misuse of the “impact factor” as a parameter for evaluation of scientific publication quality: a proposal to rationalize its application. Brazilian Journal of Medical and Biological Research, 36(12), 1605-1612.

Cole, S. (2004). Merton´s contribution to the sociology of science. Social Studies of Science, 34(6), 829-844.

Coleman, A. (2007). Assessing the value of a journal beyond the impact factor. Journal of Education Library and Information Science, 58(8), 1148-1161.

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. (2007). Avaliação de periódicos científicos de administração, ciências contábeis e turismo (Relatório do processo de avaliação), Brasília, DF, Autor.

Cronin, B. (1984). The citation process: the role and significance of citations in scientific communication. London: Taylor Graham.

Cronin, B. (2004). Normative shaping of scientific practice: the magic of Merton. Scientometrics, 60(1), 41-46.

DuBois, F. L., & Reeb, D. (2000). Ranking the international business journals. Journal of international business studies, 31(4), 689-704.

Frandsen, T. F. (2007). On ratio of citable versus non-citable itens in economics journals. Scientometrics, 74(3), 439-451.

Garfield, E. (1955). Citation indexes for science. Science, 122(3159), 108-111.

Garfield, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178(4070), 471-479.

Garfield, E. (1990). How ISI selects journals for coverage: quantitative and qualitative considerations. Essays of an Information Scientist, 13(22), 185-193.

Garfield, E. (1996). How can impact factors be improved? British Medical Journal, 313 (7054), 411-413.

Garfield, E. (1999). Journal impact factor: a brief review. Canadian Medical Association Journal, 161(8), 979-980.



371

Garfield, E. (2005, September). The agony and the ecstasy: the history and meaning of the journal impact factor. Proceedings of International Congress on Peer Review and Biomedical Publication. Chicago, EUA, 5.

Glanzel, W., & Moed, H. F. (2002). Journal impact measures in bibliometric research. Scientometrics, 53(2), 171-193.

Guedes, V. L. S., & Borschiver, S. (2005). Bibliometria: uma ferramenta estatística para a gestão da informação e do conhecimento em sistemas de informação, de comunicação e de avaliação científica e tecnológica. Anais do Encontro Nacional de Ciência da Informação, Salvador, BA, Brasil, 6.

Ingwersen, P, Larsen, B., Rousseau, R., & Russel, J. (2001). The publication-citation matrix and its derived quantities. Chinese Science Bulletin, 46(6), 524-528.

Jordão, A., Garcia, R., & Marchini, J. (2006). Fator de impacto e pós-graduação stricto sensu em alimentos, nutrição e ciência e tecnologia de alimentos. Revista de Nutrição, 19(6), 793-802.

Ken, P., & Tang, Y. (2003). Identifying and evaluating the universe of outlets for information systems research: ranking the journals. Journal of Information Technology Theory and Application, 5(1), 63-84.

Krauss, J. (2007). Journal self-citation rates in ecological sciences. Scientometrics, 73(1), 79-89.

Krzyzanovski, R. F., & Ferreira, M. C. G. (1998). Avaliação de periódicos científicos e técnicos brasileiros. Ciência da Informação, 27(2), 165-175.

Krzyzanovski, R. F., & Ferreira, M. C. G. (2003). Periódicos científicos: critérios de qualidade. Pesquisa Odontológica Brasileira, 17(supl.1), 43-48.

Leydesdorff, L. (1998). Theories of citation? Scientometrics, 43(1), 5-25.

Merton, R. K. (1957). Priorities in scientific discovery: a chapter in the sociology of science. American Sociological Review, 22(6), 635-659.

Merton, R. K. (1988). The Matthew effect in science, II: cumulative advantage and the symbolism of intellectual property. Isis, 79(4), 606-623.

Moed, H. F. (2005). Citation analysis in research evaluation. Netherlands: Springer.

Price, D. J. S. de (1965). Networks of scientific papers. Science, 149(3683), 510-515.

Rodrigues, S. B., & Carrieri, A. P. (2001). A tradição anglo-saxônica nos estudos organizacionais brasileiros. Revista de Administração Contemporânea, 5(Edição Especial), 81-102.

Rousseau, R. (2002). Journal evaluation: technical and practical issues. Library Trends, 50(3), 418-439.

Saha, S., Saint, S., & Christakis, D. (2003). Impact factor: a valid measure of journal quality? Journal of Medical Library Association, 91(1), 42-46.

Schultze, S. (2005). Características de periódicos científicos produzidos por editoras universitárias brasileiras. Informação & Sociedade, 15(2), 157-179.

Silva, J. A., & Bianchi, M. L. P. (2001). Cientometria: a métrica da ciência. Paidéia, 11(21), 5-10.

Souza, E. P., & Paula, M. C. S. (2002). Qualis: a base de qualificação dos periódicos científicos utilizada na avaliação CAPES. InfoCAPES, 10(2), 6-24.



372

Strehl, L. (2005). O fator de impacto do ISI e a avaliação da produção cientifica: aspectos conceituais e metodológicos. Ciência da Informação, 34(1), 19-27.

Testa, J. (1998). A base de dados ISI e seu processo de seleção de revistas. Ciência da Informação, 27(2), 233-235.

Uncles, M. (2004). Journal rankings: how much credence should we give them? Australasian Marketing Journal, 12(2), 67-72.

Vergara, S. C., & Pinto, M. C. S. (2001). Referências Teóricas em Análise Organizacional: um Estudo das Nacionalidades dos Autores Referenciados na Literatura Brasileira. Revista de Administração Contemporânea, 5(Edição Especial), 103-121.

Vieira, F. G. D. (2003). Narciso sem Espelho: A Publicação Brasileira de Marketing, Revista de Administração de Empresas, 43(1), 81-90.

Wouters, P. (1999). The citation culture. Tese de doutorado. Faculteit der Scheikunde, University of Amsterdam, Amsterdam, Netherlands.

Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S., Bueno, J. L. O., & Guedes, M. C. (2002). Avaliação de periódicos científicos brasileiros da área de psicologia. Ciência da Informação, 31(2), 163-177.

Zwemer, R. L. (1970). Identification of journal characteristics useful in improving input and output of a retrieval system. Federation Proceedings, 29(5), 1595-1604.



373

APÊNDICE APÊNDICE APÊNDICE APÊNDICE PPPPeriódicos investigadoseriódicos investigadoseriódicos investigadoseriódicos investigados Periódico Sigla Qualis ISSN BAR. Brazilian Administration Review BAR B Inter. 1807-7692

Base (UNISINOS) BASE A Nacional 1807-054X BBR. Brazilian Business Review BBR A Nacional 1807-734X Cadernos EBAPE.BR (FGV) Cad. Ebape A Nacional 1679-3951

GESTÃO.Org. Revista Eletrônica de Gestão Organizacional Gestão.Org B Nacional 1679-1827 O&S. Organizações & Sociedade O&S A Nacional 1413-585X Organizações Rurais e Agroindustriais OR&A A Nacional 1517-3879

RAC Eletrônica (Online) RAC-E A Nacional 1981-5700 RAC. Revista de Administração Contemporânea RAC A Nacional 1415-6555 RAE Eletrônica RAE-E A Nacional 1676-5648

RAE. Revista de Administração de Empresas RAE A Nacional 0034-7590 RAI. Revista de Administração e Inovação RAI B Nacional 1809-2039 RAM. Revista de Administração Mackenzie RAM A Nacional 1518-6776

RAP. Revista Brasileira de Administração Pública RAP A Nacional 0034-7612 RAUSP. Revista de Administração RAUSP A Nacional 0080-2107 REAd. Revista Eletrônica de Administração REAd A Nacional 1413-2311

REGE. Revista de Gestão USP REGE B Nacional 1809-2276 Revista Brasileira de Inovação RBI B Nacional 1677-2504 Revista Contabilidade & Finanças RC&F A Nacional 1519-7077

Revista de Ciências da Administração (CAD/UFSC) RCA B Nacional 1516-3865 Revista de Gestão da Tecnologia e Sistemas de Informação RGTSI A Nacional 1807-1775 Revista de Negócios RN B Nacional 1413-3849

Obs: A lista completa dos periódicos da área de administração classificados pelo sistema Qualis da CAPES está disponível no site www.CAPES.gov.br.

periódicos brasileiros de administração: análise ...anpad.org.br/periodicos/arq_pdf/a_821.pdfo...

Documents