Os programas de pós-graduação Stricto Sensu brasileiros, e os da área de ciências agrárias em particular, se encontram, mais uma vez, diante de novos desafios proporcionados pela mudança dos critérios de avaliação de periódicos. Este texto limita-se a apresentar algumas reflexões acerca das últimas alterações induzidas pela CAPES em seu sistema de avaliação de periódicos (QUALIS). Para tanto, será necessária uma breve discussão acerca da noção de
Fator de Impacto (FI), como métrica de avaliação da qualidade dos periódicos. Serão abordados aqui as modificações no sistema QUALIS e os desafios que deverão ser enfrentados pelos periódicos editados no Brasil e, consequentemente, pelos programas de pós-graduação S
tricto Sens
u em ciências agrárias.
Nos próximos anos, a produção científica realizada pelos grupos de pesquisa vinculados aos programas de pós-graduação deverá passar uma rigorosa avaliação de qualidade. Apesar das divergências quanto ao método de avaliação dos periódicos, a CAPES sinaliza que as exigências de qualidade da produção científica serão mais elevadas na próxima avaliação dos programas, a ser realizada em 2010. A avaliação da qualidade da produção será mensurada pelo FI dos periódicos, independente do âmbito da sua circulação. O reconhecimento desta métrica ocorreu 1955, sendo considerado como a forma mais representativa (quando comparada à contabilidade do número absoluto de publicações) de se avaliar a repercussão das publicações em periódicos. A aplicação do FI como instrumento de avaliação vem ocorrendo desde a década de 1960, quando os periódicos passaram a ser indexados na base de dados Science Citation Index (SCI).
Mas, afinal, quais seriam as especificidades deste fator de impacto (FI)?
Esta métrica tem por objetivo avaliar, por meio de recursos computacionais e bibliométricos, o impacto científico de um periódico, levando-se em consideração o índice de citação dos artigos nele publicados. Este indicador tem sido publicado pelo Journal Citation Reports (JCR). Apesar das críticas que recebe, por parte da comunidade científica, a sua aplicação tem ocupado espaço e inspirado outros indexadores a produzirem as suas métricas, a exemplo da SCOPUS, do grupo Elsevier e do SciELO, que já estão publicando o FI dos periódicos por eles indexados.
Desde a sua implantação, em 1998, a base de dados Scientific Electronic Library Online (SciELO) tem contribuído para a melhoria da qualidade editorial dos periódicos editados em países ibero-americanos. Esta base de dados tem produzido estatísticas sobre o uso dos periódicos, a categorização de artigos e a definição de padrões de qualidade e circulação. Este trabalho tem contribuído não só para o mapeamento do conhecimento científico veiculado em diferentes periódicos, mas também para a promoção do acesso livre e a mensuração do impacto das publicações científicas ibero-americanas. Apesar desta contribuição, os indicadores até o momento produzidos pela SciELO estão ainda em fase de consolidação. Talvez por essa e por outras razões, que a CAPES tem empregado o índice de fator de impacto publicado pelo Journal Citation Reports (JCR) como uma referência para classificar os periódicos pelos quais os programas de pós-graduação veiculam as suas produções científicas. A avaliação dos periódicos com base no seu fator de impacto era sinalizada por aquela agência desde o início de 2001, mas somente agora ela ganhou força institucional e condições de ser operacionalizada.
Assim, no triênio 2007-2009, os periódicos serão avaliados segundo o seu fator de impacto e a sua indexação em bases de dados de elevada reputação científica. Para tanto, o conselho técnico científico da CAPES propôs algumas modificações no Sistema QUALIS e introduziu uma nova metodologia de avaliação dos periódicos publicados no Brasil e em outros países. Eles deverão ser classificados em 8 categorias, ou seja, AI, AII, BI, BII, BIII, BIV, BV e C, sem, contudo, considerar o âmbito da circulação do periódico (se nacional ou internacional). Com esta nova classificação, a CAPES espera produzir efeitos sinérgicos positivos na qualidade da produção científica brasileira, produzida, na sua quase totalidade (85%), por docentes e discentes dos programas de pós-graduação Stricto Sensu. Estas modificações exigirão uma nova dinâmica na gestão dos programas de pós-graduação Stricto Sensu ofertados pelas Instituições de Ensino Superior brasileiras, em diferentes áreas de conhecimento.
Tabela 1. Proposição de critérios de classificação dos periódicos da área de ciências agrárias.
|
Classes
|
Critérios
|
|
A1
|
Fator de impacto JCR maior ou igual a 1,500
|
|
A2
|
Fator de impacto JCR entre 0,750 e 1,499
|
|
B1
|
Fator de impacto JCR entre 0,001 e 0,749
|
|
B2
|
Indexado em pelo menos quatro bases indexadoras
|
|
B3
|
Indexado em pelo menos três bases indexadoras
|
|
B4
|
Indexado em pelo menos duas bases indexadoras
|
|
B5
|
Indexado em uma base indexadoras
|
|
C
|
Não relevante para a área
|
JCR – Journal of Citation Reports.
Com essa nova lógica de qualificação os periódicos publicados no Brasil e no exterior poderão ser classificados em outra categoria diferente daquela que ocupava no sistema QUALIS/CAPES vigente no triênio 2004-2006. Este reposicionamento, além de modificar o “status” de diversos periódicos, produzirá conseqüências consideráveis no desempenho dos programas da área de ciências agrárias. Assim, algumas dúvidas sobre o impacto das proposições da CAPES para o Sistema QUALIS ainda perduram. Quais seriam, portanto, as repercussões deste cenário na avaliação da produção acadêmica da área de ciências agrárias, e consequentemente, do desempenho dos programas de pós-graduação Stricto Sensu? Esta questão não pode ser respondida de forma consistente neste momento. Contudo, pode-se realizar uma prospecção e apresentar algumas considerações tomando como referência algumas estatísticas da produção intelectual do conjunto de Programas de Pós-Graduação Stricto Sensu da referida área.
Alguns periódicos editados no Brasil foram classificados como A internacional, impactando positivamente a avaliação no triênio 2004-2006. O novo formato de avaliação dos periódicos deslocará a classificação destes periódicos para um “status” inferior e, consequentemente, eles terão um menor peso na avaliação da produção científica dos programas. Assim, programas que concentrarem suas publicações nesta categoria de periódicos sentirão os efeitos da redução de “status” dos referidos periódicos na próxima avaliação. Para romper com este viés, os docentes dos programas de pós-graduação deverão diversificar suas publicações, direcionando-as para periódicos portadores de fator de impacto mais elevado.
A produção científica dos 144 programas de pós-graduação acadêmicos em ciências agrárias avaliados no triênio 2004-2006 apresentou algumas especificidades que merecem reflexão. A publicação em periódicos internacionais não alcançou a média de 1 artigo por docente permanente. No entanto, a publicação em periódicos nacionais superou a marca de 4 artigos por docente permanente. Os indicadores da UFLA superam estas marcas, ou seja, a média de artigos publicados no triênio em periódicos internacionais e nacionais (A e B) foi, respectivamente, de 1,23 e 5,07 artigos por docente permanente. Observa-se que os programas da área de ciências agrárias divulgaram a sua produção científica predominantemente em periódicos nacionais, cujos fatores de impacto não foram mensurados na última avaliação. Esta particularidade não fere o mérito da produção intelectual realizada pelos programas da área de ciências agrárias. Mas, ela evidência a necessidade de reorientação do processo de veiculação da produção científica em direção aos periódicos internacionais portadores de fator de impacto. Essa reorientação deverá pautar-se não só no aumento da publicação em periódicos de maior impacto, mas também na melhoria da qualidade da produção científica em ciências agrárias. Para tanto, torna-se necessário que os programas repensem suas práticas científicas e pedagógicas no sentido de implementar mudanças que sejam capazes de: estimular a formação de redes internacionais de cooperação científica; priorizar a publicação em periódicos portadores de fator de impacto mais elevado; intensificar a realização de estágios de pós-doutoramento; fomentar a mobilidade discente por meio de estágios no exterior e incentivar a produção científica em bases teóricas e metodológicas que estejam alinhadas (e não submissas) ao desenvolvimento científico experimentado pelos programas de pós-graduação em ciências agrárias ofertados pelas melhores universidades do mundo.
A institucionalização destas velhas proposições parece ser simples, mas, a rigor, o que estará em jogo será uma profunda mudança da cultura acadêmica construída até o momento por todos que militam nas diferentes áreas de conhecimento. Devem-se acrescentar a esse debate as modificações introduzidas pela CAPEs na ficha de avaliação dos programas de pós-graduação. O CTC/CAPES deliberou que, na próxima avaliação, os resultados serão mais enfatizados. Prova desta orientação foi a atribuição de maior peso aos quesitos de avaliação produção docente e corpo discente. Somados, estes dois quesitos terão um peso de 70% na avaliação de qualquer programa de pós-graduação Stricto Sensu. Portanto, os indicadores de qualidade da produção científica e capacidade de titulação dos programas serão determinantes na atribuição de conceitos, que ocorrerá em 2010. Estes critérios são elementos estruturantes do Sistema de Indicadores de Resultados (SIR).
A aplicação do SIR possibilita que os resultados tenham prioridade sobre os processos. Este instrumento de avaliação permite que o CTC/CAPES avalie comparativamente os programas segundo o grau de concentração da produção intelectual e das atividades de orientação entre os docentes, e o número de titulados e de artigos publicados em periódicos com alto fator de impacto por docente permanente. Em artigo intitulado “Terminou a Avaliação Trienal 2007”, o diretor de avaliação da CAPES faz considerações que evidenciam as tendências da avaliação para o próximo triênio. A formação de doutores deverá ter prioridade sobre a formação de mestres. Na visão da Diretoria de Avaliação da CAPES, os programas deverão empenhar-se para a formação de doutores de qualidade e o número de titulados por docente permanente será considerado no momento da concessão do conceito os programas de Pós-graduação Stricto Sensu. A produção em periódicos de elevado impacto continua sendo imprescindível, mas os programas que não apresentarem um número de titulados acima da média da área poderão ser penalizados na avaliação ou até mesmo terem seus conceitos rebaixados, a exemplo do ocorrido no último triênio.
Assim sendo, será necessário que os programas de pós-graduação Stricto Sensu estejam preparados para ampliar o número de doutores titulados e publicar artigos científicos em periódicos de elevado fator de impacto, sendo que a sua distribuição entre os docentes deverá ser bem equilibrada, de modo evitar a sua concentração. Finalmente, lembramos que a avaliação não deve ser vista como um fim em si mesmo, mas como um elemento indutor da melhoria da qualidade dos programas vinculados às diferentes áreas de conhecimento.