Mais um capítulo do faroeste acadêmico

Entre as denúncias dessa semana está uma espécie de "Sokal affair" das ciências naturais, perpetrado em larga escala. Um artigo descrevendo a descoberta de propriedades anti-cancerígenas de um produto químico e intencionalmente recheado de erros básicos e problemas evidentes foi escrito e submetido a 304 revistas acadêmicas, todas de acesso aberto. O artigo passou por uma avaliação em 255 periódicos científicos: foi aceito em 157 e rejeitado apenas em 98... O episódio está bem retratado nessa matéria do Guardian.

Adicionar legenda

Quem me chamou a atenção para o assunto foi o André Caetano, através dessa matéria publicada no blog do Herton Escobar. De todo modo, vale a pena ler o texto completo do 'experimento' assinado por John Bohannon e publicado na Science com o título Who's Afraid of Peer Review? Apesar de longo, ele é interessante e esclarecedor e, no dizer do autor "reveal the contours of an emerging Wild West in academic publishing".

É importante notar que, entre as revistas que foram alvo do teste e caíram na trapaça, muitas eram ligadas a grandes editoras acadêmicas, como a Elsevier, a Wolters Kluwer e a Sage, empresas multinacionais sediadas na Europa e nos EUA.Como o próprio Bohannon afirma:

"Acceptance was the norm, not the exception. The paper was accepted by journals hosted by industry titans Sage and Elsevier. The paper was accepted by journals published by prestigious academic institutions such as Kobe University in Japan. It was accepted by scholarly society journals. It was even accepted by journals for which the paper's topic was utterly inappropriate, such as the Journal of Experimental & Clinical Assisted Reproduction."

Entre as revistas que caíram no engodo há, até mesmo, um periódico brasileiro, Genetics and Molecular Research, editado por uma fundação de Ribeirão Preto, a FUNPEC-RP (alguém conhece?).

Curt Rice, o autor desse outro texto publicado no Guardian, argumenta que o problema não está no modelo de acesso aberto, como o artigo da Science sugere, mas numa de suas modalidades, aquela em que o autor paga para ver o artigo publicado. Acho que ele está certo. No texto da Science, Bohannon se refere a essa modalidade como "the standard open-access 'gold' model: The author pays a fee if the paper is published." Sobre isso, há dois aspectos que merecem ser observados.

Em primeiro lugar, como Rice argumenta,

"this is a model that invites corruption. Set up a journal, accept some articles, charge a high fee, and publish the article on your website. This corruption is fed, of course, by the fact that researchers feel incredible pressure to publish more and more. It's also fed by a system that uses quantity as a proxy for quality. But it is a mistake to equate open access and author payment. There are traditional journals that require some payment, too, especially in connection with high typesetting costs" (grifo meu).

Em segundo lugar, não tenho certeza de que o 'gold model' seja mesmo o formato padrão nas revistas de acesso aberto. De fato, duvido... Como Rice informa, 65% das revistas listadas no Directory of Open Access Journals (DOAJ) "do not charge authors to publish but are funded instead by universities directly or by research councils or professional societies". É esse o modelo que prevalece, por exemplo, entre as revistas incluídas na SciELO, o bem sucedido modelo de publicação eletrônica de periódicos científicos mantido pela Fapesp e pela BIREME.

Pra concluir, entre as lições a tirar desse caso, fica a conclusão óbvia para a qual venho apontando há um bom tempo: é esse resultado previsível da difusão de um modelo de avaliação acadêmica que toma a quantidade (o número de artigos publicados) para avaliar a qualidade da pesquisa. Nenhuma surpresa. 

Críticas ao Qualis: um esclarecimento

Mal foi divulgado o novo Qualis da área de Economia e as críticas já começaram aqui e acolá. À luz do que eu disse em postagem anterior, é muito natural que elas existam e algumas são, a meu ver, pertinentes. Outras, porém, não se justificam e decorrem em larga medida do desconhecimento ou de ideias equivocadas a respeito do que é o Qualis. É fundamental notar que o Qualis não é e nem pode ser um ranking de revistas de Economia. Ele é, antes de tudo, uma ferramenta da Capes para a avaliação da pós-graduação da área de Economia. Dito isso, é preciso reconhecer que ele também é usado por outras instituições, como universidades e o CNPq, e para outros fins, como a avaliação de pesquisadores ou candidatos a vagas docentes, o que pode ser (e frequentemente é) um uso ainda mais problemático.

De todo modo, quando se tem em mente o objetivo da Capes ao criar essa ferramenta, algumas coisas que a primeira vista soam estranhas passam a fazer sentido. Por exemplo, há quem se surpreenda com a inclusão de uma revista como o International Journal of Hydrogen Energy no Qualis da área de Economia. A surpresa se explica pela expectativa de que o Qualis de Economia seja um ranking de periódicos dessa área. O que faz a Hydrogen Energy aí? A explicação, no entanto, é simples: queiramos ou não, o Qualis de Economia deve incluir todas as revistas em que algum professor de um programa de pós-graduação em Economia publicou um artigo. Esse artigo é parte da produção científica da área e deverá ser considerado para efeito da avaliação do programa de pós-graduação em que esse docente leciona.

O novo Qualis da área de Economia

A Capes acaba de publicar um comunicado sobre o novo Qualis da área de Economia para o triênio em curso. A classificação das revistas já foi atualizada e pode ser consultada no Web Qualis.

As principais novidades são:

1. a promoção de quatro revistas nacionais a B1, a saber: a Revista de Economia Política, a Estudos Econômicos, a Revista Brasileira de Economia, e a EconomiA (revista da Anpec).

2. o estabelecimento de um teto para o conceito atribuído a revistas de outras áreas: B2, se forem nacionais, e A2 se forem internacionais.

Como já tive oportunidade de comentar com alguns colegas, o documento expressou um compromisso possível entre os membros da comissão, da qual tomei parte. Duvido que alguém tenha saído da reunião satisfeito com o resultado. As razões para essa insatisfação, porém, são consideravelmente diversas e até mesmo opostas, o que expressa a dificuldade de nossa área no estabelecimento de critérios de classificação e na atribuição dos conceitos às revistas. Há divergências sobre critérios de avaliação de trabalhos acadêmicos, diferenças de compreensão teórica e metodológica sobre a área de economia e sobre a natureza do trabalho interdisciplinar, além de outros tipos de desacordo.

A comissão propôs que no início de 2013 seja organizada uma rodada de discussões sobre o Qualis, para tentar reduzir as divergências e pactuar critérios para os próximos triênios. É algo que julgo importante tentar, mesmo que a tarefa seja muito difícil. Se essa ideia prosperará e chegará a bom termo, é algo que vai depender de nossa iniciativa e capacidade de conversar mesmo divergindo. A ver.