Princípios para um novo modelo de avaliação da pós-graduação

Carlos Alexandre Netto

Professor titular do Departamento de Bioquímica da Universidade Federal do Rio Grande do Sul (UFRGS), conselheiro da SBPC e membro titular da Academia Brasileira de Ciências. Foi reitor da UFRGS entre 2008 e 2016

A recente expansão das universidades federais, fomentada pelo Reuni (Programa de Reestruturação e Expansão das Universidades Federais), gerou importante fenômeno de ampliação com interiorização da pós-graduação brasileira, um desafio há muito reconhecido pela comunidade acadêmica. A contratação de doutores motivou a criação de novos cursos de pós-graduação e a qualificação de outros existentes, aspecto que reforça a importância das universidades como elementos fundamentais na equação das políticas públicas com foco no desenvolvimento da pós-graduação.

São vários os fatores que contribuem para o sucesso da pós-graduação brasileira. Um deles é o portal de periódicos Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), uma das maiores coleções virtuais de periódicos científicos e de obras de referência do mundo que possibilita o acesso livre e imediato à informação científica para todos os programas de pós-graduação acreditados em atividade. A recente e crescente utilização de plataformas de acesso aberto para publicação de periódicos (open access) também tem exercido efeitos positivos sobre a divulgação e o acesso à produção científica da pós-graduação. A qualificação prévia ao ingresso nos programas é outra característica virtuosa do sistema. A disseminação dos programas de iniciação científica, a partir da iniciativa pioneira do CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico), oferece a oportunidade de iniciação à ciência durante a graduação e, em muitos casos, funciona como uma pré-qualificação ao ingresso na pós-graduação. Ainda, toda a comunidade reconhece que a sistemática de avaliação periódica dos programas de pós-graduação pela Capes foi um dos principais fatores que levaram ao crescimento da produção científica brasileira. O forte envolvimento da comunidade acadêmica da pós-graduação com a avaliação, aproximadamente 1700 pessoas na última quadrienal, por exemplo, indica a capilaridade do processo, bem como sua capacidade de expressar a percepção média de desenvolvimento da pós-graduação no Brasil.

PORQUE REVISAR A AVALIAÇÃO DA PÓS-GRADUAÇÃO

A avaliação da pós-graduação é um processo singular, que coloca a educação terciária brasileira num patamar diferenciado frente aos países do continente e mesmo dos países desenvolvidos do Hemisfério Norte. A avaliação sistemática dos cursos de pós-graduação pela Capes é realizada há mais de 40 anos, com o intuito de acompanhar a evolução e garantir a qualidade, e a consequente acreditação. Com o crescimento do sistema, a avaliação foi assumindo complexidade e sofisticação; sua logística atual envolve centenas (ou milhares) de docentes das diversas áreas do conhecimento, apoiados na poderosa Plataforma Sucupira. A virtualização deu origem ao Qualis, sistema criado para normatizar o impacto da produção acadêmica da pós-graduação, para fins da avaliação. A sistematização do Qualis e a estrutura da plataforma (anteriormente chamada de Coleta Capes), de certa maneira conformaram as políticas internas da pós-graduação e contribuiram para que o Brasil atingisse posição de destaque na produção científica mundial, hoje figurando entre os 15 principais países em termos de número de artigos publicados e indexados na Web of Science.

Contudo, a sensação de uma parte importante da comunidade é que o modelo atual de avaliação parece ter se exaurido. Em todos os âmbitos, seja nos cursos de pós-graduação, nas comissões de área da Capes e nas sociedades científicas, discute-se a necessidade de rever o processo. Algumas das principais críticas são: a) visão demasiadamente quantitativa devido à importância assumida pelo Qualis; b) hegemonia de indicadores provindos das áreas de ciências "duras", que ao parametrizar os produtos da pós-graduação (o que facilita e agiliza a avaliação) não contempla adequadamente os distintos perfis disciplinares; c) grande heterogeneidade de critérios utilizados por comissões de uma mesma grande área, sobretudo a atribuição de categorias no Qualis; d) falta de mecanismos de avaliação e de apoio à interdisciplinaridade; e) dificuldade em avaliar a relevância social dos programas.

A necessidade de revisão da avaliação é um dos pontos previstos no Plano Nacional de Pós-graduação (PNPG) vigente. A própria comissão de acompanhamento de pós-graduação, nomeada pela Capes, vem refletindo e discutindo o tema, e tem ouvido a comunidade organizada nas associações e entidades científicas. A Sociedade Brasileira para o Progresso da Ciência (SBPC) foi instada a contribuir, e para tal ouviu sociedades científicas e outros membros da comunidade. Uma comissão formada por conselheiros da SBPC sistematizou as sugestões e redigiu um documento propositivo, já encaminhado à comissão de acompanhamento, e que constitui a base deste artigo.

É importante que se tenham claros alguns pontos quando a avaliação é discutida. É necessário entender e explicitar, porque avaliar? Avaliar para que e por quem? Avaliar somente para estabelecer "ranking"? Será que um único modelo de avaliação atende a todas as áreas?

A SBPC decidiu por sugerir princípios norteadores de uma nova avaliação, uma nova prática avaliativa que reflita as demandas da comunidade acadêmica e que exerça o papel de induzir boas práticas para o fazer científico e para a formação de pessoas qualificadas para a ciência. São sete os princípios:

1. CONTEMPLAR A DIVERSIDADE DAS ÁREAS DISCIPLINARES E OS ASPECTOS REGIONAIS

Reconhecendo a heterogeneidade do sistema da pós-graduação, entendemos que é mister avaliar de forma distinta os diferentes. Assim, há peculiaridades dos cursos das áreas de humanas e sociais que não são valorizados no atual modelo (muito apropriado para as ciências chamadas "duras"). Cursos novos e aqueles em processo de reestruturação são penalizados ao serem avaliados pela mesma "régua" de cursos consolidados, especialmente aqueles da região amazônica; de fato eles demandam políticas de apoio, orientação e acompanhamento. Da mesma forma, os mestrados profissionais, ora em expansão, merecem um olhar mais profundo. Há que definir, com a clareza possível, os critérios de "excelência", com a participação da coletividade e considerando que as diferentes regiões do país têm distintos perfis socioeconômicos, potencialidades e necessidades em termos de produção de conhecimento e de qualificação de pesquisadores. Também sugerimos a participação de consultores com experiência internacional de avaliação para acompanhar cursos com conceitos 5, 6 e 7. O estímulo à solidariedade entre os cursos de pós-graduação e a prática da autoavaliação devem ser estimulados.

2. UTILIZAR CRITÉRIOS QUANTITATIVOS E QUALITATIVOS NA AVALIAÇÃO DA PRODUÇÃO INTELECTUAL

Apesar de instrumental, o uso do Qualis tem produzido distorções que prejudicam a avaliação. Homogeneizar o Qualis dentro de grandes áreas permitirá avançar na interdisciplinaridade e diluir feudos disciplinares. Por outro lado, há que respeitar os critérios das áreas disciplinares para construir a necessária inter/transdisciplinaridade. A autoria principal dos orientadores permanentes e os artigos científicos de alto impacto podem ser mais valorizados, também pelo aspecto das parcerias e da internacionalização. A avaliação de impacto pode ser repensada para permitir novos indicadores e bases mais compatíveis com as humanidades e as artes. Da mesma forma, há que "Quali"ficar livros, eventos científicos e outras produções técnicas, de forma ágil e transparente. Muitas áreas defendem que critérios qualitativos devem ser empregados, pois a formação de pós-graduandos vai além da contabilização dos artigos publicados. Os cursos poderiam elencar os itens (dissertações, teses, artigos e outros) a serem lidos e apreciados, para uma melhor avaliação.

3. DEFINIR CRITÉRIOS CLAROS PARA ESTIMULAR E AVALIAR INTERDISCIPLINARIDADE E INOVAÇÃO

Cada vez mais a ciência dilui as fronteiras disciplinares, pois os problemas abordados por ela são, no mais das vezes, complexos e sua solução requer múltiplos olhares. Mas para melhor avaliar a interdisciplinaridade e a transdisciplinaridade, e assim passar do discurso (estímulo a) à prática (reconhecimento e recompensa pelo esforço interdisciplinar), o Qualis deve ser revisto (conforme acima comentado). Também, a área "multidisciplinar" deveria passar por extensa reformatação. Critérios qualitativos também devem ser definidos. Da mesma forma a inovação, prática crescente em programas nas áreas de engenharias e saúde, de humanas e sociais e das artes, carece de adequada conceituação (inovação tecnológica e inovação social, pelo menos) e de critérios claros. Dito de outra forma, há necessidade de estabelecer políticas claras de apoio; daí podem ser derivados critérios e formas de avaliação. As atividades de inovação enriquecem o percurso formativo dos estudantes e definem a vocação de cursos.

A boa prática científica desconhece barreiras geopolíticas, pois é a afinidade temática que define a aproximação de pesquisadores. Há muitos exemplos disso nos relatórios dos programas de pós-graduação, mas os critérios para valoração da internacionalização são ainda pobres e mantêm a língua inglesa como parâmetro principal. Ora, é importante considerar que as áreas possuem características e afinidades linguísticas, temáticas e geopolíticas, bem como há que estimular o desenvolvimento de novas relações institucionais Sul-Norte e Sul-Sul. E talvez, mais do que avaliar, seja importante definir mecanismos claros de estímulo e fomento à internacionalização da pesquisa realizada nos cursos de pós-graduação. Para além das bolsas de mobilidade de discentes e docentes, há que definir projetos científicos em cooperação internacional. Novamente, isto passa pela ação das agências de fomento baseadas em políticas claras definidas pela Capes, com adesão institucional (e não apenas de cursos de pós-graduação individualmente). São pouco mais de vinte universidades que posuem mais de cinco programas com conceitos de excelência, com notas 6 ou 7, aqueles naturalmente vocacionados para a internacionalização. Por outro lado, instituições com pequeno número de cursos de pós-graduação poderiam ser apoiadas de forma distinta. É importante reforçar que a internacionalização, sem dúvida necessária para que a produção científica ganhe em qualidade e impacto, necessita de fomento adequado e crescente, bem como de planejamento de médio e de longo prazos.

5. RELEVÂNCIA SOCIAL E REGIONALIZAÇÃO

Nosso país continental possui cursos de pós-graduação que expressam, em sua prática, suas enormes diferenças regionais. Tanto em termos de fomento e condições econômicas, quanto em importância local e relevância. Isto é, um curso com nota 4 ou 5 nas regiões Norte ou Nordeste pode ter maior impacto na comunidade local que um curso nota 7 nas regiões Sudeste ou Sul. Há também importantes diferenças intrarregionais. O desafio é estabelecer critérios para avaliar, de maneira clara e transparente, a relevância social e as possibilidades criadas para apropriação social do conhecimento. Nesse sentido, diversificar talvez seja mais lógico do que homogeneizar. Um critério fundamental para avaliar as repercussões sociais dos cursos seria sua participação/aderência contínua (e não apenas em ações pontuais) em políticas públicas. Também é importante bem avaliar e estimular a articulação dos cursos de pós-graduação com a educação básica e sua contribuição para a melhoria da educação em todos os níveis, especialmente na formação ativa e continuada de professores.

6. DIFUSÃO E COMUNICAÇÃO PÚBLICA DA CIÊNCIA, TECNOLOGIA E INOVAÇÃO

O conhecimento produzido na universidade e a qualificação dos pesquisadores formados na pós-graduação atinge real importância quando são socializados através dos diversos meios de divulgação não especializada. A apropriação social do conhecimento e da tecnologia (C,T&I) e o debate público sobre ciência, tecnologia e inovação constituem um dos importantes desafios da pós-graduação nos próximos anos, e os alunos devem participar de oficinas e de projetos de divulgação científica. A difusão da ciência precisa ser encarada como um compromisso da comunidade acadêmica, especialmente dos estudantes de pós-graduação, aqueles que serão os acadêmicos e pesquisadores de amanhã. Há que definir formas de avaliação apropriadas, como a edição/contribuições sobre C,T&I em diversos meios, por exemplo.

7. VALORIZAÇÃO DA DIMENSÃO FORMATIVA DA PÓS-GRADUAÇÃO E DOS EGRESSOS

CONCLUINDO

A análise desse conjunto de princípios revela pelos menos dois aspectos interessantes. O primeiro é que não há propostas disruptivas, ou seja, em termos gerais os pilares da avaliação seguem bem aceitos; o que sinaliza a percepção da importância da avaliação e dos benefícios que a prática vem trazendo às atividades formativas e de pesquisa. O segundo é que as instituições que abrigam a pós-graduação, especialmente as universidades, devem assumir maior protagonismo na definição dos rumos de seus programas. Muitos dos pontos comentados podem ser elaborados e incorporados às práticas acadêmicas através de seus planos de desenvolvimento institucional, independentemente da avaliação pela Capes, e representariam claros avanços institucionais.

A revisão de um modelo tão complexo quanto eficaz de avaliação da pós-graduação brasileira deve se constituir num processo com ativa participação da coletividade acadêmica, organizada em suas mais diversas instâncias. Os princípios acima indicam que a almejada reformulação reflete a necessidade de definição clara de políticas de desenvolvimento e de apoio à pós-graduação, bem como da governança da avaliação pela Capes. Fomento crescente e continuado é fator essencial para que a pós-graduação continue avançando; na ausência de tal apoio toda e qualquer mudança que venha a ser implementada não atingirá o objetivo de qualificar a atividade. Prioridade máxima é a revogação da Emenda Constitucional 95, responsável pelo trágico congelamento de gastos pelo governo federal que já afeta a todos os projetos, laboratórios e programas de pós-graduação, bem como as universidades e os centros de pesquisa.

Revisar a avaliação significa renovar uma estrutura complexa e qualificada que em muito contribuiu para o enorme avanço da pós-graduação brasileira. Trata-se da necessária metamorfose que o presente e o futuro da prática científica que o país demanda estão a reclamar. De outra forma, é possível que essa necessidade de mudança da avaliação seja a primeira expressão de que, talvez, tenha chegado o momento de repensar a própria pós-graduação brasileira, seus objetivos, princípios e forma de organização. Serão avanços incrementais ou mudança de modelo? Esta é a próxima reflexão a merecer atenção e energia.

Observação: este texto é uma versão adaptada do documento propositivo elaborado pela comissão da SBPC para a pós-graduação, composta por Ana Maria Bonetti, Ana Tereza Ribeiro de Vasconcelos, Carlos Alexandre Netto, Fernanda Antonia da Fonseca Sobral, Helena Bonciani Nader, Maira Baumgarten Correa e Zelinda Maria Braga Hirano.