4 Metodologia

Neste estudo foi escolhida a pesquisa de natureza qualitativa com caráter exploratório. O método utilizado é o estudo de casos múltiplos, proposto por Yin (2005), este se mostrou adequado por envolver mais de uma organização.

Após a fase de revisão da literatura, foi definida a amostra do estudo. Dos vinte e sete Estados brasileiros, vinte e dois possuem uma Fundação de Amparo à Pesquisa. Dentro deste universo foram escolhidas três, denominadas como FAP A, FAP B e FAP C. Os critérios para esta definição foram: em razão destas possuírem um sistema de avaliação de resultados, em função do tempo de atuação e pelo critério de acessibilidade.

Para coleta dos dados foi utilizado um roteiro de entrevista semi-estruturado, validado por três pesquisadores atuantes em Fundações de Amparo à Pesquisa escolhidos por acessibilidade. Foram realizadas entrevistas com os responsáveis pelo sistema de avaliação destas Fundações. Outras fontes de evidências utilizadas foram os registros e documentos disponibilizados pelas FAP´s e informações dos sites eletrônicos institucionais. A análise dos dados ocorreu, primeiramente, de forma individual em cada FAP. Após, foi realizada uma análise integrada das três FAP´s, na pretensão de se descobrir como é feita, de uma forma geral, a avaliação dos resultados dos projetos apoiados.

5 Análise Comparativa dos Casos

Trata-se da análise das principais diferenças e similaridades encontradas nas FAP´s e nos processos utilizados por elas para avaliarem os resultados dos projetos apoiados.

Verifica-se que cada FAP encontra-se em um contexto diferente que determina a forma como atuam. A FAP A está em um momento de ascensão, onde o governo cumpre pela primeira vez o repasse de 1% do orçamento, garantido pela constituição do Estado. Isto representa um aumento significativo do orçamento desta Fundação, que está se reestruturando para melhor gerir estes recursos.

Em contrapartida, a FAP B passa por momentos difíceis. Os recursos repassados pelo governo estão diminuindo a cada ano e, apesar da constituição prever o repasse de 1,5%, o 17 governo não repassa nem 0,5%. Diante deste contexto esta FAP suspendeu os auxílios de fluxo contínuo e passa a ter que desenvolver estratégias para continuar funcionando.

Já a FAP C está inserida em um contexto de tranqüilidade. O governo repassa os 1% da receita tributária do Estado há muitos anos e, devido a grande experiência e reconhecida importância que possui, encontra-se numa posição estável, que nem as políticas governamentais conseguiriam abalar facilmente.

Neste aspecto, constata-se que apenas a FAP B não tem acompanhado as tendências nacionais de incentivo à ciência e tecnologia, constantes do Livro Branco, elaborado pelo Ministério de Ciência e Tecnologia ! MCT, que apresenta os principais desafios bem como os objetivos para a área (BRASIL, 2002).

As FAP´s A e B estão ligadas às Secretarias Estaduais de Ciência e Tecnologia dos seus Estados. Estas têm interferência direta na determinação das diretrizes e prioridades das Fundações. A FAP C está ligada à Secretaria de Ensino Superior do Estado e recebe as demandas de investimentos das universidades e não direto da Secretaria. Neste caso é bastante enfatizada a autonomia daquela instituição.

Apesar de não ser possível afirmar se é causa ou conseqüência, o fato é que a posição destas FAP´s na estrutura organizacional dos Estados tem relação direta com as suas clientelas. Na FAP C, as universidades estaduais representam a maioria das propostas apresentadas e aprovadas. Já nas FAP´s A e B, a clientela é formada principalmente por universidades federais, que são maioria nos Estados em que se encontram.

O processo de julgamento do mérito das propostas também é diferente apenas na FAP C, que adota o sistema de ad-hoc. Já as FAP´s A e B possuem Câmaras ou Comitês, que representa vários grupos de pesquisadores, nomeados pela instituição, cada grupo em uma área do conhecimento.

Em todas as três FAP´s pesquisadas, a avaliação ex-post se caracteriza basicamente pela análise da prestação de contas e pela análise do relatório técnico-científico final. Apenas a FAP B e C cobram e analisam um relatório parcial.

As visitas técnicas são práticas citadas pelos entrevistados das três Fundações, porém, todos reconhecem que é muito raro os avaliadores indicarem a necessidade de visita. Normalmente, os esclarecimentos são solicitados ao pesquisador por escrito.

Até a data das entrevistas, as FAP´s A e B encerravam o processo com a aprovação do relatório técnico-científico, que então era arquivado na biblioteca destas Fundações. Porém, em ambas as instituições foi criado um núcleo ou departamento de Propriedade Intelectual que tem como uma de suas atribuições garantir a transferência das novas tecnologias geradas através das pesquisas apoiadas.

Na FAP C, foi citada, como uma forma de garantir a transferência deste conhecimento gerado, a realização de parcerias. Esta Fundação valoriza aqueles projetos que estabelecem algum tipo de parceria entre instituições de ensino e empresas. Acredita que as parcerias, não somente permitem um controle por parte da instituição, como favorece a aplicação das descobertas realizadas. Também possui uma modalidade de apoio à propriedade intelectual, onde o pesquisador pode apresentar uma proposta e solicitar auxílio para proteger sua invenção e registrar patente.

O formulário a ser preenchido pelos avaliadores dos relatórios é específico para cada edital nas FAP´s B e C. Enquanto na FAP A, existe apenas um modelo padrão que é utilizado para todos os editais. Um dos avaliadores entrevistados ressaltou a dificuldade de encontrar algumas informações solicitadas no formulário, visto que não tem relação com aqueles tipos de projetos.

A avaliação de impactos sociais está sendo estudada para ser inserida nos processos de avaliação das FAP´s A e B. Mas esta preocupação não foi observada na FAP C, que, 19 segundo o entrevistado, é apenas um órgão de apoio. Para ele, quem deve se preocupar com avaliação de impactos sociais são as instituições de ensino às quais o pesquisador está vinculado.

As três Fundações realizam a divulgação de alguns resultados de pesquisas apoiadas. Não foi possível identificar como os projetos são escolhidos, mas a divulgação é realizada através de programa de televisão, publicação em revista ou site da instituição.

Apesar de nenhuma destas FAP´s possuírem um conjunto de indicadores sociais, constatou-se que nas FAP´s A e C existe um banco de dados que alimenta alguns indicadores institucionais. A maioria destes, são indicadores de esforços de P&D, focados no processo.

As principais características das FAP´s, bem como as práticas de avaliação ex-post utilizadas, encontram-se resumidas no Quadro 01:

Quadro 01: Características institucionais e da avaliação ex-post em 03 FAP´s

Notas:
1 Em programas muito específicos são formadas comissões especiais.
2 Todos os entrevistados confessaram que raramente ocorre a indicação de uma visita.

Costa e Castanhar (2003) afirmam que avaliar a eficiência não é o único e nem o mais importante critério a ser utilizado. A escolha pelo conjunto de critérios mais adequado vai depender dos aspectos a serem privilegiados na avaliação.

Percebe-se que o contexto econômico onde cada FAP atua afeta diretamente na avaliação de resultados, pois, em cada Fundação a avaliação tem um sentido diferente. Schwartzman (2002) confirma que os impactos dos resultados de pesquisa variam muito e podem não estar relacionados à natureza do trabalho que é feito, mas sim às condições do ambiente em que este trabalho se desenvolve.

Na FAP A, a avaliação busca justificar os gastos junto ao governo a fim de manter estes recursos e informar à sociedade sobre o investimento feito em pesquisas.

Na FAP B, a avaliação busca mostrar a importância da pesquisa no Estado e explicitar para o governo a necessidade de aumentar o investimento em C,T&I. Também identifica os produtos finais nos quais a Fundação tem uma participação em sua comercialização através de royalties.

Na FAP C, a avaliação de resultados, se mantém totalmente focada na aprovação do relatório técnico-científico parcial ou final, e serve apenas para confirmar se o pesquisador vem cumprindo ou cumpriu o que se comprometeu a fazer e assim justificar o valor investido em cada projeto.

Como o foco da avaliação é diferente em cada uma das FAP´s estudadas, conseqüentemente, as metodologias utilizadas e o grau de esforço despendido, também não são os mesmos (CUNHA, 2006). Verifica-se um esforço maior nas duas primeiras FAP´s, que buscam otimizar seus resultados e processos, a fim de aumentar ou manter a capacidade de investimento que possuem.

Na FAP C verificou-se a despreocupação no desenvolvimento de técnicas de avaliação de impactos sociais. Isto pode ser explicado à posição desta FAP dentro do sistema público estadual e/ou pela sua aprovação na sociedade, diante da capacidade em estabelecer parcerias com o setor empresarial.

Outro ponto que chama a atenção nos três casos estudados foi o fato de todos os entrevistados confirmarem que sempre realizaram a avaliação de resultados, porém não souberam especificar quais indicadores são praticados. Cunha (2006) afirma que a mensuração de resultados somente pode ser quantificada através da utilização de indicadores.

Ao analisar as respostas sobre como funciona o processo de avaliação e os formulários que os avaliadores preenchem com uma síntese da avaliação, foi possível perceber que cada FAP acaba definindo alguns itens a serem avaliados no relatório técnicocientífico final. Alguns destes itens podem ser compreendidos como indicadores. Outros não podem ser quantificados, descaracterizando o item como um indicador. De acordo com Francisco (2002), os indicadores devem ser mensuráveis, caso contrário não geram informações relevantes para o usuário.

No Quadro 02 são apresentados os dados extraídos dos formulários utilizados pelas FAP´s estudadas, quando da entrega dos relatórios finais. Percebe-se que estas informações referem-se principalmente a insumos e produtos e podem ser transformados em indicadores. Segundo Herrlein (2001), o construto mais simples é aquele que envolve indicadores de insumos e resultados (produtos). Além da facilidade de mensuração, os dados são encontrados dentro da própria instituição.

Quadro 02: Itens utilizados para a avaliação ex-post pelas 03 FAP´s.

Em contrapartida, os dados relativos à inovação quase não são evidenciados na avaliação de resultados dos projetos de pesquisas apoiados por estas FAP´s. Estes indicadores, além de serem difíceis de mensurar, são alimentados geralmente por informações que estão fora da instituição e que demandam um tempo de maturação.

Os dados para gerarem indicadores de impacto exigem a análise dos desdobramentos dos resultados de projetos em períodos subseqüentes. Observa-se a dificuldade em construir indicadores que representem com segurança a relação de causa-efeito entre a atividade científica e tecnológica e o impacto socioeconômico que a própria ciência provoca (HERRELIN, 2001).

Este fato comprova a teoria aqui apresentada de que, à medida que se caminha dos indicadores de insumo para os indicadores de resultados e destes para os indicadores de impactos, eles vão se tornando mais escassos (BRASIL, 2007).

O entrevistado da FAP C considera a publicação dos resultados de uma pesquisa em revistas de relevância científica como um impacto social. Para ele, além do reconhecimento da importância do assunto ao ser aceito o trabalho, também surge a oportunidade de multiplicação do conhecimento gerado.

Outros aspectos fazem parte dos formulários utilizados pelas FAP´s na avaliação expost . Nestes, o avaliador indica apenas a sua ocorrência. São eles: alcance dos objetivos; cumprimento do cronograma; conformidade da metodologia escolhida; benefícios da 24 realização do projeto para o avanço da área de conhecimento; para o grupo de pesquisa e para a(s) instituição(ões) onde foi desenvolvido; descrição das condições favoráveis ou desfavoráveis para o desenvolvimento do projeto; a aplicação dos recursos na execução do projeto de pesquisa; comparação dos objetivos propostos com aqueles executados.

Assim, os dados são muito precários para que se utilize a avaliação ex-post como um diagnóstico. Além disso, de maneira geral, os impactos sociais não são analisados por estas instituições e a técnica de desenvolvimento de indicadores para avaliação dos resultados dos projetos apoiados ainda se encontra em desenvolvimento.

De acordo com Costa e Castanhar (2003), a avaliação somente é possível se o planejamento for consistente e para avaliar os resultados de um projeto é necessário que antes seja definido o que se pretende medir e principalmente quais critérios serão utilizados para isso. É preciso que se crie um conjunto de indicadores de resultados e impactos.

Estes autores ensinam que este planejamento começa pela identificação dos objetivos gerais e específicos e dos indicadores de performance dos programas, nos quais a avaliação se apoiará. Também devem ser definidas as fontes de dados que serão usadas para as mensurações, comparações e análises necessárias.

Conclui-se então, que existem dois níveis de avaliação: um que abrange o projeto em si e outro que abrange todo o programa, composto por vários projetos. Neste sentido, a avaliação do projeto deve facilitar o processo de avaliação dos resultados do programa através da definição de indicadores. Diante disso, os indicadores de resultados serão, em parte, universais, ou seja, poderão ser utilizados para todos os projetos, e a outra parte deles será criada e utilizada de acordo com a natureza do programa/edital.

A seleção destes indicadores durante a definição do programa orientará o processo de gestão focada nos resultados. Devido a complexidade aqui apresentada, entende-se que para que a avaliação de resultados possa ser utilizada como um diagnóstico da C,T&I, é mais 25 coerente avaliar os impactos de um programa do que de cada projeto individualmente apoiado.

Este planejamento para resultados permitirá a escolha de indicadores que atendam os critérios de validade, confiabilidade, relevância, abrangência, mensuralidade, viabilidade e invariância de escala; apresentados por Geisler (2000), Herrlein (2001) e Francisco (2002), fornecendo informações mais precisas sobre na avaliação de resultados.

Alguns aspectos subjetivos permeiam a avaliação dos resultados. Os avaliadores entrevistados na FAP A afirmam que precisam ser bastante tolerantes e levar em consideração aspectos como superdimensionamento por parte do pesquisador na hora de elaborar uma proposta, problemas relacionados ao próprio desenvolvimento da pesquisa, enfim, questões que podem prejudicar o atendimento dos objetivos propostos.

A maneira pela qual os relatórios são elaborados dificulta a avaliação. Segundo os avaliadores entrevistados, muitas informações solicitadas no formulário da FAP não são encontradas nos relatórios apresentados. Desse modo, alguns pesquisadores são chamados a prestar maiores informações e o processo de avaliação acaba levando um tempo superior ao previsto.

A visita técnica, apesar de ser um procedimento citado por todas as FAP´s, não é muito praticada. Um aspecto dificultador é o fato destas visitas envolverem gastos com passagens e diárias, além da disponibilização de recursos humanos.