1 INTRODUÇÃO

As universidades assumem, cada vez mais, papel fundamental no desempenho econômico e social do País (SURYADI, 2007; MAGALHÃES et al., 2010; PAIVA et al., 2014; ASIF; SEARCY, 2014), que é transmitir conhecimento, formando cidadãos que possam contribuir para o bem-estar e o progresso da sociedade. As universidades são produto das necessidades e pressões sociais, portadoras de identidade própria e preocupadas não somente com lucros ou resultados, mas com a geração e transmissão de conhecimento (CARBONE, 1995; CHEN; YANG; SHIAU, 2006; MITCHELL; RYDER, 2013).

A geração e a transmissão de conhecimento são materializadas na oferta de ensino de qualidade e no desenvolvimento de pesquisas científicas que busquem respostas aos desafios e problemas sociais, econômicos, políticos e culturais da sociedade em que a universidade está inserida (MARRA; MELO, 2005; MITCHELL; RYDER, 2013). Nessa perspectiva, as atividades de ensino, pesquisa e extensão são indissociáveis nas universidades (BASTOS, 1987; CARBONE, 1995; UMASHANKAR; DUTTA, 2007; LIMA et al., 2009; PALÁCIOS, 2014).

As universidades devem ser entendidas como organizações complexas, por manterem múltiplas e simultâneas relações com o ambiente interno e o externo e envolverem diferentes e conflitantes pontos de vista (BASTOS, 1987; LEITÃO, 1987; GUTIERREZ, 1993; CARBONE, 1995; MARCELINO, 2002; GOMES et al., 2002; ALPERSTEDT; MARTIGNAGO; FIATES, 2006; UMASHANKAR; DUTTA, 2007; REBELO, 2008; MAGALHÃES et al., 2010; FERREIRA et al., 2010; PAIVA et al., 2014; ASIF; SEARCY, 2014; HLADCHENKO, 2015).

Além de serem organizações complexas, as universidades, muitas vezes, têm seus objetivos institucionais estabelecidos de forma vaga e intangível, o que dificulta a definição de metas operacionais que consigam responder satisfatoriamente às demandas que lhe são impostas (ANDRADE, 2006; ASIF; SEARCY, 2014; PAIVA et al., 2014). Adicionalmente, nos últimos anos, as universidades têm sido submetidas a vários desafios, centrados, especialmente, no atendimento da exigência por mais transparência na gestão; na manutenção da qualidade de ensino e da pesquisa; na ampliação da oferta de vagas, sem destinação proporcional de estrutura acadêmica e de pessoal; e na redução orçamentária (MARCELINO, 2002; ANDRADE FILHO; MACHADO DA SILVA, 2003; VIEIRA; VIEIRA, 2003; SILVA, MORGAN; COSTA, 2004; MARRA; MELO, 2005; PAPENHAUSEN; EINSTEIN, 2006; UMASHANKAR; DUTTA, 2007; MAGALHÃES et al., 2010; VENTURINI et al., 2010; PIRES; ROSA; SILVA, 2010; MAINARDES; MIRANDA; CORREIA, 2011; PAIVA et al., 2014; ASIF; SEARCY, 2014; VALMORBIDA et al., 2014). Esses desafios têm levado as universidades a repensarem sua forma de gestão a fim de tornarem-se mais competitivas em longo prazo (UMASHANKAR; DUTTA, 2007; SURYADI, 2007; CHEN; WANG; YANG, 2009; LIMA et al., 2009; PIRES; ROSA; SILVA, 2010; MAGALHÃES et al., 2010; PINGLE; NATASHAA, 2011; MEYER JUNIOR; PASCUCCI; MANGOLIN, 2012; PAIVA et al., 2014; ASIF; SEARCY, 2014; HLADCHENKO, 2015).

Nesse contexto, para superação desses desafios, a literatura aponta como oportunidade a atividade de gestão universitária, por meio da definição de objetivos, do estabelecimento de prioridades, do uso adequado de recursos e, em especial, da materialização das estratégias que permitam alcançar o desempenho desejado (SURYADI, 2007; CHEN; WANG; YANG, 2009; AZMA, 2010; MEYER JUNIOR, PASCUCCI; MANGOLIN, 2012; ASIF; RAOUF; SEARCY, 2013; ASIF; SEARCY, 2014; HLADCHENKO, 2015). Essa demanda impulsiona os gestores a adotarem práticas gerenciais, para tomada de decisões e ações (MARRA; MELO, 2005), e a buscarem melhorias em suas formas de gestão (MARCELINO, 2002; VIEIRA; VIEIRA, 2003; SILVA; MORGAN; COSTA, 2004; MARRA; MELLO, 2005; CHEN; WANG; YANG, 2009; MAGALHÃES et al., 2010; VALMORBIDA et al., 2014).

Para dar conta da melhoria na gestão, a literatura tem entendido ser necessário desenvolver sistemas para Avaliação de Desempenho, baseados em indicadores que monitorem o alcance dos objetivos estabelecidos pelas universidades (LEITÃO, 1987; VIEIRA; VIEIRA, 2003; SILVA; MORGAN; COSTA, 2004; SURYADI, 2007; CHEN; WANG; YANG, 2009; MAGALHÃES et al., 2010; AZMA, 2010; MAINARDES; MIRANDA; CORREIA, 2011; MEYER JUNIOR; PASCUCCI; MANGOLIN, 2012; PALÁCIOS, 2014; PAIVA et al., 2014). Segundo os autores, os indicadores conseguem tornar mais tangíveis as metas definidas pelas universidades e, por meio deles, é possível acompanhar o alcance dessas metas. Assim, torna-se importante conhecer trabalhos já publicados para verificar como vem sendo tratado o tema pela comunidade científica.

Dessa forma, emerge a pergunta que orienta esta pesquisa: Quais indicadores têm sido utilizados para mensurar os objetivos perseguidos pelas universidades? Para responder a essa questão, estabeleceu-se este objetivo para o trabalho: Identificar e analisar os indicadores de desempenho utilizados para a avaliação da gestão universitária, encontrados nas literaturas nacional e internacional. Para tal, os autores propõem analisar as seguintes características: (i) os indicadores utilizados por cada artigo; (ii) os agrupamentos por dimensão que os indicadores se propõem a mensurar; (iii) se mensuram aspectos financeiros e/ou não financeiros; (vi) os mais frequentes por dimensão; e, (v) as comparações entre os indicadores propostos pelas literaturas nacional e internacional selecionadas.

Justifica-se a realização deste trabalho quanto à originalidade, viabilidade e importância (CASTRO, 1977). No que tange à originalidade, não foram encontrados, na literatura consultada, trabalhos que se propusessem a identificar e analisar os indicadores utilizados na gestão universitária. Percebe-se importante pesquisar os indicadores, tendo em vista que eles conseguem tornar tangíveis as metas definidas pelas universidades e ainda acompanhar o atendimento a elas. Quanto à viabilidade, esta é aferida haja vista a disponibilidade gratuita de materiais nas bases de dados na internet e o tempo e interesse dos pesquisadores em realizar a pesquisa.

Este artigo delimita-se à identificação dos artigos que discutem a necessidade de incorporar indicadores de desempenho na gestão universitária e daqueles que utilizam indicadores para apoiar a gestão universitária, publicados nas bases de dados Spell, Scopus, ProQuest, EBSCO, Science Direct, Wiley, Engeering Village, Web of Science . Emerald Insight, até 2015. Assim, delimita-se a busca de artigos científicos indexados nessas bases de dados, não fazendo o uso de livros, teses ou outro tipo de material científico.

Além desta seção introdutória, este trabalho apresenta o referencial teórico na seção 2; a metodologia da pesquisa, na seção 3; a seção 4 destina-se à apresentação e discussão dos resultados encontrados; a seção 5, à conclusão; e, por fim, estão as referências.

2 REFERENCIAL TEÓRICO

Esta seção objetiva compilar as ideias dos autores do Portfólio Bibliográfico (PB) a respeito da gestão universitária e dos indicadores de desempenho.

2.1 Gestão universitária

As instituições de ensino superior assumem, cada vez mais, um importante papel no desempenho econômico-financeiro de uma nação (PAIVA et al., 2014). Acompanhadas desse importante papel, as universidades têm sofrido cobranças por mais eficiência dos recursos utilizados e pela qualidade dos serviços prestados. Essa situação leva as universidades à adoção de práticas gerenciais que sustentem as decisões que visam ao alcance de seus objetivos institucionais (CARBONE, 1995; MARCELINO, 2002; VIEIRA; VIEIRA, 2003; SILVA; MORGAN; COSTA, 2004; MARRA; MELO, 2005; CHEN; YANG; SHIAU, 2006; SURYADI, 2007; MAGALHÃES et al., 2010; VALMORBIDA et al., 2014). Sendo assim, a literatura aponta que essas práticas gerenciais fazem parte da atividade de gestão universitária, que deve, entre outras práticas, definir os objetivos da instituição universitária; estabelecer os objetivos prioritários para o uso adequado dos recursos; e, por meio de ações corretivas/aperfeiçoamento, materializar as estratégias institucionais (SURYADI, 2007; CHEN; WANG; YANG, 2009; AZMA, 2010; MEYER JUNIOR; PASCUCCI; MANGOLIN, 2012; ASIF; RAOUF; SEARCY, 2013; ASIF; SEARCY, 2014; HLADCHENKO, 2015).

Assim, a gestão universitária tem como um de seus propósitos o estabelecimento de metas e o desenvolvimento de estratégias que possibilitem às universidades direcionarem suas ações a fim de alcançar esses objetivos e manter a instituição competitiva (MEYER; MEYER; ROCHA, 2009; ASIF; RAOUF; SEARCY, 2013).

No entanto, Marra e Melo (2005) e Mainardes, Miranda e Correia (2011) apontam que atualmente a gestão das universidades brasileiras é realizada sem planejamento, imperando o imediatismo e o improviso. Argumenta-se que algumas características da instituição universitária podem explicar esse fato, tais como fatores políticos, burocracia, jogo de poder, conflitos de interesses e a própria cultura da universidade, características essas que dificultam a gestão.

Nesse contexto, a Avaliação de Desempenho das universidades vem sendo defendida como um instrumento necessário para dar credibilidade e legitimidade à comunidade em que estão inseridas; subsidiar o uso eficiente e transparente dos recursos à sociedade; subsidiar a elevação da qualificação institucional por meio da promoção do aperfeiçoamento do ensino, da pesquisa e da extensão; e, consequentemente, subsidiar a atividade de gestão (VENTURINI et al., 2010; ASIF, RAOUF; SEARCY, 2013). Dentre as metodologias apresentadas na literatura para a Avaliação de Desempenho das universidades, a maioria delas tem por base os indicadores de desempenho (CULLEN et al., 2003; CHEN; YANG; SHIAU, 2006; CHEN; WANG; YANG, 2009; AZMA, 2010). Cullen et al. (2003) e Azma (2010) argumentam que, para a concretização da Avaliação de Desempenho das instituições de ensino superior, a questão central reside no reconhecimento dos principais indicadores de desempenho. Nessa mesma linha de pensamento, Vieira e Vieira (2003) mencionam que a avaliação só produzirá resultados que qualifiquem adequadamente o desempenho das universidades quando o seu processo for da competência e do interesse das próprias instituições de ensino superior. Para isso, é fundamental que haja reflexão sobre quais indicadores representam seus objetivos e suas metas.

2.2 Indicadores de desempenho

A necessidade de se desenvolverem sistemas de avaliação, baseados em indicadores de desempenho, para o alcance dos objetivos e metas estabelecidas pelas universidades é reconhecida por vários autores (LEITÃO, 1987; SILVA; MORGAN; COSTA, 2004; MAGALHÃES et al., 2010; MAINARDES; MIRANDA; CORREIA, 2011; MEYER JUNIOR; PASCUCCI; MANGOLIN, 2012; MITCHELL; RYDER, 2013; PALÁCIOS, 2014). Segundo Leitão (1987), tanto no Brasil como no exterior, a comunidade científica tem proposto a utilização de indicadores para avaliar e melhor conhecer o desempenho das universidades e, com base neles, poder melhor geri-las.

No entanto, considerando que (i) as universidades têm seus objetivos institucionais estabelecidos, muitas vezes de forma vaga e intangível (ANDRADE, 2006; PAIVA et al., 2013; HLADCHENKO, 2015); (ii) a complexidade e as especificidades de cada universidade (LEITÃO, 1987; BASTOS, 1987; GUTIERREZ, 1993; CARBONE, 1995; MARCELINO, 2002; GOMES et al., 2002; ALPERSTEDT; MARTIGNAGO; FIATES, 2006; FERREIRA et al., 2010; MAGALHÃES et al., 2010; PAIVA et al., 2013); e, (iii) as diferentes percepções e necessidades que cada universidade possui para mensurar e avaliar cada objetivo (AZMA, 2010), há dificuldade de responder às exigências do ambiente externo que demandam por um rol de indicadores-chave (ANDRADE, 2006; PAIVA et al., 2013; HLADCHENKO, 2015). Leitão (1987) cita que há, na literatura, uma diversidade de indicadores referentes à educação superior, no entanto ainda existe carência de indicadores para acompanhar a materialização das estratégias organizacionais.

Vieira e Vieira (2003) e Venturini et al. (2010) argumentam que deve haver reflexão sobre quais indicadores possibilitam a tradução das estratégias em objetivos e metas a serem perseguidos pelas universidades e, assim, poderem alcançar o desempenho desejado. Contudo, Meyer Junior, Pascucci e Mangolin (2012) argumentam que esse é um aspecto crítico da gestão universitária. Mitchell e Ryder (2013) e Asif e Searcy (2014) apontam ainda que os indicadores devem ser desenvolvidos, implementados e usados de modo que sejam adequados ao contexto único em que a instituição se encontra, pois os indicadores podem variar de instituição para instituição. Dado que os recursos organizacionais são limitados e existem numerosos indicadores possíveis, é necessário priorizar o estabelecimento dos indicadores de acordo com as necessidades da instituição (ASIF; SEARCY, 2014). Sendo assim, cada universidade, por possuir alvos estratégicos específicos, deve identificar/construir indicadores de desempenho em número e natureza que deem conta de alcançá-los (CHEN; YANG; SHIAU, 2006; CHEN; WANG; YANG, 2009).

Como palavra final, a gestão, por meio do uso de indicadores de desempenho, possibilita a melhoria do desempenho interno (acompanhando o desempenho das atividades de pesquisa, ensino, extensão, gestão operacional e financeira e comunicação interna) e do externo (atendendo à demanda por transparência, preocupando-se com a comunicação externa, dando publicidade às prestações de contas e de informações aos diversos stakeholders) (ASIF; SEARCY, 2014). Ainda, incentivam e subsidiam os gestores universitários a aperfeiçoar os desempenhos desalinhado/inadequados e, assim, promover a competitividade da universidade (CHEN; WANG; YANG, 2009).

3 METODOLOGIA DA PESQUISA

Esta seção tem por objetivo apresentar a metodologia utilizada para o desenvolvimento da presente investigação, sendo subdividida em: (i) enquadramento metodológico; (ii) instrumento de intervenção: Knowledge Development Process-Constructivist.ProKnow-C); e (iii) procedimentos para coleta e análise dos dados.

3.1 Enquadramento metodológico

Este artigo, por ter a finalidade de identificar, nas publicações científicas nacionais e internacionais, e analisar os indicadores de desempenho utilizados para a avaliação da gestão de universidades, caracteriza-se como um estudo descritivo (RICHARDSON, 1999). Esse aspecto descritivo é justificado quando da observação e evidenciação das seguintes características: (i) os agrupamentos por dimensão que os indicadores se propõem a mensurar; (iii) se mensuram aspectos financeiros e/ou não financeiros; (vi) os mais frequentes por dimensão; e, (v) comparação entre os indicadores propostos pelas literaturas nacional e internacional selecionadas.

Para análise dos indicadores, serão realizadas apenas operações de contagem e frequência de ocorrência; assim, este trabalho não fará uso de ferramental estatístico. Esta pesquisa terá apenas abordagem qualitativa (RICHARDSON, 1999), ou seja, os resultados da análise serão desenvolvidos sob a perspectiva da abordagem qualitativa da interpretação do significado entendido pelos pesquisadores deste estudo. Como os dados são coletados nos artigos que compõem o Portfólio Bibliográfico (PB) nacional e internacional, esta investigação faz uso de dados secundários (RICHARDSON, 1999). Para seleção do PB, utiliza-se como instrumento de intervenção o Knowledge Development Process-Constructivist .ProKnow-C), devido ao seu procedimento estruturado e orientativo do passo a passo de como selecionar as publicações científicas representativas que respondem pelo fragmento da literatura a ser analisado.

3.2 Instrumento de intervenção

Para a seleção das publicações científicas a serem analisadas, com o propósito de geração de conhecimento e informações a respeito dos indicadores utilizados na Gestão de Universidades, utilizou-se como instrumento de intervenção o Knowledge Development Process-Constructivist .ProKnow-C), desenvolvido pelo Laboratório de Metodologias Multicritério de Apoio à Decisão (LabMCDA), da Universidade Federal de Santa Catarina (UFSC), e já utilizado em outras publicações científicas que investigam contextos diferentes deste (ENSSLIN; ENSSLIN; PINTO, 2013; WAICZYK; ENSSLIN, 2013; ENSSLIN et al., 2014; DUTRA et al., 2015; VALMORBIDA; CARDOSO; ENSSLIN, 2015; CARDOSO; ENSSLIN; DIAS, 2016).

O ProKnow-C tem como principal objetivo prover conhecimento sobre um fragmento da literatura científica. Para atingir seu objetivo o instrumento conduz o pesquisador (i) a selecionar um Portfólio Bibliográfico (PB) de artigos científicos e relevantes que respondem pelo tema de pesquisa; (ii) a realizar a investigação e análise de algumas características desse PB, que o processo denomina por análise bibliométrica do PB; (iii) a refletir criticamente sobre a posição dos estudos com base na afiliação teórica estabelecida pelo pesquisador, que o processo denomina por análise sistêmica; e (iv) a apontar as lacunas e oportunidades de futuras pesquisas, com base no conhecimento gerado nas duas etapas anteriores. Todas as etapas demandam a participação ativa do pesquisador para sua realização. Dessa forma, o processo construtivista ocorre e evolui baseado nos interesses e nas delimitações estabelecidas pelo pesquisador (ENSSLIN et al., 2014b, SILVA et al., 2014; VALMORBIDA; CARDOSO; ENSSLIN, 2015; DUTRA et al., 2015). Assim, constata-se que o processo é composto por quatro etapas, conforme a Figura 1 evidencia.

Para alcançar o objetivo proposto nesta investigação, apenas a primeira etapa do ProKnow-C se faz necessária. Assim, os artigos do PB selecionados na primeira etapa – Seleção do Portfólio Bibliográfico – são os materiais onde os dados (indicadores) são coletados e analisados, bem como são os materiais que informam a construção do referencial teórico.

A etapa Seleção do Portfólio Bibliográfico, por sua vez, é resultante da realização de três subetapas sequenciais: (i) seleção do banco de artigos bruto; (ii) filtragem do banco de artigos; e, (iii) realização do teste de representatividade do Portfólio Bibliográfico (PB) (ENSSLIN; ENSSLIN; PINTO, 2013; WAICZYK; ENSSLIN, 2013; CARDOSO; ENSSLIN; DIAS, 2016).

3.3 Procedimentos para coleta e análise dos dados

A formação do Portfólio Bibliográfico (PB) de artigos que representam o tema deste estudo é definida no ProKnow-C como um “conjunto restrito de artigos científicos e relevantes” (ENSSLIN et al., 2014, p. 593). Para tal, o processo dividiu-se em dois procedimentos de busca, conforme é demonstrado na Tabela 1.

O processo de pesquisa para a seleção dos artigos que compuseram o Portfólio Bibliográfico (PB) iniciou com uma busca nas nove bases de dados. Nos campos designados para tal, a busca foi feita utilizando as palavras-chave nos campos “Título do artigo”, “Resumo” e “Palavra-chave”. Isso resultou em 2.534 artigos que continham os termos referidos e foi verificado seu alinhamento: primeiro, pela leitura do título; em seguida, o alinhamento pelo resumo, a disponibilidade gratuita do artigo na internet; e, por fim, pela sua leitura integral. Para esta pesquisa, consideraram-se alinhados os artigos que discutiam a necessidade de incorporar indicadores de desempenho na gestão universitária. Ao final, entendeu-se que 37 artigos selecionados formavam o Portfólio Bibliográfico (PB) representativo desse tema.

Cumpre salientar que o teste de representatividade, por meio da análise das referências do Portfólio Bibliográfico, busca identificar novos artigos que estejam alinhados e tenham representação científica, mas que não estejam no Portfólio Bibliográfico. Nessas subetapas, todas as delimitações consideradas na seleção do banco de artigos bruto são respeitadas. Como todos os artigos identificados já estavam contidos no Portfólio Bibliográfico, este se manteve com 37 artigos.

Para realizar o mapeamento dos indicadores identificados nos artigos, utilizou-se o softwareMicrosoft Excel. Na análise proposta por esta pesquisa, serão identificados: (i) os indicadores utilizados por cada artigo; pois serão analisados somente artigos que contemplaram indicadores; (ii) os agrupamentos por dimensão que os indicadores se propõem a mensurar, os quais foram classificados em quatro dimensões: Gestão, Ensino, Extensão e Pesquisa; (iii) se os indicadores mensuram aspectos financeiros e/ou não financeiros; dessa forma, analisou-se se mensuravam aspectos financeiros como, por exemplo, as receitas geradas por consultoria ou aspectos não financeiros como a satisfação dos alunos; (vi) os indicadores mais frequentes por dimensão; e, (v) as comparações entre os indicadores propostos pelas literaturas nacional e internacional selecionadas.

4 APRESENTAÇÃO E DISCUSSÃO DOS RESULTADOS

Após a seleção dos artigos sobre gestão universitária, conforme processo explicitado na seção 2.3, fez-se a leitura deles visando selecionar os que utilizavam indicadores de desempenho como suporte à gestão universitária. Constatou-se que 24 artigos utilizavam indicadores para apoiar a gestão universitária (demonstrados na Tabela 2), os quais foram listados e analisados.

Ao todo, foram observados 354 indicadores nos 24 artigos, conforme demonstrado na Tabela 3.

Percebe-se que os artigos da literatura internacional utilizam um número maior de indicadores para avaliação da gestão universitária se comparados aos da literatura nacional. Assim, nota-se a ênfase da literatura internacional na promoção da gestão por meio de indicadores. Os trabalhos de Asif, Raouf e Searcy (2013), com 49 indicadores, de Chen, Wang e Yang (2009), com 48 indicadores, e de Umashankar e Dutta (2007), com 47 indicadores, somados, concentram 51% dos indicadores totais. Na literatura nacional, um trabalho “foge à regra”, o de Leitão (1987) que concentra 45% dos indicadores totais observados. Já os trabalhos de Bastos (1987), Gutierrez (1993), Silva, Morgan e Costa (2004) e Magalhães et al. (2010) utilizam um único critério de avaliação.

Além disso, foram observados, em linhas gerais, os aspectos mais avaliados pelos indicadores, conforme demonstra a Tabela 4.

Os aspectos que mais chamam atenção da literatura, quando se fala em gestão da universidade, é a questão financeira (17%), o que era esperado, visto que tanto as universidades públicas, quanto as privadas necessitam de estabilidade financeira para custear suas atividades. Os resultados das atividades de ensino, pesquisa e extensão são responsáveis por 14% dos indicadores encontrados. A satisfação da comunidade acadêmica com as atividades da universidade concentra 12% dos indicadores. Ainda, a qualidade também é bastante lembrada com 11% do total de indicadores.

Os indicadores também foram analisados em relação à preferência pela mensuração dos aspectos financeiros e não financeiros, conforme demonstrado na Tabela 5.

O uso de indicadores que mensuram aspectos não financeiros sobressai tanto na literatura nacional quanto na internacional, sendo utilizados em 83% dos indicadores observados. Acredita-se que a possibilidade dessa ocorrência é devido às múltiplas atividades/funções desempenhadas pelas universidades e que a elas agregam valor. Esse aspecto também é apresentado nos trabalhos de Leitão (1987), Bastos (1987), Gutierrez (1993), Carbone (1995), Gomes et al. (2002), Marcelino (2002), Alperstedt, Martignago e Fiates (2006), Ferreira et al. (2010), Magalhães et al. (2010) e Paiva et al. (2013).

Os indicadores encontrados na literatura foram agrupados em dimensões pelos autores da presente pesquisa, conforme se visualiza na Tabela 6.

Considerando as quatro dimensões, o diagnóstico percebido nas literaturas nacional e internacional foi similar, em que a dimensão Gestão concentrou o maior número de indicadores (49%, na literatura nacional; e 41%, na literatura internacional), seguida pela dimensão Ensino, com 38%, na literatura nacional; e 32%, na internacional.

A Tabela 7 apresenta os indicadores, relacionados à gestão, mais utilizados pelos artigos, tanto da literatura nacional como da internacional.

A dimensão Gestão concentra os indicadores voltados à gestão operacional, financeira e das atividades de suporte às atividades fins da universidade. Apesar do uso de indicadores não financeiros, os indicadores financeiros (disponibilidade financeira, receitas, custos e despesas, rentabilidade, lucratividade, retorno sobre os investimentos) se sobressaem. Entretanto, no quesito Gestão também são elencados os aspectos não financeiros de satisfação de vários stakeholders da universidade com as atividades desenvolvidas por ela. Ainda, há a disponibilidade de infraestrutura como fator bastante observado pela literatura que, embora seja aspecto não financeiro, influencia as atividades de todas as dimensões da universidade.

Ao se compararem os indicadores das publicações nacionais e internacionais, constata-se que a maioria se faz presente em ambas. É interessante salientar que, nas publicações nacionais, os indicadores relacionados à dimensão Gestão têm mais representatividade no total de indicadores observados do que nas publicações internacionais. No entanto, aspectos como receitas, Economic Value Added .EVA), Retorno sobre Ativos e Retorno sobre Investimento (ROI) não foram observados nos trabalhos nacionais. Aqui, cabe uma indagação: esses aspectos não são importantes para as universidades brasileiras, ou apenas não são explorados nas pesquisas?

A dimensão de Ensino envolve a mensuração de aspectos relacionados ao dia a dia da sala de aula, incluindo professores e alunos. Os indicadores mais frequentes são demonstrados na Tabela 8.

Contrariando a dimensão Gestão, os indicadores da dimensão Ensino mais lembrados são os aspectos não financeiros tanto de disponibilidade de professor, bolsas acadêmicas e alunos matriculados. Em maior número, aspectos relacionados aos resultados obtidos pela ação acadêmica da universidade, seja pela taxa de conclusão de cursos, seja pela qualidade agregada ao ensino, proporcionada por professores mais bem qualificados. Outros aspectos também mencionados são a excelência acadêmica e a reputação da universidade que, na opinião dos autores deste trabalho, embora sejam importantes, dificilmente se consegue medir com um único indicador.

Comparando a literatura nacional com a internacional, percebe-se que aspectos relacionados à concessão de bolsas a alunos, quantidade de alunos por classe e reputação acadêmica não são explorados na literatura nacional. Acreditamos que a cultura de cada país acaba interferindo na formação da universidade e nas prioridades elencadas por elas na hora da avaliação da gestão. Isso acontece porque se deve analisar o ambiente interno e o externo à organização e incorporar as contingências únicas no desenvolvimento de indicadores. Assim, os indicadores podem variar de instituição para instituição e também variar, dependendo da cultura dos países (ASIF; RAOUF, SEARCY, 2013; MITCHELL; RYDER, 2013; ASIF; SEARCY, 2014).

A Tabela 9 apresenta os indicadores mais utilizados para mensuração de aspectos da dimensão Extensão.

A dimensão Extensão é um fator também importante, pois engloba as atividades de inserção e interação com a comunidade na qual as universidades estão inseridas. Nesse aspecto, também foi encontrada a preocupação de gerar patentes e novos serviços que se proponham a atender a demandas da comunidade local. Contudo, observa-se que os trabalhos nacionais pouco se preocupam com essa dimensão. Como apontado por Suryadi (2007), Magalhães et al. (2010), Paiva et al. (2013) e Asif e Searcy (2014), a universidade tem papel fundamental no desempenho econômico e social do País, no entanto ela só cumpre seu papel se, além de transmitir conhecimento, formar cidadãos que possam contribuir para o bem-estar e o progresso da sociedade. Assim, entendem-se importantes as atividades de extensão para o desenvolvimento da universidade, da comunidade e do país em que ela está inserida.

Outra dimensão, também importante para o desenvolvimento econômico e social de um país, é a Pesquisa. A Tabela 10 apresenta os indicadores usados nas publicações do PB.

Nessa dimensão, já era esperado que os indicadores mais utilizados estivessem relacionados à divulgação dos resultados da pesquisa, ou seja, a publicação de artigos científicos em periódicos e a participação dos docentes em seminários e conferências que se propõem a discutir trabalhos em andamento, antes que a pesquisa seja finalizada e publicada em periódicos. No entanto, nota-se que essa questão é ainda pouco abordada nos trabalhos nacionais, e que, além do desenvolvimento da pesquisa, há necessidade de acompanhar seu desenvolvimento, ou seja, desenvolver indicadores para monitorar seus resultados.

Na percepção dos autores desta pesquisa, os indicadores encontrados na literatura abrangem a ampla gama de atividades realizadas pelas universidades. Destaca-se, ainda, que alguns indicadores apresentados na literatura retratam especificidades do contexto na qual a universidade objeto de estudo estava inserida, fator que é lembrado nos trabalhos de Leitão (1987), Vieira e Vieira (2003) e Paiva et al. (2013), que ressaltam que os indicadores devem ser representativos da situação vivenciada pelas instituições em avaliação, e que dificilmente haverá consenso sobre quais indicadores remetem a uma avaliação adequada.

Este trabalho corrobora o trabalho de Leitão (1987), que aponta que há diversidade de indicadores referentes à educação superior na literatura, no entanto ainda há carência de indicadores que consigam acompanhar a materialização das estratégias organizacionais. Ou ainda, que deem conta de julgar o alcance dos objetivos e metas estabelecidas pelas universidades, como explicitado nos trabalhos de Leitão (1987), Silva, Morgan e Costa (2004), Magalhães et al.(2010), Mainardes, Miranda e Correia, (2011), Meyer Junior, Pascucci e Mangolin, (2012), Mitchell e Ryder (2013) e Palácios (2014), já que esta é uma das finalidades principais da construção de indicadores para gestão universitária.

5 CONSIDERAÇÕES FINAIS

As universidades assumem, cada vez mais, papel fundamental no desempenho econômico e social do País. Por serem organizações complexas, as universidades, muitas vezes, têm seus objetivos institucionais estabelecidos de forma vaga e intangível. Percebe-se que os indicadores conseguem tornar mais tangíveis as metas definidas pelas universidades e ainda julgar o seu atendimento. Assim, torna-se importante conhecer trabalhos já publicados para verificar como vem sendo tratado o tema pela comunidade científica.

Este trabalho teve por finalidade identificar e analisar os indicadores de desempenho utilizados para a avaliação da gestão universitária nas literaturas nacional e internacional. Para isso, foi selecionado um conjunto de artigos representativos sobre gestão universitária, por meio do instrumento Knowledge Development Process-Constructivist.ProKnow-C). Selecionaram-se 22 artigos na literatura nacional e 15 artigos na literatura internacional, que abordavam a gestão universitária. Na sequência, foram identificados os artigos que utilizavam indicadores de desempenho, ou seja, 24 artigos (11 nacionais e 13 internacionais). Nesses 24 artigos, foram encontrados um total de 354 indicadores, sendo que 80% foram encontrados na literatura internacional; (ii) 83% mensuram aspectos não financeiros; (iii) a dimensão Gestão concentra 42% do total de indicadores encontrados e há predomínio de aspectos financeiros, tais como: disponibilidade financeira, receitas, custos e despesas, rentabilidade, lucratividade, retorno sobre os investimentos; (iv) a dimensão Ensino foi a segunda mais avaliada, com 33% dos indicadores, sendo que a maioria são de aspectos não financeiros; (v) a dimensão Extensão, embora pouco lembrada, preocupa-se com a integração da universidade à comunidade em que está situada; e, (vi) a maioria dos indicadores da dimensão Pesquisa envolve a mensuração de resultados de divulgação da pesquisa realizada pela universidade.

Este trabalho corrobora o trabalho de Leitão (1987), que aponta que há diversidade de indicadores referentes à educação superior na literatura, no entanto ainda há carência de indicadores que consigam acompanhar a materialização das estratégias organizacionais. Ou ainda que deem conta de julgar o alcance dos objetivos e metas estabelecidas pelas universidades, como explicitado nos trabalhos de Leitão (1987), Silva, Morgan e Costa (2004), Magalhães et al. (2010), Mainardes, Miranda e Correia, (2011), Meyer Junior, Pascucci e Mangolin, (2012), Mitchell e Ryder (2013) e Palácios (2014), uma vez que esta é uma das finalidades principais da construção de indicadores para gestão universitária.

Argumenta-se que a implicação direta desta pesquisa é no sentido de evidenciar, para conhecimento geral, os indicadores já utilizados, mas especialmente alterar para a necessidade de se debruçarem esforços nessa área de conhecimento para aperfeiçoar e/ou desenvolver a gestão universitária sustentada por sistemas de Avaliação de Desempenho que possam alavancar o desempenho das universidades e assim melhor atender e contribuir para a sociedade.

O trabalho está limitado à análise dos artigos selecionados de acordo com o processo apresentado na seção 2.2, formado de acordo com as delimitações estabelecidas pelos autores deste trabalho. Cabe salientar que as etapas percorridas para a seleção podem ser utilizadas em outros trabalhos por outros pesquisadores.

Sugere-se, para futuras pesquisas, a ampliação da busca realizada para outras bases de dados, bem como a análise de características não contempladas nesta pesquisa, tais como: (i) separação de indicadores voltados às universidades públicas e às privadas; (ii) explicitação das métricas utilizadas para mensuração dos objetivos e dimensões identificados; e (iii) comparação da forma de mensuração de semelhantes aspectos observados em diferentes trabalhos.

REFERÊNCIAS

ALPERSTEDT, G. D.; MARTIGNAGO, G.; FIATES, G. G. S. O Processo de Adaptação Estratégica de uma Instituição de Ensino Superior sob a Ótica da Teoria Institucional. Revista de Ciências da Administração, v. 8, n. 15, p. 1-24, jan./jun. 2006.

ANDRADE FILHO, J. C.; MACHADO-DA-SILVA, C. L. Mudança ambiental e posicionamento estratégico em organizações: análise de três instituições de ensino superior. RAP, v. 37, n. 1, p. 51-73, jan./fev. 2003.

ANDRADE, A. R. D. A Gestão De Universidades Sob a Ótica da Teoria dos Recursos e Capacidades. Revista Eletrônica de Ciência Administrativa (RECADM), v. 5, n. 2, nov. 2006.

ASHLEY, P. A.; FERREIRA, R. D. N.; REIS, H. L. Sistema Nacional de Avaliação da Educação Superior: oportunidades para a responsabilidade social na gestão estratégica de instituições de ensino superior. Revista Gerenciais, v. 5, n. 1, p. 23-35, jan./jun. 2006.

ASIF, M.; RAOUF, A.; SEARCY, C.. Developing measures for Performance excellence: is the Baldrige criteria sufficient for performance excellence in higher education? Quality & Quantity, v. 47, p. 3095-3111, 2013.

ASIF, M.; SEARCY, C. A composite index for measuring performance in higher education institutions. International Journal of Quality & Reliability Management, v. 31, n. 9, p. 983-1001, 2014.

AZMA, F. Qualitative Indicators for the evaluation of universities performance. Procedia Social and Behavioral Sciences, v. 2, p. 5408-5411, 2010.

BASTOS, R. C. Sistemas de Custos para Universidades Federais Autárquicas. RAP, v. 21, n. 3, p. 58-81, jul./set. 1987.

BORGES, D. F.; ARAÚJO, M. A. D. D. Uma experiência de planejamento estratégico em universidade: o caso do Centro de Ciências Sociais Aplicadas da UFRN. RAP, v. 35, n. 4, p. 63-76, jul./ago. 2001.

CARBONE, C. A universidade e a gestão da mudança organizacional: a partir da análise sobre o conteúdo dos padrões interativos. RAP, v. 29, n. 1, p. 34-47, jan./mar. 1995.

CARDOSO, T. L.; ENSSLIN, S. R.; DIAS, J. Avaliação de desempenho da sustentabilidade financeira da Universidade do Mindelo (Cabo Verde): um modelo multicritério construtivista. Revista Eletrônica de Estratégia & Negócios, [S.l.], v. 9, n. 2, p. 234-264, set. 2016.

CASTRO, C. M. A prática da pesquisa. São Paulo: McGraw-Hill do Brasil, 1977.

CELESTINO, M. D. S.; SILVA, J. D. G. D. O Balanced Scorecard como Framework para a Ação Estratégica. Revista Ibero-Americana de Estratégia, v. 10, n. 3, p. 147-172, set./dez. 2011. ISSN 21760756

CHEN, S.‐H.; WANG, H.‐H.; YANG, K.‐J. Establishment and application of performance measure indicators for universities. The TQM Journal, v. 21, n. 3, p. 220-235, 2009.

CHEN, S.‐H.; YANG, C.‐C., SHIAU, J.‐Y.. The application of balanced scorecard in the performance evaluation of higher education. The TQM Magazine, v. 18, n. 2, p.190-205, 2006.

CULLEN, J.; JOYCE, J.; HASSALL, T. BROADBENT, M.. Quality in higher education: from monitoring to management. Quality Assurance in Education, v. 11, n. 1, p. 5-14, 2003.

DULTRA, H. N.; SOUTO, V. A.; CAVALCANTI, V. Gestão Universitária: Um Diálogo em Aberto. Gestão & Planejamento-G&P, v. 1, n. 5, p. 80-85, 2002.

DUTRA, A.; RIPOLL-FELIU, V. M.; FILLOL, A.. G.; ENSSLIN, S. R.; ENSSLIN, L. The construction of knowledge from the scientific literature about the theme seaport performance evaluation, International Journal of Productivity and Performance Management, v. 64, n. 2, p. 243-269, 2015.

ENSSLIN, L.; ENSSLIN, S. R.; PINTO, H. M.; Processo de investigação e Análise bibliométrica: Avaliação da Qualidade dos Serviços Bancários. RAC – Revista de Administração Contemporânea, v.17, n. 3, p. 325-349, 2013.

ENSSLIN, S.R.; ENSSLIN, L.; IMLAU, J.M.; CHAVES, L.C. Processo de mapeamento das publicações científicas de um tema: portfólio bibliográfico e análise bibliométrica sobre avaliação de desempenho de cooperativas de produção agropecuária. Revista de Economia e Sociologia Rural (Impresso), v. 52, n.1, p. 587-608, 2014.

FERREIRA, M. V. A.; SERRA, F. A. R.; FERREIRA, M. P.; SANTOS, N. D. Planejamento Estratégico Participativo em uma Instituição de Ensino Superior (IES) Comunitária. Estratégia e Negócios, Florianópolis, v. 3, n. 1, p. 28-52, jan./jun. , 2010.

FRANCESCHINI, F.; TURINA, E. Quality improvement and redesign of performance measurement systems: an application to the academic field. Quality & Quantity, v. 47, p. 465-483, 2013.

GOMES, L. F. A. M.; MELLO, J. C. C. B. S. D.; RANGEL, L. A. D.; GOMES, E. G.; FUKS, S. Apoio à Administração Universitária: Aplicação dos Métodos Macbeth e UTA na Universidade Federal Fluminense. Revista de Administração Mackenzie, v. 3, n. 2, p. 155-174, 2002.

GUTIERREZ, G. L. Gestão Participativa nas Universidades Paulistas. Revista de Administração, v. 28, n. 2, p. 92-102, abr./jun. 1993.

HLANDCHANKO, M. Balanced Scorecard – a strategic management system of the higher education institution. International Journal of Educational Management, v. 29, n. 2, p. 167-176, 2015.

LEITÃO, S. P. Indicadores de Desempenho na Universidade: Uma Avaliação. RAP, v. 21, n. 2, p. 55-72, abr./jun. 1987.

LEITÃO, S. P. Estrutura, Cultura E Desempenho Organizacional Na Universidade. RAP, v. 24, n. 1, p. 31-43, Nov./89/Jan/90, 1990.

LIMA, M.; SERRA, F. R.; MEYER JUNIOR, V.; FERREIRA, M. P. Modelando o BSC para as Universidades do Sistema ACAFE. ORGANIZAÇÕES EM CONTEXTO, v. 5, n. 9, p. 46-68, Jan./Jun., 2009.

MAGALHÃES, E. A. D.; SILVEIRA, S. D. F. R.; ABRANTES, L. A.; FERREIRA, M. A. M.; WAKIM, V. R. Custo do ensino de graduação em instituições federais de ensino superior: o caso da Universidade Federal de Viçosa. RAP, v. 44, n. 3, p. 637-666, maio/jun. 2010.

MAINARDES, E. W.; MIRANDA, C. S.; CORREIA, C. H. A Gestão Estratégica de Instituições de Ensino Superior: Um Estudo Multicaso. Contextus - Revista Contemporânea de Economia e Gestão, v. 9, n. 1, p. 19-32, jan./jun. 2011.

MARCELINO, G. F. Gestão da Faculdade de Estudos Sociais Aplicados da Universidade de Brasília - UNB. Contabilidade, Gestão e Governança, v. 6, n. 2, p. 25-52, jul./dez. 2002.

MARRA, A. V.; MELO, M. C. D. O. L. A Prática Social de Gerentes Universitários em uma Instituição Pública. RAC, v. 9, n. 3, p. 9-31, jul./set. 2005.

MCDEVITT, R.; GIAPPONI, C.; SOLOMON, N. Strategy revitalization in academe: a balanced scorecard approach. International Journal of Educational Management, v. 22, n. 1, p. 32-47, 2008.

MEYER JUNIOR, V.; PASCUCCI, L.; MANGOLIN, L. Gestão estratégica: um exame de práticas em universidades privadas. RAP, v. 46, n. 1, p. 49-70, jan./fev., 2012.

MITCHELL; J. J.; RYDER, A. J. Developing and Using Dashboard Indicators in Student Affairs Assessment. New Directions for Student Services, v. 2013, n. 142, p. 71-81, 2013.

PAIVA, R. C. V. D.; BARBOSA, F. V.; GONÇALVES, R. G.; COSTA, D. D. M. Educação Superior Privada: Um Estudo do Desempenho Financeiro em nove Instituições de Ensino Superior. Revista Gestão & Tecnologia, v. 14, n. 1, p. 66-97, jan./abr., 2014.

PALÁCIOS, F. A. C. Mudança Estratégica em uma Universidade Pública: Interferência da Interpretação dos Gestores no Processo. AOS - Amazônia, Organizações e Sustentabilidade, v. 3, n. 2, p. 83-99, jul./dez., 2014.

PAPENHAUSEN, C.; EINSTEIN, W. Implementing the Balanced Scorecard at a college of business. Measuring Business Excellence, v. 10, n. 3, p. 15-22, 2006.

PINGLE, S.; NATASHAA, K. Performance management in institutes of higher education, through balanced scorecard. Ganpat University-Faculty of Management Studies Journal of Management and Research .GFJMR), v. 2, p. 1-20, 2011.

PIRES, J. S. D. B.; ROSA, P. M. D.; SILVA, A. T. D. Um Modelo de Alocação de Recursos Orçamentários Baseado em Desempenho Acadêmico para Universidades Públicas. ASAA - Advances in Scientific and Applied Accounting, v. 3, n. 2, p. 239-270, 2010.

REBELO, L. M. B. Para Além do Processo Racional de Formação de Estratégias em Universidades Públicas: Um Olhar com Foco na Teoria da Complexidade. Estratégia e Negócios, v. 1, n. 2, p. 135-158, jul./dez., 2008.

RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. São Paulo: Atlas, 1999.

SAMPAIO, R. M.; LANIADO, R. N. Uma experiência de mudança da gestão universitária: o percurso ambivalente entre proposições e realizações. RAP, v. 43, n. 1, p. 151-174, jan./fev. 2009.

SILVA, C. A. T.; MORGAN, B. F.; COSTA, P. D. S. Desenvolvimento e aplicação de uma metodologia para cálculo do custo-aluno de instituições públicas de ensino superior: um estudo de caso. RAP, v. 38, n. 2, p. 243-60, mar./abr. 2004.

SURYADI, K.. Framework of Measuring Key Performance Indicators for Decision Support in Higher Education Institution. Journal of Applied Sciences Research, v. 3, n. 12, p. 1689-1695, 2007.

TAMBI, A. M. B. A.; GHAZALI, M. C.; YAHYA, B. The ranking of higher education institutions: A deduction or delusion? Total Quality Management, v. 19, n. 10, p. 997-1011, 2008.

UMASHANKAR, V.; DUTTA, K. D. Balanced scorecards in managing higher education institutions: an Indian perspective. International Journal of Educational Management, v. 21, n. 1, p. 54-67, 2007.

VALMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSLIN, L.; RIPOLL-FELIU, V. M. Avaliação de Desempenho para Auxílio na Gestão de Universidades Públicas: Análise da Literatura para Identificação de Oportunidades de Pesquisas. Contabilidade, Gestão e Governança, v. 17, n. 3, p. 4-28, set./dez., 2014.

VALMORBIDA, S. M. I.; CARDOSO, T. L.; ENSSLIN, S. R. Rankings Universitários: Análise dos Indicadores Utilizados. Sociedade, Contabilidade e Gestão, v. 10, n. 2, 2015.

VAMORBIDA, S. M. I.; ENSSLIN, S. R.; ENSSILIN, L. RIPOLL-FELIU, V. M. Rankings Universitários Mundiais. Que Dizem os Estudos Internacionais? REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, v.14, n.2, p.5-29, 2016.

VENTURINI, J. C.; PEREIRA, B. A. D.; MORALES, R.; FLECK, C. F.; BATISTELLA JUNIOR, Z.; NAGEL, M. D. B. Percepção da avaliação: um retrato da gestão pública em uma instituição de ensino superior (IES). RAP, v. 44, n. 1, p. 31-53, jan./fev. 2010.

VIEIRA, E. F.; VIEIRA, M. M. F. Estrutura organizacional e gestão do desempenho nas universidades federais brasileiras. RAP, v. 37, n. 4, p. 899-920, jul./ago. 2003.

WAICZYK, C.; ENSSLIN, E. R. Avaliação de produção científica de pesquisadores: mapeamento das publicações científicas. Revista Contemporânea de Contabilidade, v. 10, n. 20, p. 97-112, 2013.