1 INTRODUÇÃO

A gestão pública brasileira tem passado por diversas mudanças de práticas e paradigmas. Atualmente, o Brasil tem se alinhado com as novas correntes teóricas que preveem a necessidade de uma administração pública mais eficiente e transparente.

Essa mudança de paradigma na gestão pública brasileira tem promovido o surgimento e o desenvolvimento de diversas ferramentas capazes de fomentar a profissionalização da administração estatal e o accountability. Entre essas ferramentas, destaca-se o uso da avaliação e do monitoramento no contexto da gestão pública.

De acordo com Matias-Pereira (2014), diversos fatores têm ressaltado a importância da temática avaliativa no ambiente público, entre os quais o fato de que avaliar o desempenho tem, em geral, representado uma maneira de verificar a capacidade do poder público de promover o desenvolvimento, ao usar recursos econômicos e sociais. Dessa maneira, a avaliação e o monitoramento passam a ter papel essencial para desenvolver a democracia e a eficiência pública (ARRETCHE, 1998). Pode-se afirmar que, atualmente, avaliar e monitorar se apresentam como ações imprescindíveis na atuação estatal (RAMOS; SCHABBACH, 2012).

Os motivos que têm levado a uma maior utilização de avaliações na gestão pública são os mais diversos, porém normalmente equivalendo a demandas de variados agentes sociais, a exemplo da sociedade, da própria instituição pública (organizações públicas, estados, municípios, entre outros) e dos órgãos de controle (RUA, 2010).

Para a sociedade, por exemplo, a avaliação permite o controle social e uma maior transparência no uso de recursos públicos. Já para a própria instituição pública, representa uma ferramenta de gestão e feedback, enquanto, para os órgãos de controle, representa um meio de proporcionar estratégias alinhadas às práticas de auditoria. Como se observa, avaliar o desempenho no setor público pode se configurar como instrumento essencial para buscar os objetivos de gestão (COSTA; CASTANHAR, 2003).

Sobre isso, existem diversas técnicas para subsidiar análises envolvendo várias dimensões e indicadores, dentre elas a análise multicritério. Essa técnica trata de problemas em contextos sem a possibilidade de externar resultados conclusivos por meio de um único critério ou variável, sendo necessário utilizar múltiplas variáveis que, se avaliadas em conjunto, tornam-se representativas de um resultado (ALMEIDA, 2013).

Diversos tipos de objetos de avaliação são encontrados na pesquisa bibliográfica do presente trabalho. Eles focalizam desde a avaliação do desempenho de países (RIBEIRO, 2008; MARINHO; CARDOSO; ALMEIDA, 2012), de estados (JÚNIOR; GASPARINI, 2006; MELLO; SLOMSKI, 2008), de municípios (GERIGK; CLEMENTE; TAFFAREL, 2011; SILVA; ALMEIDA, 2012) e de instituições pertencentes a algum dos entes federativos (LYRIO, 2008; NUINTIN, 2014) até a avaliação de políticas públicas transversais a vários entes federativos e instituições (SANTOS et al., 2007; SERRANO; GONÇALVES; GONÇALVES, 2013).

No contexto específico da gestão municipal, observa-se extensa diversidade de fatores capazes de influenciar o desempenho (LUBAMBO, 2006). Isso também se confirma pelo grande número de indicadores sociais e financeiros utilizados para avaliar municípios (JUBRAN, 2006). Nesse sentido, inserir uma abordagem multicritério na avaliação municipal pode proporcionar resultados significativos, vez que o método permite realizar comparações par a par, ou seja, comparações entre variáveis (indicadores) e os municípios, gerando cenários com rankings parciais e globais de performance.

A ideia básica concentra-se em identificar os esforços dos governos municipais para atender às demandas da sociedade relativas à aplicação de seus recursos. De acordo com Silva et al. (2014), as ações governamentais concretizadas em programas, projetos, atividades e operações especiais são registradas e publicadas nos portais de transparência dos governos (federal, estaduais, distrital e municipais) com a agregação das diversas áreas de despesa que competem ao setor público. Essas áreas de despesa se denominam funções de governo. A Portaria nº 42, de 14 de abril de 1999, do Ministério do Planejamento, Orçamento e Gestão – MPOG – (BRASIL, 1999), relaciona 28 funções de governo, tais como: legislativa, judiciária, administração, segurança pública, assistência social, saúde, educação etc.

Face ao exposto, o presente estudo buscou responder ao seguinte questionamento: qual a performance dos governos municipais das microrregiões de Campina Grande e Esperança, com relação às funções do governo?

Assim, utilizou-se o método de avaliação multicritério PROMETHEE II (Preference Ranking Method for Enrichment Evaluation) com o intuito de responder à problemática de pesquisa, em relação aos 12 municípios paraibanos pertencentes às microrregiões de Campina Grande e Esperança durante os anos de 2014 e 2015.

2 FUNDAMENTAÇÃO TEÓRICA

2.1 Desempenho do setor público: uma discussão teórica/conceitual

A avaliação de desempenho no setor público difere daquela no setor privado, vez que esta busca obedecer aos objetivos da organização enfatizados em sua missão, visão, objetivos, estratégias etc. e que suas ações buscam o desenvolvimento e crescimento do negócio, além do benefício dos investidores e gestores. Nas entidades públicas, essa concepção não se alinha com o modelo de mercado, focado no lucro, mas sim com a distribuição de bens e serviços para a sociedade.

De acordo com Paulo (2010), a eficiência e a eficácia das entidades públicas são medidas não somente pela correta utilização dos recursos, mas pelo cumprimento de sua missão e pelo atendimento, com qualidade, das demandas da sociedade. No setor privado, avaliam-se a eficiência e a eficácia em função do aumento de receitas, da redução de gastos e da ampliação de mercado.

O conceito de avaliação do desempenho no setor público é tão difuso e controverso quanto o próprio conceito de avaliação. Apesar da ação de avaliar ser algo muito antigo, estando relacionada de forma inerente aos primórdios da organização social e do processo de aprendizagem, a definição de avaliação ainda é motivo para uma infinidade de afirmações (RAMOS; SCHABBACH, 2012).

Apesar da amplitude de definições, Rua (2010) considera que as avaliações no setor público consistem em processos rigorosos e formais, voltados a uma análise minuciosa e criteriosa do desempenho e dos resultados obtidos com determinadas ações governamentais.

Considerando as proposições de Rua (2010), pode-se afirmar que avaliar, dentro do contexto público, consiste em examinar sistematicamente um determinado objeto (resultados e impactos de políticas e ações governamentais), tomando como base informações coletadas e analisadas de maneira científica.

De forma semelhante, o UNICEF (2005) pontua que:

[e]valuation is an exercise that attempts to determine as systematically and objectively as possible the worth or significance of an intervention, strategy or policy [...]. Evaluation findings should be credible, and be able to influence decision-making by programme partners on the basis of lessons learned […] (UNICEF, 2005, p. 4).

Nesse sentido, apesar da infinidade de instituições públicas e entes federativos passíveis de serem avaliados, diversos estudos (ROSA, 2004; AFONSO; ARAÚJO, 2000; SANTOS, 2003; SANTOS, 2011) têm se desenvolvido com o intuito de avaliar o desempenho municipal no que se refere à correta alocação de recursos públicos e ao desenvolvimento municipal.

No contexto da avaliação de municípios, tem sido recorrente nesses estudos utilizar as informações sobre gastos por funções de governo. Isso se dá pela capacidade que essa informação tem de divulgar o quanto o governo alocou de recursos em cada área de ação estatal.

Dentro desse processo de modernização orçamentária e após diversas tentativas de suprir a necessidade de classificação funcional no Brasil, foi então publicada a Portaria nº 42, de 14 de abril de 1999, do Ministério do Planejamento, Orçamento e Gestão – MPOG – (BRASIL, 1999), que relaciona 28 funções de governo, tais como: legislativa; judiciária; administração; segurança pública; assistência social; saúde; educação; cultura; transporte; urbanismo; habitação etc.

Com o intuito de separar a classificação funcional da programática, essa portaria publicada, à época pelo Ministério de Estado do Orçamento e Gestão, foi revolucionária ao direcionar o avanço no processo da classificação funcional no contexto do orçamento brasileiro. Esse dispositivo legal descreve um total de 28 funções e suas respectivas subfunções e define objetivamente os próprios conceitos relacionados às funções e subfunções.

2.2 Avaliação de desempenho de municípios através das funções de governo: uma revisão da literatura

Têm-se desenvolvido vários estudos no Brasil que enfocam a avaliação de desempenho da gestão pública. As abordagens utilizadas nesses estudos são diversas e lançam mão de técnicas estatísticas capazes de verificar a efetividade e o desempenho do gasto municipal em determinada área governamental. A seguir, são evidenciadas algumas dessas experiências.

Faria, Jannuzzi e Silva (2008) buscaram aplicar a técnica estatística da análise envoltória de dados para avaliar a eficiência dos gastos públicos de educação e saúde em municípios do Rio de Janeiro nos anos de 1999 e 2000. Para realizar a análise, os autores utilizaram-se dos gastos municipais classificados pelas funções de governo. Nesse sentido, foi empregada uma abordagem per capita, tanto para as funções educação e cultura quanto para as funções saúde e saneamento.

De outra feita, Souza et al. (2015) avaliaram o desempenho dos gastos públicos de 30 municípios classificados no ranking dos melhores municípios para realizar investimentos segundo a consultoria Urban Systems. Os autores aplicaram a técnica estatística de Análise de Componentes Principais (ACP) sobre os dados per capita das seguintes funções de governo: saúde, trabalho, educação, urbanismo, habitação, saneamento e comércio, todas para o ano de 2012.

Silva e Silva (2015) analisaram a execução orçamentária dos 50 municípios mais populosos do Brasil. A avaliação da execução se deu com base nas funções de governo. Através da técnica de Análise dos Componentes Principais foi possível estabelecer um índice de desempenho para execução orçamentária de cada um dos municípios. Através desse índice, estabeleceu-se um ranking de desempenho entre os municípios.

Silva et al. (2015) estudaram as funções de governo dos 40 municípios com melhor classificação no Índice de Desenvolvimento Humano Municipal (IDHM). Para esse fim, somente foram consideradas na análise as funções de governo que se relacionavam com a promoção da qualidade de vida aos cidadãos, a exemplo das funções de assistência social, saúde, educação, habitação e saneamento.

No âmbito internacional, também se encontram diversas iniciativas propondo modelos ou desenvolvendo avaliações práticas sobre avaliação de desempenho em instituições do setor público.

Sotirakou e Zeppou (2006) buscaram estudar como se dava a aplicação de sistemas de avaliação e gestão do desempenho na realidade de gestão pública da Grécia. Os autores também buscaram analisar quais os principais fatores que levariam um sistema de avaliação de desempenho a ser praticado de maneira funcional. Utilizando-se tanto das abordagens qualitativas (grupos focais) quanto das quantitativas (survey), os autores perceberam uma subutilização da avaliação de desempenho no contexto da gestão grega. O emprego dessa ferramenta se destinava especialmente a cumprir exigências de órgãos como a União Europeia (EU). Os autores também identificaram um total de 11 indicadores como os mais importantes para explicar o sucesso de aplicar um sistema de avaliação de desempenho.

Pekkanen e Niemi (2013), por outro lado, buscaram estudar o processo de implantar e utilizar um sistema de avaliação de desempenho na gestão pública judiciária da Finlândia. Para isso, analisaram, durante dois anos, duas cortes de Justiça – a Helsinki Court of Appeal (analisada durante 4 anos) e a Insurance Court (analisada durante 2 anos) – e fizeram duas observações: (1) houve uma significativa melhora na realização das atividades dos órgãos; e (2) para avaliar o desempenho de órgãos de justiça, são necessários os seguintes tópicos: compreender as relações causais dos indicadores utilizados, melhorar a capacidade informativa desses índices, publicar os resultados alcançados e usar as medidas de desempenho como incentivos para a melhoria.

Já Marjorie (2014) analisou os efeitos de aplicar um sistema de avaliação de desempenho na conjuntura da gestão pública no Chile. Após contextualizar a evolução da gestão pública chilena, a autora apresentou as iniciativas do país para buscar alinhar-se à Nova Gestão Pública. Segundo ela, apesar das reformas em curso no país, a aplicação da avaliação de desempenho na gestão pública chilena ainda não gerou os efeitos previstos pela literatura.

Agostino e Arnaboldi (2015) analisaram sistemas de avaliação do desempenho na Itália. O principal intuito foi verificar os efeitos desses sistemas no contexto da gestão pública desse país. Neste estudo, os autores tomaram como base um sistema de avaliação de desempenho implementado em um sistema de transporte público. Concluíram que esses sistemas de avaliação de desempenho no setor público acarretam diversas melhorias no contexto da gestão pública, a exemplo de: (1) produzir informações que possibilitam um real conhecimento da situação do órgão ou problema avaliado; (2) possibilitar o benchmarking e a comparação entre o desempenho de órgãos semelhantes; e (3) permitir acompanhar a evolução ou diminuição do desempenho dos órgãos.

Considerando a diversidade de autores, cabe notar que, quando a temática se refere à avaliação de desempenho no setor público, alguns acadêmicos obtiveram maior destaque no contexto internacional. De acordo com Ensslin et al. (2015), o texto mais citado no estudo da temática é a publicação de Behn (2003) na Public Administration Review intitulada “Why Measure Performance? Different Purposes Require Different Measures”.

Em seu texto, Behn (2003) disserta sobre as razões e propósitos de serem realizadas avaliações no setor público, listando 8 propósitos da avaliação no setor público, que são: (1) evaluate; (2) control; (3) budget; (4) motivate; (5) promote; (6) celebrate; (7) learn; e (8) improve. O autor afirma não existir uma medida única para avaliar o desempenho, daí os gestores públicos precisarem refletir sobre o propósito gerencial a que determina avaliação irá agregar valor. Dependendo do propósito, as medidas de desempenho serão alteradas e ajustadas.

3 PROCEDIMENTOS METODOLÓGICOS

3.1 Procedimento estatístico

Para o estudo, adotou-se o método PROMETHEE II por ser uma técnica multicritério de fácil entendimento, além de permitir a elaboração de rankings de desempenho entre as alternativas analisadas (no presente caso, os municípios selecionados).

Jannuzzi, Miranda e Silva (2009) recomendam utilizar o método PROMETHEE II no contexto da gestão pública:

Em particular, o procedimento multicritério Promethee II parece reunir características interessantes para seu emprego nos processos decisórios típicos nos quais os gestores públicos se envolvem. Em primeiro lugar, é de fácil entendimento, potencializando, pois, a transparência do processo decisório, requisito sempre desejável na esfera pública (JANNUZZI; MIRANDA; SILVA, 2009, p. 72).

Além das vantagens citadas, pode-se afirmar também que o PROMETHEE II permite verificar, de forma abrangente, o nível de superação de uma alternativa em relação às outras. Isso porque o modelo considera como indicador central o fluxo líquido de uma alternativa.

Apesar de ter sido originalmente formulado para solucionar problemas de decisão e escolha de alternativas, o método PROMETHEE II aplica-se também a problemas de avaliação de desempenho. Nesses casos, as alternativas são as unidades avaliadas (cidades), e os critérios de escolha representam os indicadores de desempenho. Ou seja, as alternativas correspondem aos 12 municípios avaliados, enquanto os critérios correspondem aos gastos per capita em cada uma das 28 funções de governo utilizadas no estudo.

Assim, este trabalho considerou aplicar o PROMETHEE II por ele estar bastante enquadrado nas particularidades do problema de decisão estabelecido. Além disso, o método pode ser facilmente implementado em uma linguagem de computador. Talvez isso justifique o crescente número de aplicações com PROMETHEE (SILVA; SCHRAMM; CARVALHO, 2014).

Behzadian et al. (2010) demonstram, no estudo bibliométrico realizado, um banco de dados de 217 artigos PROMETHEE, categorizados em nove áreas diferentes: negócios e finanças; logística e transporte; fabricação e montagem; energia; meio ambiente; hidrologia e recursos hídricos; social; e outros tópicos, que incluem aplicações em medicina, agricultura, educação, design, governo e esportes.

Para aplicar o método PROMETHEE II, foi utilizado o software Visual Promethee® na versão 1.4. Esse software permite processar de forma computacional os cálculos e comparações do método PROMETHEE.

3.2 Classificação metodológica

A presente pesquisa utilizou uma abordagem exploratória, quantitativa e ex-post facto (GIL, 2002). O caráter ex post facto se dá pela utilização de dados e informações concretizadas no passado, a saber, os gastos per capita nas funções de governo para o ano de 2014 e 2015.

Inicialmente foram coletados os dados das despesas orçamentárias de cada um dos 12 municípios analisados. As despesas orçamentárias foram coletadas através do portal on-line SAGRES (Sistema de Acompanhamento da Gestão dos Recursos da Sociedade) (SAGRES, 2016), desenvolvido pelo Tribunal de Contas do Estado da Paraíba. Essa ferramenta foi criada para divulgar as informações financeiras dos municípios paraibanos.

Os dados foram coletados com base na classificação funcional da despesa orçamentária. Assim, foram obtidos os valores gastos pelos municípios em cada uma das 28 funções de governo.

O valor considerado para a análise foram as despesas orçamentárias efetivamente pagas no período analisado. Esse tipo de valor tem maior expressividade no exercício das funções de governo e, por isso, é mais apropriado para a análise pretendida. Desse modo, os valores empenhados ainda não representam a efetiva implementação ou aquisição de serviços e materiais, enquanto o valor pago só é registrado após a concretização desses serviços e bens públicos. Logo, o valor pago representa o que efetivamente um município realizou nas respectivas funções de governo. A Lei 4.320 de 1964 prevê que o valor empenhado pode estar pendente de implemento de condição, mas prevê que um valor esteja regularmente liquidado para que seja pago (que tenha sido verificada a real execução do serviço ou aquisição de bem público) (BRASIL, 1964).

Nesse sentido, para fins do estudo, considerou-se como despesa orçamentária realizada paga aquela paga até 31 de dezembro, ou seja, o final do exercício financeiro. Não foram contabilizados na construção do índice os Restos a Pagar, para fins de encerramento do correspondente exercício financeiro nos respectivos períodos de análise.

Em razão desse parâmetro de escolha, cumpre enfatizar que a gestão intertemporal dos recursos, mediante o pagamento de restos a pagar e em lugar das autorizações orçamentárias do ano dos pagamentos, pode estar a serviço de uma administração menos racional do ponto de vista da gestão financeira e da regular aplicação dos recursos, podendo priorizar a compatibilidade dos fluxos financeiros com as autorizações correntes. Face ao exposto, um aspecto que aponta uma suposta fragilidade dentro do critério de análise se reporta ao fato de supostamente pode haver viés de seleção, decorrente da situação de alcaides com pretensões de reeleição, mediante represamento de gastos relativos a autorizações de anos anteriores. Essa limitação empírica está implícita, dada a ausência de variáveis de controle correspondentes do modelo. Assim, os resultados e as inferências produzidas podem sugerir entendimentos divergentes, no sentido de “punir” indevidamente os gestores que não ampliaram os gastos nos dois anos da análise, ou seja, o indicador pode conduzir a inferências dúbias sem esses controles relacionados à conexão e aos ciclos eleitorais.

Optou-se por escolher para o estudo o total dos recursos públicos alocados anualmente, registrados nas diversas funções em determinado ano, o que representa toda a execução orçamentária realizada para atender aos propósitos da gestão pública. Ao analisar os recursos aplicados, tem-se uma visão geral do resultado das ações governamentais em todas as áreas das políticas públicas (SILVA; SILVA; BORGES, 2015).

Destaque-se que cada um dos municípios apresenta diversas instituições vinculadas a si. Entre as instituições mais comuns estão as Prefeituras Municipais, as Câmaras Legislativas e os Fundos de Previdência dos Servidores Municipais. Com o intuito de realizar uma análise global de cada município, foram coletados e processados em conjunto os dados de todas as instituições existentes nos municípios.

No Quadro 1, estão expostas as instituições consideradas para cada um dos 12 municípios analisados.

Após obter os dados sobre as funções de governo, coletaram-se os relativos às populações dos municípios estudados. Esses dados foram obtidos no site do Instituto Brasileiro de Geografia e Estatística (IBGE, 2014; 2015) e consistiram das estimativas populacionais dos municípios para os anos de 2014 e 2015. Com isso, pôde-se identificar o valor per capita do gasto apresentado pelos municípios em cada uma das funções de governo nos anos respectivos anos.

Em seguida, selecionaram-se as funções de governo (indicadores), que foram classificadas em três grupos de funções, sendo o primeiro o das administrativas, o segundo o das sociais e, por fim, o das de infraestrutura. Tal classificação serviu para tornar a análise de resultados mais abrangente, além de permitir uma síntese da ação governamental (Quadro 2).

3.3 Parâmetros e funções de preferência do método PROMETHEE II

Posteriormente foram definidos os parâmetros e funções de preferência no método multicritério PROMETHEE II, reproduzidos no Quadro 3.

Quanto ao tipo de critério utilizado, considerou-se que todas as 28 funções de governo apresentam a característica de maximização, ou seja, quanto maior forem os valores para esses critérios, melhor será o desempenho da alternativa. A definição de maximização se justifica pelo fato de as funções de governo representarem as áreas em que o estado precisa ou pode atuar. Desse modo, quanto maior for o investimento de um município em qualquer das 28 funções, melhor será o desempenho desse município.

O peso definido para cada uma das funções foi igual (1,0). Isto significa que, para esse estudo, não há distinção de importância entre as 28 funções. Considera-se que cada uma das funções tem igual importância na composição do desempenho municipal. Já sobre as funções de preferência, estabeleceu-se que as de governo representam um comportamento do tipo Usual, ou seja, um município superará o outro em determinada função de governo se ele apresentar um gasto per capita maior que o de outro município.

A principal característica da função de preferência usual é que não se consideram limiares. Assim, qualquer o valor per capita apresentado, se ele for maior que o de outro município, haverá superação (Pj (xi, xk) = 1); se for menor, então acontecerá a perda na comparação par a par (Pj (xi, xk) = 0).

Finalmente foram elaborados e analisados os rankings de desempenho dos municípios estudados. Nessa etapa, as funções foram analisadas de duas formas: (1) tomando como base a classificação em funções administrativas, sociais e de infraestrutura, e (2) tomando como base uma análise conjunta de todas as 28 funções de governo. Ou seja, os cálculos são realizados individualmente por funções e municípios, de modo que apresenta um panorama individual de agregação das análises e finalmente um panorama global que demonstra a situação de cada um em relação aos demais.

3.4 Amostra do estudo

Os municípios avaliados no âmbito da pesquisa foram aqueles que integram as microrregiões de Campina Grande e Esperança, ambas localizadas no Agreste do Estado da Paraíba (Figura 1).

4 APRESENTAÇÃO E ANÁLISE DOS RESULTADOS

Essa seção consiste na apresentação dos resultados obtidos através da aplicação do método PROMETHEE II na avaliação dos gastos em funções de governo dos municípios estudados.

Inicialmente, são expostos os resultados obtidos para cada um dos três tipos de funções: administrativas, sociais e de infraestrutura. Por fim, são evidenciados os rankings totais para os 12 municípios nos anos de 2014 e 2015.

4.1 Funções administrativas nos cenários de 2014 e 2015

Considerando os resultados das funções administrativas em 2014 e 2015 (Tabela 1), é possível observar que, no primeiro ano, o município de Esperança apresentou o melhor desempenho nesse cenário. Essa análise toma como base o fato de esse município haver apresentado em 2014 o maior fluxo líquido (0,29) para as funções administrativas.

A ideia básica esteve centrada em buscar uma forma de entender a situação das cidades em torno de como os recursos vêm sendo executados conforme os objetivos da gestão pública. Acrescente-se ainda que, no contexto municipal, a utilização dos indicadores de funções e subfunções pelos gestores públicos pode proporcionar benefícios e intervenções necessárias a fim de corrigir discrepâncias que supostamente a gestão apresenta no cotidiano de suas atividades, viabilizando o desenvolvimento local na busca de alinhar os conflitos existentes entre a gestão e os cidadãos, conforme defendem Oliveira et al. (2018).

As principais funções que influenciaram o melhor desempenho do município de Esperança nesse contexto foram a Judiciária, a de Gestão Ambiental e a de Encargos Especiais. Por outro lado, o município que entre todos apresentou o menor fluxo líquido foi Queimadas (-0,35). Esse fato se deve, em especial, aos investimentos nulos que esse município apresentou em 6 das 9 funções administrativas consideradas.

Já no cenário das funções administrativas do ano de 2015 é possível notar que o município de Esperança permaneceu como 1º colocado (Phi de 0,27) no ranking obtido pelo PROMETHEE. Por sua vez, Fagundes foi o que apresentou menor fluxo líquido (-0,27).

É importante frisar que a efetividade de alocar recursos públicos nas funções de governo, conforme prioridades do gestor público, pode não equivaler necessariamente a mais utilidades públicas, além do que as utilidades priorizadas pelo gestor público podem não ter a melhor função utilidade social. O pressuposto forte da narrativa baseada na linearidade entre gastos e satisfação social, segundo a estratégia de pesquisa adotada nesse estudo abrange o argumento mencionado e pode conduzir a inferências contrafactuais e normativas carentes de confirmação empírica.

Constata-se então que, em comparação com 2014, o município que obteve em 2015 a maior variação de posição foi Areial. No cenário de 2014, apresentava-se na 4ª posição, enquanto desceu para a 8ª posição em 2015 (Phi- de -0,01).

4.2 Funções sociais nos cenários de 2014 e 2015

No contexto das funções sociais no ano de 2014 (resultados na Tabela), o município que apresentou o melhor desempenho foi Boa Vista (Fluxo positivo de 0,39). Um dos principais fatores para esse desempenho do município de Boa Vista está nos investimentos realizados na função Educação. Os municípios com os mais baixos desempenhos nesse cenário foram os municípios de Campina Grande (-023), Massaranduba (-0,24) e Serra Redonda (-0,31).

No cenário das funções sociais para 2015 (Tabela 2), observa-se que o município de Boa Vista apresentou o maior fluxo líquido (0,36) na aplicação do método PROMETHEE II. Nesse contexto, os gastos de Boa Vista nas funções de Educação, Cultura e Saúde foram os fatores que mais influenciaram o desempenho do fluxo líquido desse município.

Em comparação com 2014, o município de Puxinanã foi o que mais perdeu posições. Ele estava na 6ª posição em 2014, porém apresentou em 2015 o menor fluxo líquido nas funções sociais (-0,35), ficando em último colocado nesse contexto. O baixo desempenho de Puxinanã em Saúde, Educação e Previdência Social foi o principal motivo do fluxo líquido negativo apresentado em 2015.

Com base em tal realidade, moldam-se percentuais mínimos de gastos nas funções de saúde e educação, o que pode sugerir que os governantes brasileiros estão mais preocupados com o cumprimento legal dos percentuais do que com a eficiência na aplicação dos recursos (KONDROTAITE, 2012; SILVA; SILVA, 2015).

4.3 Funções de infraestrutura nos cenários de 2014 e 2015

Com relação às funções de infraestrutura no cenário 2014 (Tabela 3), nota-se que os municípios de Boa Vista e Esperança ficaram empatados como os primeiros colocados no ranking da análise multicritério. Ambos apresentaram fluxo líquido de 0,15.

Nesse sentido, as funções de governo de maior influência no Phi+ de Boa vista foram as de Urbanismo, Habitação e Agricultura, enquanto, para o município de Esperança, foram os recursos aplicados em Comércio e Serviços e Transporte que mais favoreceram o seu desempenho.

Cabe destacar que Fagundes apresentou o menor fluxo líquido (-0,19). Os dois principais fatores de diminuição do fluxo foram os baixos investimentos que esse município apresentou em Agricultura e Energia.

Uma suposta explicação para esse cenário pode estar alinhada ao que Silva e Silva (2015) enfatizam quando dizem que a falta de aplicação de recursos em algumas funções, encontra explicação na Teoria da Escolha Pública, ou seja, as decisões de aplicação de recursos são realizadas com base nos interesses dos prefeitos. Os principais stakeholders, os chamados contribuintes (policy takers – principal) têm suas preferências deixadas de lado (faltou equidade na aplicação dos recursos).

Analisando as funções de infraestrutura em 2015, é possível notar que, de maneira semelhante a 2014, o município de Boa Vista foi o que apresentou melhor desempenho (Phi de 0,21) na análise multicritério. Também é possível destacar os resultados identificados para o município de Esperança. Em 2014, este detinha a 1ª posição; já em 2015, desceu 5 posições ao apresentar um fluxo líquido de -0,02. Também é possível afirmar que a diminuição de gastos em Habitação e em Transporte foi um dos principais motivos da diminuição do fluxo líquido em Esperança.

Essa constatação empírica reforça o entendimento de Oliveira et al. (2018) quando defendem que os gestores municipais das cidades precisam, a todo momento, rever seus planos orçamentários anuais, visto que o objetivo de alocar recursos em determinadas funções contribui significativamente para aumentar os níveis de atendimento dos anseios da população, especialmente em relação às funções administrativas, sociais e de infraestrutura. Isso significa que deixaram de ser realizadas ações destinadas a assegurar direitos e serviços básicos a indivíduos ou comunidades apartadas do convívio do restante da sociedade. Os achados referentes ao não atendimento de tais funções apontam que não houve preocupação com os contribuintes (policy takers), podendo os resultados então servir para suas reflexões.

4.4 Ranking final de desempenho dos municípios no PROMETHEE II (todas as funções)

Considerando todas as 28 funções de governo existentes, foi elaborado o ranking final do desempenho dos municípios em 2014 (Tabela 4). Esse ranking representa o desempenho global dos municípios no ano de 2014.

Com base nos resultados, verificou-se que o município de Esperança foi o que apresentou melhor desempenho global no ano de 2014. Com um Phi positivo de 0,20, Esperança alcançou a 1ª colocação em 2014, superando os outros municípios em diversos fatores. Os quatro principais fatores de superação foram os níveis de investimento nas funções Judiciária, Saúde, Comércio e Serviços e Encargos Especiais.

Por sua vez, o município de Fagundes foi o que apresentou o pior desempenho (-0,17) no cenário 2014. Isso significa dizer que foi superado pelos demais em diversas funções de governo. Dentro da análise global, as funções em que Fagundes mais foi superado pelos demais foram as de Cultura, Agricultura e Encargos Especiais.

Dentro do ranking final para o cenário de 2015, os resultados apontam que o município de Boa Vista apresentou o maior fluxo líquido (0,19) e, consequentemente, foi o 1º colocado no ranking final. As estratégias de alocação de recursos nas áreas de Educação, Cultura, Legislativa e Agricultura foram os principais fatores a influenciar o resultado. Por outro lado, Esperança caiu em 2015 para 2º colocado no ranking final da análise multicritério. Através da análise dos dados, observa-se que os baixos níveis de investimento nas funções Transporte, Saúde e Urbanismo exerceram influência significativa na mudança de posição desse município. Tal cenário demonstra a utilização inadequada dos recursos públicos, vez que não foi considerada uma questão relevante na agenda política.

Já o município de Massaranduba foi o que apresentou o pior desempenho (Phi- de -0,13) no contexto de 2015. Apresentou fluxo positivo em apenas 6 das 28 funções de governo consideradas.

4.5 Comparação entre os rankings obtidos nos dois cenários

Tomando como base os cenários obtidos para os anos de 2014 e 2015, foi possível comparar os posicionamentos de cada município em ambos os cenários (Tabela 5). Essa comparação permitiu identificar que, para os dois cenários (2014 e 2015), há um padrão de posicionamento para a maioria dos municípios, o que indica aparente homogeneidade nos resultados.

Nesse sentido, cabe destacar que Esperança, Boa Vista, São Sebastião de Lagoa de Roça e Montadas apresentaram um desempenho padrão entre as 4 primeiras posições. Isso significa que, dentro do cenário analisado, nenhum desses municípios ocupou posição inferior à 4ª no ranking de desempenho multicritério. Por outro lado, os municípios de Massaranduba e Fagundes evidenciaram uma tendência ao baixo desempenho nos gastos por função de governo. Esses municípios ocuparam as duas últimas posições em ambos os rankings analisados.

Campina Grande, por ser considerada a maior cidade nas duas microrregiões, apresentou um nível de desempenho pouco satisfatório (7ª posição em 2014 e 6ª em 2015), levando a inferir que os municípios pequenos, que dispõem de menos recursos, podem ser mais ineficientes. Entretanto, esse resultado não é válido de forma geral: alguns foram também os mais eficientes, como é o caso de Esperança. Assim, as políticas de saúde têm de ser traçadas de forma a reduzir as discrepâncias entre os municípios do Estado, visando suprir as necessidades locais.

Por fim, é importante destacar o comportamento variável de Puxinanã. Enquanto esse município, no ranking de 2014, apresentava-se como o 6º colocado, ocupou a 10ª posição nos resultados de 2015. No contexto de Puxinanã, as funções de governo com maior queda de investimento no ano de 2015 foram as de Cultura e Desporto e Lazer.

5 CONSIDERAÇÕES FINAIS

O presente estudo buscou aplicar o método multicritério de apoio à decisão na avaliação de desempenho de municípios. Foram analisados 12 municípios das microrregiões paraibanas de Campina Grande e Esperança. O recorte temporal da pesquisa foram os anos de 2014 e 2015.

Os indicadores utilizados para compor a análise multicritério foram os gastos per capita em cada uma das 28 funções de governo. Com base nos dados coletados, foi realizada a análise multicritério entre os municípios através do método PROMETHEE II.

Com isso, foi possível confirmar a aplicabilidade desse tipo de método ao contexto da avaliação de desempenho municipal. Os municípios de Esperança e Boa Vista foram os que mais se destacaram no ranking de performance, ao passo que Massaranduba e Fagundes foram os que ocuparam as duas últimas posições nos anos de 2014 e 2015.

Tal avaliação comparativa é útil para destacar quais são os municípios que têm se sobressaído na gestão de seus recursos. Além disso, esse tipo de análise permite aos gestores estaduais, gestores federais e órgãos de controle identificar quais são os municípios que necessitam de maior acompanhamento e aporte de recursos com vistas a atender, com eficiência de gastos, às necessidades da população local.

Como limitações do estudo, pode-se citar o fato de terem sido consideradas para análise somente duas microrregiões do estado da Paraíba. Nesse sentido, uma sugestão para trabalho futuro seria considerar outras microrregiões, como também inserir municípios com base na classificação por mesorregiões.

Notadamente, poderiam ter sido selecionadas e incluídas medidas não financeiras de desempenho, no intuito de reforçar o entendimento e a importância de combinar medidas de desempenho financeiras e não financeiras no cenário dos agentes públicos. Todavia, em razão da disponibilidade de tais informações, buscou-se comparar e adotar variáveis financeiras que estavam disponíveis no portal de transparência do governo do Estado da Paraíba (SAGRES on-line).

Acrescente-se a isso o fato de que o presente estudo apresenta limitação metodológica em relação à ausência de variáveis de controle, como por exemplo a inclusão dos valores relacionados aos restos a pagar dos municípios. Outras limitações consistem na utilização de pesos iguais para todas as funções e na inexistência de limiares de indiferença.

Para sanar essas limitações, um possível trabalho futuro seria realizar a avaliação multicritério tomando como base a opinião de especialistas e gestores públicos sobre a importância e peso de cada uma das funções de governo, além de buscar verificar nesse contexto a existência de limiares de indiferença para as funções de governo.

Referencias

AESA – AGÊNCIA EXECUTIVA DE GESTÃO DAS ÁGUAS DO ESTADO DA PARAÍBA. Microrregiões do Estado da Paraíba. http://www.aesa.pb.gov.br/aesa-website/ (Error 1: El enlace externo www.aesa.pb.gov.br debe ser una URL) (Error 2: La URL www.aesa.pb.gov.br no esta bien escrita)

AFONSO, J. R. R.; ARAÚJO, E. A. A capacidade de gastos dos municípios brasileiros: arrecadação própria e receita disponível. Cadernos de Finanças Públicas, Brasília, ESAF, n. 1, dezembro 2000.

ALMEIDA, A. T. Processo de decisão nas organizações: construindo modelos de decisão multicritério. São Paulo: Atlas, 2013.

ARRETCHE, M. T. S. Tendências no estudo da avaliação. In: RICO, E. M. (Org.). Avaliação das políticas sociais: uma questão em debate. São Paulo, Cortez, 1998.

BEHN, R. D. Why Measure Performance? Different Purposes Require Different Measures. Public Administration Review, v. 63, n. 5, p. 586-606, 2003.

BEHZADIAN, M.; KAZEMZADEH, R. B.; ALBADVI, A.; AGHDASI, M. PROMETHEE: A comprehensive literature review on methodologies and applications. European Journal of Operational Research, v. 200, n. 1, p. 198-215, 2010.

BRASIL. Lei nº 4.320, de 17 de março de 1964. Brasília, 1964.

BRASIL. Ministério do Orçamento e Gestão. Portaria nº 42, de 14 de abril de 1999. Brasília, 1999.

COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, set. /out. 2003.

ENSSLIN, L.; LACERDA, R. T. O.; KRUGER, A. C.; CHAVES, L. C. Disclosure of the Field Performance Evaluation in the Public Sector in International Journals. Revista de Gestão, Finanças e Contabilidade, Salvador, v. 5, n. 3, p. 75-99, mai./ago. 2015.

FARIA, F. P.; JANNUZZI, P. M.; SILVA, A. J. Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 1, p. 155-177, jan./fev. 2008.

GERIGK, W.; CLEMENTE, A.; TAFFAREL, M. O impacto da lei de responsabilidade fiscal sobre a gestão financeira municipal: um estudo com os municípios do Paraná. RECADM: Revista Eletrônica de Ciência Administrativa, Campo Largo, v. 10, n. 1, p. 64-83, mai. 2011.

GIL, A. C. Como Elaborar Projetos de Pesquisa. 4. ed. São Paulo, Atlas, 2002.

IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Estimativas populacionais para os municípios e para as Unidades da Federação brasileiros em 01.07.2014. https://ww2.ibge.gov.br/home/estatistica/populacao/estimativa2014/default.shtm

IBGE – INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Estimativas populacionais para os municípios e para as Unidades da Federação brasileiros em 01.07.2015. https://ww2.ibge.gov.br/home/estatistica/populacao/estimativa2015/estimativa_dou.shtm

JANNUZZI, P. M.; MIRANDA, W. L.; SILVA, D. S. G. Análise multicritério e tomada de decisão em políticas públicas: aspectos metodológicos, aplicativo operacional e aplicações. Informática Pública, ano 11, n. 1, p. 69-87, 2009.

JUBRAN, A. J. Modelo de análise de eficiência na administração pública: estudo aplicado às prefeituras brasileiras usando a análise envoltória de dados. 226 fls. Tese (Doutorado em Sistemas Eletrônicos) – Universidade de São Paulo. São Paulo, 2006.

KONDROTAITE, G. Evaluation of the quality of public services in Lithuanian municipalities. Intellectual Economics, v. 6, n. 3 (15), p. 393-411, 2012.

LUBAMBO, C. W. Desempenho da Gestão Pública: que variáveis compõem a aprovação popular em pequenos municípios? Sociologias, Porto Alegre, ano 8, n. 16, p. 86-125, jul./dez. 2006.

LYRIO, M. V. L. Modelo para avaliação de desempenho das secretarias de desenvolvimento regional (SDR’s) do governo do estado de Santa Catarina: a perspectiva da MCDA-C. 201 fls. Dissertação (Mestrado em Contabilidade) – Universidade Federal de Santa Catariana, Florianópolis, 2008.

MARINHO, A.; CARDOSO, S. de S.; ALMEIDA, V. V. de. Avaliação de eficiência em sistemas de saúde: Brasil, América Latina, Caribe e OCDE. Texto para discussão, n. 1784. Rio de Janeiro: IPEA, novembro de 2012

MARJORIE, M. C. Nueva Gestión Pública en Chile: Orígenes y Efectos. Revista de ciencia política, v. 34, n. 2, p. 417-438, 2014.

MATIAS-PEREIRA, J. Curso de Administração Pública: foco nas instituições governamentais. 3. ed. São Paulo: Atlas, 2014.

NUINTIN, A. A. Eficiência da aplicação de recursos públicos nas universidades federais. 169 fls. Tese (Doutorado em Administração) – Universidade Federal de Lavras, Lavras, 2014.

OLIVEIRA, L. M. S.; CARVALHO, J. R. M.; CARVALHO, E. K. M. A.; PEREIRA, G. M. Alocação de recursos públicos em municípios paraibanos. Revista de Contabilidade da UFBA, v. 12, n. 2, p. 22-41, 2018.

PEKKANEN, P.; NIEMI, P. Process performance improvement in justice organizations: Pitfalls of performance measurement. International Journal of Production Economics, v. 143, n. 2, p. 605-611, jun. 2013.

RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, v. 46, n. 5, p. 1271-1294, 2012.

RIBEIRO, M. B. Desempenho e eficiência do gasto público: uma análise comparativa entre o Brasil e um conjunto de países da américa latina. Texto para discussão, n. 1368. Rio de Janeiro: IPEA, dezembro 2008.

ROSA, D. Ação de governo local e o dilema efetividade-equidade. Revista de Sociologia e Política, [S. l.], n. 22, set. 2004.

RUA, M. G. A avaliação de Políticas, Programas e Projetos: Notas introdutórias. 2010.

SAGRES. Portal da Cidadania. Tribunal de Contas do Estado da Paraíba. 2016. https://tce.pb.gov.br/sagres-online

SANTOS, A. M. S. P. Reforma do estado, descentralização e autonomia financeira dos municípios. Revista de Administração Mackenzie (RAM), ano 4, n. 2, 2003.

SANTOS, A. P. Autonomia municipal no contexto federativo brasileiro. Revista Paranaense de Desenvolvimento, Curitiba, n. 120, p. 209-230, jan./jun., 2011.

SANTOS, L. M. P.; SANTOS, S. M. C. dos; SANTANA, L. A. A.; HENRIQUE, F. C. S.; MAZZA, R. P. D.; SANTOS, L. A. de S.; SANTOS, L. S. dos. Avaliação de políticas públicas de segurança alimentar e combate à fome no período 1995-2002.4 – Programa Nacional de Alimentação Escolar. Cadernos de Saúde Pública, Rio de Janeiro, n. 2681, novembro de 2007.

SERRANO, A. L. M.; GONÇALVES, R. S.; GONÇALVES, A. O. Avaliação do impacto de políticas públicas federais no processo de desmatamento na Amazônia. Revista de Administração e Negócios da Amazônia, v. 5, n., jan./abr. 2013.

SILVA, J. L. M. da.; ALMEIDA, J. C. L. de. Eficiência no gasto público com educação: uma análise dos municípios do Rio Grande do Norte. Planejamento e Políticas Públicas. [S. L], n. 39. jul./dez. 2012.

SILVA, M. C.; SILVA, J. D. G. Ranking de desempenho da execução orçamentária por funções de governo dos 50 municípios mais populosos do brasil em 2013 e determinação de suas funções significativas. InterSciencePlace – Revista Científica Internacional, n. 3, v. 10, artigo nº 8, jul./set. 2015.

SILVA, M. C.; SILVA, J. D. G.; BORGES, E. F. Avaliação da execução orçamentária por funções de governo em municípios com a utilização de índices de desempenho. RMC – Revista Mineira de Contabilidade, v. 16, n. 1, art. 1, p. 5-17, jan./abr. 2015.

SILVA, M. C.; SOUZA, F. J. V.; BORGES, E. F.; ARAUJO, A. O.; SILVA, J. D. G. Avaliação da função educação nos municípios de são Paulo, Rio de Janeiro e Belo Horizonte: mudança ou inércia social? ConTexto, Porto Alegre, v. 15, n. 29, p. 17-29, jan./abr. 2015

SILVA, M. C.; SOUZA, F. J. V.; ARAÚJO, A. O.; SILVA, J. D. G. da. Avaliação de Funções de Governos Estaduais e do Distrito Federal na Percepção dos Contribuintes/Usuários. REUNIR: Revista de Administração, Contabilidade e Sustentabilidade, v. 4, n. 2, p. 1-19, 2014.

SILVA, V. B. de S.; SCHRAMM, F. CARVALHO, H. R. C. de. O uso do método PROMETHEE para seleção de candidatos à bolsa-formação do Pronatec. Production, v. 24, n. 3, p. 548-558, July/Sept. 2014.

SOTIRAKOU, T.; ZEPPOU, M. Utilizing performance measurement to modernize the Greek public sector. Management Decision, v. 44, n. 9, p. 1277-1304, 2006.

SOUZA, F. J. V.; SILVA, M. C.; PIRES E SILVA; A. R.; SILVA, J. D. G. Avaliação de gastos públicos de municípios classificados no ranking para investir em negócios. Boletim Governet de Administração Pública e Gestão Municipal, n. 50, p. 1492-1523, nov. 2015.