1 INTRODUÇÃO

O controle interno no âmbito da gestão das universidades é uma importante ferramenta na busca da transparência e evidenciação dos resultados e dos atos públicos, bem como para assegurar o patrimônio público, com vistas a garantir a eficiência na consecução dos objetivos. Logo, a identificação das práticas de controles internos adotadas pelas universidades públicas federais brasileiras é de relevante interesse para a sociedade (Melo & Leitão, 2021).

A implementação adequada do controle interno (CI) nas organizações públicas permite monitorar as ações desenvolvidas pelos gestores públicos e fornecer informações sobre a aplicação dos recursos públicos, a eficácia e qualidade dos serviços prestados e os benefícios obtidos mediante os investimentos realizados, desempenhando imprescindível mecanismo de controle social (Beuren & Zonatto, 2014). Os recentes avanços na legislação brasileira quanto à aplicação do CI no setor público permitem o aperfeiçoamento das práticas previstas no framework integrado do Committee of Sponsoring Organizations of the Treadway Commission (COSO), a partir da introdução de novos mecanismos de controle e da revisão da estrutura de controle na administração pública (Silva et al., 2017).

O Tribunal de Contas da União (TCU), órgão de controle externo do governo federal, responsável pela fiscalização contábil, financeira, orçamentária, operacional e patrimonial dos órgãos e entidades públicas do país quanto à legalidade, legitimidade e economicidade (TCU, 2022), reconhece e utiliza o modelo COSO, tendo como base para suas avaliações de controle interno dos órgãos e entidades federais as normas emitidas pela International Organization of Supreme Audit Institutions (INTOSAI), que, em 2004, atualizou as Diretrizes para as Normas de Controle Interno do Setor Público (INTOSAI GOV 9100, 2004) adotando o modelo (TCU, 2012).

A adoção da estrutura integrada de controle interno do COSO para avaliação de controles internos evidencia um processo de evolução na avaliação e abordagem dos controles internos nas unidades sob jurisdição do TCU, evitando antigas modelagens de controle focadas em aspectos formais e de conformidade (Wanderley et al., 2015). Em decorrência dessa diretriz, o Ministério do Planejamento, Desenvolvimento e Gestão (MPDG) e a Controladoria Geral da União (CGU) adotam os componentes do referencial do COSO 2013 oficialmente para efeito de avaliação de controles internos no Poder Executivo federal, por meio da Instrução Normativa Conjunta (IN) nº 01/2016 (Brasil, 2018).

A relevância da realização de pesquisas sobre CI na administração pública tem sido destacada em estudos científicos. Beuren e Zonatto (2014) sugeriram que a utilização de um framework de pesquisa, bem como metodologias de CI e gerenciamento de riscos, também podem ser úteis para a análise das estruturas dos sistemas de controle utilizados pelas organizações públicas. Recentemente, Lopes et al. (2020) ratificaram que a temática sobre controle interno governamental necessita de aprofundamento para delinear suas principais discussões, pois constataram que a maioria dos artigos identificados dava ênfase a análises de aspectos da gestão pública, órgãos de controladoria, accountability, transparência, governança pública e procedimentos de auditoria governamental. Melo e Leitão (2021), por sua vez, observaram que apesar de estarem sendo conduzidas pesquisas sobre controle interno no âmbito público, há uma escassez de estudos no âmbito das universidades públicas, especificamente as federais.

Estudos identificados por meio de revisão de literatura nacional concluíram que, em geral, os controles internos dos órgãos e entidades da administração pública brasileira pesquisados não estão plenamente implementados e estruturados, apresentando fragilidades e baixos níveis de eficiência, eficácia e efetividade, sobretudo em relação à adequação aos componentes do COSO (Alencar & Fonseca, 2016; Araújo et al., 2016; Cannavina & Parisi, 2015; Capovilla & Gonçalves, 2018; Mota & Dantas, 2015; Silva, 2016; Silva, 2018; Sousa et al., 2017; Wanderley et al., 2015). Ademais, as pesquisas identificadas como correlacionadas a que ora se apresenta apontam que os controles internos das instituições analisadas não estão adequadamente alinhados ao COSO (Brandão, 2015; Ferreira, 2013; Gomes, 2011; Menezes et al., 2015). A Universidade Federal do Ceará (UFC), loco estudado nesta pesquisa, além do volume de recursos que administra, ocupa lugar de destaque como instituição de ensino. De acordo com o Times Higher Education (THE) 2020, a UFC é a melhor universidade pública do Norte e Nordeste do Brasil. E o QS Latin America Universities Ranking 2020 a coloca entre as 14 melhores universidades brasileiras, sendo a 10ª entre as instituições federais (UFC, 2021a).

Nessa instituição, a Pró-Reitoria de Planejamento e Administração (PROPLAD) é o órgão da administração superior que atua na operação dos macroprocessos relacionados à gestão estratégica e desenvolvimento organizacional e à gestão operacional. A atuação da PROPLAD busca observar e reforçar o estágio já alcançado de profissionalização dos processos de gestão da UFC, garantindo a segurança jurídica dos atos administrativos por meio de mecanismos de controle interno. O princípio fundamental é o suporte adequado e tempestivo às atividades-fim da instituição (UFC, 2022c).

Nesse contexto, definiu-se a seguinte questão de pesquisa: Em quais aspectos o Sistema de Controles Internos (SCI) da PROPLAD/UFC está em consonância com os componentes do modelo COSO 2013? No intuito de respondê-la, o objetivo geral do estudo é avaliar os aspectos do SCI da PROPLAD na perspectiva dos componentes do modelo COSO 2013.

As universidades públicas têm como missão principal a geração de conhecimentos científicos e tecnológicos, promoção da cultura, prestação de serviços à comunidade e formação de profissionais qualificados que atendam às demandas do mercado de trabalho e da sociedade, com visão crítica e ética, capazes de compreender e interferir nas mudanças sociais. Faz-se necessário, portanto, que estas instituições atentem para o desenvolvimento contínuo e para a modernização da sua gestão, mantendo um sistema de controle interno eficiente, eficaz e efetivo em todas as ações empreendidas (Queiroz et al., 2012). Assim, a estruturação e avaliação dos mecanismos de controle interno no âmbito dessas organizações pode ser determinante para a eficiência da gestão (Ferreira et al., 2021).

A existência de controles internos eficazes que subsidiem a execução adequada de atividades e processos permite que as universidades públicas atendam aos diversos segmentos aos quais a sua atuação está direcionada e promovam a prestação de um serviço público gratuito e de qualidade. Percebe-se, portanto, a necessidade do estudo do controle interno no âmbito da gestão das universidades, por se tratar de ferramenta essencial na busca da transparência e evidenciação dos resultados e dos atos públicos, bem como para assegurar o patrimônio público, com vistas a garantir a eficiência na consecução dos objetivos (Melo & Leitão, 2021).

Justifica-se, ainda, a seleção da instituição, uma vez que a UFC não possui sistema de controle interno formalmente institucionalizado. Ressalta-se que o relatório de gestão da UFC 2021, elaborado pela PROPLAD e disponibilizado em seu sítio eletrônico, contém tópico dedicado aos controles internos. Este, embora a Universidade esteja sujeita aos ditames da referida IN, trata apenas da auditoria interna da UFC, da comissão permanente de processo administrativo disciplinar, da comissão de ética da UFC e da superintendência de tecnologia da informação.

A presente pesquisa avança no sentido de estudar um órgão específico de uma universidade pública federal, permitindo uma análise mais aprofundada dos controles internos implementados, bem como das possíveis fragilidades e ineficiências. Além de ter sido realizada seis anos após a edição da referida IN nº 01/2016, sendo este um tempo razoável para a adequação da instituição aos seus ditames. Ademais, foi feita análise quanto à diferença de percepção sobre os controles internos entre gestores e não gestores, caracterizando avanço em relação aos estudos anteriores, que se restringiram às análises por meio dos coeficientes de similaridade e dissimilaridade.

Os resultados do estudo apontam que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013 e que a percepção dos respondentes muda em função do exercício de cargo de direção ou função gratificada. A partir disso, apresenta-se sugestões de melhorias que visam contribuir para a atuação e o alcance dos objetivos da PROPLAD e da UFC.

Esta pesquisa pode, ainda, servir como referência para análises dos demais órgãos e unidades da Universidade, considerando as particularidades de cada um deles, em virtude das diferentes atividades que executam, bem como em instituições similares. Ademais, os resultados da pesquisa podem subsidiar a criação de um modelo de sistema de controle interno para a PROPLAD, o qual pode, posteriormente, ser expandido para os demais órgãos e unidades da UFC.

No que concerne aos aspectos metodológicos, a pesquisa se caracteriza como descritiva, realizada por meio de surveysingle entity, utilizando abordagem quantitativa na análise dos dados primários, coletados por meio da aplicação de questionário aos servidores da PROPLAD e análise qualitativa de documentos, a qual teve como objetivo subsidiar os resultados obtidos por meio do tratamento estatístico das respostas ao questionário.

2 REFERENCIAL TEÓRICO

Nesta seção aborda-se revisão de literatura sobre controle interno, sendo apresentados conceitos, classificações, objetivos e princípios. Trata-se, ainda, do controle interno na administração pública e da estrutura de controle interno integrada elaborada pelo COSO, bem como apresenta-se estudos anteriores sobre controle interno em instituições do setor público.

2.1 Controle interno

Controle interno (CI) é o plano de organização e o conjunto coordenado dos métodos adotados por esta para salvaguardar seu patrimônio, verificar a exatidão e a fidedignidade dos dados contábeis, promover a eficiência das operações e encorajar a adesão e o cumprimento das diretrizes e políticas administrativas estabelecidas (Andrade, 2020; Attie, 2018; Corbari & Macedo, 2012). De acordo com o COSO (2013), é um processo conduzido pela estrutura de governança, administração e outros profissionais da entidade, desenvolvido para proporcionar segurança razoável quanto à realização dos objetivos da organização relacionados a operações, divulgação e conformidade, sendo esta a definição adotada neste estudo.

O CI no setor público nacional se desenvolveu inicialmente atrelado ao conceito de controle de gestão financeira, mudando para uma perspectiva mais ampla após a Constituição Federal de 1988 (Melo & Leitão, 2021). A IN MP/CGU nº 01/2016 enfatizou a relevância do tema para a administração pública federal, preconizando que o estabelecimento de controles internos no âmbito da gestão pública visa essencialmente aumentar a probabilidade de que os objetivos e metas estabelecidos sejam alcançados de forma eficaz, eficiente, efetiva e econômica. Controles internos adequados devem ser integrados ao processo de gestão e dimensionados e desenvolvidos na proporção requerida pelos riscos. A alta administração e todos os servidores devem compreender e observar os componentes da estrutura de controles internos para a sua implementação (Brasil, 2016).

O controle interno pode tornar o processo de gestão mais favorável não somente quanto a ilegalidades e prevenção de fraudes, mas também dentro das atividades frequentes de uma organização (Santos et al., 2022). Deve ser exercido em todos os níveis da entidade do setor público, compreendendo a preservação do patrimônio público, o controle da execução das ações que integram os programas e a observância às leis, aos regulamentos e às diretrizes estabelecidas (Andrade, 2020).

O objetivo do CI nos órgãos e entidades da administração pública é funcionar, simultaneamente, como mecanismo de auxílio para o administrador público e instrumento de proteção e defesa do cidadão (Castro, 2018). O controle interno pode aprimorar a eficiência e flexibilidade na gestão, a fim de realizar e manter o interesse público, tornando o processo de gestão mais seguro e eficiente e contribuindo ativamente no alcance dos objetivos da instituição (Santos et al., 2022). Ao atuar para aumentar a capacidade de gestão e propiciar informações e estratégias para que o gestor público possa melhorar o desempenho da instituição, também contribui para garantir serviços públicos de qualidade (D’Andrea, 2022).

2.2 COSO – Committee of Sponsoring Organizations of the Treadway Commission

O Committeeof Sponsoring Organizations of the Treadway Commission (COSO) é uma iniciativa conjunta do Instituteof Internal Auditors (IIA), American Accounting Association (AAA), American Institute of Certified Public Accountants (AICPA), Financial Executives International (FEI) e Institute of Management Accountants (IMA), formado em 1985, e que oferece liderança inovadora sobre controle interno, gestão de risco empresarial e prevenção de fraudes, por meio do desenvolvimento de estruturas e formulação de diretrizes (COSO, 2014).

Em 1992, o COSO publicou a obra Internal Control – Integrated Framework (Controle Interno – Estrutura Integrada), denominada de COSO I e reconhecida como uma estrutura modelo para o desenvolvimento, implementação e condução do CI, bem como para a avaliação de sua eficácia, que obteve grande aceitação e foi amplamente aplicada em todo o mundo (COSO, 2013). Em 2004 foi publicado o Enterprise Risk Management – Integrated Framework (Gerenciamento de Riscos Corporativos – Estrutura Integrada), conhecido como COSO ERM ou COSO II, que ampliou o escopo do COSO I para explorar e expandir a gestão de riscos (Doxey, 2019). Esse framework demonstra uma visão integrada dos componentes que os gestores precisam adotar para gerenciar os riscos de modo eficaz, no contexto dos objetivos e da estrutura de cada organização (TCU, 2018).

No ano de 2013 foi feita uma atualização do framework COSO I para adaptá-lo às mudanças nas organizações, nos modelos de negócios e nos ambientes operacionais. A definição e os componentes de controle interno inicialmente estabelecidos foram mantidos. A estrutura atualizada, contudo, incrementou 17 princípios relacionados aos componentes, aprimorando os seus conceitos (COSO, 2013). De acordo com o referencial do COSO, o CI abrange cinco componentes que devem estar presentes e em funcionamento, assim como os princípios relacionados a cada um deles, e operando em conjunto de forma integrada (COSO, 2013; 2019).

A estrutura integrada estabelece que há uma integração entre os objetivos, os componentes do CI e a estrutura organizacional da entidade, a qual pode ser retratada na forma de um cubo, conforme Figura 1 (COSO, 2013).

O COSO 2013 é uma abordagem flexível, confiável e econômica para implementar e avaliar sistemas de controle interno em organizações que buscam atingir objetivos operacionais, de conformidade e de divulgação, os quais são representados pelas colunas. Os componentes, que estão relacionados ao que é necessário para alcançar os objetivos, são representados pelas linhas. E a terceira dimensão representa a estrutura organizacional da entidade. O framework pode ser aplicado em empresas públicas e privadas, entidades sem fins lucrativos e governamentais, independentemente do tamanho ou tipo de organização (COSO, 2013; 2019).

Ao longo dos anos a complexidade e o surgimento de novos riscos levou ao aprimoramento do conhecimento e supervisão sobre as atividades de gerenciamento de riscos e a divulgação sobre esses. Em 2017, o COSO publicou o Enterprise Risk Management – Integrating with Strategy and Performance (Gerenciamento dos Riscos Corporativos – Integrado com Estratégia e Performance), atualização da versão de 2004, denominado de COSO GRC (COSO, 2017), que revisou e atualizou os componentes do COSO ERM, adotou princípios, simplificou definições, enfatizou o papel da cultura e melhorou o foco no valor gerado (COSO, 2017; TCU, 2018).

A estrutura atualizada, COSO 2013, trata o CI, seus componentes e princípios, como um dos mecanismos que auxilia as organizações no alcance dos objetivos, e apresenta diretrizes e uma estrutura de referência para que as entidades possam, a partir dessa, desenhar seus próprios sistemas de controle interno. O COSO GRC aborda estratégias para um gerenciamento de riscos eficaz e traz o CI como uma condição para tal. Em função disso, apresenta modelo de CI efetivo para as organizações, o qual contempla o processo de gestão de riscos em seus componentes. Os modelos, portanto, buscam auxiliar as entidades no desenvolvimento do SCI adequado para suas estruturas organizacionais. Nem todas as organizações, contudo, estão em nível estratégico adequado para adotar o COSO GRC, dentre estas, as instituições públicas. Em virtude disso, a estrutura atualizada COSO 2013 é mais adequada para essas entidades e, por isso, foi escolhida como parâmetro para este estudo.

2.3 Estudos anteriores sobre controle interno na administração pública

Na Tabela 1, são apresentados 6 estudos sobre CI na administração pública, identificados por meio de consultas nas bases de dados Scientific Periodicals Electronic Library (SPELL) e Biblioteca Digital Brasileira de Teses e Dissertações (BDTD), realizadas em fevereiro de 2022.

As pesquisas identificaram que, em geral, os controles internos das organizações estudadas não estão plenamente implementados e estruturados, apresentando fragilidades e baixos níveis de eficiência, eficácia e efetividade, sobretudo em relação à adequação aos componentes do COSO. Além dos estudos apresentados, foram identificadas 4 pesquisas sobre controle interno em IESP em bases de dados diferentes das expostas anteriormente.

Ferreira (2013) buscou avaliar, à luz do COSO ERM, a validade dos elementos do SCI do Instituto Federal do Rio Grande do Norte (IFRN), verificando a distância ou a proximidade entre os elementos dos controles internos da instituição e o COSO. Concluiu que o SCI da IESP rejeita os principais pressupostos que caracterizam o COSO ERM. Silva et al. (2014) verificaram que o COSO I mostrou-se adequado para analisar o SCI do Centro Federal de Educação Tecnológica de Minas Gerais (CEFET/MG), o qual foi considerado eficiente, e concluíram que o modelo pode ser aplicado a organizações públicas.

Menezes et al. (2015) analisaram que, de maneira geral, os resultados encontrados demonstraram índices de dissimilaridade entre o modelo de CI em funcionamento na Universidade Federal de Pernambuco (UFPE) e o COSO ERM. Melo e Leitão (2021), por sua vez, ao analisarem 43 das 63 universidades federais brasileiras, identificaram que a maioria possui controles internos instituídos e formalizados e há uma pulverização de responsáveis pela elaboração dos controles internos nessas instituições. Constataram, contudo, que o CI ainda não se encontra estabelecido de forma consolidada em todas as universidades.

Evidencia-se a relevância da aplicação da metodologia em pesquisas científicas sobre CI, sobretudo na administração pública brasileira. Observa-se, ainda, que apenas duas pesquisas tratam de casos de universidades federais. Ademais, os estudos sobre universidades públicas constataram que os controles internos dessas entidades não estão adequadamente implementados e consolidados, apresentando desalinhamentos e sendo considerados pouco ou parcialmente eficientes e até mesmo ineficientes. Destaca-se, assim, a relevância da realização de pesquisas sobre controle interno em universidades públicas.

Sendo assim, a presente pesquisa avança no sentido de estudar um órgão específico de uma universidade pública federal, permitindo uma análise mais aprofundada dos controles internos implementados, além de ter sido realizada seis anos após a edição da IN nº 01/2016, sendo este um tempo razoável para a adequação da instituição aos seus ditames. Foi feita, ainda, análise quanto à diferença de percepção sobre os controles internos entre gestores e não gestores, caracterizando avanço em relação aos estudos anteriores, que se restringiram às análises por meio dos coeficientes de similaridade e dissimilaridade.

3 METODOLOGIA

Quanto ao objetivo, caracteriza-se esta pesquisa como descritiva. Segundo Vergara (2016), esse tipo de estudo expõe características de determinada população ou fenômeno, não tendo o compromisso de explicá-las. O método de pesquisa utilizado é o survey single entity, que, de acordo com Mucci et al. (2016), tem como principal método de coleta de dados o questionário, aplicado a um grupo de indivíduos de uma única organização. Assim, ao considerar múltiplos respondentes dentro de uma mesma instituição (Van der Stede et al. 2005), permite estudar os fenômenos de modo mais profundo (Mucci et al., 2016).

No que diz respeito aos procedimentos de coleta de dados, foram obtidos dados primários, por meio da aplicação de questionário, e dados secundários, por meio de análise documental. Quanto à análise dos dados foi aplicada abordagem quantitativa no tratamento dos dados obtidos pelos questionários e análise qualitativa dos documentos coletados.

A pesquisa quantitativa se caracteriza pelo emprego de técnicas estatísticas tanto na coleta quanto no tratamento dos dados. Busca garantir a precisão dos resultados e evitar distorções de análise e interpretação, possibilitando uma margem de segurança quanto às inferências feitas (Beuren, 2013). Para Richardson (2017), é um meio para examinar a relação entre variáveis, que podem ser medidas por instrumentos, para que os dados possam ser analisados por procedimentos estatísticos.

A análise de documentos oficiais disponibilizados no sítio eletrônico da PROPLAD teve como objetivo subsidiar os resultados obtidos por meio do tratamento estatístico das respostas ao questionário. De acordo com Gil (2018) a pesquisa documental se vale de todo tipo de documentos, elaborados com finalidades diversas.

A Universidade Federal do Ceará, criada em 1954 e sediada em Fortaleza, autarquia do Poder Executivo Federal, atua em quase todas as regiões do estado, tornando-se um braço do sistema do ensino superior do Ceará (UFC, 2021b; 2022b). Em 2020, somando todos os recursos orçamentários destinados à UFC, o total ficou em torno de R$ 1,7 bilhões. Torna-se, portanto, cada vez mais necessário uma alocação e gestão eficientes dos recursos para enfrentar o desafio de conciliar custeio, modernização e reestruturação da Universidade (UFC, 2021a).

A PROPLAD, unidade de análise da pesquisa, foi instituída pelo CONSUNI em 2017 e resultou da consolidação das antigas Pró-Reitorias de Administração e de Planejamento em uma única unidade de gestão (UFC, 2022c). É o órgão administrativo de planejamento e administração da Reitoria que tem como missão prover, de forma contínua, com eficiência, eficácia e efetividade, os meios necessários à manutenção e crescimento da capacidade de gestão das atividades-fim da Universidade (UFC, 2017).

De acordo com as informações disponibilizadas no Painel Dados de Pessoal da Pró-Reitoria de Gestão de Pessoas, há 165 servidores lotados na PROPLAD. Foram considerados para o estudo apenas os servidores públicos, docentes e técnico-administrativos, de qualquer nível organizacional, que tem cargo efetivo na UFC e estão exercendo suas atividades na Pró-Reitoria. Assim, tendo em vista os filtros constantes no Painel, os 161 servidores classificados como “ativo permanente” atenderam aos critérios definidos. A consulta foi realizada em fevereiro de 2022, quando os dados estavam atualizados até novembro de 2021.

Além disso, a pesquisadora está incluída nesse quantitativo e, com o intuito de evitar viés à pesquisa, não participou do estudo. Sendo assim, 160 servidores da PROPLAD foram considerados aptos a participar da pesquisa. Dentre estes, 91 responderam ao questionário, o que representa cerca de 56,88%, conforme Tabela 2.

Foi realizada aplicação de questionário aos servidores da PROPLAD para analisar a percepção deles quanto aos controles internos existentes na Pró-Reitoria. O instrumento de coleta foi composto por 30 questões, distribuídas em 5 blocos, definidos de acordo com os componentes do COSO 2013: 1) ambiente de controle (Q1 a Q9); 2) avaliação de riscos (Q10 a Q18); 3) atividades de controle (Q19 a Q22); 4) informação e comunicação (Q23 a Q27); e, 5) atividades de monitoramento (Q28 a Q30). Além destes, o primeiro bloco do questionário destinou-se à identificação do perfil demográfico dos respondentes.

O questionário foi elaborado a partir de adaptação do instrumento utilizado por Gomes (2011), Cannavina e Parisi (2015) e Paulino et al. (2019), o qual se refere a um questionário de autoavaliação dos controles internos constante nos relatórios de gestão das unidades jurisdicionadas do TCU. As proposições foram estruturadas utilizando-se escala Likert, indicando a escolha de uma das opções: discordo totalmente, discordo, indiferente, concordo, concordo totalmente.

Como pré-teste o questionário foi enviado a 10 servidores da PROPLAD, para que estes respondessem e informassem suas impressões à pesquisadora. Foi solicitado que eles não conversassem com os outros servidores a respeito do questionário. Com base nas sugestões apresentadas foram feitos ajustes na redação de algumas questões, de forma a facilitar o entendimento dos respondentes, e estimou-se o tempo necessário para responder ao questionário. Após os ajustes, os referidos servidores responderam ao questionário novamente junto com os demais servidores.

O questionário, devidamente ajustado, foi aplicado de forma on-line, por meio da ferramenta Google Forms. Inicialmente foi encaminhado aos servidores por correio eletrônico. Em virtude, contudo, da dificuldade de obtenção de respostas, foi necessário contato telefônico com os servidores via aplicativo de mensagens. Fez-se, ainda, a distribuição impressa do texto introdutório juntamente com o endereço eletrônico do questionário, para que os servidores o acessassem por meio da leitura do código QR.

Ainda assim, o fato de muitos servidores estarem em teletrabalho, em decorrência da pandemia de Covid-19, estando enquadrados nas situações previstas na Instrução Normativa SGP/SEDGG/ME nº 90/2021, dificultou o acesso a eles. Ressalta-se que a referida IN só foi revogada a partir de 06/06/2022, por meio da Instrução Normativa SGP/SEDGG/ME nº 36/2022. Além disso, ao realizar a distribuição impressa do questionário aos servidores em trabalho presencial, a pesquisadora percebeu a resistência de alguns em respondê-lo.

Ressalta-se que a pesquisadora não tem relação próxima com a maioria dos servidores e foi informado a estes na introdução do questionário que as informações seriam utilizadas somente para fins acadêmicos e de pesquisa e que não haveria identificação dos respondentes nos dados publicados. A coleta foi iniciada em 01/12/2021 e concluída em 06/05/2022. Quanto aos documentos coletados, foram utilizados o organograma da PROPLAD, sua estrutura organizacional, o relatório de gestão UFC 2021 e manuais e guias de procedimentos diversos.

Inicialmente, com o objetivo de aferir se o instrumento utilizado nesta pesquisa era composto pelos itens realmente relevantes para análise do controle interno, aplicou-se uma série de análises fatoriais, com método de rotação ortogonal com abordagem VARIMAX, em cada um dos cinco componentes do questionário. Este método promove interpretação mais clara dos fatores e interpretação de dados mais fácil (Hair et al., 2009). Em seguida, para os itens remanescentes da análise fatorial exploratória (AFE), fez-se análise descritiva das respostas às questões.

Os coeficientes de associação de Jaccard, aplicados por Palfi e Boţa-Avram (2009), Ferreira (2013), Brandão (2015), Menezes et al. (2015), Silva (2016) e Martins (2020) foram utilizados para obter o grau de similaridade e dissimilaridade entre os controles internos da PROPLAD e os componentes do COSO 2013, conforme a seguinte sistemática:

a) Às respostas concordo (4) e concordo totalmente (5) atribuiu-se o valor 10 e às respostas discordo totalmente (1), discordo (2) e indiferente (3) o valor 0;

b) Verificou-se, para cada questão, a quantidade de respostas indicadas por 10 e por 0 e os respectivos percentuais em relação ao total de respostas;

c) Para as questões em que a maioria das respostas foi representada por 10 atribuiu-se o valor 1, indicando a existência/adequação ao COSO 2013. Em contrapartida, para as questões em que a maioria das respostas foi representada por 0, manteve-se o valor 0, indicando a inexistência/inadequação ao COSO 2013.

A partir da moda, portanto, foi identificada a resposta que caracteriza a PROPLAD. Após a conversão dos dados de acordo com os atributos definidos, os coeficientes foram calculados utilizando-se as Fórmulas 1 e 2:

Sij = a / (a + b + c) (1)

Dij = (b + c) / (a + b + c) (2)

Sendo que:

Sij: grau de similaridade entre os controles internos da PROPLAD (conjunto .) e o COSO 2013 (conjunto .);

Dij: grau de dissimilaridade entre os controles internos da PROPLAD (conjunto .) e o COSO 2013 (conjunto .);

a: número de vezes que o valor “1” aparece nos dois conjuntos;

b: número de vezes que o valor “1” aparece no conjunto . e o valor “0” no conjunto .;

c: número de vezes que o valor “0” aparece no conjunto . e o valor “1” no conjunto ..

Como o modelo COSO 2013 foi o parâmetro escolhido para esta pesquisa, admitiu-se para o conjunto . sempre o valor 1. Sendo assim, a incógnita (c) foi considerada como 0.

Para realizar o perfilamento dos respondentes a partir dos cinco componentes do modelo COSO 2013 utilizou-se a análise de cluster. Optou-se pela criação de uma medida única para cada componente, composta pelos itens remanescentes após a AFE (Hair et al., 2009). Esse procedimento é indicado quando se precisa trabalhar com dimensões e a escala possui menos de 200 respondentes (Rossel, 2020). O método de aglomeração foi o de cluster hierárquicos, para o qual foi estabelecido como parâmetro agrupamentos entre 2 e 6 clusters. Além disso, foram utilizadas duas variáveis categóricas.

Quanto ao tempo de atuação na PROPLAD, foi indicado o valor 1 para os servidores que trabalham na Pró-Reitoria até 5 anos, 2 para um período entre 6 e 10 anos e 3 para mais de 10 anos. Para os servidores que exercem algum cargo de direção (CD) ou possuem alguma função gratificada (FG) atribuiu-se o valor 1 e para os servidores que não exercem nenhum CD nem possuem FG atribuiu-se o valor 0.

O método de aglomeração escolhido foi o de cluster hierárquicos, para o qual foi estabelecido como parâmetro no software Statistical Package for Social Science (SPSS) fornecer os agrupamentos que variam entre 2 e 6 clusters. A partir da identificação dos clusters, fez-se análise descritiva de cada um dos grupos, por meio da análise de boxplot ou de diagrama de caixas. Em seguida, com o objetivo de identificar se existe diferença estatisticamente significativa entre as médias dos clusters, realizou-se teste . de Student para amostras independentes, utilizando-se o software SPSS.

Foram utilizados os softwares SPSS e Microsoft Excel. Além disso, o estudo contempla os seguintes indicadores de confiabilidade: 1) alfa de Cronbach; 2) variância média extraída (VME); e 3) confiabilidade composta (CC).

4 ANÁLISE E DISCUSSÃO DOS RESULTADOS

Dos 91 respondentes 82 têm acima de 30 anos, sendo que 54,95% possuem entre 31 e 40 anos. Com relação ao nível de formação, 88 possuem pelo menos o ensino superior. Além disso, 64,84% são servidores da UFC há 4-10 anos e em torno de 50% possuem até 5 anos de trabalho dedicados à PROPLAD. No que se refere a atuarem como gestores ou não, 54 informaram não ocupar nenhum cargo de direção ou exercer função gratificada, o que representa 59,34% dos respondentes.

Após a AFE, fez-se análise descritiva dos itens remanescentes para cada componente. Os valores da medida de Kaiser-Meyer-Olkin (KMO) foram aceitos para todos os componentes, conforme indicado por Hutcheson e Sofroniou (1999) e Pasquali (1999), assim como os valores dos testes de esfericidade de Bartlett, os quais possuem significância menor que 0,05 (Tabachnick & Fidell, 2007). Os indicadores de confiabilidade também foram considerados aceitáveis para todos os componentes, pois estes apresentaram alfa de Cronbach e CC superiores a 0,70 e VME maior que 0,5 (Hair et al., 2009; Kılıç, 2016).

Em relação às comunalidades e cargas fatoriais, para atividades de controle, informação e comunicação e atividades de monitoramento, os valores de todos os itens propostos foram significantes para a amostra e, portanto, aceitáveis (Hair et al., 2009). Para ambiente de controle e avaliação de riscos, contudo, alguns itens foram excluídos.

Quanto ao ambiente de controle, a percepção dos respondentes em relação à adequada segregação de funções nos processos da PROPLAD, de acordo com a Tabela 3, pode ser corroborada pela existência de estrutura organizacional documentada que contempla o organograma da Pró-Reitoria e define as atribuições de cada setor/unidade.

A partir da conversão feita para o cálculo dos coeficientes de Jaccard, conforme coluna PROPLAD (.), apenas a característica analisada na questão 2 apresenta inadequação ao COSO 2013. De forma geral, apesar dos respondentes analisarem que a gestão da Pró-Reitoria percebe a relevância dos controles internos e que esses funcionam e contribuem para alcançar os resultados, a maioria entende que os servidores e funcionários dos demais níveis organizacionais não têm a mesma percepção. Compreende-se que há falhas quanto à inclusão desses na dinâmica de formalização dos processos e de implementação dos controles internos.

Nesse sentido, é possível perceber, dentre as atribuições da divisão de controle interno (DCIN) da PROPLAD (UFC, 2017), ausência de atribuições relativas à comunicação e conscientização dos servidores e funcionários sobre o que são e quais são os controles internos, a relevância destes e a necessidade de cada um assumir as suas responsabilidades sobre eles. Ademais, foi observado no sítio eletrônico da PROPLAD uma aba destinada à gestão estratégica da UFC, contudo, não há aba destinada ao CI da Pró-Reitoria, ou da Universidade.

Na referida aba foi identificado o relatório de gestão da UFC 2021, elaborado pela PROPLAD, o qual contém tópico dedicado aos controles internos. Este, todavia, trata da auditoria interna e do relatório anual de auditoria interna 2021, da comissão permanente de processo administrativo disciplinar, da comissão de ética da UFC e da superintendência de tecnologia da informação. Tal situação aponta alinhamento ao estudo de Queiroz et al. (2012), os quais identificaram que as auditorias internas das universidades públicas federais brasileiras executam as atividades relacionadas ao CI, tendo como função prioritária atender aos órgãos superiores de controle (TCU e CGU).

Observa-se, conforme Tabela 4, que o componente avaliação de riscos não está adequadamente implementado na PROPLAD, sendo que as cinco características analisadas foram avaliadas como inadequadas ao framework do COSO 2013, sobretudo em virtude de 30 a 40% dos respondentes demonstrarem serem indiferentes a essas questões.

Nesse sentido, não foram identificadas no sítio eletrônico da PROPLAD documentações relativas ao estabelecimento dos objetivos e à definição e mensuração dos riscos relacionados a estes, bem como de estratégias e ações para mitigá-los. Ademais, constatou-se informação de que o manual de gestão de riscos da PROPLAD foi descontinuado, em virtude da criação do plano de gestão de riscos da UFC pela Secretaria de Governança da Universidade. Não tendo sido, até o momento, elaborado manual atualizado.

De acordo com a Tabela 5, percebe-se que a maioria dos respondentes entende que as atividades de controle estão adequadamente implementadas na PROPLAD. Ainda assim, a maior parte discorda ou se mostrou indiferente à relação entre os custos das atividades e os benefícios gerados por elas, bem como em relação a políticas e ações que busquem diminuir os riscos para atingir os objetivos da Pró-Reitoria.

Ressalta-se que foram identificadas, por meio da pesquisa documental, documentações relativas a orientações para a instrução dos processos de compras e contratações e seus respectivos fluxos, bem como manuais e guias de procedimentos. Identificou-se, também, mais de 150 formulários e listas de verificação (checklists) para diferentes tipos de processos.

O componente informação e comunicação também não apresentou itens inadequados de acordo com a amostra, sendo representado pelos cinco itens propostos. De acordo com a Tabela 6, observa-se que as características referentes à divulgação das informações para os diversos indivíduos, grupos e níveis organizacionais são avaliadas pelos respondentes como não conformes em relação ao COSO 2013.

Ademais, identificou-se no sítio eletrônico da PROPLAD um canal de notícias e serviços de emissão de documentos, por meio de links de acesso, além da divulgação de diversos documentos, conforme informado anteriormente. Não há, todavia, como foi relatado no início desta subseção, aba destinada a tratar especificamente sobre controle interno na Pró-Reitoria ou na UFC.

Conforme demonstrado na Tabela 7, verifica-se que as características analisadas podem ser consideradas adequadas ao COSO 2013, de acordo com a percepção dos respondentes. Cabe ressaltar, contudo, que não foram identificados no sítio eletrônico da Pró-Reitoria documentos que tratem das avaliações do SCI da PROPLAD pela gestão da Pró-Reitoria ou pela DCIN.

Constatou-se, ainda, que o manual de acompanhamento de controles internos foi descontinuado, em decorrência de mudanças no contexto da PROPLAD, não tendo sido, até o momento, elaborado manual atualizado. A percepção dos respondentes, portanto, pode estar relacionada às avaliações feitas pela auditoria interna da UFC ou pelas auditorias externas dos órgãos de controle (TCU e CGU).

De forma geral, em todos os componentes, os percentuais de respostas indiferentes são maiores que os de discordância. Isso pode decorrer do fato de não conseguirem identificá-los claramente, o que reforça a deficiência na comunicação, também em relação aos controles internos, apontada nas análises, ou mesmo a incipiência desses controles. Algumas percepções são corroboradas pela pesquisa documental, principalmente no que se refere à clara definição e atribuição de responsabilidades e segregação de funções. Depreende-se que os controles internos identificados são predominantemente relacionados a aspectos de padronização e formalização de rotinas e procedimentos, bem como análises de conformidades, além do caráter de cumprimento da legislação e atendimento às solicitações das auditorias interna e externa. Tais constatações corroboram os achados de Queiroz et al. (2012), segundo os quais, as atividades relacionadas ao controle interno nas universidades públicas federais brasileiras têm maior atuação na área de Auditoria e Fiscalização, com foco direcionado ao cumprimento da legislação, em detrimento de ações que possam colaborar para o atingimento da eficácia da instituição.

Apresenta-se na Tabela 8 os coeficientes de similaridade (Sij) e dissimilaridade (Dij) para cada um dos componentes de controle interno do modelo COSO 2013. O cálculo dos coeficientes foi realizado considerando apenas os itens remanescentes após a AFE.

Verifica-se que a avaliação de riscos apresenta o maior coeficiente de dissimilaridade dentre os cinco componentes de controle interno, sendo o único em que este coeficiente é maior que o de similaridade, atingindo um distanciamento total do framework COSO 2013. Por outro lado, o ambiente de controle é o segundo componente com maior grau de similaridade ao COSO 2013, obtendo uma semelhança de 85,71%. As análises feitas na subseção 4.2 indicam que os mecanismos relacionados à gestão são mais bem avaliados pelos respondentes.

Quando se trata, contudo, da participação dos servidores e funcionários dos demais níveis organizacionais na elaboração e implementação dos controles internos e da compreensão deles sobre a existência dessas características, as percepções são menos aguçadas. Essa situação compromete o princípio do COSO 2013 de que todos que fazem parte de uma organização devem assumir as suas responsabilidades sobre os controles internos e participar da implementação destes.

Observa-se que a situação encontrada na PROPLAD se alinha a estudos correlatos, pois Menezes et al. (2015) também identificaram a avaliação de riscos como o componente mais distante do COSO ERM para a Universidade Federal de Pernambuco (UFPE). Brandão (2015) constatou um coeficiente de dissimilaridade de 90% para a Universidade Federal de Alagoas (UFAL). Para o Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte (IFRN) esse foi o segundo pior componente (Ferreira, 2013).

As pesquisas de Ferreira (2013) e Menezes et al. (2015) também verificaram que o ambiente interno ou de controle é um dos componentes que mais se aproxima ao COSO ERM no IFRN (62,50%) e na UFPE (41,33%), respectivamente. Nesse mesmo sentido, Brandão (2015) identificou-o, para a UFAL, como o componente com maior grau de semelhança ao ideal proposto pelo modelo (31,25%). Já Gomes (2011) inferiu que o ambiente de controle é pouco eficiente para 85,7% das universidades federais da região nordeste.

No que se refere às atividades de controle, os coeficientes iguais de 0,5 indicam uma adequação parcial ao referencial. Sendo assim, os respondentes percebem a existência dessas atividades, contudo, entendem que estas não estão completamente implementadas na PROPLAD, sobretudo no que se refere a políticas e ações que contribuam para a redução dos riscos a níveis aceitáveis, de forma a alcançar os objetivos.

Para o IFRN, este foi o componente com maior grau de dissimilaridade ao COSO ERM (Ferreira, 2013). A UFAL e a UFPE também apresentaram coeficientes representativos de dessemelhança (Brandão, 2015; Menezes et al., 2015). Tais constatações diferem parcialmente do identificado para a PROPLAD, que apresenta um indicador mediano. Nesse sentido, Gomes (2011) verificou que 78,6% das universidades federais da região nordeste possuem pouca eficiência nos seus procedimentos de controle.

O componente informação e comunicação apresenta grau de semelhança de 60% ao COSO 2013. Ressalta-se que apesar da maioria dos respondentes entender que as informações relevantes são apropriadas, tempestivas, documentadas e subsidiam a tomada de decisão pelos gestores, há indícios de que elas atendem apenas parcialmente às expectativas dos demais grupos de servidores e funcionários. Por conseguinte, não contribuem de forma eficaz para a execução das responsabilidades destes. Ademais, os respondentes percebem que estas não são adequadamente comunicadas a todos os níveis organizacionais da Pró-Reitoria.

De acordo com Ferreira (2013), informação e comunicação foi o componente mais próximo, para o IFRN, considerando o que preconiza o modelo COSO ERM, apresentando coeficiente de similaridade de 80%, considerado alto em relação aos 60% encontrados para a PROPLAD. Já a UFAL e a UFPE indicaram semelhança de apenas 10% e 37,11%, respectivamente (Brandão, 2015; Menezes et al., 2015). Gomes (2011) deduziu que as informações e comunicações são pouco eficientes em 72,9% das universidades federais da região nordeste.

As atividades de monitoramento, por sua vez, com base na percepção dos servidores respondentes, indicam grau de similaridade total ao COSO 2013. Cabe destacar, contudo, que apenas pouco mais da metade dos respondentes, cerca de 52%, entendem que o SCI da PROPLAD é constantemente monitorado e tem sido considerado adequado e efetivo pelas avaliações realizadas, conforme identificado na subseção anterior. A pesquisa documental não apontou indícios de avaliações realizadas pela gestão da Pró-Reitoria ou mesmo pela DCIN.

O resultado obtido para a PROPLAD é totalmente oposto ao encontrado por Brandão (2015), que identificou grau de 100% de dissimilaridade ao COSO ERM, sendo este componente o mais crítico para a UFAL. Nesse mesmo sentido, a UFPE apresentou dessemelhança de cerca de 63% ao referencial (Menezes et al., 2015). Por outro lado, para o IFRN, esse foi o segundo componente mais próximo do modelo COSO ERM, com 66,67% de semelhança (Ferreira, 2013).

Considerando, ainda, a análise geral dos controles internos da Pró-Reitoria, englobando todos os componentes, para os respondentes da pesquisa o SCI da PROPLAD é 58,33% semelhante ao modelo COSO 2013. Sendo assim, pode-se concluir que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013.

Segundo Ferreira (2013), de forma geral, o SCI do IFRN é 52,05% semelhante ao modelo COSO ERM. Brandão (2015) verificou que a UFAL teve grau de similaridade de 15,85% ao modelo, concluindo que os controles internos da universidade, sob a concepção do referencial, são ineficientes. Menezes et al. (2015) apuraram que, na percepção dos gestores da UFPE, o modelo de funcionamento dos controles internos da instituição apresenta coeficiente de dissimilaridade de 57,46% em relação ao modelo de referência COSO ERM.

Ante ao exposto, percebe-se que há convergência dos estudos no que se refere à avaliação de riscos como o componente que apresenta mais inadequações aos preceitos dos modelos COSO e ao ambiente de controle como um dos componentes que demonstra bons índices de similaridade. Quanto aos demais componentes, contudo, observa-se divergências entre os resultados encontrados.

Por meio da análise de cluster, o melhor agrupamento, considerando os casos e as variáveis, é o de dois clusters. A partir da análise dos dados pode-se inferir que a principal variável de distinção entre os agrupamentos é o exercício de cargo de direção ou função gratificada. Assim, o grupo 1 é formado pelos 37 respondentes que possuem algum CD ou FG. Já o grupo 2 é formado pelos 54 respondentes que não possuem.

A variável tempo de atuação na PROPLAD não foi decisiva na formação dos clusters, portanto, não se pode inferir que influencia na percepção dos respondentes em relação aos controles internos da Pró-Reitoria. Na Figura 2 apresentam-se os valores do boxplot do agrupamento 1, no qual ambiente de controle e avaliação de riscos são os componentes que possuem maiores amplitudes totais.

Observa-se que metade dos respondentes (máximo – mediana) concorda, em maior ou menor grau, que as características que compõem o ambiente de controle estão presentes na PROPLAD. Há, contudo, 25% (Q1 – mínimo) que divergem nas percepções, não tendo uma noção adequada. Apenas 25% (máximo – Q3) demonstra ter uma visão consolidada de que as práticas de avaliação de riscos estão implementadas. Infere-se que há uma zona de indiferença entre 75% dos gestores e uma parcela deles demonstra uma percepção negativa. No que se refere à informação e comunicação, metade dos gestores (máximo – mediana) entendem que os itens avaliados se encontram presentes na PROPLAD, já a outra metade (mediana – mínimo) demonstra-se dispersa entre perceber e não perceber a existência dessas características.

Os componentes atividades de controle e de monitoramento apontam uma menor dispersão. Com relação às atividades de controle, observa-se que 50% (máximo – mediana) percebem a existência dessas atividades, mas essa percepção não é tão forte quanto nos outros componentes (maior distância máximo – Q3). Quanto às atividades de monitoramento, 50% (máximo – mediana) concordam que essas atividades existem e 25% destes (máximo – Q3) concordam fortemente. Por outro lado, 50% dos gestores (mediana – mínimo) demonstram não perceber as atividades de controle e de monitoramento adequadamente, ou seja, há uma percepção homogênea de que algumas atividades existem em detrimento de outras.

A seguir, apresenta-se na Figura 3 o boxplot do cluster 2. Verifica-se que o grupo apresenta amplitudes totais maiores para todas as variáveis, possuindo valores mais distantes do limite superior, como as distâncias “Máximo – Q1” e “Máximo – Mediana”, indicando mais discrepâncias nas percepções em relação ao grupo 1. Além disso, os valores do limite inferior (mínimo) também são maiores, em virtude de existirem respondentes que discordam totalmente das características dos controles internos.

Observa-se que 50% dos respondentes (mediana – mínimo) se mostram indiferentes ou discordam que as características do ambiente de controle estejam presentes na PROPLAD, eventualmente concordando com uma ou outra característica. Avaliação de riscos é o componente que tem maior distância do máximo para a mediana, o que indica que 50% dos respondentes estão mais distantes das melhores avaliações. Assim, apenas 25% (máximo – Q3) percebem que essas práticas são desenvolvidas na PROPLAD.

Estes componentes apresentam as maiores amplitudes totais e “Q1 – Mínimo”, em que o primeiro quartil está mais distante dos demais. Sendo assim, esses 25% apontam percepções mais heterogêneas, o que pode indicar que essa parcela dos respondentes não tem uma visão consolidada sobre essas características de CI, apresentando percepções divergentes.

Metade dos respondentes (Q3 – Q1) percebem que algumas atividades de controle são desenvolvidas, mas são indiferentes a outras. No que concerne à informação e comunicação, 50% (mediana – mínimo) não concordam que estas características existem na PROPLAD ou são indiferentes a essas. Atividades de monitoramento é o componente que apresenta menor dispersão, demonstrando posições bem divididas.

Percebe-se que o grupo 2, para os cinco componentes, apresenta 25% dos respondentes (máximo – Q3) que concordam que as características de cada um existem na PROPLAD. Há, contudo, servidores que discordam totalmente que estas estejam presentes, e uma outra parcela parece estar confusa, ou não entender direito os mecanismos de CI ou não perceber se existem.

A análise de conglomerados estabelece uma medida matemática de distância, não sendo possível saber se há diferença estatística entre os clusters. Dessa forma, para entender se as variáveis (componentes) de CI são percebidas de maneira diferente pelos grupos (Fávero & Belfiore, 2017), foi realizado teste . de Student para amostras independentes, em que uma amostra é formada pelos indivíduos do grupo 1 e a outra pelos do grupo 2.

Para esta pesquisa admite-se nível de confiança de 95% e significância de 5%. Os resultados apresentados na Tabela 9 mostram que p-valor é inferior a 0,05 para todas as variáveis. Sendo assim, rejeita-se a hipótese nula (H.) e aceita-se a hipótese alternativa (H.) de que há diferença estatisticamente significante entre as médias dos clusters 1 e 2 para todos os componentes.

Os resultados apontam que os respondentes do grupo 1 possuem escores estatisticamente significativos e maiores para todos os componentes. Assim, é possível afirmar que na PROPLAD há diferença na percepção dos mecanismos de CI caso o servidor exerça/possua ou não cargo de direção/função gratificada. Constata-se que os servidores com CD ou FG percebem as características dos componentes em maior grau do que os servidores sem CD ou FG. Estes últimos demonstram baixo nível de percepção em relação aos controles internos da PROPLAD, indicando uma situação de mais indiferença quanto à existência desses ou mesmo afirmando que não existem.

Essas inferências alinham-se às análises anteriores, as quais mostram baixa percepção dos controles internos pelos servidores e funcionários dos demais níveis organizacionais, bem como ausência de comunicação adequada das informações relevantes para que possam assumir suas responsabilidades, inclusive sobre os controles internos. As características dos controles internos relacionadas à gestão são, em certo grau, mais bem percebidas e avaliadas pelos respondentes.

Esses resultados corroboram os do estudo de Ferreira (2013). A partir dos coeficientes de associação de Jaccard, a autora analisou que os docentes com mais de 10 anos de serviço que percebiam gratificação por função avaliaram um grau de semelhança de 67,12% entre o sistema de controles internos do IFRN e o modelo COSO ERM, enquanto para os docentes que não possuíam gratificação por função esse percentual correspondeu ao grau de dessemelhança.

Quanto aos servidores técnico-administrativos também se verificou que aqueles que tinham função gratificada avaliaram graus de semelhança entre o SCI do IFRN e o modelo COSO ERM maiores que os que não tinham, tanto para os servidores com até 5 anos de serviço como para aqueles com mais de 10 anos.

Essa diferença de percepção pode ser decorrente das atribuições inerentes aos cargos e funções de gestão, pois os gestores precisam entender e discutir sobre os processos estratégicos e os meios necessários para atingir os objetivos. O conhecimento sobre os controles internos, contudo, não deve existir apenas ao nível de alta administração, precisa ser disseminado por todo o corpo funcional para que efetivamente funcionem e atinjam os objetivos propostos, o que indica uma falha no SCI da PROPLAD.

Cabe considerar, ainda, que uma vez que as atribuições da DCIN são primordialmente de conformidade legal e aparentemente não há clareza quanto à distinção entre controle interno e auditoria interna, conforme constatado anteriormente, infere-se que as impressões dos respondentes com CD ou FG podem ser superestimadas.

5 CONSIDERAÇÕES FINAIS

A presente pesquisa teve como objetivo analisar os aspectos do sistema de controles internos da Pró-Reitoria de Planejamento e Administração da Universidade Federal do Ceará na perspectiva dos componentes do modelo COSO. Para tanto, foi aplicado questionário aos servidores da PROPLAD para analisar a percepção deles quanto aos controles internos existentes na Pró-Reitoria, bem como foi realizada pesquisa documental, proporcionando a triangulação dos dados.

O ambiente de controle é o segundo componente com maior grau de similaridade ao COSO 2013 (85,71%). Avaliação de riscos apresenta o maior coeficiente de dissimilaridade dentre os cinco componentes de controle interno (100%), atingindo um distanciamento total do COSO 2013. No que se refere às atividades de controle, os coeficientes iguais de 0,5 indicam uma adequabilidade parcial ao referencial. O componente informação e comunicação apresenta grau de semelhança de 60% ao framework COSO 2013. As atividades de monitoramento, por sua vez, indicam índice de similaridade total ao COSO 2013, com as características analisadas podendo ser consideradas adequadas ao modelo.

Ademais, os servidores que exercem cargo de direção ou possuem função gratificada percebem as características dos componentes de CI em maior grau do que os servidores que não têm CD ou FG. Diante disso, corrobora-se as análises que apontam baixa percepção dos controles internos pelos servidores e funcionários dos demais níveis organizacionais, bem como na comunicação adequada das informações relevantes. As características dos controles internos relacionadas à gestão são, em certo grau, mais bem percebidas e avaliadas pelos respondentes.

Em resposta à questão de pesquisa, considerando o COSO 2013, os componentes atividades de monitoramento, ambiente de controle e informação e comunicação indicam adequação parcial ao referencial. As atividades de controle demonstram estar parcialmente implementadas na PROPLAD e a avaliação de riscos apresenta inadequação quanto ao framework. A análise geral dos controles internos da Pró-Reitoria, englobando todos os componentes, aponta que o SCI da PROPLAD é 58,33% semelhante ao modelo COSO 2013, de acordo com os respondentes. Conclui-se que os controles internos da PROPLAD estão parcialmente em consonância com os componentes do COSO 2013 e que a percepção dos respondentes muda em função do exercício de cargo de direção ou função gratificada.

Sabendo que as pessoas são um fator de sucesso em qualquer sistema organizacional, em relação ao ambiente de controle sugere-se que sejam realizadas ações de capacitação para os servidores e funcionários. Torna-se pertinente também que sejam desenvolvidas práticas de inclusão dos servidores e funcionários na identificação e formalização dos processos. Para os processos de avaliação de riscos, sugere-se a realização de reuniões anuais da Pró-Reitoria, com a participação dos servidores e funcionários, de forma a estabelecer os objetivos e metas alinhados ao plano de desenvolvimento institucional e ao plano de gestão de riscos da UFC, bem como identificar os riscos relacionados a esses com o apoio da secretaria de governança.

As atividades de controle podem ser aperfeiçoadas enfocando a implementação das ações e políticas preventivas sugeridas pelos setores/unidades em seus planos anuais, com a colaboração da DCIN, buscando ultrapassar os aspectos de fiscalização e conformidade. As características de informação e comunicação podem ser melhoradas por meio da criação de canais de diálogo com os servidores e funcionários, como reuniões trimestrais com toda a PROPLAD. Em relação à comunicação externa, sugere-se a criação de aba no sítio eletrônico da Pró-Reitoria destinada aos controles internos.

Quanto às atividades de monitoramento, sugere-se a realização de reuniões trimestrais em cada setor/unidade para acompanhamento dos objetivos e metas estabelecidos e verificação da implementação dos controles internos definidos, bem como para reavaliação dos riscos e das atividades de controle estabelecidas. Essa supervisão deve contar com o apoio da DCIN, a qual pode avaliar os controles internos da Pró-Reitoria de forma consolidada e essas avaliações podem ser apresentadas e discutidas com todos os servidores e funcionários em reuniões semestrais. De forma que seja superada a visão de monitoramento e avaliação dos controles internos apenas pelas auditorias interna e externa.

Como limitações da pesquisa, destaca-se que para o cálculo dos coeficientes de associação de Jaccard, as repostas discordo totalmente, discordo e indiferente foram consideradas em conjunto, o que, em virtude da relevante quantidade de respostas indiferentes pode ter impactado os resultados da pesquisa. Considera-se, ainda, a dificuldade de obtenção de respostas e o instrumento de coleta utilizado. Além disso, os funcionários terceirizados não foram incluídos na pesquisa.

Sugere-se que sejam realizadas pesquisas similares em outros órgãos e unidades da UFC, bem como em outras universidades públicas do país. Podendo ser desenvolvido modelo de SCI para as universidades públicas brasileiras, adaptado do COSO 2013, por meio da adequação dos princípios do framework à realidade e às especificidades dessas instituições. Além disso, sugere-se realizar pesquisas qualitativas de inspiração etnográfica para analisar os aspectos que possam justificar as diferenças de percepção quanto aos controles internos, como estilo gerencial, falha na comunicação, entre outros.

REFERÊNCIAS

Acórdão 2153/2018 – Plenário. Auditoria com a finalidade de avaliar, em nível de entidade, os controles internos do Ministério das Cidades e, em nível de atividade, se esses controles são suficientes para mitigar os principais riscos relacionados à gestão das obras públicas custeadas com recursos do Orçamento Geral da União, por meio de transferências intergovernamentais obrigatórias.

Alencar, C. O., & Fonseca, A. C. P. D. (2016). Excelência na gestão pública: A contribuição do controle interno da Marinha do Brasil. REGE - Revista de Gestão, 23(2), 172-184. https://doi.org/10.1016/j.rege.2016.01.001

Andrade, A. F. (2020). Controle interno. Curitiba: Contentus.

Araújo, D., Libonati, J., Miranda, L., & Ramos, F. (2016). Unidades de controle interno dos municípios brasileiros: Análise sob a ótica do coso II. Revista Universo Contábil, 55(81), 39-58. https://doi.org/10.4270/ruc.2016213

Attie, W. (2018). Controle interno (7 ed.). São Paulo: Atlas.

Beuren, I. M. (2013). Como elaborar trabalhos monográficos em contabilidade: Teoria e prática (3 ed.). São Paulo: Atlas.

Beuren, I. M., & Zonatto, V. C. S. (2014). Perfil dos artigos sobre controle interno no setor público em periódicos nacionais e internacionais. Revista de Administração Pública, 48(5), 1135-1163. https://doi.org/10.1590/0034-76121527

Brandão, J. F. (2015). Sistemas de controle interno e transparência pública: Estudo de caso da Universidade Federal de Alagoas. (Dissertação de Mestrado). Pontifícia Universidade Católica de São Paulo, São Paulo, SP, Brasil. https://bdtd.ibict.br/vufind/Record/PUC_SP-1_138731cd6b735111b39e48a7a7f1011f

Cannavina, V., & Parisi, C. (2015). Gestão pública em entidades brasileiras: Adequação dos procedimentos de controles internos às normas COSO/INTOSAI. Revista Universo Contábil, 11(3), 06-26. https://doi.org/10.4270/ruc.2015319

Capovilla, R. A., & Gonçalves, R. S. (2018). Avaliação do ambiente de controle interno por meio de modelo de maturidade em organizações governamentais. CONTEXTUS – Revista Contemporânea de Economia e Gestão, 16(2), 146-185. https://doi.org/https://doi.org/10.19094/contextus.v16i2.1064

Castro, D. P. (2018). Auditoria, contabilidade e controle interno no setor público (7 ed.). São Paulo: Atlas.

Committee of Sponsoring Organizations of the Treadway Commission – COSO. (2013). Controle interno: Estrutura integrada. COSO. https://www.auditoria.mpu.mp.br/bases/legislacao/COSO-I-ICIF_2013_Sumario_Executivo.pdf.

Committee of Sponsoring Organizations of the Treadway Commission - COSO. (2017). Enterprise risk management: integrating with strategy and performance. COSO. https://www.coso.org/Pages/ERM-Framework-Purchase.aspx.

Committee of Sponsoring Organizations of the Treadway Commission - COSO. (2017). Gerenciamento de riscos corporativos: Integrado com estratégia e performance. COSO. https://repositorio.cgu.gov.br/handle/1/41825.

Committee of Sponsoring Organizations of the Treadway Commission - COSO. (2014). Governance and operational performance: Improving organizational performance and governance - how the COSO Frameworks can help. COSO. https://na.theiia.org/news/press-releases/Pages/COSO-Releases-New-Thought-Leader-Paper-Demonstrating-How-Frameworks-Improve-Organizational-Performance-and-Governance.aspx.

Committee of Sponsoring Organizations of the Treadway Commission - COSO. (2019). Internal control: Integrated Framework: An implementation guide for the healthcare provider industry. COSO. https://www.coso.org/Shared%20Documents/CROWE-COSO-Internal-Control-Integrated-Framework.pdf.

Committee of Sponsoring Organizations of the Treadway Commission - COSO. (2013). Internal control: Integrated Framework. Executive Summary. COSO. https://www.coso.org/Pages/default.aspx.

Corbari, E. C., & Macedo, J. J. (2012). Controle interno e externo na administração pública. Curitiba: InterSaberes.

Cristina, P., & Cristina, B.-A. (2009). Information and communication in banks - Key elements of the internal control system – an empirical analysis between Romanian, American and Canadian Models of Control Information and Communication in banks. Annals of the University of Oradea: Economic Science, 3(1), 1091–1096.

D’Andrea, E. R. (2022). A criação da unidade de controle interno na Polícia Rodoviária Federal sob a ótica da teoria institucional. (Dissertação de Mestrado). Universidade de Brasília, Brasília, DF, Brasil. https://repositorio.unb.br/handle/10482/43731?locale=fr

Doxey, C. H. (2019). Internal controls toolkit. New Jersey: Wiley.

Fávero, L. P., & Belfiore, P. (2017). Manual de análise de dados: Estatística e modelagem multivariada com Excel®, SPSS® e Stata® (1 ed.). Rio de Janeiro: Elsevier.

Ferreira, G. J. B. C., Santos, J. G. C., & Vasconcelos, A. C. (2021). Avaliação do controle interno e tamanho dos órgãos sob jurisdição do Tribunal de Contas do Ceará (TCE/CE). Administração Pública e Gestão Social, 13(2). https://doi.org/10.21118/apgs.v13i2.9533

Ferreira, H. M. C. (2013). Aplicação do modelo COSO ERM na avaliação de sistemas de controles internos: Um estudo de caso para verificar a validade desse sistema no Instituto Federal de Educação, Ciência e Tecnologia do Rio Grande do Norte. (Dissertação de Mestrado). Universidade de Brasília, Brasília, DF, Brasil. https://repositorio.unb.br/handle/10482/13133

Gattringer, J. L., & Marinho, S. V. (2019). O uso do modelo COSO na administração pública: Um estudo nos municípios catarinenses. Enfoque: Reflexão Contábil, 39(1), 75-95. https://doi.org/10.4025/enfoque.v39i1.44412

Gil, A. C. (2018). Como elaborar projetos de pesquisas (6 ed.). São Paulo: Atlas.

Gomes, W. M. (2011). A eficiência da estrutura dos controles internos das universidades federais da região nordeste sob a perspectiva do modelo COSOx. (Dissertação de Mestrado). Universidade Salvador, Salvador, BA, Brasil.

Hair, J. F., Junior, Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise multivariada de dados. Porto Alegre: Bookman.

Hutcheson, G., & Sofroniou, N. (1999). The multivariate social scientist: Introductory statistics using generalized linear models. Sage.

Instrução normativa conjunta MP/CGU n. 1, de 10 de maio de 2016. Dispõe sobre controles internos, gestão de riscos e governança no âmbito do Poder Executivo Federal. https://www.in.gov.br/materia/-/asset_publisher/Kujrw0TZC2Mb/content/id/21519355/do1-2016-05-11-instrucao-normativa-conjunta-n-1-de-10-de-maio-de-2016-21519197.

Kılıç, S. (2016). Cronbach’s alpha reliability coefficient. Journal of Mood Disorders, 6(1), 47-48. https://doi.org/10.5455/jmood.20160307122823

Lopes, G. B., Valadares, J. L., & Leroy, R. S. D. (2020). Sistema de controle interno no setor público: o que se tem discutido na academia desde a Lei de Acesso à Informação? Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, 25(1), 22-34. https://doi.org/10.12979/rcmccuerj.v25i1.59245

Martins, L. C. (2020). Avaliação das práticas de controle interno e gestão de risco de prefeituras brasileiras com base no modelo COSO-ERM. (Dissertação de Mestrado). Universidade Federal de Pernambuco, Recife, PE, Brasil. https://repositorio.ufpe.br/handle/123456789/38586

Melo, M. S., & Leitão, C. R. S. (2021). Características do controle interno nas universidades federais brasileiras. Revista Gestão Universitária na América Latina - GUAL, 14(1), 224-244. https://doi.org/10.5007/1983-4535.2021.e74526

Menezes, S. M. M., Libonati, J. J., & Neves, T. J. G. (2015). Funcionamento dos controles internos e o modelo utilizado pelo committee of sponsoring organizations of the treadway commission (coso): Um estudo da percepção dos gestores da Universidade Federal de Pernambuco. XV Congresso USP Controladoria e Contabilidade, São Paulo, Brasil, 15.

Mota, A. F. S., & Dantas, J. A. (2015). Avaliação da efetividade do controle interno pelas percepções da própria administração e da Controladoria-Geral da União (CGU): O caso do ministério da saúde. Revista da CGU, 7(11), 199-227. https://doi.org/10.36428/revistadacgu.v7i11.16

Mucci, D. M., Frezatti, F., & Dieng, M. (2016). As múltiplas funções do orçamento empresarial. Revista de Administração Contemporânea, 20(3), 283-304. https://doi.org/10.1590/1982-7849rac2016140121

Palfi, C. & Bota-Avram, C. (2009). Information and communication in banks - key elements of the internal control system – an empirical analysis between romanian, american and canadian models of control. Annals of Faculty of Economics, University of Oradea, Faculty of Economics, 3(1),1091-1096.

Pasquali, L. (1999). Análise fatorial: Um manual teórico-prático. Brasília: UNB.

Paulino, C. R., Pinho, R. C. S., & Gomes, C. A. S. (2019). Governança e estratégia para a sustentabilidade das organizações do terceiro setor. Encontro de Administração Pública da ANPAD.

Queiroz, M. A. S., Peter, M. G. A., Machado, M. V. V., Gomes, A. O., & Rodrigues, M. D. N. (2012). Controle interno e controladoria na Administração Pública: Estudo nas universidades federais brasileiras. XIX Congresso Brasileiro de Custos, Bento Gonçalves, Brasil, 19.

Richardson, R. J. (2017). Pesquisa social: Métodos e técnicas (4 ed.). São Paulo: Atlas.

Rossel, Y. (2020). Small sample solutions for structural equation modeling. In: R. V. Schoot & M. Miočević (Eds.), Small sample size solutions: A guide for applied researchers and practitioners (pp. 226-238). New York: Routledge.

Santos, L. M. S., Cruz, C. A. B., Silva, J. B., & Araújo, R. N. (2022). Controle interno na administração pública: Um estudo de caso em uma empresa de médio porte. Research, Society and Development, 11(3), 1-11. https://doi.org/10.33448/rsd-v11i3.26526

Silva, A. H. C., Abreu, C. L., & Couto, D. C. F. (2017). Evolução do controle interno no setor público: Um estudo dos novos normativos emitidos entre 2003-2016. Revista de Contabilidade do Mestrado em Ciências Contábeis da UERJ, 22(2), 20-38. https://atena.org.br/revista/ojs-2.2.3-08/index.php/UERJ/article/viewArticle/3070

Silva, C. A. (2016). Controles internos do Tribunal Eleitoral da Paraíba: Uma verificação de sua adequabilidade ao modelo COSO ERM. (Dissertação de Mestrado). Universidade Federal de Pernambuco, Recife, PE, Brasil. https://repositorio.ufpe.br/bitstream/123456789/20122/1/Disserta%c3%a7%c3%a3o%20_2016_%20-%20Cosmo%20Alves%20%28vers%c3%a3o%20final%29.pdf

Silva, W. C. (2016). Governança, gestão de riscos e conformidade: Petrobras e Eletrobras, antes e depois da operação lava jato. (Dissertação de Mestrado). Universidade Federal da Bahia, Salvador, BA, Brasil. https://repositorio.ufba.br/handle/ri/23655

Silva, J. M., Júnior. (2018). A gestão de controle interno administrativo no INCRA-RN: Uma avaliação baseada no método COSO I. (Dissertação de Mestrado). Universidade Federal do Rio Grande do Norte, Natal, RN, Brasil.

Silva, W. A. C., Gomes, M. C. O., & Araújo, E. A. T. (2014). Controles internos determinantes para a eficiência na gestão do Cefet/MG. Revista Contabilidade e Controladoria, 6(1), 103-120. https://doi.org/10.5380/rcc.v6i1.33374

Sousa, R. G., Souto, S. D. A. S., & Nicolau, A. M. (2017). Em um mundo de incertezas: Um survey sobre controle interno em uma perspectiva pública e privada. Revista Contemporânea de Contabilidade, 14(31), 155. https://doi.org/10.5007/2175-8069.2017v14n31p155

Tabachnick, B. G., & Fidell, L. S. (2007). Using multivariate statistics (5 ed.). Boston: Pearson.

Tribunal de Contas da União - TCU. (2012). Curso de avaliação de controles internos: Modelos de referência para controle interno (2 ed.). Brasília: TCU.

Tribunal de Contas da União - TCU. (2018). Referencial básico de gestão de riscos. Brasília: TCU, Secretaria Geral de Controle Externo. https://portal.tcu.gov.br/governanca/governancapublica/gestao-de-riscos/

Tribunal de Contas da União - TCU. (2022). Veja as principais competências do TCU. https://portal.tcu.gov.br/institucional/conheca-o-tcu/competencias/

Universidade Federal do Ceará - UFC. (2017). Estrutura organizacional da Pró-Reitoria de Planejamento e Administração da Universidade Federal do Ceará. Fortaleza, 2017. https://proplad.ufc.br/pt/sobre-a-proplad/estrutura-organizacional/

Universidade Federal do Ceará - UFC. (2021a). Relatório de gestão: UFC 2020. Fortaleza: Imprensa Universitária.

Universidade Federal do Ceará - UFC. (2021b). Universidade Federal do Ceará. Fortaleza. https://www.ufc.br/a-universidade

Universidade Federal do Ceará - UFC. (2022a). Painéis de gestão de pessoas. Fortaleza: Pró-Reitoria de Gestão de Pessoas. https://app.powerbi.com/view?r=eyJrIjoiZWZmZDQzOGItNTI0NC00M2MzLWFlMzgtNzBkNDc0MWU5NjY5IiwidCI6ImI1OTFhZTU0LTMzYzItNDU4OS1iZTY2LTkwMjFhNDE5NmM3YyJ9

Universidade Federal do Ceará - UFC. (2022b). Relatório de gestão: UFC 2021. Fortaleza: Imprensa Universitária.

Universidade Federal do Ceará - UFC. (2022c). Universidade Federal do Ceará: Pró-Reitoria de Planejamento e Administração. Fortaleza. https://proplad.ufc.br/pt/

Van der Stede, W. A., Young, S. M., & Chen, C. X. (2005). Assessing the quality of evidence in empirical management accounting research: The case of survey studies. Accounting, Organizations and Society, 30(7), 655-684. https://doi.org/10.1016/j.aos.2005.01.003

Vergara, S. C. (2016). Projetos e relatórios de pesquisa em administração (16 ed.). São Paulo: Atlas.

Wanderley, C. A. N., Fonseca, A. C. P. D., & Paula, H. A. (2015). Controles internos no setor público à luz da estrutura do COSO: O caso de um órgão de compra da marinha do Brasil. Contexto (UFRGS), 15(30), 77-93. https://seer.ufrgs.br/index.php/ConTexto/article/view/46627