SEMANTOMETRIA: MÉTRICA SEMÂNTICA PARA CALCULAR O VALOR DE UMA
PUBLICAÇÃO POR MEIO DE SEU TEXTO COMPLETO
SEMANTOMETRICS: SEMANTIC METRICS TO CALCULATE THE VALUE OF A
PUBLICATION BY ITS FULL TEXT
Nivaldo Calixto Ribeiro¹
Dalgiza Andrade Oliveira2
Jonas Aron Cardoso Diniz3
¹ Doutor em Gestão e Organização do
Conhecimento pela Universidade Federal de
Minas Gerais. Bibliotecário/Documentalista na
Universidade Federal de Lavras.
E-mail: zoopas@gmail.com
2 Professora Associada da Escola de Ciência da
Informação da Universidade Federal de Minas
Gerais. Doutora em Ciência da Informação pelo
Programa de Pós-Graduação em Ciência da
Informação da UFMG.
E-mail: dalgizamg@gmail.com
³ Mestrando do Programa de Pós-Graduação em
Gestão e Organização do Conhecimento da
Universidade Federal de Minas Gerais.
E-mail: jonasacd@gmail.com
ACESSO ABERTO
Copyright: Esta obra está licenciada com uma
Licença Creative Commons Atribuição 4.0
Internacional.
Conflito de interesses: Os autores declaram
que não há conflito de interesses.
Financiamento: Não há.
Declaração de Disponibilidade dos dados:
Todos os dados relevantes estão disponíveis
neste artigo.
Recebido em: 11 jan. 2023.
Aceito em: 24 ago. 2023.
Publicado em: 12 out. 2023.
Como citar este artigo:
RIBEIRO, Nivaldo Calixto; OLIVEIRA, Dalgiza
Andrade; DINIZ, Jonas Aron Cardoso.
Semantometria: métrica semântica para calcular
o valor de uma publicação por meio de seu texto
completo. Informação em Pauta, Fortaleza, v. 8,
p. 1-16, 2023. DOI: 10.36517/2525-
3468.ip.v8i0.2023.83267.1-16.
RESUMO
Introdução: A aplicação e o uso das métricas
alternativas podem ser considerados como
estratégias a serem adotadas para
complementar os métodos convencionais de
avaliação da produção científica que consideram
apenas a contagem de citações. Distinta de
outras métricas que se baseiam em medir o
número de interações, na rede de comunicação
científica ou na web social, a semantometria,
objeto de estudo deste artigo, parte do
pressuposto de que é necessário o texto
completo para avaliar o valor de uma publicação.
Diante dessa abordagem, este estudo tem como
objetivo discorrer sobre essa classe de métrica,
expondo, sua origem em Herrmannova e Knoth
(2014), sua metodologia de análise e sua
fórmula de aplicação, por meio de investigação
bibliográfica. Método: trata-se de uma pesquisa
exploratória, em que, no levantamento
Fortaleza, CE
v. 8
2023
ISSN 2525-3468
DOI: 10.36517/2525-3468.ip.v8i0.2023.83267.1-16
ARTIGO
2
Inf. Pauta, Fortaleza, CE, v. 8, 2023 | ISSN 2525-3468
bibliográfico preliminar, foi conduzida, adotando
sete dos dez passos iniciais de busca de
representação Query, propostos por Cendón
(2018). Foi empregada a revisão narrativa de
literatura com análise dos documentos
recuperados no todo. Resultados: considerou-se
relevante a pesquisa sobre o tema, visto que
uma grande preocupação com a demonstração
da qualidade de resultados de pesquisa à
sociedade e constatou-se que poucas
publicações sobre o tema, materializada pelos
resultados em buscas nas bases de dados:
Dimensions, Gale, Scopus e Web of Science.
Conclusão: embora a semantometria disponha
de vantagens de sua aplicação, considera-se
como necessária a continuidade de estudos
nesse campo para entender melhor quais facetas
da qualidade da pesquisa podem ser capturadas
e como podem ser melhor aplicadas. Observou-
se, ainda, a sua associação com a mineração,
análise de dados textuais e relação com técnicas
e ferramentas de similaridades textuais, bem
como com pesquisas envolvendo a altmetria.
Palavras-chave: semantometria; métricas
alternativas; publicações científicas - qualidade;
publicações científicas - texto completo.
ABSTRACT
Introduction: The application and use of
alternative metrics can be considered as a
strategy to be adopted to complement the
conventional methods of evaluating scientific
production that consider only the citation count.
Unlike other metrics that are based on
measuring the number of interactions in the
scientific communication network,
semantometry, the object of study of this
research, assumes that the full text is necessary
to assess the value of a publication. Given this
approach, this article aims to discuss this class of
metric, exposing its origin in Herrmannova and
Knoth (2014), its analysis methodology and its
application formula by means of literature
research. Method: this is an exploratory
research, in which the preliminary bibliographic
survey was conducted adopting seven of the ten
initial steps of Query Representation, proposed
by Cendón (2018). A narrative literature review
was used, with analysis of the recovered
documents as a whole. Results: the research on
the subject was considered relevant, since there
is a great concern with demonstrating the
quality of research results to society and it was
found that there are few publications on the
subject, materialized by the results of searches
in databases: Dimensions, Gale, Scopus and Web
of Science. Conclusions: it is concluded that,
although semantometry has advantages in its
application, it is necessary to continue studying
this field to better understand which facets of
research quality they can capture and how they
can best be applied. It was also observed its
association with the mining and analysis of
textual data and its relationship with techniques
and tools of textual similarities, as well as with
research involving altmetrics.
Keywords: semantometry; alternative metrics;
scientific publications - quality; scientific
publications - fulltext.
1 INTRODUÇÃO
Em tempos, em que são obtidos inúmeros dados a cada instante, por meio de
sensores, experimentos científicos e observações, tais como dados biológicos, dados
neurais, dados astronômicos e dados de sensoriamento remoto, oriundos de redes
sociais, Internet, programas de saúde, de finanças, de economia, de transporte e de
diversos outros recursos ou aparatos tecnológicos, observa-se também a necessidade de
atenção para métricas que possam avaliar a qualidade desses dados, principalmente, ao
se tratar de documentos científicos.
Ribeiro, Oliveira e Diniz | Semantometria
3
Inf. Pauta, Fortaleza, CE, v. 8, 2023 | ISSN 2525-3468
As metodologias, para analisar a produção da ciência e tecnológica, têm surgido
na mesma via, por meio de indicadores e dispositivos desenvolvidos, com a finalidade de
analisar e compreender o universo da pesquisa por meio de menções ou outros aspectos.
O investimento de fundos públicos em pesquisa exige a capacidade de demonstrar
claramente retornos benéficos, responsáveis e bem gerenciados.
A questão de como avaliar a qualidade dos resultados da pesquisa é muito
complexa de responder e, apesar de anos de pesquisa e debates sobre essa agenda, ainda
não existe uma solução definitiva para esse problema. Dada a crescente necessidade de
avaliação de pesquisas, é cada vez mais necessário entender como devem ser avaliadas e
se os métodos existentes atendem a essa demanda. As soluções, predominantemente,
baseadas na contagem do número de interações e menções, nas redes de comunicação
acadêmica e tradicionais, são insuficientes (Herrmannova, 2018).
É salutar expor que as menções a uma pesquisa podem refletir o uso dos
produtos científicos e, nesse aspecto, evidencia-se que eles são a materialidade da
produção científica (Ferreira, 2017). As citações podem ser entendidas como “o
conjunto de uma ou mais referências, que, incluídas em uma publicação, evidenciam elos
entre indivíduos, instituições e áreas de pesquisa, visto que mostram o relacionamento
de uma publicação com outra” (Rodrigues, 1982, p. 36). Contudo, elas representam
apenas um pequeno nicho do ambiente científico, apesar de serem úteis para a avaliação
de pesquisadores e publicações (Barros, 2015).
Ressalta-se que é necessário identificar caminhos para legitimar o processo de
reconhecimento para garantir as funções basilares de investimento e certificação da
científica (Barros, 2015). Para esse autor, a contagem de citações, quando aplicada de
forma exclusiva, pode ignorar diversos atributos que contribuem para o impacto de uma
publicação científica. Segundo Souza (2015), por meio das métricas alternativas às
convencionais, há a possibilidade de se obter informações, a respeito do alcance e do uso
de trabalhos científicos complexos de conseguir com processos tradicionais, como a
exclusiva análise de citação.
Registra-se que existem diversas métricas, como altmetria, que analisao fluxo da
informação e do conhecimento nas redes e mídias sociais (Vanti; Sanz-Casado, 2016); a
bibliometria, que tem como objetos de estudo os livros ou as revistas científicas por
meio de métodos estatísticos e matemáticos; a cientometria, que observa a dinâmica da
ciência como atividade social, com foco na análise da produção, da circulação e do
4
Ribeiro, Oliveira e Diniz | Semantometria
Inf. Pauta, Fortaleza, CE, v. 8, 2023 | ISSN 2525-3468
consumo da produção científica; a infometria, que utiliza diversos recursos para medir e
analisar os aspectos da informação técnica e científica (Santos; Kobashi, 2009); a
webometria, que é a aplicação da infometria à Word Wide Web (Vanti, 2015), no intuito
de obter conhecimentos a respeito de acessos, hiperlink, estrutura e padrões de uso e a
semantometria, de interesse desta pesquisa, que vem se expandindo lentamente na
academia. Embora as métricas citadas tenham como objetivo demonstrar sobremaneira
o impacto das publicações científicas, cada uma delas tem suas peculiaridades.
A semantometria, uma das métricas citadas na taxonomia da Ciência Aberta em
Pontika et al. (2015) e Silveira et al. (2021), pode ser considerada como uma extensão da
bibliometria, webometria e altmetria. A ideia da semantometria surgiu, pela primeira
vez, em Hermannova e Knoth (2014). De acordo com o estudo desses autores, baseia-se
no pressuposto de que é necessário o texto completo para avaliar o valor de uma
publicação, utilizando-se da representação semântica.
Considerando a relevância que as métricas têm alcançado para a ciência e os
esforços de se utilizar métodos mais completos, para avaliar o impacto e a qualidade das
publicações científicas, este artigo tem como objetivo discorrer sobre a semantometria,
expondo sua origem em Herrmannova e Knoth (2014), sua metodologia de análise e sua
fórmula de aplicação. A proposição do estudo é a investigação bibliográfica da literatura
relacionada à semantometria e sua aplicabilidade como complemento aos atuais
indicadores quantitativos de publicações.
Diante do exposto, justifica-se esta pesquisa por entender que se trata de uma
proposta original e inovadora, trazendo um assunto, semantometria, ainda o
abordado na literatura da Ciência da Informação em contexto nacional, podendo incidir
em possíveis novos insights e novas perguntas de pesquisa envolvendo e impactando em
estudos métricos da informação.
2 OPÇÕES METODOLÓGICAS
O estudo tem características exploratórias, uma vez que visa proporcionar mais
familiaridade sobre a métrica semantometria, levantando seus conceitos e práticas
alinhados à definição de Herrmannova e Knoth (2014). Segundo Raupp e Beuren (2013),
uma das características da pesquisa bibliográfica consiste no aprofundamento de
determinados conceitos de um tema ainda não apresentado satisfatoriamente.
Ribeiro, Oliveira e Diniz | Semantometria
5
Inf. Pauta, Fortaleza, CE, v. 8, 2023 | ISSN 2525-3468
Da mesma forma, a pesquisa caracteriza-se como qualitativa, à medida que utiliza
coleta de dados, baseada em levantamentos bibliográficos, sem o uso de dados
quantitativos ou técnicas estatísticas. Destaca-se que, para o levantamento preliminar da
pesquisa bibliográfica, foram adotados sete dos dez passos iniciais de buscas, propostos
por Cendón (2018).
Essa técnica consiste no processo em que a expressão da necessidade de
informação é representada, por meio de uma pergunta de busca em linguagem natural e,
a seguir, transformada numa consulta, usando a sintaxe do sistema e o vocabulário
controlado, quando for o caso (Cendón, 2018). Normalmente é composta por palavras-
chave, operadores booleanos ou algum outro modificador para realizar consultas em
bancos de dados e sistemas de informação, Quadro 1.
Quadro 1 - Passos da busca
Passos
Aplicação na pesquisa
1
Formular e compreender a pergunta
da pesquisa.
Que é a semantometria, sua metodologia e sua
aplicação?
2
Selecionar as bases de dados
justificar.
Dimensions - oferece uma coleção abrangente
de dados vinculados em uma única
plataforma; de subsídios, publicações,
conjuntos de dados e ensaios clínicos,
patentes e documentos de políticas.
Gale - disponibiliza bancos de dados e fontes
primárias, bem como diversos recursos de
aprendizagem. A Scopus e Web of Science -
foram pré-selecionadas pela grande aceitação
pela comunidade acadêmica.
3
Fazer a análise conceitual e
desmembrar a pergunta em conceitos.
Semantometria, Semântica, Métricas.
Avaliação científica.
4
Identificar termos alternativos.
Métrica alternativa. Mineração de dados
textuais. Análise textual.
5
Definir a relação entre termos.
Não aplicado.
6
Definir a estratégia de busca.
A busca foi realizada em inglês, visto que a
literatura técnico-científica sobre o tema se
apresenta concentrada nesse idioma, com o
argumento da pesquisa: “semantometrics”.
7
Executar a busca nas bases de dados
informando o número de documentos
encontrados para cada conceito e
combinação tentada. Utilizou-se
apenas o termo “semantometrics”.
Dimensions - 32
Gale - 3
Scopus - 8
Web of Science 1
6
Ribeiro, Oliveira e Diniz | Semantometria
Inf. Pauta, Fortaleza, CE, v. 8, 2023 | ISSN 2525-3468
8
Verificar alguns documentos para
determinar a necessidade de usar
outros termos ou outras combinações
de buscas.
Em razão da especificidade do tema e número
reduzido de publicações, essa etapa foi
desconsiderada.
9
Refinar/reformular a busca.
Com o baixo número de documentos
recuperados, essa etapa não foi aplicada.
10
Apresentar os resultados.
Disponível na seção 3 - optou-se por
apresentar os textos em ordem cronológica,
facilitando a compreensão da métrica e a sua
repercussão até o momento.
Fonte: Adaptado de Cendón (2018).
Com os passos estabelecidos, o resultado de busca possibilitou a recuperação de
documentos completos para análise, evidenciando os conceitos e aplicações
relacionados com a semantometria, podendo verificar o seu surgimento e a sua
aplicação em alguns contextos. Foram recuperados 44 documentos e, após a análise dos
títulos e da eliminação dos duplicados, foram selecionados 18 estudos para a leitura do
resumo e para a redação da fundamentação. Entretanto, após a leitura dos textos, para a
identificação do alinhamento ao escopo deste trabalho e reconhecimento dos tipos de