Coesão verbo-imagética: uma proposta de descrição e interpretação de interações multimodais

Gabriel Isola-Lanzoni

doi:10.22168/2237-6321-32555

Authors

Gabriel Isola-Lanzoni Universidade de São Paulo, Universidade do Porto http://orcid.org/0000-0003-2066-1298

DOI:

https://doi.org/10.22168/2237-6321-32555

Keywords:

Cohesion. Multimodality. Digital media.

Abstract

This article aims to discuss a proposal of an image-text cohesion system and to verify its productivity as a descriptive apparatus prior to the analysis of the verbal-visual interaction of digital media texts. The proposal is aligned with multimodality studies in Systemic-Functional Linguistics (HALLIDAY, 1985; HALLIDAY; MATTHIESSEN, 2014). It assumes the transitivity system as the unit of analysis (HALLIDAY; MATTHIESSEN, 2014; LAVID; ARÚS; ZAMORANO-MANSILLA, 2012; FUZER; CABRAL, 2014) and aims to provide subsidies for a detailed understanding of relationships between verbal and visual elements oriented to reconstructing meaning in digital media texts in terms of structure, processes and instantiations. The analysis of texts from YouTube and Instagram showed strategic uses of cohesive ties with regard to multimodal argumentation, information flow, platform dynamics, as well as relationships with multimodal metaphors.

Author Biography

Gabriel Isola-Lanzoni, Universidade de São Paulo, Universidade do Porto

Gabriel Isola-Lanzoni é doutorando pelo Programa de Pós-Graduação em Filologia e Língua Portuguesa da Universidade de São Paulo (PPG-FLP/USP), sob orientação do Prof. Dr. Paulo Roberto Gonçalves-Segundo. Realiza período de estágio doutoral na Universidade do Porto (Portugal) entre set/22-fev/23. É mestre pelo mesmo programa, tendo realizado pesquisa sobre multimodalidade em mídias digitais a partir da Linguística Sistêmico-Funcional com a proposição de um sistema de coesão verbo-imagética. Atualmente, realiza pesquisa sobre a articulação entre argumentação e divulgação científica com financiamento da CAPES. Integra os grupos de pesquisa Sistêmica, Ambientes e Linguagens (UFSM/CNPq) e Estudos de Linguagem, Argumentação e Discurso (UESC/CNPq). É editor associado da Revista Linha D'Água (FFLCH-USP). Atua como diagramador de livros acadêmicos.

References

BATEMAN, J. A. Text and image: a critical introduction to the visual/verbal divide. London: Routledge, 2014.

CABRAL, S. R. S. O que é mesmo encaixamento em linguística sistêmico-funcional? EntreLetras, Araguaína, v. 13, n. 1, p. 1-21, 2022. DOI: https://doi.org/10.20873/uft2179-3948.2022v13n1p1-21. Disponível em: https://sistemas.uft.edu.br/periodicos/index.php/entreletras/article/view/14526. Acesso em: 3 nov. 2022.

CAVALCANTE, M. M.; MUNIZ-LIMA, I. A construção referencial em compósitos de gêneros na mídia Facebook. Entrepalavras, Fortaleza, v. 11, n. 3, p. 430-450, 2022. DOI: https://doi.org/10.22168/2237-6321-32328. Disponível em: http://www.entrepalavras.ufc.br/revista/index.php/Revista/article/view/2328. Acesso em: 9 maio 2022.

FORCEVILLE, C. Metaphor in pictures and multimodal representations. In: GIBBS, R. W. (org.). The Cambridge Handbook of Metaphor and Thought. Cambridge: Cambridge University Press, 2008. p. 462-482. DOI: https://doi.org/10.1017/CBO9780511816802.028. Disponível em: https://www.cambridge.org/core/books/abs/cambridge-handbook-of-metaphor-and-thought/metaphor-in-pictures-and-multimodal-representations/CF2A29E498D0BDF1F73B63B82A2D1746. Acesso em: 13 mar. 2019.

FUZER, C.; CABRAL, S. R. S. Introdução à Gramática Sistêmico-Funcional em Língua Portuguesa. Campinas: Editora Mercado de Letras, 2014.

GONÇALVES-SEGUNDO, P. R. Tradição, dinamicidade e estabilidade nas práticas discursivas: um estudo da negociação intersubjetiva na imprensa paulistana. 2011. Tese (Doutorado em Filologia e Língua Portuguesa) – Universidade de São Paulo, São Paulo, 2011. DOI: https://doi.org/10.11606/T.8.2011.tde-25042012-161141. Disponível em: https://teses.usp.br/teses/disponiveis/8/8142/tde-25042012-161141/pt-br.php. Acesso em: 25 mar. 2018.

GONÇALVES-SEGUNDO, P. R. Argumentação multimodal: múltiplos olhares para um objeto complexo. In: GONÇALVES-SEGUNDO, P. R.; PIRIS, E. L. Estudos de Linguagem, Argumentação e Discurso. Campinas: Editora Pontes, 2021. p. 73-109.

GONÇALVES-SEGUNDO, P. R. Metáforas multimodais e argumentação prática: discutindo efeitos retóricos e modos de articulação entre modalidades. Revista De Estudos da Linguagem, Belo Horizonte, v. 28, n. 2, p. 801-844, 2020. DOI: https://doi.org/10.17851/2237-2083.28.2.801-844. Disponível em: http://www.periodicos.letras.ufmg.br/index.php/relin/article/view/16451. Acesso em: 5 jun. 2020.

GONÇALVES-SEGUNDO, P. R.; ISOLA-LANZONI, G. A Terra é plana?: uma análise da articulação entre argumentação epistêmica, multimodalidade e popularização científica no YouTube. Redis: Revista de Estudos do discurso, Porto, v. 8, p. 84-121, 2019. DOI: https://doi.org/10.21747/21833958/red8a4. Disponível em: https://ojs.letras.up.pt/index.php/re/article/view/6563. Acesso em: 22 jan. 2020.

GONÇALVES-SEGUNDO, P. R.; ISOLA-LANZONI, G. Multimodal practical argumentation and behavioral change: an analysis of the “Remember, the Metro is for everyone” campaign. Revista da ABRALIN, [s.l.], v. 20, n. 3, p. 779-807, 2021. DOI: https://doi.org/10.25189/rabralin.v20i3.1995. Disponível em: https://revista.abralin.org/index.php/abralin/article/view/1995. Acesso em: 7 dez. 2021.

GONÇALVES-SEGUNDO, P. R.; ISOLA-LANZONI, G.; WEISS, W. “Entendeu ou quer que Desenhe?”: Metáforas Multimodais Aplicadas ao Ensino de Língua Portuguesa. In: AZEVEDO, I. C. M.; COSTA, R. F. (org.). Multimodalidade e Práticas de Multiletramentos no Ensino de Línguas. São Paulo: Editora Blucher, 2019. p. 31-56. DOI: https://doi.org/10.5151/9788580394085-02. Disponível em: https://openaccess.blucher.com.br/article-details/02-21847. Acesso em: 10 jan. 2020.

GONÇALVES-SEGUNDO, P. R.; MACAGNO, F.; AZEVEDO, I. C. M. Argumentação multimodal: desafios e tendências recentes. Uma introdução ao número especial. Revista da ABRALIN, [s.l.], v. 20, n. 3, p. 722-736, 2021. DOI: https://doi.org/10.25189/rabralin.v20i3.2020. Disponível em: https://revista.abralin.org/index.php/abralin/article/view/2020. Acesso em: 7 dez. 2021.

GONÇALVES-SEGUNDO, P. R.; ZELIC, H. C. Relacionar-se é investir: ideologia, cognição e metáfora no discurso sobre relacionamento em revistas femininas para o público adolescente. In: NASCIMENTO, L.; MEDEIROS, B. W. L. (org.). Análise do Discurso e Análise Crítica do Discurso: heranças, métodos, objetos. Saarbrücken: Novas Edições Acadêmicas, 2016. p. 64-91.

GROARKE, L. Going Multimodal: What is a Mode of Arguing and Why Does it Matter? Argumentation, [s.l.], v. 29, n. 2, p. 133-155, 2015. DOI: https://doi.org/10.1007/s10503-014-9336-0. Disponível em: https://link.springer.com/article/10.1007/s10503-014-9336-0. Acesso em: 14 jul. 2022.

HALLIDAY, M. A. K. Introduction to Functional Grammar. 1st ed. London; New York: Routledge, 1985.

HALLIDAY, M. A. K.; MATTHIESSEN, C. Halliday’s introduction to functional grammar. 4th ed. Milton Park; Abingdon; Oxon: Routledge, 2014.

ISOLA-LANZONI, G. Coesão verbo-imagética: um estudo sistêmico-funcional sobre multimodalidade em mídias digitais. 2020. Dissertação (Mestrado em Filologia e Língua Portuguesa) – Faculdade de Filosofia, Letras e Ciências Humanas, Universidade de São Paulo, São Paulo, 2020. DOI: http://doi.org/10.11606/D.8.2020.tde-07042020-172206. Disponível em: https://www.teses.usp.br/teses/disponiveis/8/8142/tde-07042020-172206/pt-br.php. Acesso em: 5 jun. 2020.

KJELDSEN, J. E. Visual rhetorical argumentation. Semiotica, [s.l.], v. 2018, n. 220, p. 69-94, 2018. DOI: https://doi.org/10.1515/sem-2015-0136. Disponível em: https://www.degruyter.com/document/doi/10.1515/sem-2015-0136/html. Acesso em: 20 dez. 2018.

KONG, K. C. C. A taxonomy of the discourse relations between words and visuals. Information Design Journal, [s.l.], v. 14, n. 3, p. 207-230, 2006. DOI: https://doi.org/10.1075/idj.14.3.04kon. Disponível em: https://www.jbe-platform.com/content/journals/10.1075/idj.14.3.04kon. Acesso em: 16 abr. 2018.

KÖVECSES, Z. Metaphor: a practical introduction. 2nd ed. New York: Oxford University Press, 2010.

KRESS, G. R.; VAN LEEUWEN, T. Reading images: the grammar of visual design. 2nd ed. London: Routledge, 2006.

LAKOFF, G.; JOHNSON, M. Metaphors we live by. Chicago: University of Chicago Press, 1980.

LAVID, J.; ARÚS, J.; ZAMORANO-MANSILLA, J. R. Systemic Functional Grammar of Spanish. London: Bloomsbury Publishing, 2012.

MARTIN, J. R; WHITE, P. R. R. The language of evaluation: appraisal in English. Basingstoke: Palgrave Macmillan, 2005.

MARTINEC, R.; SALWAY, A. A system for image-text relations in new (and old) media. Visual Communication, [s.l.], v. 4, n. 3, p. 337-371, 2005. DOI: https://doi.org/10.1177/1470357205055928. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1470357205055928. Acesso em: 16 abr. 2018.

NININ, M. O. G.; BARBARA, L. Engajamento na perspectiva linguística sistêmico-funcional em trabalhos de conclusão de curso de Letras. Trabalhos em Linguística Aplicada, Campinas, v. 52, n. 1, p. 127-146, 2013. DOI: https://doi.org/10.1590/S0103-18132013000100008. Disponível em: https://www.scielo.br/j/tla/a/jKYpjsqXVZqzkZmdPcrqbKR/?lang=pt. Acesso em: 18 jun. 2018.

PERELMAN, C.; OLBRECHTS-TYTECA, L. Tratado da argumentação: A nova retórica. São Paulo: Martins Fontes, 2006.

PÉREZ SOBRINO, P. Multimodal Metaphor and Metonymy in Advertising. Amsterdam: John Benjamins Publishing Company, 2017. v. 2, DOI: https://doi.org/10.1075/ftl.2. Disponível em: https://www.jbe-platform.com/content/books/9789027264671. Acesso em: 28 fev. 2019.

ROYCE, T. D. Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis. In: ROYCE, T. D.; BOWCHER, W. (org.). New directions in the analysis of multimodal discourse. Mahwah: Lawrence Erlbaum Associates, 2007. p. 63-109.

ROYCE, T. D. Intersemiotic Complementarity in Print Advertisements. In: KLUG, N-M; STÖCKL, H. (org.). Handbuch Sprache im multimodalen Kontext. [S.l.]: De Gruyter, 2016. p. 348-371. DOI: https://doi.org/10.1515/9783110296099-016. Disponível em: https://www.degruyter.com/document/doi/10.1515/9783110296099-016/html. Acesso em: 4 out. 2018.

SILVA, M. M. P.; ALMEIDA, D. B. L. Linguagem Verbal, Linguagem Verbo-Visual: Reflexões teóricas sobre a perspectiva Sócio-Semiótica da Linguística Sistêmico Funcional. Revista Odisseia, Natal, v. 3, n. 1, p. 36, 2018. DOI: https://doi.org/10.21680/1983-2435.2018v3n1ID12686. Disponível em: https://periodicos.ufrn.br/odisseia/article/view/12686. Acesso em: 3 nov. 2022.

STEEN, G. Deliberate Metaphor Theory: Basic assumptions, main tenets, urgent issues. Intercultural Pragmatics, [s.l.], v. 14, n. 1, p. 1-24, 2017. DOI: https://doi.org/10.1515/ip-2017-0001. Disponível em: https://www.degruyter.com/document/doi/10.1515/ip-2017-0001/html. Acesso em: 9 set. 2018.

TSERONIS, A. From visual rhetoric to multimodal argumentation: exploring the rhetorical and argumentative relevance of multimodal figures on the covers of The Economist. Visual Communication, [s.l.], v. 20, n. 3, p. 374-396, 2021. DOI: https://doi.org/10.1177/14703572211005498. Disponível em: https://journals.sagepub.com/doi/10.1177/14703572211005498. Acesso em: 4 dez. 2021.

UNSWORTH, L. Image/Text Relations and Intersemiosis: Towards Multimodal Text Desciption for Multiliteracies Education. In: INTERNATIONAL SYSTEMIC FUNCTIONAL CONGRESS, 33., 2006, São Paulo. Proceedings [...]. São Paulo: PUCSP, 2006. Disponível em: https://www.researchgate.net/publication/250029489/download. Acesso em: 16 abr. 2018.

VEREZA, S. C. Metáfora e argumentação: uma abordagem cognitivo-discursiva. Linguagem em (Dis)curso, Tubarão, v. 7, n. 3, p. 487-506, 2007.

O NAZISMO é de direita ou de esquerda? || Vogalizando a História. [S.l.: s.n.], 2021. 1 vídeo (13 min). Publicado pelo canal Vogalizando a História. Disponível em: https://youtu.be/gt_ToKUoqIs. Acesso em: 19 ago. 2022.

YOUTUBE. Escola de Criadores do YouTube. 2020. Disponível em: https://www.youtube.com/creators/. Acesso em: 10 jan. 2021.