MACUNAÍMA, IA PARROT, SOLVES CRIMES IN PRAGUE

TOWARDS PATTERN VISUALIZATION IN GENERATIVE AI MODEL NARRATIVES

Authors

DOI:

https://doi.org/10.14244/2179-1465.RG.2023v14i3p21-37

Keywords:

Macunaíma project, AI, narrative

Abstract

This paper introduces the development and analysis of results from the Macunaíma project, a use case of AI applied to the creation of scripts and storyboards, which combines narrative, audio, and automatically generated images. Technically, AI models were employed for text (ChatGPT) and image (Stable Diffusion) generation, along with a web interface allowing user interaction. The dimensions of Narrative Temporal Cohesion, Cinematographic Cohesion, and Graphic Cohesion were examined. Additionally, a data visualization prototype was developed to identify the generated narratives and suggest potential improvements for the tool. We highlight the pivotal role of data visualization in analyzing these intricate models, especially considering the vast amount of information involved.

Macunaíma project; AI; narrative.

Downloads

Download data is not yet available.

Author Biographies

Victor Schetinger, FH Skt. Pölten

Victor Schetinger possui doutorado em Ciência da Computacao pela Universidade Federal do Rio Grande do Sul ) UFRGS, com foco em análise forense de imagens, e mestrado e graduação pela Universidade Federal de Santa Maria (UFSM). Foi pesquisador visitante na Universidade de Florença, Itália, e PostDoc na Universidade Técnica de Vienna onde desenvolveu pesquisas interdisciplinares com visualização de informação. Atualmente, é professor e pesquisador em Computação Criativa na Universidade Aplicada de Skt. Pölten, Áustria. Suas áreas de interesse incluem transdisciplinaridade, computação visual em suas várias formas e criatividade estendida, que consiste no uso de tecnologias como inteligência artificial para a criação.

Dafne Reis Pedroso da Silva, Unochapecó

Doutora em Comunicação Social pela Pontifícia Universidade Católica do Rio Grande do Sul (2013), com Doutorado Sanduíche no Institut de recherche sur le cinéma et l'audiovisuel - Sorbonne Nouvelle - Paris III (bolsa Capes PDSE | 2012). Mestre em Ciências da Comunicação pela Universidade do Vale do Rio dos Sinos (2009) e Especialista em Comunicação Midiática pela Universidade Federal de Santa Maria (2006). Bacharel em Comunicação Social - habilitação jornalismo também pela Universidade Federal de Santa Maria (2004), com período de intercâmbio estudantil na Escuela de Ciencias de la Información - Universidad Nacional de Córdoba (bolsa AUGM | 2003). Possui experiência em pesquisa na área da Comunicação, atuando nos seguintes temas: produção, recepção e consumo de audiovisual, metodologias de pesquisa em comunicação, oficinas de capacitação audiovisual, itinerâncias e cineclubismo. Professora da Escola de Comunicação e Criatividade e coordenadora do Bacharelado em Cinema e Mídias Digitais da Unochapecó. 

Sara Di Bartolomeo, Breda University of Applied Sciences

Edirlei Soares de Lima é Professor e Pesquisador nas áreas de Inteligência Artificial e Jogos na Breda University of Applied Sciences. Tem conduzido pesquisas nas áreas há mais de 15 anos, especialmente no desenvolvimento de novos métodos de Inteligência Artificial para Jogos e Narrativas Interativas. Possui doutorado em Ciência da Computação pela Pontifícia Universidade Católica do Rio de Janeiro (PUC-Rio), mestrado em Ciência da Computação pela Universidade Federal de Santa Maria (UFSM) e graduação em Ciência da Computação pela Universidade do Contestado (UnC). Ao longo de sua carreira, seu trabalho e pesquisa receberam diversos prêmios e menções honrosas, incluindo prêmios de melhor artigo no ICEC (International Conference on Entertainment Computing) e SBGames (Simpósio Brasileiro de Jogos e Entretenimento Digital).

Christofer Meinecke, Universidade de Leipzig

Christofer Meinecke possui doutorado em ciências da computação pela Universidade de Leipzig, Alemanha. Atualmente, é PostDoc no "Image & Signal Processing Group", na mesma instituição, e membro do ScaDS.AI (Center for Scalable Data Analytics and AI) em Dresden/Leipzig. Seus tópicos de interesse incluem visualização de informação, visual analytics, visão computacional e suas aplicações em áreas de pesquisa como Digital Humanities, geografia e medicina.

Rudolf Rosa, Charles University

Rudolf Rosa é um linguista computacional e robopsicólogo. Estudou no Instituto de Linguística Aplicada e Formal da Charles University, em Praga, Chéquia, onde atualmente atua como pesquisador. Seu foco de pesquisa é a geração de texto usando modelos computacionais. Como parte do projeto THEaiTRE, participou da criação da primeira peça checa de teatro com um script completamente gerado por inteligência artificial. Atualmente, participa do projeto interdisciplinar "Human, Soul, AI", que explora as relações entre a humanidade, tecnologia e religião. Também trabalha em modelos interlinguísticos para análise sintática e morfológica e tradução e interpretação automática de texto.

References

teste

Downloads

Published

2024-04-22

How to Cite

SCHETINGER, V.; DA SILVA, D. R. P.; DI BARTOLOMEO, S. .; SOARES DE LIMA, E.; MEINECKE, C. .; ROSA, R. . MACUNAÍMA, IA PARROT, SOLVES CRIMES IN PRAGUE: TOWARDS PATTERN VISUALIZATION IN GENERATIVE AI MODEL NARRATIVES. Revista GEMInIS, [S. l.], v. 14, n. 3, p. 21–37, 2024. DOI: 10.14244/2179-1465.RG.2023v14i3p21-37. Disponível em: https://www.revistageminis.ufscar.br/index.php/geminis/article/view/826. Acesso em: 18 may. 2024.

Issue

Vol. 14 No. 3 (2023): AI narratives: trends in audiovisual production - Part 1

Section

Dossier - AI Narratives: Trends in Audiovisual Production

License

Copyright (c) 2024 Victor Schetinger, Dafne Reis Pedroso da Silva, Sara Di Bartolomeo, Edirlei Soares de Lima, Christofer Meinecke, Rudolf Rosa

Creative Commons License

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

Authors who publish in this journal agree to the following terms:

a. Authors retain copyright and grant the journal the right of first publication, with the work simultaneously licensed under a Creative Commons Attribution License that allows sharing of the work with acknowledgment of authorship and initial publication in this journal.

b. Authors are authorized to assume additional contracts separately, for non-exclusive distribution of the version of the work published in this journal (eg, to publish in an institutional repository or as a book chapter), with acknowledgment of authorship and initial publication in this journal.