Joyce Horn Fonteles

Assistente de Pesquisa

Learning analytics multimodal: deep learning e LLMs que identificam e interpretam o comportamento de estudantes a partir de olhar, movimento, fala e gestos; ferramentas interativas para validação por especialistas; responsável pela IA multimodal do GEM-STEP; co-coordenadora da colaboração com a University of Haifa.

Pesquisadora de mestrado, orientada pela Profa. Dra. Maria Andréia Formico Rodrigues

Sistemas em tempo real controlados por gestos (Leap Motion, Kinect) para visualizar a estrutura musical; estudos de usabilidade com músicos, regentes e usuários com dificuldades motoras.

Bolsista de Iniciação Científica

Computação gráfica 3D e computação musical para visualização de dados.

Making Interpretations Accountable: Propagating Validation Evidence Through a Human–AI Multimodal Learning Analytics Pipeline

Expanding Access to Collaborative Computational Thinking through the ReCode Loop and Role-Differentiated AI Agents

A Human–AI Partnership Framework for Multimodal Analysis in Embodied Learning Environments

Do Emotion Recognition Models Generalize to Classrooms? Robustness and Fairness Analysis

When Modalities Disagree: Multimodal Sentiment Conflict as an Affective Signal in Collaborative Learning

A Multimodal Study of Emotion Regulation in Student Dyads During Computational Model Building

Multimodal Engagement Analytics for Collaborative Learning: A Human-in-the-Loop Approach

A Human–AI Multimodal Analysis of Collaborative Knowledge Integration through Embodiment and Reflection

Analyzing Embodied Learning in Classroom Settings: A Human-in-the-Loop AI Approach for Multimodal Learning Analytics

A Novel Approach to Evaluating the Effectiveness of Large Language Models for Multimodal Analysis of Embodied Learning in Classrooms

A Theory of Adaptive Scaffolding for LLM-Based Pedagogical Agents

SyncFlow: A Scalable Platform for Multimodal Learning Analytics

Personalizing Student–Agent Interactions Using Log-Contextualized Retrieval-Augmented Generation (RAG)

Exploring Agentic Multimodal Late Fusion with LLMs for Embodied Learning

Exploring the Design of Pedagogical Agent Roles in Collaborative STEM+C Learning

Interaction Analysis Practice Within Computational Trends: Promises and Challenges

Using Collaborative Interactivity Metrics to Analyze Students' Problem-Solving Behaviors during STEM+C Computational Modeling Tasks

A Multimodal Approach to Support Teacher, Researcher and AI Collaboration in STEM+C Learning Environments

Designing an AI-Enhanced Timeline for Monitoring Multimodal Interactions in Embodied Learning Environments

A First Step in Using Machine Learning Methods to Enhance Interaction Analysis for Embodied Learning Environments

Promoting Equitable Learning Outcomes for Underserved Students in Open-Ended Learning Environments

Exploring Artificial Intelligence Supported Interaction Analysis

3D Gaze Tracking for Studying Collaborative Interactions in Mixed-Reality Environments

Multimodal Methods for Analyzing Learning and Training Environments: A Systematic Literature Review

Analyzing Students Collaborative Problem-Solving Behaviors in Synergistic STEM+C Learning

ChimeraPy: A Scientific Distributed Streaming Framework for Real-time Multimodal Data Retrieval and Processing

Identifying Gaze Behavior Evolution via Temporal Fully-Weighted Scanpath Graphs

User Experience in a Kinect-Based Conducting System for Visualization of Musical Structures

Gesture-Controlled Interactive Musical Game to Practice Hand Therapy Exercises and Learn Rhythm and Melodic Structures

Interactive Musical Game with a Gesture-Controlled Virtual Puppet

Visual and Gesture-Driven Interaction Using the Leap Motion to Conduct a 3D Particle System: Evaluation and Analysis of an Orchestral Performance

Visual and Interactive Performance of Particles Conducted by the Leap Motion

Apresentando o Tratbem: Suporte Social, Informacional e Psicológico ao Tabagista

Real-Time Animations of Virtual Fountains Based on a Particle System for Visualizing Musical Structures

Creating and Evaluating a Particle System for Music Visualization

Doutorado em Ciência da Computação

Ambientes inteligentes de aprendizagem aberta para aprendizagem corporificada, usando IA e learning analytics multimodal para estudar comportamentos de aprendizagem dos estudantes.

Mestrado em Informática Aplicada

Bacharelado em Ciência da Computação

Chefe da Divisão de Implementação de Projetos

Liderança do time de desenvolvimento em análises, correções e atualizações de dezenas de sistemas, e no planejamento, desenvolvimento, teste e implantação de novas soluções. Product Owner e Scrum Master em diversos projetos.

Chefe da Divisão de Banco de Dados

Liderança do time de DBAs na administração e sustentação de bancos Oracle, SQL Server, PostgreSQL e MySQL que atendem a mais de 60 sistemas do Tribunal; desempenho e integridade de dados.

Analista de Capacitação

Elaboração de conteúdos de EAD e ministração de cursos teóricos e práticos que levaram servidores de toda a região amazônica dos processos judiciais em papel para os digitais.

Lead Engineer

Liderança técnica no desenvolvimento mobile (Swift, Android) e web (Node.js, React, MongoDB) de plataformas financeiras; projetos ágeis e levantamento de requisitos com clientes no Brasil e nos EUA.

Consultora de Tecnologia

Direcionamento arquitetural de um aplicativo móvel híbrido para educação a distância acessível; treinamentos em Dialogflow, React Native e Redux para desenvolvedores.

Arquiteta de Soluções

Projeto e liderança de aplicativos móveis e sistemas web (Node.js, Ruby on Rails, Angular, Ionic, React Native) com componentes reaproveitáveis e microsserviços; Product Owner e ponte técnica com os clientes.

Analista de Sistemas

Analista de negócios e desenvolvedora full-stack do principal portal de serviços de saúde (Java, JasperReports, PL/SQL); Scrum Master do time ágil interno.

Estagiária de Desenvolvimento

Desenvolvimento de sistema em ASP para disponibilizar dados do FGTS aos clientes; manutenção de servidores e backups.

AI4Ed Summer Fellow (segunda seleção)

Fellowship que conecta pesquisadores dos NSF National AI Research Institutes em IA na educação.

Student Horizon Travel Grant

Auxílio competitivo para apresentação de pesquisa em conferência internacional.

Red Hat Certified Developer in Cloud-native Applications

AI4Ed Summer Fellow

Fellowship que conecta pesquisadores dos NSF National AI Research Institutes em IA na educação; apresentação no AI4Ed Summit.

Faculty Seed Grant (US$ 10.000), coautora

Pesquisa colaborativa sobre LLMs e pensamento computacional corporificado.

Peabody Global Research Grant (US$ 7.500), coautora

Colaboração internacional com a University of Haifa em aprendizagem corporificada apoiada por IA.

Certified PBB Practitioner

2º lugar, Melhor Artigo Completo (trilha de Aplicações)

Certified ScrumMaster®

Bolsa de Iniciação Científica

Bolsa de pesquisa na graduação do Conselho Nacional de Desenvolvimento Científico e Tecnológico.

Co-organizadora do workshop CV4Edu: Visão Computacional × Educação

Aproximando visão computacional, IHC e ciências da aprendizagem em torno de robustez de domínio, inferência alinhada a construtos e avaliação multimodal com preservação de privacidade.

Orientação de aluno de graduação

LLMs como mecanismos de fusão tardia para classificação e IA explicável.

Orientação de aluno de mestrado estrangeiro

Agentes baseados em LLMs para apoio ao pensamento computacional.

Mentoria de estagiário de graduação

Modelos de transcrição e diarização de falantes para áudio de sala de aula.

Revisora

Mentoria de dois alunos de graduação

Rastreamento de mãos e reconhecimento de gestos com Leap Motion; desenvolvimento de jogos educacionais na Unreal Engine.