Projetos

Problema

Tarefas de aprendizado por reforço multiobjetivo precisam de vários componentes de recompensa ponderados entre si. Pesos fixos, definidos uma vez antes do treino, tendem a produzir políticas instáveis ou subótimas conforme o treino avança.

O que construí

• Um framework que reponderá dinamicamente os componentes de recompensa durante o treino, em vez de fixá-los previamente
• Implementação em PyTorch, rastreada e comparada via Weights & Biases
• Avaliado em Gymnasium/MuJoCo, MO-Gymnasium e no simulador de futebol de robôs rSoccer-gym, próprio da equipe

Resultado

Revisado por pares e publicado na AAMAS 2025, um dos principais veículos de sistemas multiagente.

Stack

Problema

Robôs da RoboCup Small Size League precisam de planejamento de caminho/trajetória que seja rápido quando o campo está livre, mas que ainda evite com segurança obstáculos estáticos e móveis quando não está.

O que construí

• Um planejador de caminho baseado em RL, treinado no simulador rSoccer-gym da equipe e rastreado com Weights & Biases
• Comparado com algoritmos de planejamento de referência em cenários sem obstáculos e com obstáculos únicos/móveis
• Levado da simulação a testes em robô real (o repositório inclui uma suíte dedicada real_tests/)

Resultado

Ganho de 60% em tempo sobre os algoritmos de referência em ambientes sem obstáculos, com desvio de obstáculos dinâmicos demonstrado contra obstáculos móveis.

Stack

Problema

Treinar e validar políticas de RL em um braço industrial real de 6 graus de liberdade exige um simulador preciso e rápido antes que qualquer coisa toque o hardware físico.

O que construí

• Uma simulação MuJoCo compatível com Gymnasium do braço DENSO VS050 equipado com garra Robotiq 2F-85
• Ambientes de tarefa de alcance de pose e pick-and-place, com cinemática, limites de junta e funções de recompensa modelados
• Um projeto complementar (vs050-mjlab) para treino de RL em simulação em lote de larga escala

Stack

Problema

Começou como uma forma de extrair uma pluma de gás de vídeo termal, quadro a quadro, sem reescrever código toda vez que o detector ou a cadeia de pré-processamento precisasse mudar.

O que construí

• Uma arquitetura de pipeline source → stages → sinks, totalmente descrita em YAML — trocar um detector ou modelo de fundo é uma edição de config, não de código
• Famílias de estágios de detecção por estrutura, textura e movimento, construídas sobre OpenCV/NumPy
• Um editor de GUI opcional em PyQt6 com pré-visualização ao vivo de cada estágio e saída, além de instaladores empacotados AppImage/dmg

Stack