Challenge

– Desafio PixForce –

Fábrica Inteligente 4.0: Segurança Pessoal e Eficiência de Processos com IA Multimodal

Inscrição desafio PixForce

 

 

Este desafio foca no ambiente industrial controlado, utilizando câmeras fixas para monitorar a interação entre operadores humanos e máquinas.

Dúvidas podem ser encaminhadas para Guilherme Lacerda: guilherme.lacerda@pixforce.ai  

– Cronograma

  • 06/10/2025 – Divulgação durante a DPVSA 2025
  • 20/10/2025 – Prazo final para inscrições das equipes
  • 21/11/2025 – Entrega das soluções
  • 05/12/2025 – Divulgação da equipe vencedora

 

– Formação das equipes

  • As equipes deverão ser formadas por até 3 alunos (graduação) e um ou mais mentores (professores, profissionais da indústria).

 

– Conceito

Em uma linha de montagem ou célula de trabalho, a segurança do operador é tão crucial quanto a eficiência da produção. Erros humanos, fadiga ou desvios do procedimento padrão podem levar a acidentes graves ou a defeitos de qualidade. O objetivo deste desafio é criar um sistema de IA que atue como um “supervisor digital”, garantindo a segurança e, ao mesmo tempo, identificando gargalos no processo.

 

– Objetivos Principais

Desenvolver uma solução que utilize streams de vídeo de câmeras fixas para:

  1. Monitoramento de Segurança em Tempo Real:
    • Detecção de EPIs (Equipamentos de Proteção Individual): Usando modelos de detecção de objetos (como YOLO ou SSD), verificar se os operadores estão usando os EPIs corretos (capacete, óculos de proteção, luvas, etc.) nas áreas designadas.
    • Detecção de Zonas de Risco: Identificar quando um operador entra em uma área perigosa perto de uma máquina em operação ou realiza uma postura corporal de risco (ex: colocar a mão em um local indevido).
  2. Análise de Processos com Vision-Language Models (VLM):
    • Relatórios de Anomalias em Linguagem Natural: Em vez de apenas gerar um alerta (ex: ID_CAM01, ERRO_EPI_CAPACETE), o sistema deve usar um VLM para descrever o evento. Por exemplo: “Alerta na Câmera 01: Operador sem capacete detectado próximo à Prensa Hidráulica 3 às 15:42.”
    • Interpretação de Ações: Utilizar um VLM para responder a perguntas em linguagem natural sobre o vídeo, como: “O operador seguiu os 3 passos de segurança antes de ativar a máquina?” ou “Mostre os momentos em que a esteira ficou parada por mais de 1 minuto.”
  3. Otimização com Transformers:
    • Análise de Sequência de Ações: Modelar as ações do operador como uma sequência de eventos. Um modelo Transformer pode ser treinado para analisar essa sequência e identificar padrões ineficientes ou desvios do procedimento operacional padrão, que poderiam ser invisíveis em uma análise quadro a quadro.

 

– Stack de Tecnologias Sugeridas

  • Machine/Deep Learning: YOLOv8, Faster R-CNN, OpenPose (para postura).
  • Transformers & VLMs: Modelos como CLIP, BLIP, ou até mesmo frameworks que permitem o fine-tuning de LLMs com dados visuais (ex: LLaVA) para as tarefas de descrição e Q&A.
  • Dataset para o Hackathon: Um conjunto de vídeos pré-gravados de uma linha de montagem simulada, com anotações de exemplo (bounding boxes para pessoas e EPIs, e transcrições de eventos importantes). Arquivos de texto com os “procedimentos operacionais padrão” podem ser fornecidos para a tarefa de VLM.

 

– Dataset

 

– Critérios de Avaliação

  • Precisão: Acurácia na detecção de EPIs e zonas de risco.
  • Qualidade do VLM: Clareza, relevância e precisão das descrições e respostas geradas.
  • Inovação: Uso criativo do Transformer para análise de processos.
  • UI/UX: A qualidade da interface que apresenta os alertas e insights.

 

– Entregáveis

  • Link do repositório GitHub contendo o código-fonte
  • Link para um vídeo demonstrando o funcionamento
  • Documentação
    • Pode ser feita diretamente no GitHub através de um arquivo README ou em um documento PDF
    • Deve conter obrigatoriamente o passo a passo de como rodar o código e obter a saída
    • Deve descrever a ideia da solução e os principais métodos utilizados na mesma

 

– Forma de entrega

 

– Premiação

  • Certificação para a equipe vencedora (1º lugar)