Perceptron Mk1

O que é o Perceptron Mk1?

Perceptron Mk1 é um modelo fechado da Perceptron, desenvolvido para compreensão de vídeo e raciocínio incorporado. Destina-se a analisar imagens e vídeo, raciocinar ao longo do tempo e produzir saídas estruturadas como timecodes, clips, pontos, caixas, polígonos, tracks e texto.

O modelo é posicionado para fluxos de trabalho de IA física e robótica, em que pode processar fluxos visuais contínuos em vez de frames isolados. De acordo com a fonte, ele iguala o desempenho de ponta em tarefas de imagem, vídeo e raciocínio incorporado, ao mesmo tempo que tem um preço inferior ao de algumas ofertas de ponta comparáveis.

Principais funcionalidades

• Raciocínio temporal sobre vídeo: o Mk1 pode examinar eventos ao longo do tempo e devolver desdobramentos estruturados do que aconteceu e quando, o que é útil para tarefas sequenciais como análise desportiva ou vídeos de cozinha.
• Grounding dinâmico de vídeo: analisa vídeo até 2 FPS dentro de uma janela de contexto de 32K tokens e pode devolver timecodes acionáveis para momentos específicos.
• Correspondência multimodal em contexto: os utilizadores podem fornecer uma imagem ou vídeo de referência e pedir ao modelo para encontrar instâncias correspondentes em novas imagens e vídeos, sem fine-tuning nem dados de treino rotulados.
• Comparação entre media: dados dois conteúdos multimédia, o Mk1 pode produzir uma comparação lado a lado, apoiando fluxos de revisão e inspeção.
• Raciocínio avançado em imagem: o modelo suporta apontar, contar, OCR, leitura de instrumentos e extração estruturada de documentos, incluindo layouts complexos, tabelas, escrita manual e conteúdo multilingue.
• Saídas espaciais estruturadas: o Mk1 pode emitir primitivas de ponto, caixa, polígono, track e clip como saídas de primeira classe, facilitando a integração dos resultados em sistemas de robótica ou visão a jusante.

Como usar o Perceptron Mk1

Um fluxo de trabalho típico começa com o envio de uma imagem, um vídeo ou múltiplas entradas multimédia, juntamente com um prompt que especifica a tarefa. Os utilizadores podem pedir localização de objetos, contagem, OCR, deteção de eventos, extração de timecodes, comparação ou conversão estruturada de documentos.

Para uso em robótica e pipelines visuais, o modelo pode ser usado para etiquetar gravações de teleoperação, identificar limites de tarefas, detetar sucesso ou falha e gerar anotações que os sistemas a jusante podem consumir diretamente.

Casos de uso

• Revisão de vídeo e extração de eventos: analise gravações longas para identificar quando ocorre uma ação específica, como tentativas de agarrar, eventos de reposição ou outros marcos da tarefa.
• Anotação de dados para robótica: transforme gravações de teleoperação em rótulos supervisionados, anotações condicionadas pela ação, pontuações de qualidade ou limites de subtarefas para treinar modelos a jusante.
• Pesquisa visual e acompanhamento de ativos: use uma imagem ou vídeo de referência para localizar itens correspondentes em novos conjuntos de imagens ou streams de vídeo.
• Inspeção industrial e tarefas de leitura: leia manómetros, relógios, painéis, painéis de controlo antigos e texto confuso em ambientes operacionais.
• Estruturação de documentos: converta documentos complexos em HTML, JSON ou Markdown, preservando layout, tabelas, hierarquia e anotações manuscritas.

FAQ

O Mk1 requer fine-tuning para tarefas de correspondência ou deteção?
Não. A fonte diz que ele pode fazer correspondência em contexto a partir de uma única imagem ou vídeo de referência, sem fine-tuning, dataset rotulado ou pipeline de treino.

Que tipos de saídas ele pode produzir?
Pode devolver texto, bem como saídas espaciais estruturadas como pontos, caixas, polígonos, tracks, clips e timecodes, dependendo da tarefa.

O Mk1 é apenas para vídeo?
Não. A fonte descreve-o como forte em raciocínio em imagem, além de vídeo e raciocínio incorporado.

Consegue lidar com vídeo longo?
Suporta análise dinâmica a até 2 FPS dentro de uma janela de contexto de 32K tokens, o que indica suporte para análise de vídeo de formato longo, embora a fonte não indique uma duração máxima rígida do vídeo.

Alternativas

• Modelos multimodais de fronteira gerais: A fonte compara o Mk1 com modelos da Google, OpenAI, Anthropic e Alibaba que também lidam com raciocínio em imagem e vídeo, embora os formatos de saída e os preços possam diferir.
• Modelos visão-linguagem de código aberto: Podem ser preferíveis quando as equipas querem pesos abertos ou controlo local, mas a fonte posiciona o Mk1 como uma opção de código fechado focada em desempenho e saídas estruturadas.
• Pipelines de perceção para robótica com componentes separados: Algumas equipas podem usar modelos separados para deteção, OCR, tracking e anotação, enquanto o Mk1 procura combinar estas etapas numa única chamada ao modelo.
• Ferramentas tradicionais de OCR/extração de documentos: Podem funcionar bem para documentos com muito texto, mas o Mk1 é descrito como capaz de lidar com layouts mais complexos, escrita manual e raciocínio multimodal no mesmo fluxo de trabalho.