Modelo de IA Melhora Vídeos de Baixa Qualidade para Alta Resolução em Tempo Real

A Topaz Labs afirma que o seu modelo de difusão para melhorar as filmagens proporciona “a maior diferença de qualidade visual jamais alcançada em vídeo”. Topaz Labs

A Topaz Labs, conhecida pelo seu avançado software de melhoramento de fotografia e vídeo, revelou um novo modelo de IA que restaura automaticamente filmagens antigas, quer sejam de vídeos caseiros pessoais ou de conteúdos de arquivo envelhecidos armazenados em suportes tradicionais.

Em vários exemplos, a IA melhora significativamente a qualidade do vídeo, melhorando os detalhes e reduzindo o ruído e os artefactos. Este é o primeiro modelo de difusão concebido especificamente para o restauro de vídeo, não necessitando de ajustes manuais para refinar a filmagem.

Um modelo de IA potente

A empresa afirma que o Project Starlight, o modelo recentemente desenvolvido, foi construído de raiz com uma arquitetura única, com mais de 6 mil milhões de parâmetros e optimizado para o mais recente hardware NVIDIA. Para comparação, o GPT-4o da OpenAI – um modelo multimodal avançado capaz de processar texto, áudio, imagens e vídeo, lançado em maio de 2024 – funciona com 8 mil milhões de parâmetros.

Detalhe e consistência temporal incomparáveis

A Topaz Labs afirma que este modelo “restaura os detalhes com precisão” e oferece “uma recuperação de detalhes excecional com uma consistência temporal inigualável”. De acordo com a empresa, a principal caraterística deste novo modelo é a sua capacidade de melhorar vários fotogramas em simultâneo, garantindo um restauro de alta qualidade sem artefactos de movimento ou inconsistências entre fotogramas e objectos.

Os modelos de difusão funcionam através da análise de imagens de alta qualidade, adicionando progressivamente ruído para compreender a sua degradação. Também invertem este processo, começando com uma imagem com ruído e prevendo o seu aspeto original antes da degradação.

O Project Starlight irá automaticamente eliminar o ruído, desfocar, aumentar a escala e anti-alias de vídeos a pedido, tornando o restauro de alta qualidade acessível mesmo a não especialistas.

Com mais de duas décadas no sector do software de imagem, a Topaz Labs desenvolveu ferramentas populares para o melhoramento de fotografias e vídeos. Em 2020, um YouTuber utilizou o Gigapixel AI da empresa e outro software para restaurar um filme mudo de meados da década de 1890, apresentando-o num impressionante 4K a 60 fps.

A restauração de vídeos antigos requer várias etapas, incluindo upscaling, correção e gradação de cores, interpolação de quadros, reparo de danos e aprimoramento de áudio. Embora existam ferramentas com IA para cada tarefa, a supervisão humana continua a ser essencial para obter os melhores resultados.

Concorrência na restauração de vídeo com IA

Notavelmente, o concorrente da Topaz Labs, Tensorpix, também fornece uma ferramenta de restauração de vídeo baseada em aprendizado de máquina com o objetivo de melhorar as filmagens legadas. No entanto, a sua documentação não indica a utilização de modelos de difusão, que pertencem a uma categoria distinta de técnicas de aprendizagem automática.

Nos exemplos fornecidos, o Project Starlight tem um desempenho geral impressionante. Os clipes com um astronauta e um papagaio vermelho destacam-se como particularmente bem restaurados. No entanto, a filmagem do combate de boxe fica aquém em termos de fidelidade, com alguns fotogramas a aparecerem esborratados, assemelhando-se aos resultados defeituosos observados em vídeos anteriores gerados por IA.

A Topaz Labs afirma que os utilizadores podem restaurar vídeos até 10 segundos de duração gratuitamente, enquanto os clipes até 5 minutos serão limitados à resolução de 1080p e requerem créditos. Uma versão empresarial oferecerá suporte para vídeos mais longos e saídas de alta resolução.

Não é claro se o Project Starlight será executado localmente ou integrado nas aplicações existentes da Topaz Labs.

Para acesso antecipado, os utilizadores interessados podem participar nas publicações da empresa no X, Threads ou YouTube.

Leia o Artigo Original: New Atlas

Leia mais: Campos Magnéticos Influenciam Ondas Sonoras em Descoberta Revolucionária