Avanço na tecnologia de geração de vídeo multimodal, quais oportunidades a IA Web3 tem?

Além da "submersão" da localização de IA, a maior mudança no setor de IA recentemente é o avanço tecnológico na geração de vídeo multimodal, que evoluiu de suportar a geração de vídeo puramente baseada em texto para uma tecnologia de geração totalmente integrada que combina texto, imagens e áudio.

Aqui estão alguns exemplos de avanços tecnológicos para todos experimentarem:

1) A ByteDance torna o framework EX-4D de código aberto: Vídeos monoculares se transformam instantaneamente em conteúdo 4D de ponto de vista livre, com uma taxa de aceitação do usuário de 70,7%. Isso significa que, para um vídeo comum, a IA pode gerar automaticamente efeitos de visualização de qualquer ângulo, o que anteriormente exigia uma equipe profissional de modelagem 3D para ser alcançado.

2) Plataforma Baidu "Hui Xiang": gera um vídeo de 10 segundos a partir de uma imagem, alegando alcançar qualidade de "nível de filme". No entanto, se isso é exagerado pelo marketing, permanece a ser visto até a atualização da versão Pro em agosto.

3) Google DeepMind Veo: Pode alcançar a geração de vídeo em 4K + sincronização de som ambiental. O principal destaque tecnológico é a conquista da capacidade de “sincronização”, uma vez que anteriormente era uma junção de dois sistemas para vídeo e áudio. Para alcançar uma correspondência verdadeira em nível semântico, desafios significativos devem ser superados, como em cenas complexas, onde a sincronização das ações de caminhada no vídeo e os correspondentes sons de passos devem ser abordados.

4) Conteúdo do Douyin: 8 bilhões de parâmetros, 2,3 segundos para gerar vídeo em 1080p, custo de 3,67 yuan/5 segundos. Para ser honesto, esse controle de custo é bastante bom, mas atualmente, considerando a qualidade de geração, ainda fica aquém ao encontrar cenas complexas.

Por que se diz que esses casos têm um valor e significado significativos em termos de avanços na qualidade do vídeo, custos de produção e cenários de aplicação?

1. Em termos de avanços no valor tecnológico, a complexidade de gerar um vídeo multimodal é frequentemente exponencial. Uma imagem de um único quadro consiste em cerca de 10^6 pixels, e um vídeo deve garantir coerência temporal (pelo menos 100 quadros), junto com sincronização de áudio (10^4 pontos de amostra por segundo), enquanto também considera a consistência espacial em 3D.

Em resumo, a complexidade técnica não é baixa. Originalmente, era um supermodelo que enfrentava todas as tarefas de frente. Dizem que a Sora queimou dezenas de milhares de H100s para alcançar capacidades de geração de vídeo. Agora, isso pode ser realizado por meio de decomposição modular e trabalho colaborativo de grandes modelos. Por exemplo, o EX-4D da Byte realmente divide tarefas complexas em: módulo de estimativa de profundidade, módulo de transformação de ponto de vista, módulo de interpolação temporal, módulo de otimização de renderização, e assim por diante. Cada módulo se especializa em uma tarefa e, em seguida, coordena-se através de um mecanismo.

2. Em termos de redução de custos: na verdade, envolve a otimização da própria arquitetura de raciocínio, incluindo uma estratégia de geração em camadas, onde um esqueleto de baixa resolução é gerado primeiro e, em seguida, o conteúdo de imagem de alta resolução é aprimorado; um mecanismo de reutilização em cache, que é a reutilização de cenas semelhantes; e alocação dinâmica de recursos, que na verdade ajusta a profundidade do modelo com base na complexidade do conteúdo específico.

Com este conjunto de otimizações, alcançaremos um resultado de 3,67 yuan a cada 5 segundos para Douyin ContentV.

3. Em termos de impacto na aplicação, a produção de vídeo tradicional é um jogo intensivo em capital: equipamentos, locais, atores, pós-produção; é normal que um comercial de 30 segundos custe centenas de milhares. Agora, a IA comprime todo esse processo a um comando mais alguns minutos de espera, e pode alcançar perspectivas e efeitos especiais que são difíceis de obter na filmagem tradicional.

Isso transforma as barreiras técnicas e financeiras originais da produção de vídeo em criatividade e estética, o que pode promover uma reordenação de toda a economia dos criadores.

Surge a questão, qual é a relação entre as mudanças no lado da demanda da tecnologia de IA web2 e a IA web3?

1. Primeiro, a mudança na estrutura da demanda por poder de computação. Anteriormente, na IA, a competição era baseada na escala; quem tinha mais clusters de GPU homogêneos venceria. No entanto, a demanda por geração de vídeo multimodal requer uma combinação diversificada de poder de computação, o que pode criar uma necessidade por poder de computação ocioso distribuído, bem como vários modelos de ajuste fino distribuídos, algoritmos e plataformas de inferência.

2. Em segundo lugar, a demanda por rotulagem de dados também irá se fortalecer. Gerar um vídeo de qualidade profissional requer: descrições precisas de cenas, imagens de referência, estilos de áudio, trajetórias de movimento da câmera, condições de iluminação, etc., que se tornarão novos requisitos profissionais de rotulagem de dados. Usar métodos de incentivo Web3 pode encorajar fotógrafos, engenheiros de som, artistas 3D e outros a fornecer elementos de dados profissionais, aprimorando a capacidade de geração de vídeo de IA com rotulagem de dados vertical especializada.

3. Por fim, vale a pena mencionar que quando a IA gradualmente passar de alocação de recursos centralizada em grande escala para colaboração modular, ela mesma representará uma nova demanda por plataformas descentralizadas. Naquela época, poder computacional, dados, modelos, incentivos, etc. formarão conjuntamente um volante de auto-reforço, que por sua vez impulsionará a integração de cenários web3AI e web2AI.

Declaração:

1. Este artigo é reproduzido de [tmel0211tmel0211]，O copyright pertence ao autor original [tmel0211] Se você tiver alguma objeção à reimpressão, entre em contato Equipe Gate LearnA equipe irá processá-lo o mais rápido possível de acordo com os procedimentos relevantes.
2. Aviso: As opiniões e visões expressas neste artigo são exclusivamente do autor e não constituem qualquer aconselhamento de investimento.
3. Outras versões do artigo em outros idiomas são traduzidas pela equipe do Gate Learn, a menos que mencionado de outra forma.GateSob nenhuma circunstância, os artigos traduzidos devem ser copiados, disseminados ou plagiados.