Num mundo cada vez mais baseado em vídeo, as ferramentas de criação e edição de vídeo estão se tornando mais importantes. Porém, o processo de edição de vídeo ainda é complexo e demorado, principalmente para iniciantes.
À medida que a velocidade do desenvolvimento da IA avança para um ponto além da compreensão humana, o Sora da OpenAI para converter prompts de texto em vídeo é apenas a mais recente tecnologia de IA que está chocando o mundo ao perceber que as coisas estão acontecendo mais cedo do que se esperava.
OpenAI Sora é uma tecnologia inovadora que visa converter e editar vídeos de forma eficiente e inovadora. Este modelo levanta questões sobre a extensão do seu impacto na indústria do vídeo e contribuirá para mudar para sempre a forma como o vídeo é produzido e editado? Neste artigo, exploraremos o conceito do OpenAI Sora e seus potenciais recursos, analisando como ele impactará a indústria de vídeo e o que essa inovação pode significar para usuários e criadores. Verificar Melhores geradores de vídeo AI (texto para vídeo).
Links Rápidos
O que é OpenAI Sora?
Como outros modelos generativos de IA, como DALL-E e MidJourney, Sora recebe instruções de texto suas e as transforma em um meio visual. No entanto, ao contrário dos geradores de imagem alimentados por IA mencionados acima, Sora cria um vídeo cheio de movimento, diferentes ângulos de câmera, direção e tudo o mais que você esperaria de um vídeo produzido tradicionalmente.
Olhando os exemplos em Site Sora, os resultados muitas vezes são indistinguíveis de vídeos reais produzidos profissionalmente. Tudo, desde filmagens de drones de última geração até produções cinematográficas multimilionárias com atores, criadas por inteligência artificial, efeitos especiais e obras.
Claro, Sora não é a primeira tecnologia a fazer isso. De longe, o líder mais visível neste espaço tem sido RunwayML, que fornece seus serviços ao público mediante o pagamento de uma taxa. No entanto, mesmo nas melhores circunstâncias, os vídeos da Runway estão mais próximos das primeiras gerações do que Imagens estáticas do MidJourney. Não há estabilização de imagem, a física não faz sentido e, enquanto escrevo este artigo, o clipe mais longo tem cerca de 16 segundos.
Em contraste, o melhor valor que Sora tem a oferecer é estabilidade completa, com física que parece correta (pelo menos para nossos cérebros), e os clipes podem ter até um minuto de duração. Os clipes são totalmente livres de áudio, mas já existem outros sistemas de IA que podem Gerar música Efeitos sonoros e fala. Portanto, não tenho dúvidas de que essas ferramentas podem ser integradas ao fluxo de trabalho de Sora ou, na pior das hipóteses, à narração tradicional e ao trabalho de foley. Verificar As ferramentas de IA mais interessantes e interessantes para conferir.
Não se pode exagerar o grande salto que Sora representa em relação ao pesadelo de vídeo de IA de apenas um ano antes da demonstração de Sora. Como o vídeo de IA extremamente perturbador de Will Smith comendo espaguete. Acho que isso é um choque maior para o sistema do que quando os geradores de imagens de IA deixaram de ser uma piada e passaram a causar pavor existencial nos corações dos artistas visuais.
Sora provavelmente impactará toda a indústria de vídeo, desde criadores de uma única cena até projetos de grande orçamento da Disney e da Marvel. Nada sobreviverá a isto. Acho que isso é especialmente verdade porque Sora não precisa criar coisas do zero, mas pode trabalhar com materiais existentes, como animar uma imagem estática que você forneceu. Este poderia ser o verdadeiro começo da produção de filmes de IA.
Como funciona Sora?
Iremos nos aprofundar no personagem de Sora o máximo que pudermos, mas não é possível entrar em tantos detalhes. Primeiro, a OpenAI ironicamente não é aberta sobre o funcionamento interno da sua tecnologia. É proprietário, então o molho secreto que diferencia Sora da concorrência é desconhecido para nós em seus mínimos detalhes. Em segundo lugar, não sou um cientista da computação, e você provavelmente não é um cientista da computação, então só podemos entender como essa tecnologia funciona em termos gerais.
A boa notícia é que existe um excelente passo a passo do Sora (assinatura protegida) por Mike jovem No Médio, com base em Relatório técnico da OpenAI Que foi detalhado para que nós, pessoas comuns, possamos entendê-lo. Embora valha a pena ler ambos os documentos, podemos extrair aqui os fatos mais importantes.
Sora se baseia nas lições que a OpenAI aprendeu ao criar modelos como ChatGPT ou DALL-E. A OpenAI inventou como treinar Sora em vídeos de amostra, segmentando esses vídeos em “patches” que são semelhantes aos “tokens” usados pelo modelo de treinamento ChatGPT. Como esses tokens são todos do mesmo tamanho, coisas como duração do clipe, proporção e tamanho da resolução não importam para Sora.
Sora usa a mesma abordagem ampla de transformador que alimenta o GPT combinada com o método de propagação usado pelos geradores de imagens de IA. Durante o treinamento, ele analisa tokens de patch parcialmente propagados de um vídeo e tenta prever como seria um token sem ruído. Ao comparar isso com a verdade básica, o modelo aprende a “linguagem” do vídeo. É por isso que os exemplos de Site Sora Parece muito original.
Além dessa habilidade incrível, Sora também possui anotações integradas muito detalhadas para os quadros de vídeo nos quais foi treinado, o que é uma grande parte da razão pela qual ele é capaz de editar os vídeos que cria com base em instruções de texto.
A capacidade de Sora de simular com precisão a física em vídeos parece ser um recurso emergente, que simplesmente resulta de seu treinamento em milhões de vídeos contendo movimentos baseados na física do mundo real. Sora possui excelente estabilidade de objeto, de modo que quando o objeto sai do quadro ou é obstruído por alguma outra coisa dentro do quadro, ele permanece lá e retorna sem qualquer perturbação.
No entanto, às vezes ainda existem problemas quando os objetos no vídeo interagem com causalidade e com a criação automática de objetos. Além disso, um tanto engraçado, Sora parece confundir esquerda e direita de vez em quando. No entanto, o que foi demonstrado até agora não só é realmente utilizável, como também está certamente na vanguarda da tecnologia.
Quando Sora está acessível?
Então, estamos todos muito entusiasmados em testar o Sora, e você pode garantir que irei usá-lo e escrever sobre o quão boa é essa tecnologia quando ela não nos mostra resultados precisos, mas quando puder, irá isso aconteceu?
No momento em que este artigo foi escrito, não estava claro exatamente quanto tempo levará até que Sora se torne disponível ao público em geral, ou quanto custará para acessá-lo. A OpenAI disse que o modelo está nas mãos do “Red Team”, um grupo de pessoas cujo trabalho é tentar fazer Sora fazer todas as coisas más que ele não deveria fazer, e então ajudar a colocar barreiras contra esse tipo. A coisa acontece quando os clientes reais podem usá-lo. Isto inclui a possibilidade de criação de informações enganosas, criação de material ofensivo ou ofensivo e muitas outras violações que se possam imaginar.
No momento em que este livro foi escrito, ele também estava nas mãos de criadores de conteúdo selecionados, o que acredito ser para fins de teste e para obter análises e aprovações de terceiros enquanto estamos no caminho para seu lançamento final.
O resultado final é que não sabemos quando ele estará disponível, da mesma forma que você pode pagar para usar o DALL-E 3 e, na verdade, mesmo o OpenAI ainda não tem uma data exata. Isto ocorre simplesmente porque, se estiver nas mãos de testadores de segurança, eles poderão descobrir problemas que demoram mais do que o esperado para serem corrigidos, o que atrasará a divulgação pública.
O fato de a OpenAI se sentir pronta para exibir Sora e até mesmo fazer algumas reivindicações públicas coordenadas por meio da detecção de segurança, ninguém pode dizer com certeza. Acho que estamos falando de meses, não de anos, mas não espere isso na próxima semana. Agora você pode visualizar Ferramentas éticas de IA para artistas e criadores.
