Google Meluncurkan VideoPoet, Ubah Foto, Suara, Teks Menjadi Video

Google meluncurkan produk model bahasa besar alias large language model (LLM) berbasis teknologi kecerdasan buatan atau artificial intelligence (AI) baru bernama VideoPoet. Teknologi ini mampu membuat video dari foto, teks hingga audio.

“VideoPoet mampu melakukan berbagai macam tugas pembuatan video, termasuk teks-ke-video, gambar-ke-video, stilisasi video, video inpainting dan outpainting, serta video-ke-audio,” kata Google dalam laman resminya, dikutip Kamis (4/1).

Google membuat VideoPoet karena salah satu hambatan dalam pembuatan video saat ini, yakni kemampuan menghasilkan gerakan besar yang koheren.

VideoPoet memiliki arsitektur transformator khusus decoder yang bersifat zero-shot. Alhasil, AI dibalik platform ini bisa membuat video, meski belum pernah dilatih untuk jenis konten yang diminta pengguna. 

Platform itu juga dapat digunakan untuk mengedit video hingga mengatur gerakan kamera. Misalnya, memotong sebagian dari bingkai video dan meminta AI mengisi itu dengan sesuatu.

Google berinvestasi di perusahaan rintisan seperti Runway yang mengerjakan pembuatan video AI. Namun VideoPoet merupakan hasil dari upaya internal raksasa teknologi ini. 

Makalah teknis VideoPoet melibatkan 31 peneliti dari Google Research. Para peneliti Google menjelaskan, VideoPoet berbeda dengan AI generatif teks-ke-gambar dan teks-ke-video konvensional. 

VideoPoet Google menggunakan model bahasa besar yang didasarkan pada teknologi seperti ChatGPT dan Google Bard. LLM ini dapat memprediksi bagaimana kata-kata saling bersesuaian untuk membentuk kalimat. 

VideoPoet membawa konsep tersebut selangkah lebih maju, karena mampu memprediksi potongan video dan audio, bukan hanya teks.

Saat ini, Google VideoPoet belum tersedia untuk umum. 

Google memamerkan VideoPoet pada Mei 2023. Namun platform ini masih dalam tahap pengembangan dan belum dapat diakses untuk penggunaan umum.