Videli ste zábery z Runway? Generovanie videí pomocou AI urobilo ďalší krok vpred

Fanúšikovia umelej inteligencie (AI) opäť upriamili pozornosť na AI nástroje generujúce videá. Do rúk sa im totiž dostal doposiaľ zrejme najpokročilejší nástroj.

AI nástroje pre generovanie videí upútali pozornosť najmä vo februári, kedy spoločnosť OpenAI (ktorá stojí aj za ChatGPT) predstavila nástroj Sora. Do oného okamihu sme síce sledovali pokroky v generovaní videí z textových promptov (Runway, Pika Labs a podobne), no až Sora načrtla skutočnú budúcnosť AI videí tým, že prezentovala zábery naozaj pripomínajúce realitu.

Lenže od úvodu roka, kedy sa objavila Sora, uplynulo už takmer 5 ďalších mesiacov, a jej model je stále dostupný len pre vybranú skupinu ľudí, kde sa radia predovšetkým profesionáli z filmovej brandže či odborníci na kybernetickú bezpečnosť, ktorí posudzujú, či je vôbec bezpečné a etické sprístupniť tento nástroj hocikomu. Zjednodušene povedané “bežný smrteľník“ stále nemá možnosť Sora reálne otestovať.

Nástroj Sora tak medzitým má šancu dobiehať konkurencia, ktorá ju minulý týždeň v jednom kľúčovom bode naozaj predbehla. Nástroj Runway novej generácie s označením Gen-3 Alpha, ktorý tiež dokáže generovať AI videá blízke realite, sa totiž stal dostupný každému. Teda za predpokladu, že si človek za službu Standard 144 dolárov na rok ($12/mesiac) alebo bude platiť mesačné členské 15 dolárov.

Výsledky potešili

Runway predstavil model Gen3-Alpha už pred troma týždňami, no možnosť testovať ho v uzavretom prostredí získali sprvoti len influenceri, či rôzni špecialisti na tvorbu video obsahu.

Už od oného okamihu začali sociálne siete zaplavovať mnohé zaujímavé AI videá tretej generácie, ktoré sa stali rýchlo virálnymi obzvlášť X-ku. Niekoľko tých najlepších prikladáme v nasledujúcich „tweetoch“.

Tweet: Oficiálne video prezentujúce novú generáciu

Gen-3 Alpha Text to Video is now available to everyone.

A new frontier for high-fidelity, fast and controllable video generation.

Try it now at https://t.co/ekldoIshdw pic.twitter.com/miNbHdK5hX

— Runway (@runwayml) July 1, 2024

Tweet: Jedno z najlepších videí v Runway. Akoby spojili sily Hans Zimmer a Christopher Nolan

Najepickejšie #AI video, aké som kedy videl. Akoby spojili sily Christopher Nolan a Hans Zimmer. Generované v Runway v3 (čoskoro pre všetkých), hudba generovaná pomocou AI. pic.twitter.com/oh8VBBp5eE

Autor je @iamneubert
.
Video som chcel dať pôvodne do YouTube videá so…

— Zaujalo ma / Martin (@ZaujaloMa) June 21, 2024

Tweet: Runway zvláda (občasne) aj generovanie textu, tu je príklad s textom PROMPTS

Runway Gen-3 is now live for ALL users! 🥳

13 amazing Gen-3 prompts you need to try:

1. Prompt: intro animation, amazing setting, "PROMPTS" pic.twitter.com/LugRSa2Jxm

— Proper (@ProperPrompter) July 1, 2024

Tweet: Výsledok po použití promptov „Riding a Bike“ a „Playing drum underwater“.

6. Playing drum underwaterpic.twitter.com/i9Yshpa76X

— Madni Aghadi (@hey_madni) July 2, 2024

V čom je Runway skvelý a v čom zlyháva?

Runway vie veľmi dobre generovať videá z textových promptov. Z tohto pohľadu spomedzi nástrojov, ktoré sú k dispozícii aj verejnosti, dominuje.

Pochopiteľne však nie je bez chýb. Problémy má (podobne ako mnohé nástroje na generovanie obrázkov, ako je napríklad aj Midjourney) s generovaním končatín a prstov na nich. Čiže v momentoch, kedy sa vo videách objavujú ruky, častokrát dochádza k jednoznačným deformáciám.

Tweet: Runway, keď sa do toho zapoja aj ruky

Whatever you do, do it with love🍕

Prompt: An Italian chef in the kitchen, spinning a pizza in his hands

Runway Gen 3 Alpha pic.twitter.com/GctvoydjaZ

— Gizem Akdag (@gizakdag) July 8, 2024

Runway tiež neohúril, pokiaľ ide o generovanie videí z obrázkov. Čiže keď používateľ na rozdiel od čistého textového promptu (zadania) uploadne obrázok, ktorý chce rozhýbať, a k nemu ešte navyše doplní textovú inštrukciu (prompt). V tomto smere je zdá sa o čosi dokonalejší nástroj Dream Machine od Luma, ktorý je k dispozícii zatiaľ úplne všetkým a dokonca zadarmo.

Vo finále musíme zhodnotiť, že Runway je zatiaľ to najlepšie na generovanie videí z textových promptov, spomedzi tých, ktoré nemajú obmedzený pristup.

Dobrou správou zároveň je, že príchod tohto nástroja vytvára ďalší tlak na OpenAI a ich Sora. Aj v OpenAI určite cítia tlak a uvedomujú si, že konkurencia sa približuje.

Okrem Sora sú zatiaľ verejnosti neprístupne aj ďalšie podobné nástroje ako sú Kling (z Číny) či Veo od Google Deepmind. Tie podľa toho, čo sme zatiaľ videli, sú tiež kvalitou veľmi blízke k Sora. Napríklad v poslednom tweete (pod textom) môžete vidieť, ako Kling „dooupravil“ slávnu scénu s Batmanom a Jokerom z filmu The Dark Knight. Máme sa teda na čo tešiť.