Siirry sisältöön
← Kaikki artikkelit

Runway Gen-2 -testit: sademetsä 4 sekunnin klipeissä (2023)

Lab-muistiinpano · Testattu heinäkuu 2023 · · 2 min lukuaika

Tekoälyllä tehty jaguaari seisoo turkoosissa vedessä vihreässä sademetsässä. Kuva on yhdestä Runway Gen-2 -testiklipistämme.

Heinäkuun lopussa ja elokuun alussa 2023 testasimme Runway Gen-2:ta, yhtä ensimmäisistä työkaluista, jotka pystyivät muuttamaan kuvan tai lauseen liikkuvaksi klipiksi. Julkaisemme testin, koska se näyttää selvästi, mistä tekoälyvideon osaaminen sai alkunsa.

Yksi maailma, 32 klippiä

Voisiko tekoälytyökalu antaa meille käyttökelpoisia otoksia yhteen yhtenäiseen tarinaan? Valitsimme yhden maailman, sademetsän, ja yritimme rakentaa sen sisälle otosten sarjan:

  • yleiskuvat: jokilaakso ylhäältä, myrskypilviä veden yllä, Maa avaruudesta
  • eläimet: jaguaari matalassa vedessä, perhosia valonsäteissä
  • hahmot: lehtien peittämä metsähenki, tutkimusmatkailijoiden ryhmä, mies kasvomaalauksella ja päänauhalla
  • yksityiskohdat: silmän lähikuva, kajakki liukumassa alas viidakkojokea

Teimme 32 klippiä. Jokainen klippi on 4 sekuntia pitkä ja kooltaan 896 × 512 pikseliä. Useasta otoksesta on kaksi–neljä versiota, koska generoimme saman idean yhä uudelleen, kunnes saimme yhden käyttökelpoisen oton.

Ilme on vahva. Klipeissä on rikkaat värit, pehmeä valo ja elokuvallinen tunnelma, mikä oli tekoälylle uutta vuonna 2023.

Missä kasvot karkaavat

Liike on heikko kohta. Useimmissa klipeissä kamera työntyy hitaasti eteenpäin tai ajelehtii, ja kohde liikkuu hyvin vähän. Kun kohde liikkuu, se muuttuu. Alla olevassa tutkimusmatkailijaklipissä ensimmäisen ruudun nainen ja viimeisen ruudun nainen eivät ole aivan sama ihminen: kasvot, hiukset ja hänen takanaan olevat ihmiset muuttuvat kaikki 4 sekunnin aikana.

Tutkimusmatkailijaklipin ensimmäinen ruutu: vaaleatukkainen nuori nainen metsässä, hänen vasemmalla puolellaan mies ja takanaan nainen
Ensimmäinen ruutu, 0 sekuntia: vaaleatukkainen nuori nainen seisoo metsässä kahden seuralaisen kanssa.
Saman klipin viimeinen ruutu: hänen kasvonsa ovat erilaiset ja epätarkat, ja hänen takanaan seisoo punatakkinen henkilö
Viimeinen ruutu, 4 sekuntia: hänen kasvonsa ja takana olevat ihmiset ovat muuttuneet. Ruudut ovat klipin omassa koossa, 896 × 512 pikseliä.

Mitä opimme

  1. Lyhyet klipit, monta ottoa. Kun klippi kestää 4 sekuntia, tarina rakennetaan monesta leikkauksesta. Suunnittele ensin leikkaus ja generoi sitten otokset sen mukaan.
  2. Kasvot karkaavat. Saman hahmon pitäminen samana otoksesta toiseen oli vaikeinta. Vuonna 2023 ainoa keino oli leikata pois ennen kuin muutos tuli näkyviin.
  3. Tunnelma on helppoa, toiminta vaikeaa. Maisemat, sää ja hitaat kameraliikkeet onnistuivat hyvin. Ihminen tai eläin, joka tekee jotain tiettyä, ei onnistunut.
  4. Nimeä tiedostosi. Runway tallensi jokaisen klipin numerolla, ei kehotteella. Nyt emme voi sanoa, mitkä sanat tekivät minkäkin klipin, joten emme voi ajaa samaa testiä uudelleen uudemmalla työkalulla.

Mikä pätee yhä

Nykyiset videomallit pitävät kasvot samoina ja seuraavat toimintaa selvästi paremmin kuin tämä. Työtapa ei silti ole muuttunut: päätä ensin tarina ja leikkaus, generoi jokaisesta otoksesta useita ottoja, valitse paras ja säilytä kehote jokaisen tiedoston mukana. Tätä opetamme työpajoissamme, ja se on sama työtapa, jota elokuvaryhmä käyttää.

Testistä, jossa suunnittelimme ja dokumentoimme kaiken, voit lukea Runway Gen:48 -lyhytelokuvastamme.

Lisää luettavaa

Ota yhteyttä