Siirry sisältöön
← Kaikki artikkelit

ComfyUI ja AnimateDiff: maalaus liikkeelle 2024

Lab-muistiinpano · Testattu helmikuu 2024 · · 2 min lukuaika

Maalattu kohtaus, jossa hattupäisiä nuoria nojaa vaaleaa seinää vasten ison simpukankuoren edessä. Kuva on 8 sekunnin AnimateDiff-klipin ensimmäinen ruutu.

Testasimme 19. helmikuuta 2024 ComfyUI:ta ja AnimateDiffiä. ComfyUI on ilmainen työkalu, jossa kuvia ja videota tehdään kytkemällä vaiheita yhteen kaavioksi. AnimateDiff tuo liikkeen kuvamalliin. Tämä kirjoitus kertoo yhdestä testistä.

Resepti

Saako still-maalauksen liikkeelle pelkillä avoimen lähdekoodin työkaluilla? Lähtökuvana oli maalaus seinää vasten nojaavista nuorista, ison simpukankuoren ja monien hattujen kanssa. Työnkulku on tallennettu videotiedoston sisään. Se koostuu näistä osista:

  1. DreamShaper 8 kuvamallina.
  2. AnimateDiff-liikemalli (mm_sd_v15_v2) tuomaan liikkeen.
  3. IP-Adapter Plus, jotta maalaus ohjaa lopputulosta.
  4. RIFE47-ruutujen interpolointi kolme kertaa. Se lisää ruutujen väliin uusia ruutuja, jolloin liike näyttää sujuvammalta.

Kehote kuvasi "young hipsters" eli nuoria hipstereitä filmille otetussa valokuvassa.

Mikä liikkui ja mikä karkasi

Tuloksena on yksi 7,9 sekunnin klippi, 768 × 480 pikseliä, 24 ruutua sekunnissa.

Kamera ei liiku. Seinä, simpukankuori ja kasvit pysyvät paikoillaan, ja kaikki liike on ihmisissä. Ruuduissa näkyy neljä tai viisi ihmistä. Raidallinen paita ja ruskea takki pysyvät samoina. Oikealla olevat leveät kuviolliset housut muuttuvat pitkäksi hameeksi neljänteen sekuntiin mennessä. Ihmiset heiluvat, siirtävät painoaan ja vaihtavat asentoa koko ajan. Viimeinen asento on lähellä ensimmäistä, joten klipin voi toistaa silmukkana.

Yksityiskohdat ovat epävakaampia. Vaalea, naamion näköinen hahmo ilmestyy vasemmassa yläkulmassa olevan henkilön viereen 2. ja 3. sekunnilla. Kuoren alle ilmestyy pinnoilla varustettu pyörä sekunneilla 3–5. Kengät ja kädet muuttavat muotoaan ruudusta toiseen.

Klippi 0 sekunnin kohdalla: useita hattupäisiä nuoria nojaa vaaleaa seinää vasten ison simpukankuoren edessä, ja oikealla oleva henkilö on pukeutunut leveisiin kuviollisiin housuihin
0 sekuntia: oikealla oleva henkilö käyttää leveitä kuviollisia housuja.
Klippi 4 sekunnin kohdalla: raidallinen paita ja ruskea takki ovat ennallaan, mutta oikealla olevat housut ovat muuttuneet hameeksi, ja asento vasemmassa yläkulmassa, kengät ja kuoren alla olevat muodot ovat muuttuneet
4 sekuntia: housut ovat muuttuneet pitkäksi hameeksi. Myös asento vasemmassa yläkulmassa, kengät ja kuoren alla olevat muodot ovat muuttuneet. Ruudut ovat klipin omassa koossa, 768 × 480 pikseliä.

Mitä opimme

  1. Kiinteä kamera pitää kohtauksen vakaana. Kun kamera ei liiku, tausta pysyy puhtaana ja vain ihmiset liikkuvat. Tämä sopii hyvin verkkosivun silmukaksi.
  2. Kädet, kengät ja pienet esineet karkaavat. Pidä ne poissa lähikuvista ja tuotekuvista.
  3. Kuva voittaa sanat. Kehote pyysi valokuvaa filmille. Klippi näyttää silti maalaukselta: väripinnat ovat tasaisia ja reunat pehmeitä. Jos haluat muuttaa ilmettä, vaihda lähtökuva.
  4. Säilytä resepti tuloksen mukana. Työnkulku on tallennettu videon metatietoihin. Voimme avata asetukset myöhemmin ja ajaa saman reseptin uudelleen.

Mitä se maksaa tänään

  • Avoimen lähdekoodin työkalut antavat hallinnan. Valitset työnkulun jokaisen osan itse, ja sen voi toistaa.
  • Ne vaativat teknistä osaamista. Joku joutuu pystyttämään ja ylläpitämään ne. Tähän kannattaa varautua.
  • Koolla on väliä. 768 × 480 pikseliä on testikoko. Lopulliseen toimitukseen tarvitaan suurempi resoluutio.
  • Tarkista, mitä on nyt tarjolla. Uudemmilla työkaluilla sama työ voi onnistua pienemmällä määrällä vaiheita. Testaa ne ennen kuin rakennat oman työnkulun.

Lisää luettavaa

Ota yhteyttä