Videos mit KI z.B. Runway zu generieren ist eine deutlicher größere Herausforderung als Bilder zu generieren. Neben Motiv, Szene, Atmosphäre, Blickwinkel müssen zusätzlich noch die Bewegungen der Motive, der Szenerie und der Kamera berücksichtigt werden.
Die Herausforderung noch größer, wenn am Ende nicht ein Video aus vielen einzelnen Sequenzen, die hart aneinander geschnitten werden, sondern ein längeres nahtloses KI generiertes Video entstehen soll.
Aber man wächst mit seinen Aufgaben: Auf diese Weise ist mein bisher aufwändigstes KI-Projekt entstanden:
- für 11 Bilder, die am Ende verwendet wurden, habe ich in Midjourney über 150 Bilder generiert
- für die 12 Videosequenzen wurden in in Runway über 350 Sequenzen gerendert.
Das Ergebnis findet Ihr am Ende des Artikels.
Inhalte
Idee und Storyline
Aber von Anfang an: Angefangen hat das Projekt mit dem folgenden Bild, das mir eines Tages zufällig durch den Kopf geschossen ist, als ich über ein möglichst komplexes Motiv zum Ausreizen von Midjourney gebrütet habe:
Das Motiv hat mir so gut gefallen, dass ich daraus erst einmal nur eine lose Serie gemacht habe. Ohne wirklichen Zusammenhang mit einigen zentralen Motiven
- Astronaut
- Sofa
- Goldfisch
- Pinguin und
- Eisbär
… in einer schwarzen Wüste. Ein paar dieser einzelnen Bilder habe ich parallel mit Runway animiert, was mich wiederum auf die Idee eines nahtlosen Videos aus ziemlich unterschiedlichen Motiven gebracht hat – einfach kann ja jeder 😉
Zuerst habe ich mir auf Basis einiger der bereits generierten Bilder die grobe Storyline überlegt: Die Kamera fliegt in ein Raumschiff durch ein großes Fenster in einen langen Gang, an dessen Ende ein Astronaut in einem Aquarium schwebt. Astronaut und Aquarium werden dann auf einen Wüstenplaneten mit einem Pinguin in Rüstung transferiert und über einen Eisblock wieder zurück in den langen Gang des Raumschiffes.
Motiv über Motiv in Midjourney generieren
Für die entsprechenden Szenen wie Raumschiff, langer Gang, Aquarium, Wüste, Pinguin, Eisblock habe ich mir die passenden Motive mit Midjourney generiert. Dabei hatte ich jeweils auch bereits den Übergang (nach vorne, nach rechts, nach links, zurück) geplant. Die Herausforderung stand dann darin, möglichst unterschiedliche jedoch gleichzeitig auch zueinander passende Motive zu erstellen. Denn die einzelnen Bildbestandteile mussten so aufgebaut werden, dass ein mehr oder weniger flüssiger Übergang von dem einen zum anderen Bild möglich sein würde.
Geholfen haben mir dabei die Midjourney Funktionen, Bilder als…
… zu nutzen. Damit habe ich jeweils das Vorgängerbild als die eine oder andere bzw. mehrere Referenzen in Kombination genutzt. Da konnte mein Midjourney-Stream dann schon einmal so aussehen:
Und das ist auch der Grund, warum ich den Midjourney Pro-Plan nutze, da mir dieser mit der /relax Funktion eine Flatrate bietet.
Mühseliges Animieren mit Runway’s First-Last Funktion
Nachdem ich alle Bilder generiert hatte, habe ich mich an das Animieren mit dem KI-Videogenerator Runway gemacht. Runway bietet eine sogenannte First Frame – Last Frame Funktion. Damit lege ich das erste sowie letzte Bild einer 5 oder 10-sekündigen Videosequenz fest und Runway animiert den Übergang.
Nach und nach habe ich so jede einzelne Sequenz animiert. Ich habe es dabei jeweils ohne Prompt und mit vielen unterschiedlichen Prompts probiert. Selten war ich nach drei bis fünf Versuchen zufrieden, häufig eher nach 10 bis 20 Iterationen oder sogar noch mehr.
Zwei Mal habe ich überhaupt kein brauchbares Ergebnis erhalten, so dass ich an dieser Stelle jeweils ein neues Midjourney Bild generieren musste.
Tipp: So ein Projekt lässt sich nur vernünftig mit einer Flatrate umsetzen wie in meinem Fall dem „Runway Unlimited Abo“ für 95 Euro.
Mit ChatGPT und Suno zum passenden Soundtrack
Der einfachste Part anschließend war die Generierung des Soundtracks mit der App Suno. Dabei habe ich mir ein wenig von ChatGPT helfen lassen. Ich habe dazu alle Bilder hochgeladen und mir einen Vorschlag für einen passenden Soundtrack erstellen und mir diesen in musikalischen Attributen und Instrumenten beschreiben lassen. Diese habe ich dann in Suno v3.5 als Schlagwörter genutzt.
Videoschnitt und Feinschliff mit Final Cut Pro
Den finalen Schnitt, ein paar Slow-Motion sowie Zeitraffer-Sequenzen mit einer entsprechenden Taktung auf den Soundtrack habe ich dann in Final Cut Pro vorgenommen. Das hat mich dann auch noch einmal bestimmt zwei Stunden gekostet.
Aber, aus meiner Sicht hat sich der Aufwand gelohnt, so sehr, dass ich bereits über einem noch komplexeren Projekt brüte 🙂
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Sollen wir dich zu dem Projekt und anderen KI-Video auf dem Laufenden halten? Dann solltest du unseren Newsletter abonnieren:
