Mit der neuen KI-Applikation Hedra kann man in Sekundenschnelle ein Video einer sprechenden oder sogar singenden Person aus einem einzigen Bild erstellen – sagt der Hersteller.
Wir können das bestätigen und sind beeindruckt: Mich hat der folgende Prozess von der Bild- über die Audio- bis hin zur Videogenerierung keine 10 Minuten gekostet! Wir zeigen euch, wie das geht:
Inhalte
Bildgenerierung mit Midjourney
Für unseren großen Character Reference Vergleich hatte ich mir in Midjourney folgendes Portrait generiert:
A portrait, front perspective, looking directly into the camera, of an elegant and beautiful young russian mafia woman with white hair, black eyes, silver hoop earrings, and a dragon tattooed neck, wearing black clothes. The background is a dark gray.
Songgenerierung mit Suno
Irgendwie hatte ich Lust, Hedra mit einem Lied und nicht einem gesprochenen Text zu testen. Also habe ich mir von der Suno App einen entsprechenden Song generieren lassen.
Songtext
Ihr öffnet das Untermenü Create auf der linken Seite und bekommt dann drei Boxen angezeigt: Lyrics, Style of Music und Title.
Ihr könnt in den Lyrics entweder einen selbstgeschriebenen Songtext eintragen oder, wie in meinem Fall, kurz den gewünschten Inhalt der Lyrics beschreiben und über Generate Lyrics generieren lassen. Diesen Text könnt Ihr dann entweder so verwenden oder manuell anpassen.
Ihr könnt Euch über den Button Instrumental auch einen Song ohne Gesang generieren lassen, aber das macht in diesem Beispiel hier natürlich keinen Sinn 🙂
Sound
In der Box Style of Music beschreibt Ihr mit einzelnen Tags die gewünschte Stilrichtung. Ihr könnt dort Instrumente, Emotionen, Stile, Tonart, Geschwindigkeit und eigentlich innerhalb von 120 Zeichen so ziemlich alles eintragen – außer Namen von existierenden Bands und Künstlern, das ergibt verständlicherweise eine Fehlermeldung.
Unter Titel gebt Ihr dann noch den Songtitel ein und startet die Generierung über den bunten Create Button. Ihr erhaltet dann zwei Songs zur Auswahl mit einer maximalen Länge von vier Minuten, welche Ihr über den Button mit den drei Punkten ganz rechts neben dem Song auf Eure Festplatte laden könnt.
Videogenerierung mit Hedra
Hedra befindet sich aktuell noch in der Beta-Phase und kann daher kostenlos genutzt werden. Ihr müsst Euch dazu nur einen Account anlegen bzw. Euch mit Eurem Google-Account einloggen.
Das User Interface (UI) ist dann absolut einfach und selbsterklärend in drei Boxen aufgeteilt.
Charakter generieren
In die Charakter-Box könnt Ihr ein Foto oder KI-Bild laden, in meinem Fall das oben gezeigte Portrait. Darunter beschreibt Ihr den Charakter in einzelnen, per Komma getrennten Prompts und drückt auf Create. Das könnt Ihr beliebig oft wiederholen und auch immer wieder den Prompt ändern.
Ich hätte gedacht, dass das Ergebnis ähnlicher am Original ist, aber ich habe mich auch nicht weiter mit den Einstellungen beschäftigt, die lassen sich bestimmt noch verfeinern.
Audiofile generieren
In der Audio-Box ladet Ihr über Import Audio den eben auf Eure gespeicherten Suno-Song hoch.
Da Hedra aktuell nur 30 Sekunden lange Audiofiles verarbeiten kann, müsst Ihr evtl. noch über die Pfeile den Anfang des Songs an die Stelle mit dem ersten Gesang schieben.
Aus unserer Facebook-Partnergruppe haben wir mittlerweile die Info erhalten, dass längere Audiofiles mit einem kosten- pflichtigen Plan verarbeitet werden können – welcher allerdings in Deutschland noch nicht angeboten wird.
Zu den Möglichkeiten Upload von gesprochenem Text sowie der Generierung von Audio direkt in Hedra werden wir einen separaten Artikel schreiben.
Videofile generieren
Nun müsst Ihr nur noch den bunten Button Generate Video drücken, ein wenig warten, und fertig ist Euer singender Charakter.
Cool, oder?
Euren Charakter sprechen lassen
Wie oben bereits kurz erwähnt, könnt Ihr den Avatar auch sprechen lassen. Dazu werden wir jedoch einen separaten Artikel schreiben, auch über die Kooperation von Hedra mit der Firma ElevenLabs.