Du fragst Dich schon lange, ob und wie es möglich ist, mit Midjourney die gleiche Person in immer wieder anderen Posen und Szenen zu generieren. Mit der Mitte März 2024 eingeführten Character Reference bzw. dem –cref Parameter erfüllt Dir Midjourney endlich diesen Wunsch.
Wir zeigen Euch hier dazu im Detail, wie dieses Character Reference funktioniert, wie es mit Style Reference zusammenspielt, welche Einschränkungen es (noch) gibt und vor allem wie man damit beeindruckende Geschichten mit ein und der gleichen Person erstellen kann.
Inhalte
Offizielle Ankündigung und Beschreibung
Eingeführt wurde die Funktion einer Character Consistency am 12. März. Die offizielle Ankündigung mit der Midjourney eigenen Beschreibung findet Ihr bei Interesse in unserem –cref Teaser-Artikel.
Storytelling mit konsistenten Bilderserien
Wie funktioniert der –cref Parameter? Ich habe mir dazu eine kurze Geschichte einer jungen Astronautin ausgedacht, welche zum Mond fliegt. Die Astronautin habe ich dabei extra mit einer außergewöhnlichen Frisur ausgestattet, um die Ähnlichkeit, also die Character Consistency auf den verschiedenen Bildern noch besser betonen zu können.
Als erstes benötigt Ihr natürlich einen Charakter, eine Person deren Geschichte Ihr erzählen möchtet. Ihr könnt dazu Personen verwenden, welche Ihr bereits vor der Einführung von –cref erstellt habt oder natürlich auch so wie ich mit einer neuen Figur, der Abenteuerin Luzi beginnen.
full body portrait of adventurer Luzi, a 17 years old pretty caucasian girl with long blue hair, brown eyes, three earrings, in an orange space suit, black boots, is looking into the camera and standing on a white floor, white background --style raw --s 50 --v 6.0
Als nächstes besorgen wir uns die URL dieses Midjourney Bildes. Klickt dazu auf das Bild und dann mit der rechten Maustaste darauf. Dort findet Ihr dann die Option “Bildadresse kopieren”.
Alternativ klickt Ihr auf den “Open in Browser” Link links unter dem Bild. Dieses wird dann in einem neuen Tab geöffnet, die URL könnt Ihr dann dort kopieren.
Mit dieser URL bauen wir jetzt unseren ersten Character Reference Prompt. Allerdings nicht gleich die oben erwähnte Geschichte, sondern quasi als Fingerübung und zum Kennenlernen die gleiche Person in anderen Posen.
photo of adventurer Luzi jumping on a white floor, white background --style raw --cref URL
Das hat schon mal prima funktioniert. Als nächste Übung habe ich nur einmal das Gesicht von Luzi generiert.
close up portrait of adventurer Luzi, white background --style raw --cref URLAnschließend habe ich dann dieses Bild als Vorlage verwendet und weitere Gesichtsausdrücke erstellt.
Jetzt haben wir aber genug geübt und können uns der Reise zum Mond zuwenden. Am Ende funktioniert das genauso wie die eben gezeigten Beispiele. Ihr schreibt Euren Prompt wie gewohnt und hängt am Ende den Parameter mit der URL an.
[MOTIV] --cref URLDas Besondere dabei ist, dass Ihr die Person in diesem Prompt überhaupt nicht mehr beschreiben müsst. Ihr könnt Euch alleine auf die Szene konzentrieren.
Adventurer Luzi stands at a lectern and gives a speech in the NASA office, large NASA logo, view from front --ar 3:2 --style raw --cref URL
Adventurer Luzi stands directly in front of a rocket launch pad with a Saturn V rocket on it, propulsion fire, sunset with sun rays --ar 3:2 --style raw --cref URL
Und so weiter und so fort…
Fertig ist die konsistente Geschichte. Aus meiner Sicht wird Midjourney damit auf ein völlig neues Level gehoben.
Gewichtung Character Reference mit –cw
Auch die Character Reference kann gewichtet werden, und zwar mit dem zusätzlichen Parameter –cw mit einem Wert zwischen 0 und 100.
Der Wert 0 bedeutet, dass nur das Gesicht als Referenz, der Wert 100, dass auch die Kleidung übernommen wird.
[MOTIV] --cref URL --cw WERTZum Testen habe ich Luzi daher bewusst andere Klamotten verpasst als auf der Referenz-Vorlage.
portrait of adventurer Luzi with blue jeans, a black shirt and yellow shows, studio light --ar 3:2 --style raw --cref URLDas sieht dann mit unterschiedlichen –cw Werten so aus.
Man sieht ganz deutlich, wie mit höheren Werten immer mehr die Kleidung aus der Vorlage gewichtet wird. Mit –cw ist es also möglich, eine Person in unterschiedlichen Szenen mit unterschiedlicher Kleidung zu generieren.
Ein echtes Foto als Vorlage
Laut Midjourney funktioniert die character reference nicht wirklich mit realen Fotos. Nach meiner Erfahrung kommen dabei durchaus über mehrere Bilder konsistente Personen heraus, allerdings ähneln die KI-Person der realen Person nur bedingt. Das sieht man gut an meinem eigenen Beispiel.
Ich nutze diese Möglichkeit jedoch, wenn ich mein eigenes Gesicht mit der InsightFaceSwap App – eine detaillierte Schritt für Schritt Anleitung findet Ihr in diesem Artikel – auf ein Midjourney Bild mappen möchte. Diese App funktioniert nämlich umso besser, je ähnlicher das Basisbild meinem Gesicht sieht.
Das ging bisher nur durch einen möglichst genauen Prompt, welcher mir trotz einem short stubble hair häufig längere Haare generiert hat. Mit der Character Reference kann ich das aber nun viel genauer kontrollieren, so dass dann auch die InsightFaceSwap Ergebnisse besser werden.
Mehrere Personen als eine Character Reference
Es ist auch möglich, mehrere Bilder bzw. unterschiedliche Personen als Referenz mitgeben. Dazu packt man hinter den –cref Parameter einfach zwei oder mehr URLs, jeweils mit einem Leerzeichen getrennt.
[MOTIV] --cref URL URL
Mehr als nur eine Person auf einem Bild
Was (noch) nicht funktioniert ist, die Person aus der Vorlage in einer Szene mit einer anderen Person interagieren zu lassen. Midjourney hat in allen meinen Versuchen immer jeweils nur die Referenz-Person mehrfach generiert.
Adventurer Luzi is talking to Albert Einstein in a scientists office --ar 3:2 --style raw --cref URL
Gut, so kann man aus einer Person zumindest sehr einfach Zwillinge machen 🙂
UPDATE: Mittlerweile habe ich einen Trick herausgefunden, wie es über einen Umweg doch funktioniert, lest Euch also bei Interesse unseren Midjourney cref mit mehreren Personen Artikel durch.
Character Reference mit Style Reference kombinieren
Die character reference kann auch mit der style reference kombiniert werden. Die style reference haben wir Euch übrigens ausführlich in diesem Artikel vorgestellt.
Ihr müsst dazu einfach an Euren Prompt noch den Parameter –sref mit der URL der Stil-Vorlage hängen.
[MOTIV] --cref URL --sref URLAls Stil-Vorlage habe ich rein zu Testzwecken das rechts stehende Bild verwendet.
Kombiniert habe ich das Bild wieder mit Luzi in unterschiedlichen Situationen.
Die Kombi aus beiden Parametern ist ein wahrer Traum fürs Storytelling, für die Erstellung von Comics, Kinderbüchern und vielem mehr.
cref mit Tieren
Mittlerweile habe ich auch einen Test mit einem Hund als Vorlage durchgeführt. Um nicht alles doppelt zu schreiben verweise ich Euch an dieser Stelle direkt auf den entsprechenden Artikel.
Zukünftige Entwicklung der Character Reference
Midjourney wird auch diese Funktion weiterentwickeln. Folgende Erweiterung könnte ich mir dabei gut vorstellen bzw. wären aus meiner Sicht wünschenswert:
- Mehrere Personen als Vorlage für ein Bild mit mehr als einer Person
- Übernahme nur der Kleidung
UPDATE: Midjourney hat in den wöchentlichen Office Hours folgende Neuerungen für Ende März angekündigt:
- Personalisierung: Das Modell wird man an individuellen Vorlieben anpassen können
- Nutzeraktivitäten wie Bild-Rankings etc. fließen in die Personalisierung ein
- Die Personalisierung wird man ein- wie auch ausschalten können
- Modelle anderer User werden genutzt werden können
Was denkt Ihr was da in Zukunft ansonsten noch kommen wird, was wünscht Ihr Euch? Schreibt es uns gerne in die Kommentare.
FAQ
Welche Midjourney Parameter gibt es?
Eine vollständige Übersicht aller Parameter mit einer kurzen Erläuterung findet Ihr in unserer Midjourney Parameter Übersicht.
Welche Midjourney Befehle gibt es?
Eine vollständige Übersicht aller Parameter mit einer kurzen Erläuterung findet Ihr in unserer Midjourney Befehlsübersicht.
