Mittwoch, Dezember 4, 2024
HomeAnwendungenMidjourneyMidjourney --cref Tutorial: Eine Person, mehrere Bilder

Midjourney –cref Tutorial: Eine Person, mehrere Bilder

Du fragst Dich schon lange, ob und wie es möglich ist, mit Midjourney die gleiche Person in immer wieder anderen Posen und Szenen zu generieren. Mit der Mitte März 2024 eingeführten Character Reference bzw. dem –cref Parameter erfüllt Dir Midjourney endlich diesen Wunsch.

Wir zeigen Euch hier dazu im Detail, wie dieses Character Reference funktioniert, wie es mit Style Reference zusammenspielt, welche Einschränkungen es (noch) gibt und vor allem wie man damit beeindruckende Geschichten mit ein und der gleichen Person erstellen kann.


UPDATE 01: Mittlerweile bieten auch andere KI-Bildgeneratoren diese Funktion an. Lest dazu gerne unseren großen Character Reference Vergleich.

UPDATE 02: Richtig professionell generiert Ihr die gleiche Person inkl. Euch selbst mit selbst trainierten Modellen, z.B. mit Flux.


Außerdem haben wir ein e-Book veröffentlicht mit drei einzigartigen Midjourney Hacks unter Nutzung der –cref Funktion:

Offizielle Ankündigung und Beschreibung

Eingeführt wurde die Funktion einer Character Consistency am 12. März. Die offizielle Ankündigung mit der Midjourney eigenen Beschreibung findet Ihr bei Interesse in unserem –cref Teaser-Artikel.

Storytelling mit konsistenten Bilderserien

Wie funktioniert der –cref Parameter? Ich habe mir dazu eine kurze Geschichte einer jungen Astronautin ausgedacht, welche zum Mond fliegt. Die Astronautin habe ich dabei extra mit einer außergewöhnlichen Frisur ausgestattet, um die Ähnlichkeit, also die Character Consistency auf den verschiedenen Bildern noch besser betonen zu können.

Als erstes benötigt Ihr natürlich einen Charakter, eine Person deren Geschichte Ihr erzählen möchtet. Ihr könnt dazu Personen verwenden, welche Ihr bereits vor der Einführung von –cref erstellt habt oder natürlich auch so wie ich mit einer neuen Figur, der Abenteuerin Luzi beginnen.

full body portrait of adventurer Luzi, a 17 years old pretty caucasian girl with long blue hair, brown eyes, three earrings, in an orange space suit, black boots, is looking into the camera and standing on a white floor, white background --style raw --s 50 --v 6.0

Als nächstes besorgen wir uns die URL dieses Midjourney Bildes. Klickt dazu auf das Bild und dann mit der rechten Maustaste darauf. Dort findet Ihr dann die Option „Bildadresse kopieren“.

Alternativ klickt Ihr auf den „Open in Browser“ Link links unter dem Bild. Dieses wird dann in einem neuen Tab geöffnet, die URL könnt Ihr dann dort kopieren.

UPDATE Alpha Webseite: Wie Ihr auf der Midjourney Website Bilder hochladen könnt lest Ihr hier und wie Ihr ein Bild als Character Reference nutzen könnt hier.

Mit dieser URL bauen wir jetzt unseren ersten Character Reference Prompt. Allerdings nicht gleich die oben erwähnte Geschichte, sondern quasi als Fingerübung und zum Kennenlernen die gleiche Person in anderen Posen.

photo of adventurer Luzi jumping on a white floor, white background --style raw --cref URL

Das hat schon mal prima funktioniert. Als nächste Übung habe ich nur einmal das Gesicht von Luzi generiert.

close up portrait of adventurer Luzi, white background --style raw --cref URL

Anschließend habe ich dann dieses Bild als Vorlage verwendet und weitere Gesichtsausdrücke erstellt.

Jetzt haben wir aber genug geübt und können uns der Reise zum Mond zuwenden. Am Ende funktioniert das genauso wie die eben gezeigten Beispiele. Ihr schreibt Euren Prompt wie gewohnt und hängt am Ende den Parameter mit der URL an.

[MOTIV] --cref URL

Das Besondere dabei ist, dass Ihr die Person in diesem Prompt überhaupt nicht mehr beschreiben müsst. Ihr könnt Euch alleine auf die Szene konzentrieren.

Adventurer Luzi stands at a lectern and gives a speech in the NASA office, large NASA logo, view from front --ar 3:2 --style raw --cref URL
Adventurer Luzi stands directly in front of a rocket launch pad with a Saturn V rocket on it, propulsion fire, sunset with sun rays --ar 3:2 --style raw --cref URL

Und so weiter und so fort…

Fertig ist die konsistente Geschichte. Aus meiner Sicht wird Midjourney damit auf ein völlig neues Level gehoben.

Gewichtung Character Reference mit –cw

Auch die Character Reference kann gewichtet werden, und zwar mit dem zusätzlichen Parameter –cw mit einem Wert zwischen 0 und 100.

Der Wert 0 bedeutet, dass nur das Gesicht als Referenz, der Wert 100, dass auch die Kleidung übernommen wird.

[MOTIV] --cref URL --cw WERT

Zum Testen habe ich Luzi daher bewusst andere Klamotten verpasst als auf der Referenz-Vorlage.

portrait of adventurer Luzi with blue jeans, a black shirt and yellow shows, studio light --ar 3:2 --style raw --cref URL

Das sieht dann mit unterschiedlichen –cw Werten so aus.

Man sieht ganz deutlich, wie mit höheren Werten immer mehr die Kleidung aus der Vorlage gewichtet wird. Mit –cw ist es also möglich, eine Person in unterschiedlichen Szenen mit unterschiedlicher Kleidung zu generieren.

Ein echtes Foto als Vorlage

Laut Midjourney funktioniert die character reference nicht wirklich mit realen Fotos. Nach meiner Erfahrung kommen dabei durchaus über mehrere Bilder konsistente Personen heraus, allerdings ähneln die KI-Person der realen Person nur bedingt. Das sieht man gut an meinem eigenen Beispiel.

Ich nutze diese Möglichkeit jedoch, wenn ich mein eigenes Gesicht mit der InsightFaceSwap App – eine detaillierte Schritt für Schritt Anleitung findet Ihr in diesem Artikel – auf ein Midjourney Bild mappen möchte. Diese App funktioniert nämlich umso besser, je ähnlicher das Basisbild meinem Gesicht sieht.

Das ging bisher nur durch einen möglichst genauen Prompt, welcher mir trotz einem short stubble hair häufig längere Haare generiert hat. Mit der Character Reference kann ich das aber nun viel genauer kontrollieren, so dass dann auch die InsightFaceSwap Ergebnisse besser werden.

Mehrere Personen als eine Character Reference

Es ist auch möglich, mehrere Bilder bzw. unterschiedliche Personen als Referenz mitgeben. Dazu packt man hinter den –cref Parameter einfach zwei oder mehr URLs, jeweils mit einem Leerzeichen getrennt.

[MOTIV] --cref URL URL

Mehr als nur eine Person auf einem Bild

Was (noch) nicht funktioniert ist, die Person aus der Vorlage in einer Szene mit einer anderen Person interagieren zu lassen. Midjourney hat in allen meinen Versuchen immer jeweils nur die Referenz-Person mehrfach generiert.

Adventurer Luzi is talking to Albert Einstein in a scientists office --ar 3:2 --style raw --cref URL

Gut, so kann man aus einer Person zumindest sehr einfach Zwillinge machen 🙂

UPDATE: Mittlerweile habe ich einen Trick herausgefunden, wie es über einen Umweg doch funktioniert, lest Euch also bei Interesse unseren Midjourney cref mit mehreren Personen Artikel durch.

Character Reference mit Style Reference kombinieren

Die character reference kann auch mit der style reference kombiniert werden. Die style reference haben wir Euch übrigens ausführlich in diesem Artikel vorgestellt.

Ihr müsst dazu einfach an Euren Prompt noch den Parameter –sref mit der URL der Stil-Vorlage hängen.

[MOTIV] --cref URL --sref URL

Als Stil-Vorlage habe ich rein zu Testzwecken das rechts stehende Bild verwendet.

Kombiniert habe ich das Bild wieder mit Luzi in unterschiedlichen Situationen.

Die Kombi aus beiden Parametern ist ein wahrer Traum fürs Storytelling, für die Erstellung von Comics, Kinderbüchern und vielem mehr.

cref mit Tieren

Mittlerweile habe ich auch einen Test mit einem Hund als Vorlage durchgeführt. Um nicht alles doppelt zu schreiben verweise ich Euch an dieser Stelle direkt auf den entsprechenden Artikel.

Zukünftige Entwicklung der Character Reference

Midjourney wird auch diese Funktion weiterentwickeln. Folgende Erweiterung könnte ich mir dabei gut vorstellen bzw. wären aus meiner Sicht wünschenswert:

  • Mehrere Personen als Vorlage für ein Bild mit mehr als einer Person
  • Übernahme nur der Kleidung

UPDATE: Midjourney hat in den wöchentlichen Office Hours folgende Neuerungen für Ende März angekündigt:

  • Personalisierung: Das Modell wird man an individuellen Vorlieben anpassen können
  • Nutzeraktivitäten wie Bild-Rankings etc. fließen in die Personalisierung ein
  • Die Personalisierung wird man ein- wie auch ausschalten können
  • Modelle anderer User werden genutzt werden können

Was denkt Ihr was da in Zukunft ansonsten noch kommen wird, was wünscht Ihr Euch? Schreibt es uns gerne in die Kommentare.

FAQ

Welche Midjourney Parameter gibt es?

Eine vollständige Übersicht aller Parameter mit einer kurzen Erläuterung findet Ihr in unserer Midjourney Parameter Übersicht.

Welche Midjourney Befehle gibt es?

Eine vollständige Übersicht aller Parameter mit einer kurzen Erläuterung findet Ihr in unserer Midjourney Befehlsübersicht.

Was ist Midjourney cref?

Mit dem –cref Parameter könnt Ihr Midjourney das Bild einer Person als Vorlage mitgeben und so diese gleiche Person in unterschiedlichen Posen, Klamotten und Szenen generieren.

RELATED ARTICLES

4 COMMENTS

  1. Hallo Adrian,

    vielen Dank für den aufschlussreichen und hilfreichen Artikel. Wenn ich bereits ein bestehendes Business-Pärchen habe, diesem aber keine Namen gegeben habe, macht es Sinn diese im Nachinein zu benennen? Wenn ich dieses Pärchen anders einsetzen will z.B in einer Ansicht von hinten anstatt von vorne, gehe ich dann gleich vor wie in deinem Beispiel?

    LG,

    André

    • Hallo André, sehr gerne. Aber was meinst Du mit „Namen gegeben“? In Midjourney verweist Du ja in der Character Reference auf eine URL mit der Bildvorlage und vergibst keine referenzierten Namen. Heißt Du kannst mit „Mann“ und „Frau“ arbeiten, Namen braucht es nicht bzw. könnten in dem Prompt sogar stören, weil Midjourney ggfs. irgendwelche Trainingsdaten mit dem Namen hat. Ansicht von hinten ist tricky, wenn Du als Referenzbild eine Ansicht von vorne nimmst. Ggfs. erst eine Seitenansicht als Referenzbild generieren und es damit versuchen.

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Aktuell beliebt

Aktuelle Kommentare