Character Reference, unser großer Vergleich

Mittlerweile bieten viele Tools eine Character Reference Funktion an – aber welches Programm bringt die besten Ergebnisse?

Unter Character Reference versteht man in der KI-Bildgenerierung, dass das Aussehen eines Charakter, einer Person in weiteren Bildern als Referenz genutzt werden kann. Dadurch kann man diese Person in unterschiedlichen Outfits, Szenen, Posen und Emotionen generieren und das für ein einheitliches Storytelling nutzen.

Als erstes hatte Midjourney den –cref Parameter vorgestellt, mittlerweile bieten auch Leonardo AI und RenderNet eine Character Reference Funktionalität an, beide basieren auf Stable Diffusion. Nachdem es nun also mehrere Lösungen am Markt gibt waren wir natürlich neugierig, wie sich diese im Vergleich schlagen.

Referenzbild Character Reference

Als Referenzbild habe ich mir in Midjourney dieses Portrait generiert.

A portrait, front perspective, looking directly into the camera, of an elegant and beautiful young russian mafia woman with white hair, black eyes, silver hoop earrings, and a dragon tattooed neck, wearing black clothes. The background is a dark gray.

Für den Test in Leonardo AI habe ich das Bild in Leonardo noch einmal mit der Image-to-Image Funktion nachgebaut, um dort dann mit einem in Leonardo generierten Bild zu arbeiten.

Test Prompts

Anschließend habe ich dieses Bild in allen drei Programmen als Referenz genutzt und mir folgende Prompts generieren lassen:

Portrait of a laughing woman in front of eiffel tower in paris

Portrait of an angry looking woman in front of the statue of liberty

Portrait of a tears crying woman in front of leaning tower of Pisa

Portrait of a fearful looking woman in front of an egypt pyramid

Portrait of a woman in tokyo, peace sign

Portrait of a woman in front of the taj mahal, raising her arms in joy

Portrait of a woman in front of the white house, fist clenched 

Bildergebnisse der Prompts

Auf den folgenden Bildern (Anklicken für große Darstellung) seht ihr jeweils die Ergebnisse für Rendernet AI, Leonardo AI und Midjourney mit dem dazugehörigen Prompt:

Bei der Beurteilung der Ergebnisse ist zu berücksichtigen, dass bei RenderNet eine Pose nicht über den Prompt, sondern über die Vorgabe eines Referenzbildes mit der gewünschten Pose funktioniert.

Bildergebnisse der Programme

Hier haben wir nochmal für jedes Programm alle generierten Bildern zusammengestellt, um euch einen Eindruck zu geben, wie konsistent die Person dargestellt wird.

Unsere Bewertung

Grundsätzlich sind wir von den Ergebnissen mit allen drei Programmen angetan. Wir haben sie in drei Kategorien einzeln bewertet: Konsistenz der Personen, Darstellung von Emotionen und wie gut die vorgegebenen Posen generiert werden.

Character Consistency

1. RenderNet
2. Midjourney
3. Leonardo AI

Emotionen

1. Midjourney
2. Leonardo AI
3. RenderNet

Posen

1. Midjourney
2. Leonardo AI
3. (RenderNet – s. Anmerkung weiter oben zu den Posen)