Rangliste

Stability AI, die Firma hinter der Text-to-Image Anwendung Stable Diffusion, hat die Veröffentlichung von Stable Doodle bekannt gegeben. Das ist eine Sketch-to-Image-Anwendung auf Basis des Stable Diffusion-Modells, welches Skizzen in Bilder umsetzen kann. In einer Pressemitteilung heißt es "Mit Stable Doodle kann jeder, der über grundlegende Zeichenkenntnisse und eine Online-Verbindung verfügt, in nur wenigen Sekunden qualitativ hochwertige Originalbilder erstellen." Neben einer Skizze kann man zusätzlich noch einen Prompt, also einen beschreibenden Text, für eine noch bessere Kontrolle über das Ergebnis mitgeben. Klingt sehr spannend, u.a. fallen mir spontan Architekten als Zielgruppe ein. Grundsätzlich kann aber natürlich jeder, der ein wenig Talent fürs Zeichnen hat (ich falle raus, Strichmännchen und das war es), damit aus meiner Sicht noch gezielter Bildideen umsetzen als rein mit Text-to-Image. Ich bin gespannt, wer das von Euch als erstes hier ausprobiert 😉

Neben unzähligen eigenen Versuchen mit Midjourney lese ich mich regelmäßig durch diverse Webseiten auf der Suche nach den ultimativen Prompt Tipps 🙂 Im Ernst, DEN Tipp gibt es natürlich nicht, aber ich habe folgende Tipps im Laufe der Zeit für mich zusammengetragen und teile diese gerne hier mit Euch: Kurze und präzise Prompts: Midjourney Prompts haben zwar kein mir bekanntes offizielles Zeichenlimit, aber je länger ein Prompt wird, desto weniger werden die Begriffe am Ende des Prompts berücksichtigt. Gelesen habe ich einmal, dass alles was nach etwa 40 Wörtern geschrieben wird, wahrscheinlich, nach 60 Wörtern höchstwahrscheinlich und nach 80 Wörtern mit ziemlicher Sicherheit ignoriert wird. Zudem wirkt sich die Länge eines Prompts auch darauf aus, welche Gewichtung den einzelnen Begriffen zugewiesen wird. Vereinfacht gesagt gibt es bei einer Aufforderung die nur aus drei Wörtern besteht nur acht mögliche Kombinationen dieser Wörter. Besteht ein Prompt jedoch aus 40 Wörtern, so wird die Anzahl der Permutationen gefühlt unendlich. Midjourney erkennt zwar ganz gut die wichtigsten Wörter und wahrscheinlichsten Kombinationen, aber mit steigender Anzahl an Begriffen sinken die Chancen, eine spezifische Kombination bzw. das gewünschte Motiv exakt zu erhalten. Auch wenn Midjourney mittlerweile mit längeren Prompts besser umgehen kann, so liegt dennoch weiterhin die Würze in der Kürze. Prompt Struktur Wichtig ist auch eine gute Prompt Struktur. In den früheren Midjourney-Versionen war es so, dass die ersten fünf Wörter sehr einflussreich waren und mit hoher Wahrscheinlichkeit bereits im ersten Versuch in dem Motiv auftauchten. Die Wörter 6 bis 20 hatten ebenfalls einen großen Einfluss, allerdings brauchte es häufig mehrere Versuche bis sie sich in dem Motiv zeigten. Die Wörter 21 - 40 wurden noch berücksichtig, aber mit deutlich abnehmender Bedeutung. Wie ich im ersten Punkt beschrieben habe werden die Wörter ab Position 40 mit hoher Wahrscheinlichkeit eher ignoriert. In den neueren Midjourney Versionen ist weiterhin die Reihenfolge der Wörter von Bedeutung (es ist erstaunlich, was ab und an eine leicht geänderte Reihenfolge bewirkt), aber es werden nun zusätzliche Faktoren wie die Token-Stärke berücksichtigt. Diese Token-Stärke meint die von Midjourney gelernte Wahrnehmung der Bedeutung jedes Wortes oder Satzes in einem Prompt. Diese können wir allerdings nicht beeinflussen. Daher ist es weiterhin sehr wichtig, die wesentlichen Schlüsselwörtern eines Motivs an den Anfang des Prompts zu setzen. Für ein besseres Verständnis der “Denkweise” von Midjourney könnt Ihr Euch übrigens Fotos/ KI-Bilder per /describe Befehl als Prompt ausgeben lassen und die Promptstruktur analysieren. Grammatikalisch korrekte Sätze Beginnend mit v5 hat Midjourney die Technologie der natürlichen Sprachverarbeitung (NLP) implementiert. Damit führt die Verwendung grammatikalisch korrekter, vollständiger Sätze zu relevanteren und kohärenteren Ergebnissen. Eine korrekte Grammatik gleicht den oben erwähnten schwindenden Einfluss von Wörter weiter hinten im Prompt aus. Es ist also wichtig, strukturiert zu schreiben und die (hoffentlich 🙂 ) in der Schule erlernten Grammatikregeln einzuhalten. Prompt Reihenfolge In Kombination aus den oben stehenden Regeln habe ich mir eine bestimmte Prompt Reihenfolge erarbeitet (siehe dazu auch meinen ersten Beitrag für den Prompt Aufbau) 1. Art des Bildes (z. B. ein Foto, eine Illustration, ein Gemälde, ein Anime...) 2. Das beschriebene Hauptobjekt mit relevanten Merkmalen (z. B. ein von goldenen Partikeln umgebender Astronaut). 3. Weitere Details und Umgebung (z. B. in einer mystischen Wüste). 4. Angaben zum Stil (z. B. Kunstfotografie, im Stil von Picasso, Kinolook usw.). 5. Parameter (Seitenverhältnis, Grad der Stilisierung, Modell usw.) (siehe dazu auch das ausführliche Midjourney Tutorial) Entsprechender Beispiel Prompt (natürlich ohne die Ziffern, die habe ich nur eingefügt als Referenz zu der Aufzählung): (1) photo of a (2) full body astronaut surrounded by tiny golden particles standing (3) in a fairytale mystical desert at night (4) cinematic style (5) —ar 3:2 Gewichtung von einzelnen Begriffen Mit der neuen /shorten Funktion könnt Ihr analysieren, welche Wörter (Token) Eures Prompts von Midjourney und in welcher Gewichtung berücksichtig werden. Entsprechend könnt Ihr dann die Gewichtung (positiv wie negativ) der einzelnen Prompts anpassen https://rohnfelder.de/mjtut13/). Im Midjourney #prompt-faqs-Kanal wird diese Methode "Schieberegler" genannt, weil man mit einer Art virtuellem Schieberegler entscheidet, wie viel Gewicht man den einzelnen Teilen des Prompts geben will. Dazu gibt es auch noch die sogenannte "Kuhglocken"-Methode. Dabei wiederholt Ihr einfach mehrfach die Wörter, welche ignoriert werden. Entsprechender gewichteter Beispiel Prompt (mit zunehmender Gewichtung von fairytale, mystical wird es übrigens immer weniger Astronaut): photo of a full body astronaut::1 surrounded by tiny golden particles standing in a fairytale:: 0.15 mystical:: 0.15 desert at night, cinematic style —ar 3:2 Vermeidung von Wörtern zur "Qualitätsverbesserung" Bis zur Version 4 hat es geholfen, Begriffe wie "fotorealistisch", "realistisch", "ultra-detailliert", "8K", "32K", "Nikon D780", “unreal engine”, “sfx” und viele weitere zu verwenden, häufig sogar in Kombination. Seit Version 5 haben diese Wörter jedoch keine Auswirkung mehr auf das erzeugte Bild bzw. manchmal sogar unerwünschte Auswirkungen. Midjourney greift dabei z.B. auf alle trainierten Bilder mit dem Tag "Nikon D780" zurück, also auf alle guten aber auch schlechten Fotos 😉 Zudem wird Euer Prompt damit auch länger mit den oben erwähnten Auswirkungen. Kombination von Pan und Zoom Out Midjourney tut sich aus den oben skizzierten Gründen häufig mit mehreren gleichberechtigten Motiven in einem Bild schwer. Ein Motiv wird immer mehr gewichtet und besser dargestellt als ein weiteres Motiv. Für solche Bildideen kann seit kurzem die Kombination aus den neuen Pan wie auch Zoom Out Funktionen Abhilfe schaffen. Anregungen holen Falls Ihr trotz all dieser Tipps nicht weiterkommt, könnt Ihr Euch weitere Anregungen bei ChatGPT oder den offiziellen Midjourney Prompt FAQ holen. Ansonsten freue ich mich über Eure Erfahrungen und persönliche Tipps aus Eurer Lernkurve.

Ja das stimmt. Einmal wie hier beschrieben ein Bild als Basis und das dann weiter verwenden (hier konkret beschrieben). Kann man auf jeden Fall parallel versuchen und auch mit verschiedenen Gewichtungen. Langsam bietet MJ zum Glück mehr und mehr Werkzeuge für konkrete Motive.

Noch ausbaufähig, aber grds. tatsächlich eine gute Idee:

Besonders spannend finde ich die Möglichkeit, Midjourney eigene Fotos (oder auch KI generierte Bilder) als Vorlage mitzugeben. Dadurch kann man zum einen den Stil und das Aussehen eines zu generierenden Bildes ziemlich genau vorgeben. Zum anderen können so auf Basis eigener Fotos und Erlebnisse sehr spannende Welten, Geschichten, Avatare und so umgesetzt werden. Die erste Möglichkeit dafür ist, Bilder direkt bei Discord hochzuladen und diese dann in den Prompt zu integrieren – was bei allerdings warum auch immer nicht klappt. Genauso einfach ist aber auch die Variante, eine externe URL zu dem Bild zu verwenden. Gebt dazu diese URL als ersten Prompt direkt nach dem Befehl /imagine ein, also /imagine http://bildURL.jpg und danach die gewünschten Motivprompts und Parameter zur Bildbeschreibung eingeben. Ist wirklich nicht kompliziert, noch verständlicher wird es aber sicher mit ein paar Bildbeispielen, u.a. auch dazu, dass mit –iw (image weight, Werte zwischen 0.5 und 2) Midjourney noch mitgegeben werden kann, wie sehr es sich am Original orientieren soll: (achja, Ihr könnt übrigens auch zwei URL einfügen und so Bilder mischen, dazu folgt demnächst ein eigener Post) Originalfoto aus der Namib Wüste Bild-URL mit den Prompts (das originale Foto beschrieben): namibia, sossusvlei, deadvlei Bild-URL mit den Prompts: cookie monster playing the guitar Bild-URL mit den Prompts: scifi ring portal Bild-URL mit den Prompts: stormtrooper, full body