adrianrohnfelder

Der Filmmacher Rufus Blackwell hat die aktuellen Grenzen von Midjourney, Runway und Co ausgelotet und so ein geniales Video produziert, Respekt 👍🏻

Eine lustige Spielerei für zwischendurch ist der Prompt: [FILMTITEL] isometric cube micro world underground cut away Probiert es doch am besten gleich einmal selber aus.

Kleine Spielerei zwischendurch mit dem Prompt [FILMTITEL] isometric cube micro world underground cut away Wer kann die Filme zuordnen: Alien, Westworld, Mad Max, Ready Player One, Pirates of the Carribean, Blade Runner, Interstellar, Harry Potter, Star Wars Mustafar, Star Wars Tatooine, Indiana Jones, Mordor Herr der Ringe? Jetzt dürft Ihr 😉

Aus meiner Erfahrung ist Deepl der bessere Übersetzer.

Adobe Photoshop kann das schon, also das mit dem Entfernen und Ergänzen von Motiven in realen Fotos. Allerdings ist die Adobe Firefly Engine längst nicht so gut wie Midjourney, daher hoffe ich auch dort auf eine solche Möglichkeit. Bzgl. "Fake News" bin ich auch der Meinung, dass es ziemlich sinnlos ist, darüber zu diskutieren. Kommt sowieso. Ich lege meinen Fokus daher mehr auf Aufklärung und Ausbildung, insbesondere auch meinen Kids beizubringen, relevante Nachrichtung zu hinterfragen und zu recherchieren. Zudem fokussiere ich mich wie Du lieber auf den sinnvollen Einsatz von KI als Werkzeug in vielen Bereichen.

Da gibt es spezielle Online-Tools meine ich. Habe ich mich aber noch nicht mit beschäftigt, ich baue mir meine Kamerafahrten schnell selber in meinem Diashow Programm.

Darum habe ich ja auch "lasse ich mich von Chat GPT unterstützen" geschrieben. Es ist super, um mal eine Idee zu bekommen oder etwas auszuschmücken, mit Sparringspartner beschreibst Du das sehr gut. Ähnlich würde ich auch die Bilder von Storybird sehen, als eine Idee oder Alternative, die man selbst so nicht im Kopf hatte. Wie geschrieben, ich schaue mir das zumindest einmal an.

Idealerweise könnte man ein eigenes Foto, irgendein KI Bild dazu hochladen. Wahrscheinlich funktioniert es erst aber "nur" einmal, wie bei Zoom Out und Pan, mit generierten Bildern. Naja, kommt Zeit kommt Funktion 🙂

Hast Du Zoom Out und Pan jeweils mit einem neuen/ geänderten Prompt genutzt? Damit bekomme ich zumindest ab und an brauchbare Ergebnisse hin, wobei ich ja weniger mit Physiognomie zu tun habe 🙂 Zoom Out ist in der Tat ein wenig kritisch zu beäugen, dabei wird einfach etwas an das Bild dran gemalt, ohne dass MJ wirklich weiß, was das eigentliche Motiv ist. Es versucht halt irgendwie gescheite Übergänge hinzubekommen. Zoom Out Stufe 1 und manchmal 2 taugt noch, danach wird es meist 'zäh'. Bzgl. Pan muss ich noch einmal surfen, ob das wie Zoom Out auch ohne Verständnis für das Grundmotiv arbeitet oder auf einer anderen Basis funktioniert.

Danke für das ausführliche Beschreiben von Idee bis finalem Bild, sehr viel Arbeit und sehr sehr cool, top! Zeigt auch sehr schön, dass Midjourney ab und an mal tolle Bilder auf Knopfdruck (äh Textdruck 🙂 ) generiert, aber die Regel eher sehr viele Fehlversuche sind bzw. sich vieles auch gar nicht im Detail umsetzen lässt. Da muss man dann wie von Dir beschrieben noch mit "oldschool" Composings ran. Wobei ich da auf das Inpainting von Midjourney hoffe.

In diesem Thread lasse ich Euch an meinem Prozess des Erfindens, Schreibens und der Bebilderung einer kleinen Science-Fiction Geschichte teilhaben (das WIP im Titel bedeutet übrigens Work In Process 😉) Angefangen hat es damit, dass ich mir in Midjourney ein paar bekannte Städte und Bauwerke aus Lava habe generieren lassen, Prompt [MOTIV] built of lava Parallel hatte ich mit der neuen Zoom Out Funktion experimentiert und mir dabei ein paar Raumschiffe und Aliens im Stil von H.R. Giger (Designer der Alien Filme) generieren lassen. Dazu ist mir die Idee einer Geschichte von Aliens und ihrem Brutplaneten gekommen, von der ich mir von Chat GPT zwei unterschiedliche Versionen (einmal friedlich, einmal dystopisch) habe entwerfen lassen. Die dystopische Variante ist natürlich die deutlich coolere 🙂 und bei dem Betrachten der oben gezeigten Lavabilder kam mir der Gedanke, dystopischer Brutplanet und Lava passen doch noch besser zusammen. Mein erstes Konzept ist dabei eine Alienspezies welche andere Planeten überfällt, dort tiefe Löcher bis in den Planetenkern bohrt und so den Planeten mit Lava flutet. In diese Lava legt sie dann ihre Eier und lässt sie durch die Hitze ausbrüten. Diese Idee habe ich mir dann von Chat GPT ausformulieren lassen: "Schreibe eine dystopische Kurzgeschichte über eine Alien Spezies welche andere Planeten überfällt, tiefe Löcher bohrt bis Lava aus dem Planeteninneren an die Oberfläche strömt, dort alles zerstört und dann da hinein ihre Alien Eier legt." Parallel habe ich ein paar Alienraumschiffe, Bohrungen sowie Alien-Eier und -Babies in Midjourney generiert. Chat GPT hatte nun noch den Vorschlag, dass sich der überfallene Planet mithilfe von Waffen aus einem in einer tiefen Höhle versteckten Elements namens Crysolite in einer epischen Schlacht wehren würde. Soweit der aktuelle Stand. Als nächstes schmücke ich die Geschichte noch aus und überlege, ob mir das Ende von Chat GPT gefällt. Zudem fehlen noch die Bilder der Waffe und der epischen Schlacht. Mal schauen, vielleicht nimmt die Story aber doch noch eine ganz andere Wendung. Am Ende möchte ich daraus dann auch noch einen kurzen KI generierten Film (mit Runway Gen-2) produzieren. Ich halte Euch auf dem Laufenden.

Im Moment lasse ich mich beim Schreiben von kurzen SciFi-Geschichten von Chat GPT unterstützen. Heißt Ideen für die Story entwickeln und Charaktere, Szenen beschreiben lassen. Diese setze ich dann mit Midjourney um. Das neue Tool storybird.ai packt diesen Prozess zusammen und lässt via Chat GPT Plugin Geschichten schreiben und anschließend passende Bilder generieren. Ich selbst werde das demnächst testen, wer auch Lust dazu hat findet hier eine Anleitung (auf Englisch). Zudem bin ich mir recht sicher, dass zumindest @Zauberfrau mal einen Blick riskieren wird 🙂

Seit kurzem gibt es die Gen-2 von Runway, dem aus meiner Sicht aktuell besten Text-to-Video Generator. Die Gen-1 von Runway konnte bzw. kann Video-to-Video, mit der Gen-2 ist es nun möglich, einfach per Prompt ein 4 Sekunden langes Video generieren zu lassen. Dabei kann ein Foto/ KI-Bild als Vorlage genutzt werden. Die Ergebnisse sind bei weitem noch nicht so beeindruckend wie die Bildergebnisse der Text-to-Image Generatoren, zeigen aber schon einmal wohin es auch in der Richtung Video geht (Midjourney z.B. wird über kurz oder lang auch Text-to-Video anbieten). Habt Ihr schon einmal mit Runway (oder Kaiber, Stable Diffusion Deforum) gespielt? Was sind Eure Erfahrungen? Gen-2%20Wide%20angle%20shot%20of%20a%2C%203281401536.mp4 Gen-2%20Wide%20angle%20shot%20of%20a%2C%201871819248.mp4

Mittlerweile hat @Zauberfrau übrigens herausgefunden, wie man die Flasche auch hinlegen kann.

Cool, danke. Und ich habe mich schon gefragt, was soll das --weird Ding denn bringen. Klasse 👍🏻

Mehr zur weiteren Roadmap findet Ihr in diesem Beitrag.

Es gibt ein paar News von der Midjourney Roadmap: Aktuell wird an einer Standalone App für Web wie auch Mobile gearbeitet. Zudem soll eine Inpainting Funktion (zuerst in Discord, dann in der geplanten App) kommen -> sollte man damit eigene Fotos um KI-Inhalte ergänzen können wäre der Prio1-Top-Mega-Wunsch von mir erfüllt 🙂 Nächste oder übernächste Woche wird v5.3 veröffentlicht. Ob da schon das Inpainting enthalten ist, weiß ich aber nicht? v6 soll dann noch einmal besser Sprache und Texte verstehen, mit mehr und besseren Details und besserem Verständnis der Motive. v6 wird zudem einen völlig neuen Bildtyp bekommen, dazu gibt es aber keine weiteren Details was sich dahinter verbergen könnte. v6 wird die letzte Version mit dem 4er Grid sein! Geschätzte Veröffentlichung in ein paar Wochen. v7 soll dann größere Grids, 8er oder 16er erhalten. Es wird in v7 wieder die Möglichkeit eines Upscales in höherer Auflösung geben und die erste wirkliche Verbesserung der Bildqualität (ob damit Auflösung oder die Qualität an sich weiß ich allerdings nicht). Ein Veröffentlichungstermin wurde auch nicht genannt. Auf der weiteren Roadmap stehen noch generell 3D und Video. Es bleibt spannend!

Es gibt die Galerie. Oder Du stellst das Bild im MJ Thread vor mit Tipps und Tricks rund um die Entstehung 😉 Hilfreiche und besonders gelungene Bilder stellen wir dann hier und da unter dem Prompt/Tipp der Woche vor.

Jetzt gibt es auch noch eine neue "Pan" Funktion. Ähnlich wie Zoom Out vergrößert sie ein Bild, allerdings nur in eine Richtung, erhöht dabei aber die Auflösung. Tests folgen bzw. habt Ihr schon damit experimentiert? Falls ja, wie sind Eure Erfahrungen, Ergebnisse?

Jetzt gibt es auch noch eine neue "Pan" Funktion. Ähnlich wie Zoom Out vergrößert sie ein Bild, allerdings nur in eine Richtung, erhöht dabei aber die Auflösung. Tests folgen...

Also ein Problem ist (noch), dass die KI nicht weiß, was sie generiert. Sie weiß wie etwas aussieht, aber nicht wie es funktioniert. Daher kommen noch die vielen merkwürdigen Ergebnisse, da die KI eben z.B. nur weiß wie eine Hand ausschaut aber nicht wie sie sich korrekt verhalten muss. Das führt in der Tat zu viel Murks. Vielleicht solltest Du Dich intensiver mit Stable Diffusion beschäftigen. Da kann man meines Wissens Modelle generieren als Basis für ähnliche Bilder, also z.B. konsistente Figuren. Ist aber deutlich aufwendiger als das einfache Text eingeben wie bei Midjourney. Alternativ abwarten, was MJ v6, 7 usw. so bringen werden 🙂

Ja, das ist manchmal sehr komisch. Entweder probierst Du es noch einmal mit forest anstatt tree, oder plants. Oder experimentierst mit einer Gewichtung wie trees::0.2

Hast Du es schon einmal mit dem Photorealistic Plugin versucht?

Stimmt, in den Vorgängerversionen wurden die Einzelbilder noch neu gerechnet, da waren dann natürlich auch Videos möglich. Ab v5 ist das Bild bereits fertig, man müsste das Video als quasi aus dem 4er Video ausschneiden. Aber wie Du schreibst, da wird in Zukunft noch viel mehr gehen. Bzgl. Video experimentiere ich mit Runway und auch Kaiber, wobei ich eher mit Raumschiffen denn Menschen unterwegs bin 🙂

Ich schreibe meine Prompts öfters mal auf Deutsch vor bzw. lasse sie von Chat GPT schreiben und übersetze sie anschließend via Deepl auf Englisch, klappt prima. Und mit der neuen /shorten Funktion kannst Du sie nun noch prima analysieren lassen.