Lokale AI-Bildgeneratoren

[Protesio]

Hallo zusammen,

nun habe ich auch endlich mal Zeit hier zu schreiben und vor allem mich auch näher mit dem Thema KI-Bildgeneratoren zu befassen. Dabei bin ich nun schon mehrfach auch über das Thema lokaler Varianten gestoßen, die man also daheim auf seinem PC/Mac ausführen kann.

Ich bin grade dabei das zum Laufen zu bringen und die ersten noch nicht vorzeigbaren Ergebnisse sind vorhanden. Sobald hier mal was Vorzeigbares rauskommt werde ich das gerne auch hier posten. 

Bin beeindruckt, dass das auch auf meinem doch recht betagten Rechner funktioniert, wenn auch etwas langsam.

 

Es gibt eine Fülle von verschiedenen Modellen jeder Couleur die man herunterladen kann z.B. auf civitai.com

Als Ausgangsbasis nutze ich Stable Diffusion 1.5 das man ja kostenlos bei Github bekommen kann https://github.com/AUTOMATIC1111/stable-diffusion-webui

Ich weiß nicht ob man auch schon Stable Diffusion 2.0 nutzen kann. Die ganzen Modelle zielen wohl auf 1.5 ab aber die Fülle ist so unübersichtlich groß, dass ich hier sicher schon was übersehen habe.

 

Habt ihr selbst schon "offline" Erfahrungen gesammelt?

Bearbeitet 15. Mai 2023 von Protesio

[adrianrohnfelder]

Danke für den Input. Ich muss gestehen, dass ich mich bisher i.w. auf Midjourney konzentriere, u.a. auch weil es recht einfach zu bedienen ist. Stable Diffusion ist ja schon etwas komplizierter mit aber dem Vorteil, dass es deutlich mehr Möglichkeiten bietet, insbesondere im Hinblick auf konsistente Bilder. Nutzt Du SD 1.5 am Mac oder PC?

[Andreas J.]

Ich habe – auch mit Stable Diffusion – kurz experimentiert.

Dafür gibt es eine Mac Oberfläche (DiffusionBee), mit der es so mittelprächtig funktioniert.

Ich konzentriere mich aber gerade auf Midjourney, ich habe sonst Angst mich zu verzetteln (Kind-im-Süßigkeitladen-Syndrom)

Andreas

 

[adrianrohnfelder]

vor 2 Stunden schrieb Andreas J.:

habe sonst Angst mich zu verzetteln

Hihi, das kenne ich. Der Tag bräuchte 80 Stunden und mehr um alle KI Generatoren zu testen bzw. zu lernen 🤪

[Mattes]

Für den Mac gibt es im App Store "Draw Things". Es basiert auf Stable Diffusion 2.1 und bietet einige Einstellmöglichkeiten. Die Ergebnisse finde ich ziemlich durchwachsen, um mal höflich zu bleiben... Anders ausgedrückt: Ich habe es mir als "unbrauchbar" gemerkt und wieder runter geworfen. 

Dennoch hier mal drei Beispiele, dann könnt Ihr Euch die Zeit sparen:

Bearbeitet 17. Mai 2023 von Mattes

[adrianrohnfelder]

vor 2 Minuten schrieb Mattes:

Dennoch hier mal drei Beispiele, dann könnt Ihr Euch die Zeit sparen

Danke Dir, da hat es definitiv noch Potential 🤪

[Protesio]

Ich habe nun einiges mit Stable Diffusion aus meinem Link oben experimentiert. Wichtig ist das Model das man dazu nutzt. Ich habe viel mit dem "analog Madness" von civitai.com herumprobiert nun. Da kommen teils schon sehr gute Ergebnisse raus, teils auch ziemlicher Mist vor allem wenn man etwas komplexere Dinge haben will wie hier z.B.

Die Dame sollte doch nur eine Katze auf der Schulter haben aber stattdessen hat sie noch einen Katzenpelz und Katzenohren bekommen sowie eine verunstaltete Katze im Hintergrund 😄

 

Wenns dann nur eine Frau sein soll geht das schon besser:

[adrianrohnfelder]

Ich glaube dieses Problem haben aktuell noch alle Generatoren, also dass einige Elemente aus den Prompts überhaupt nicht übernommen oder anders interpretiert werden. Plus Physiognomie, auf dem unteren Bild frage ich mich, wo genau der linke Arm endet? Hast Du schon einmal mit Midjourney gearbeitet, nur interessehalber wegen der Möglichkeit eines direkten Vergleichs? Oder nenne doch gerne einmal Deinen Prompt, dann gebe ich den mal in Midjourney ein.

[Protesio]

Midjourney habe ich schon getestet bevor es dann kostenpflichtig wurde. Aktuell habe ich außer "rumspielen" noch keine Verwendung für die Bilder und daher auch keinen kostenpflichtigen Account.

Prompt von der Dame mit Katze war: 

Zitat

 

positiv: realistic full body portrait of 25 year old european woman, nerdy look with glasses, dark hair, in the streets of new york, (1cat sitting on her shoulder:1.5), looking into the camera, eye focus

negativ: Watermark, Text, censored, deformed, bad anatomy, disfigured, poorly drawn face, mutated, extra limb, ugly, poorly drawn hands, missing limb, floating limbs, disconnected limbs, disconnected head, malformed hands, long neck, mutated hands and fingers, bad hands, missing fingers, cropped, worst quality, low quality, mutation, poorly drawn, huge calf, bad hands, fused hand, missing hand, disappearing arms, disappearing thigh, disappearing calf, disappearing legs, missing fingers, fused fingers, abnormal eye proportion, Abnormal hands, abnormal legs, abnormal feet, abnormal fingers

 

 

Und die sitzende Dame: 

Zitat

 

positiv: masterpiece, realistic (full body:1.3) portrait of 25 year old european woman, nerdy look with glasses, dark hair, times square at night, sitting, looking into the camera, eye focus

negativ: (worst quality, low quality:1.2), photoshop, airbrush, disfigured, ugly, old, monotone, animal ears

 

 

Zusammenfassend kann man sagen bei 10 Bildern kommt 2-3 mal was richtig übles raus, 1 mal was richtig gutes und der Rest ist brauchbar. Meine besten Bilder kann ich hier nicht zeigen, da ich auch ein wenig mit NSFW Content herumgespielt habe wenn das ganze schon unzensiert ist 😄

Was ich interessant finde ist, dass die freien Varianten so schnell aufholen. Und das kann fast jeder mit nem halbwegs guten Rechner erstellen (Bei meinem betagten Ryzen 7 2700X mit Geforce 1080ti dauert ein Bild hochskaliert auf 1024*1024 ca 30-40s). Auf meinem M1 Macbook gehts etwas langsamer aber auch problemlos. Das Modell ist grade mal 2GB groß und das Programm an sich 6GB. Also Peanuts.

Da steckt echt ne pfiffige Community dahinter. Wenn das so weitergeht können sich die etablierten kostenpflichtigen bald warm anziehen.

[Protesio]

Hier mal noch zwei Ergebnisse von heute. Bis auf die Augen schon sehr ansehnlich finde ich.

 

 

Und Supergirl darf nicht fehlen 😄

[Mattes]

Tolle Ergebnisse, Protesio.

Ich muss meine erste Einschätzung auch revidieren, nachdem ich mich etwas ausführlicher mit "Draw Things" befasst habe. Mit dem richtigen Modell bekommt man wirklich gute Resultate.

Grüße
Matthias

[Protesio]

Es hängt auch wirklich stark vom Prompt ab und dann ist es auch noch so, dass manche Prompts je nach Modell unterschiedlich gut funktionieren, und noch zig weitere Einflussfaktoren.

Aber unbestritten ist, dass man hier ebenfalls sehr gute Bilder bekommen kann mittlerweile und das unzensiert, kostenlos und offline.

Und wenn man dann mal 6-12 Monate in die Zukunft denkt dann wird das sicher noch deutlich besser werden.

[Mattes]

Das denke ich auch. Wir sind ja bei allen diesen Dingern noch ziemlich am Anfang, was die Verfügbarkeit für die Allgemeinheit betrifft. Lokale Installationen werden eh der Weg der Zukunft sein, weil viele Anwendungen - gerade in Unternehmen - sonst nicht funktionieren werden.

[Mattes]

Ich probiere gerade mit "Flux" herum, ist für einen lokalen Generator echt gut:

 

[Mattes]

[Mattes]

Flux via Pinokio tut es (siehe oben), aber ich bekomme es mit ComfyUI nicht ans Laufen. Ich bekomme da immer nur Pixelmüll wie diesen raus:

Dass es prinziell auf meinem Rechner geht, zeigen ja die Ergebnisse via Pinokio. Genug RAM ist vorhanden (M3 Max, 128 GB RAM).

Ich finde den Fehler nicht, vielleicht kann mir ja jemand einen Tipp geben ( @adrianrohnfelder ?), der sich mit ComfyUI auskennt und sagen, wo mein Fehler liegt. Hier meine Konfiguration:

Viele Grüße
Mattes

[Mattes]

Problem gelöst, eine Python-Datei war buggy. Ein Downgrade hat geholfen.