Das FLUX Universum wächst: Inpainting und Loras

FLUX von den Black Forest Labs ist noch keine drei Wochen auf dem Markt – aber schon lässt sich beobachten, wie die Strategie aufgeht (jedenfalls die, die ich dahinter vermute):

Durch die Offenheit und der hohen Qualität der Modelle (jedenfalls von Flux PRO und Flux DEV) ist die Stable Diffusion Fan-Gemeinde auf Civitai und Hugging Face mit viel Energie dabei, mit Erweiterungen die Leistungsfähigkeit und die Einsatzfelder von Flux zu erweitern. Hier die zwei beliebtesten Flux Erweiterungen: Inpainting und Loras!

Auf der Trending Liste auf Hugging Face mit den beliebtesten Projekten kommen direkt nach den Flux Modellen selber (#1 Flux DEV, #2 Flux Schnell) zwei spannende Projekte, die sich auch direkt online testen lassen:

• FLUX LoRA the Explorer (Platz #3)
• FLUX Inpainting (Platz #4)

FLUX Inpainting

Inpainting ist eine Funktionalität, die wir auch von anderen KI Generatoren kennen: In einem bereits generierten Bild werden ausgewählte Bereiche neu generiert, die noch nicht den Erwartungen entsprechen. Das können missratene Finger sein, ebenso wie eine neue Brille oder ein neues Bildelement.

Midjourney hat gerade die eigene Website erweitert, um Inpainting deutlich einfacher und intuitiver zu machen. Die Black Forest Labs als Flux-Anbieter stellen solche Oberflächen und Funktionen selber nicht zur Verfügung – aber dafür gibt es ja die Community:

Auf Hugging Face steht für zahlende Mitglieder ein Bereich „Space“ zur Verfügung, in dem sich Flux.1 Inpainting testen lässt:

Es wird nicht explizit angegeben, welches Flux Modell dahinter steht, aufgrund der Offenheit und der Qualität gehe ich davon aus, dass es Flux DEV ist. Die Funktionalität und die Benutzeroberfläche wurde durch Community Mitglieder kostenlos zur Verfügung gestellt.

Aktuell ist die Funktion noch nicht sehr zuverlässig, den Prompts für die neuen Bildbereiche folgt das Inpainting nur sehr widerwillig:

FLUX Loras

Wer sich mit Stable Diffusion beschäftigt hat, kennt den Begriff und die Funktionsweise von Loras (Low-Rank Adaptation): Dies sind Erweiterungen bzw. Anpassungen von Standardmodellen, mit denen bestimmte Bildstile oder Bildeffekte gezielt erzeugt werden können. Beispiele sind Erweiterungen für spezielle Anime-Stile oder Partikeleffekte im Bild.

Loras sind ein wichtiger Baustein für den Erfolg von Stable Diffusion, da eine große und aktive Community die Basismodelle für alle möglichen Anwendungen anpassen konnte.

Dieses Erfolgsrezept nutzen jetzt die Flux-Modelle. Wenige Tage nach der Veröffentlichung der Flux Modelle durch die Black Forest Labs stehen auf Civitai schon 133 Loras auf Civitai zum kostenlosen Download bereit.

Auf der Website Hugging Face gibt es seit einigen Tagen den FLUX LoRA Explorer, mit dem sich – wie der Name sagt – verschiedene Loras mit Flux testen lassen:

Aktuell stehen 17 verschiedene Loras sehr unterschiedlicher Qualität zur Verfügung. Wenn man sie testen will, sollte man sich vorab jeweils die Projektseiten anschauen, um eine Vorstellung der Bildergebnisse zu bekommen und die sogenannten „Trigger Words“ zu kopieren.

Diese Trigger Words sind dazu da, um die verwendeten Loras im Generierungsprozess zu aktivieren. Eins der Beispiel-Loras ist auf Tarot-Karten spezialisiert, hier sollte im Prompt der Token in the style of TOK a trtcrd, tarot style enthalten sein, um das Lora zu aktivieren:

Hier einige weitere Beispiele mit einem Lora, das sich auf Strickwaren spezialisiert hat:

Flux Modelltraining

Mittlerweile ist es sogar schon recht einfach, mit Flux seine eigenen Modelle zu trainieren.

Die Flux Strategie geht auf…

Die mit Flux generierten Bilder in diesem Artikel sind bestimmt nicht der Beweis für die Leistungsfähigkeit von Flux oder einer Überlegenheit gegenüber Midjourney & Co. Das Augenmerk sollte auch nicht auf der Leistungsfähigkeit der vorgestellten Projekte liegen, sondern auf der Geschwindigkeit und der Energie, mit der sich die Stable Diffusion Community auf die neuen Modelle stürzt und sie weiterentwickelt.

Beim Thema Flux dranbleiben?