Eigene Modelle zu trainieren ist die Königsdisziplin in der KI-Bildgenerierung und erlaubt die größte Kontrolle über das KI-Bildergebnis. Mit dieser Methode können reale Personen wie auch Produkte 1 zu 1 in KI umgesetzt werden und beantwortet die uns am häufigsten gestellten Fragen:
- Wie kann ich ein Foto mit KI nachbauen?
- Ich möchte eine Serie erstellen, in der die Hauptperson immer gleich aussieht?
- Kann ich meinen Kopf auf ein KI-Bild setzen?
- Wie kann ich mich selbst mit KI generieren?
- Wie kann ich eine Person in unterschiedliche Szenen setzen?
- Kann ich eine Person in KI generieren?
Möglich ist das alles schon länger mit Stable Diffusion, neuerdings nun auch mit Flux. Midjourney hingegen bietet zwar die Character Reference (—cref Parameter) was die Übertragung des Aussehens von Personen auf andere Bilder erlaubt. Das funktioniert jedoch nur für mit in Midjourney generierten Charakteren und nicht mit Fotos von realen Personen, geschweige denn Gegenständen.
Ein solches Modelltraining stand schon lange auf unserer Liste und jetzt mit dem neuen spannenden Player Flux haben wir das endlich erstmalig getestet.
Inhalte
Aktuell sind wir zum einen noch dabei, uns tiefer in die Materie einzuarbeiten. Zum anderen ist ein solches Tutorial mit allen Screenshots für einen Artikel eigentlich zu lang. Daher arbeiten wir gerade an einem entsprechenden eBook wie auch Webinar, möchten hier aber schon einmal kurz das grobe Vorgehen skizzieren und unsere ersten Ergebnisse präsentieren.
Eine lokale Installation von Flux steht auch noch auf unserer Agenda, für unser erstes Training haben wir erst einmal auf GitHub, Replicate und Hugging Face zurückgegriffen. Folgende Schritte waren nötig:
Vorbereitung
- (Kostenlose) Registrierung bei GitHub
- (Kostenlose) Registrierung bei Hugging Face
- Trainingsseite bei Replicate öffnen und dort mit den GitHub Anmeldedaten einloggen
- In den Settings bei Replicate müsst Ihr ein Zahlungsmittel hinterlegen, da das Training der Daten in etwa 5 bis 7 Euro kosten wird.
Trainingsdaten
- Ihr braucht ca. 12 bis 15 Fotos von Euch, möglichst in einem ähnlichen Zeitraum aufgenommen und in unterschiedlichen Szenen und Posen.
- Lasst Euch die Bilder von ChatGPT beschreiben im Hinblick auf Person, Umgebung, Wetter und Blickwinkel (Optional, jedoch empfohlen).
- Erstellt für jede Beschreibung eine separate Textdatei und benennt diese wie das zugehörige Bild.
- Zip-Ordner mit den Bild- und (falls erstellt) Textdateien anlegen.
Das Training
- Einloggen in Replicate und Hugging Face.
- Trainings-Website auf Replicate aufrufen.
- Unter “destination” wählt Ihr “create new model” aus und vergebt einen eindeutigen Namen. Dieser muss mit “flux_” beginnen, z.B. “flux_[euervorname]”.
- Auswahl “Public” (Öffentlich) so lassen.
- Über “input_images” ladet Ihr die eben erstellte Zip-Datei hoch.
- Tragt bei dem “trigger_word” das Wort ein, welches später beim Generieren eindeutig Euer Modell identifiziert. Daher sollte es auch ein ausgedachtes Wort sein wie z.B. [euervorname]FLUX.
- Habt Ihr vorhin Textdateien angelegt, so müsst Ihr das Häkchen bei “autocaption” entfernen.
- Wählt die gewünschte Anzahl “steps”. Bei mir waren es 2.000, was ein guter Kompromiss zwischen Kosten und Ergebnis ist.
- Die Felder “learning_rate”, “batch-size”, “resolution”, “lora-rank” und “optimizer” lasst Ihr unverändert.
- Nun geht Ihr zu Hugging Face, klickt rechts oben auf Eure Profilbild und dann auf “New Model”.
- Unter dem “model name” tragt Ihr wie oben “flux_[euervorname]” (oder welchen Namen Ihr auch immer in Replicate vergeben habt) ein.
- Auswahl bleibt auch hier auf “Public”.
- Klickt nun neben Eurem Modellnamen (müsste wie folgt aussehen: [euerhuggingfacename]/flux_[euervorname]) auf das Copy Symbol. Geht zurück zu Replicate und fügt den Namen in das Feld “hf_repo_id” ein.
- Jetzt geht Ihr wieder zu Hugging Face und klickt unter Eurem Profilbild auf “Settings”.
- Anschließend wählt Ihr auf der linken Seite “Access Tokens” und dann rechts oben “auf “create new token”.
- Diesen Token benennt Ihr nun wieder als “flux_[euervorname]”.
- Jetzt müsst Ihr noch ein paar Haken setzen, und zwar bei “Repositories”, “Inference”, “Webhooks” und auch noch bei den “Collections”
- Jetzt könnt Ihr auf “create token” klicken.
- Nachdem der Token erstellt wurde, kopiert Ihr den über “copy”, geht wieder zu Replicate und fügt den Token in dem Feld “hf_token” ein.
- Puuh, ganz schön viel, aber nun habt Ihr es endlich geschafft, drückt auf “create training”, holt Euch einen Kaffee und wartet plus minus eine halbe Stunde.
- Wenn das Training abgeschlossen ist, findet Ihr rechts oben die Info “OUTPUT: The training was successful. You can now run…”
- Nun müsst Ihr wieder zurück zu Hugging Face wechseln. Theoretisch solltet Ihr dort unter Eurem Modell unter “Files and Versions” die Dateien “config.yaml” und “lora.safetensors” finden.
- Bei mir war das allerdings nicht der Fall, k.a. wieso. Macht aber nichts. Ich bin einfach wieder zu Replicate wo ich mir unter dem fertig trainierten Modell über “Download weights” genau diese beiden Dateien auf meine Festplatte geladen habe.
- Anschließend habe ich diese in Hugging Face manuell unter “Files and versions” über “, dann auf “add files” bzw. “upload files” in mein Repository geladen.
- Und noch mal puuh, aber jetzt ist es nun tatsächlich endgültig vollbracht 🙂
Generiere Dein KI-Ich
- Gehe zu der Seite auf Replicate, unter der Du mit Flux [dev] auf Deine trainiertes Modell zugreifen kannst.
- Dort trägst Du unter “hf_lora” die Hugging Face Repository ein (Ihr erinnert Euch: [euerhuggingfacename]/flux_[euervorname]).
- Und jetzt “Prompt frei”. Beginne in der Promptzeile immer mit “photo of [Trigger Wort]” und lass Deiner Fantasie freien Lauf.
Beispielvideo
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Wir finden die Ergebnisse für unseren allerersten Versuch schon echt cool und freuen uns schon sehr auf weitergehende Erfahrungen. Abonniert dazu doch gerne unseren Newsletter für weitere Artikel sowie das oben angekündigte ausführliche eBook.
