Hobbyisten ontdekken hoe ze aangepaste lettertypen kunnen invoegen in door AI gegenereerde afbeeldingen

Vorige week experimenteerde een amateur met een nieuw Flux AI-beeldsynthesemodel Het is ontdekt Ze zijn onverwacht goed in het leveren van speciaal opgeleide versies van lettertypen. Hoewel er al tientallen jaren efficiëntere methoden bestaan ​​om computerlettertypen weer te geven, is de nieuwe technologie nuttig voor liefhebbers van AI-afbeeldingen, omdat Flux fijnkorrelige tekstvisualisaties kan weergeven en gebruikers nu woorden die met aangepaste lettertypen zijn weergegeven, rechtstreeks in AI-afbeeldingsgeneraties kunnen invoegen. .

We beschikken al sinds de jaren tachtig (en uit onderzoek uit de jaren zeventig) over de technologie om precieze, vloeiende, door de computer getekende lijnen in aangepaste vormen te produceren, dus het maken van een gekloond lettertype met AI is op zichzelf niets nieuws. Maar nieuwe technologie betekent dat je een bepaald lettertype kunt zien verschijnen in door AI gegenereerde afbeeldingen van bijvoorbeeld een menu op een schoolbord in een echt restaurant of een gedrukt visitekaartje in de hand van een robotvos.

Kort nadat AI-fotomontagemodellen mainstream werden, zoals Stable Diffusion in 2022, begonnen sommige mensen ermee Ik vraag me afHoe kan ik mijn product, kledingstuk, persoonlijkheid of stijl opnemen in een door AI gegenereerde afbeelding? Eén antwoord dat naar voren kwam, kwam in de vorm van LoRA (low-rank adaptatie), een techniek Het is ontdekt In 2021 is een AI-basismodel gelanceerd waarmee gebruikers de kennis in het AI-basismodel kunnen vergroten met speciaal opgeleide benchmarkuitbreidingen.

Met deze LoRA-modules, zoals modules worden genoemd, kunnen beeldsynthesemodellen nieuwe concepten creëren die oorspronkelijk niet werden gevonden (of slecht weergegeven) in de trainingsgegevens van het onderliggende model. In de praktijk gebruiken liefhebbers van beeldsynthese ze om unieke stijlen weer te geven (bijvoorbeeld alles in… Krijt kunst) of onderwerpen (gedetailleerde afbeeldingen van Spider-Man(Bijvoorbeeld). Elke LoRA moet specifiek worden getraind aan de hand van door de gebruiker aangeleverde voorbeelden.

Vóór Flux waren de meeste AI-beeldgeneratoren niet erg goed in het weergeven van nauwkeurige tekst binnen een scène. Als je Stable Diffusion 1.5 vraagt ​​om een ​​tag weer te geven met de tekst ‘cheese’, zal het je onzin laten zien. OpenAI’s DALL-E 3, vorig jaar uitgebracht, was het eerste grote model dat tekstverwerking redelijk goed deed. Flux maakt nog steeds af en toe woord- en letterfouten, maar het is het meest capabele ’text-in-world’ (noem maar op) AI-model dat we tot nu toe hebben gezien.

Omdat Flux een open model is dat kan worden gedownload en microconversie, was vorige maand de eerste keer dat LoRA-lijntraining zinvol kon zijn. Dit is precies wat Onlangs ontdekt door een AI-liefhebber genaamd Vadim Fedenko (die op het moment van schrijven nog niet op een interviewverzoek had gereageerd). “Ik ben echt onder de indruk van de manier waarop het is geworden”, schreef Fedenko Deel op Reddit“Flux herkent hoe letters er uitzien in een specifieke stijl/lettertype, waardoor het mogelijk wordt om Lora’s te trainen met specifieke lettertypen, stijlen, etc. Ik ga er binnenkort meer van trainen.”

Voor zijn eerste poging koos Fedenko een bruisend drankje Lettertype “Y2K”-stijl Het resulterende model doet denken aan de modellen die eind jaren negentig en begin jaren 2000 populair waren en werd op 20 augustus op het Civitai-platform gepubliceerd. Twee dagen later plaatste een Civitai-gebruiker genaamd “AggravatingScree7189” een tweede LoRA-lettertype dat een lettertype reproduceerde dat leek op dat in Cyberpunk 2077 Videogame.

“Het script was zo slecht voordat het bij me opkwam dat je dit kon doen.” boeken Een Reddit-gebruiker belde egg-benedryl toen hij reageerde op Fedenko’s bericht over de Y2K-lijn. Nog een Reddit-gebruiker boeken“Ik wist niet dat het tijdschrift Y2K nep was totdat ik erop inzoomde.”

Is het overdreven?

Zoom in / Een voorbeeld Cyberpunk 2077 LoRA, geïntroduceerd met behulp van Flux dev.

Het is waar dat het gebruik van een diepgetraind neuraal netwerk om afbeeldingen te synthetiseren om een ​​duidelijke lijn op een eenvoudige achtergrond weer te geven waarschijnlijk overdreven is. U wilt deze methode waarschijnlijk niet gebruiken om Adobe Illustrator te vervangen tijdens het ontwerpen van een document.

“Klinkt goed, maar het is wel grappig dat we het idee van lettertypen opnieuw uitvinden met LoRA-bestanden van 300 MB”, boeken Een commentator op Reddit in een draad over Cyberpunk 2077 Lettertype.

Generatieve AI wordt vaak bekritiseerd vanwege de impact op het milieu, wat een legitieme zorg is voor grote clouddatacenters. Maar we ontdekten dat Flux deze lijnen in door AI gegenereerde scènes kan invoegen terwijl ze lokaal op de RTX 3060 draaien Gekwantificeerd (Verkleind formaat) (Het volledige ontwikkelingsmodel kan worden uitgevoerd op een RTX 3090). Het elektriciteitsverbruik is vergelijkbaar met het spelen van een videogame op dezelfde pc. Hetzelfde geldt voor het maken van een LoRA:Constructor Cyberpunk 2077 Lettertype trainer LoRA in drie uur op een 3090 GPU.

Er zijn ook ethische problemen rond het gebruik van door AI aangedreven beeldgeneratoren, zoals hoe ze worden getraind op het gebied van gegevens die zijn verzameld zonder toestemming van de eigenaar van de inhoud. Hoewel de technologie onder sommige kunstenaars verdeeldheid zaait, maakt een grote gemeenschap van mensen er dagelijks gebruik van Deel de resultaten online Via sociale mediaplatforms zoals Reddit, wat leidt tot nieuwe toepassingen van de technologie zoals deze.

Op het moment van schrijven zijn er slechts twee regels gewijd aan Flux LoRA’s, maar we hebben al gehoord over plannen om er meer te creëren terwijl we deze regels schrijven. Hoewel deze technologie zich nog in de beginfase bevindt, kan deze essentieel worden als AI-beeldsynthese in de toekomst breder wordt ingezet. Adobe zal dit met zijn beeldsynthesemodellen waarschijnlijk in de gaten houden.