DeepFaceDrawing: wanneer schetsen tot leven komen

Stel je voor: je tekent een gezicht op een servet — slechts een paar losse lijnen. En even later verschijnt er een fotorealistisch portret voor je. Sciencefiction? Helemaal niet — dit is DeepFaceDrawing, een project dat de magie van generatieve modellen toegankelijk maakt voor iedereen.

Wat zit er achter de naam

DeepFaceDrawing is een neuraal netwerkmodel dat in staat is om eenvoudige gezichtsschetsen om te zetten in gedetailleerde afbeeldingen. In tegenstelling tot vergelijkbare oplossingen vereist het geen professionele tekeningen: schematische lijnen zijn voldoende, en het systeem maakt ze zelf af.

Het project werd ontwikkeld door onderzoekers en gepubliceerd in ACM Transactions on Graphics. Onder de motorkap — een combinatie van verschillende neurale netwerken die werken volgens het "lokaal-naar-globaal" principe.

Wie heeft er profijt van

• Ontwerpers voor snelle ideevisualisatie
• Game-ontwikkelaars voor het creëren van personages
• Kunstenaars als concept art hulpmiddel
• Hobbyisten zonder artistieke opleiding

Belangrijkste functies

1. Werkt met ruwe schetsen Het systeem interpreteert zelfs losse schetsen correct en vult ontbrekende details aan.

2. Stap-voor-stap verwerking Eerst worden individuele gezichtsdelen geanalyseerd (ogen, neus, mond), waarna een samenhangende afbeelding wordt gecreëerd.

3. Flexibele aanpassing Je kunt al gegenereerde afbeeldingen wijzigen door individuele elementen te corrigeren.

4. GUI-interface De ingebouwde editor maakt het mogelijk om direct in de applicatie te tekenen.

Technische kant

Het project maakt gebruik van het Jittor-framework — een Chinees alternatief voor PyTorch. Je hebt nodig:

• Ubuntu 16.04+
• NVIDIA GPU met CUDA 9.2
• Python 3.7

De installatie ziet er zo uit:

sudo apt install python3.7-dev libomp-dev
sudo python3.7 -m pip install git+https://github.com/Jittor/jittor.git
python3.7 -m jittor.test.test_example
sh install.sh

Hoe het uit te proberen

1. Download vooraf getrainde modellen
2. Plaats ze in de 'Param' map
3. Voer de demo uit:

python3.7 demo.py

Waar toepassen

• Prototyping van personages voor games en animatie
• Onderwijs — bestuderen van gezichtsanatomie
• Forensisch onderzoek — het maken van compositietekeningen
• Kunstprojecten — experimenteren met visualisatie

Conclusie: is het de moeite waard om te proberen?

DeepFaceDrawing is een van de meest indrukwekkende tools in zijn klasse. Als je snel ideeën wilt omzetten in visuele afbeeldingen, zal dit project uren werk besparen. Het belangrijkste voordeel is dat het echt werkt met amateurschetsen, waardoor het toegankelijk is voor een breed scala aan gebruikers.

Ontwikkelaars zullen ook de op Jittor gebaseerde aanpak interessant vinden — een geweldige manier om kennis te maken met dit platform. En voor degenen die gewoon willen experimenteren met het genereren van afbeeldingen, biedt het project een eenvoudige grafische interface.

Probeer het — misschien wordt jouw schets de volgende demonstratie van de mogelijkheden van neurale netwerken.