O introducere blândă în rețelele adversare generative (GAN)

Ultima actualizare la 19 iulie 2019

Rețele adversare generative, sau GAN pe scurt, sunt o abordare a modelării generative care utilizează metode de învățare profundă, cum ar fi rețelele neuronale convoluționale.

Modelarea generativă este o sarcină de învățare nesupravegheată în învățarea automată care implică descoperirea și învățarea automată a regularităților sau modelelor din datele de intrare, astfel încât modelul să poată fi utilizat pentru a genera sau a produce noi exemple care ar fi putut fi extrase în mod plauzibil din setul de date original.

GAN-urile sunt o modalitate inteligentă de a antrena un model generativ prin încadrarea problemei ca o problemă de învățare supravegheată cu două submodele: modelul generator pe care îl antrenăm pentru a genera noi exemple și modelul discriminator care încearcă să clasifice exemplele ca fiind fie reale (din domeniu), fie false (generate). Cele două modele sunt antrenate împreună într-un joc cu sumă nulă, contradictoriu, până când modelul discriminator este păcălit aproximativ jumătate din timp, ceea ce înseamnă că modelul generator generează exemple plauzibile.

GAN-urile reprezintă un domeniu interesant și în schimbare rapidă, îndeplinind promisiunea modelelor generative în ceea ce privește capacitatea lor de a genera exemple realiste într-o gamă largă de domenii problematice, mai ales în sarcinile de traducere de la imagine la imagine, cum ar fi traducerea fotografiilor din vară în iarnă sau din zi în noapte, precum și în generarea de fotografii fotorealiste ale obiectelor, scenelor și oamenilor care nici măcar oamenii nu pot spune că sunt false.

În această postare, veți descoperi o introducere delicată în Generative Adversarial Networks, sau GANs.

După ce veți citi această postare, veți ști:

• Context pentru GANs, inclusiv învățarea supravegheată vs. nesupravegheată și modelarea discriminativă vs. generativă.
• GAN-urile sunt o arhitectură pentru instruirea automată a unui model generativ prin tratarea problemei nesupravegheate ca fiind supravegheată și prin utilizarea atât a unui model generativ, cât și a unui model discriminativ.
• GAN-urile oferă o cale pentru creșterea sofisticată a datelor specifice domeniului și o soluție pentru problemele care necesită o soluție generativă, cum ar fi traducerea de la imagine la imagine.

Dă startul proiectului tău cu noua mea carte Generative Adversarial Networks with Python, care include tutoriale pas cu pas și fișierele de cod sursă Python pentru toate exemplele.

Să începem.

GANs as a Two Player Game

Modelarea generativă este o problemă de învățare nesupravegheată, așa cum am discutat în secțiunea anterioară, deși o proprietate inteligentă a arhitecturii GAN este aceea că formarea modelului generativ este încadrată ca o problemă de învățare supravegheată.

Cele două modele, generatorul și discriminatorul, sunt antrenate împreună. Generatorul generează un lot de eșantioane, iar acestea, împreună cu exemple reale din domeniu, sunt furnizate discriminatorului și clasificate ca fiind reale sau false.

Discriminatorul este apoi actualizat pentru a deveni mai bun la discriminarea eșantioanelor reale și false în runda următoare și, important, generatorul este actualizat în funcție de cât de bine, sau nu, eșantioanele generate au păcălit discriminatorul.

Ne putem gândi la generator ca la un falsificator, care încearcă să facă bani falși, iar la discriminator ca la poliție, care încearcă să permită bani legitimi și să prindă bani falși. Pentru a reuși în acest joc, falsificatorul trebuie să învețe să facă bani care nu pot fi deosebiți de banii autentici, iar rețeaua generatoare trebuie să învețe să creeze eșantioane care sunt extrase din aceeași distribuție ca și datele de instruire.

– NIPS 2016 Tutorial: Generative Adversarial Networks, 2016.

În acest fel, cele două modele concurează una împotriva celeilalte, sunt adversare în sensul teoriei jocurilor și joacă un joc cu sumă zero.

Pentru că cadrul GAN poate fi analizat în mod natural cu instrumentele teoriei jocurilor, numim GAN-urile „adversariale”.

– NIPS 2016 Tutorial: Generative Adversarial Networks, 2016.

În acest caz, suma zero înseamnă că, atunci când discriminatorul identifică cu succes eșantioane reale și false, este recompensat sau nu este necesară nicio modificare a parametrilor modelului, în timp ce generatorul este penalizat cu actualizări mari ale parametrilor modelului.

Alternativ, atunci când generatorul păcălește discriminatorul, acesta este recompensat sau nu este necesară nicio modificare a parametrilor modelului, dar discriminatorul este penalizat și parametrii săi de model sunt actualizați.

La limită, generatorul generează replici perfecte din domeniul de intrare de fiecare dată, iar discriminatorul nu poate face diferența și prezice „nesigur” (de exemplu, 50% pentru real și fals) în fiecare caz. Acesta este doar un exemplu de caz idealizat; nu este nevoie să ajungem în acest punct pentru a ajunge la un model de generator util.

conduce discriminatorul pentru a încerca să învețe să clasifice corect eșantioanele ca fiind reale sau false. Simultan, generatorul încearcă să păcălească clasificatorul să creadă că eșantioanele sale sunt reale. La convergență, eșantioanele generatorului sunt imposibil de distins de datele reale, iar discriminatorul emite 1/2 peste tot. Discriminatorul poate fi apoi eliminat.

– Pagina 700, Deep Learning, 2016.

GAN-uri și rețele neuronale convoluționale

GAN-urile lucrează de obicei cu date de imagine și utilizează rețele neuronale convoluționale, sau CNN-uri, ca modele de generator și discriminator.

Motivul poate fi atât pentru că prima descriere a tehnicii a avut loc în domeniul vederii computerizate și a utilizat CNN-uri și date de imagine, cât și din cauza progreselor remarcabile înregistrate în ultimii ani prin utilizarea CNN-urilor în general pentru a obține rezultate de ultimă generație într-o suită de sarcini de vedere computerizată, cum ar fi detectarea obiectelor și recunoașterea fețelor.

Modelarea datelor de imagine înseamnă că spațiul latent, intrarea generatorului, oferă o reprezentare comprimată a setului de imagini sau fotografii utilizate pentru a antrena modelul. De asemenea, înseamnă că generatorul generează noi imagini sau fotografii, oferind o ieșire care poate fi ușor de vizualizat și evaluat de către dezvoltatorii sau utilizatorii modelului.

S-ar putea ca acest fapt, mai presus de altele, capacitatea de a evalua vizual calitatea rezultatului generat, să fie cel care a condus atât la concentrarea aplicațiilor de viziune pe calculator cu CNN-uri, cât și la salturi masive în capacitatea GAN-urilor în comparație cu alte modele generative, bazate pe învățare profundă sau de altă natură.

GAN-uri condiționate

O extensie importantă a GAN-urilor constă în utilizarea lor pentru generarea condiționată a unui rezultat.

Modelul generativ poate fi antrenat pentru a genera noi exemple din domeniul de intrare, unde intrarea, vectorul aleatoriu din spațiul latent, este prevăzută cu (condiționată de) o anumită intrare suplimentară.

Intrarea suplimentară ar putea fi o valoare de clasă, cum ar fi bărbat sau femeie în generarea de fotografii de persoane, sau o cifră, în cazul generării de imagini de cifre scrise de mână.

Rețelele adversative generative pot fi extinse la un model condițional dacă atât generatorul, cât și discriminatorul sunt condiționate de anumite informații suplimentare y. y ar putea fi orice fel de informații auxiliare, cum ar fi etichete de clasă sau date din alte modalități. Putem realiza condiționarea prin introducerea lui y atât în discriminator, cât și în generator, ca strat de intrare suplimentar.

– Conditional Generative Adversarial Nets, 2014.

Discriminatorul este, de asemenea, condiționat, ceea ce înseamnă că i se furnizează atât o imagine de intrare care este fie reală, fie falsă, cât și intrarea suplimentară. În cazul unei intrări condiționate de tipul etichetei de clasificare, discriminatorul s-ar aștepta atunci ca intrarea să fie din acea clasă, învățând la rândul său generatorul să genereze exemple din acea clasă pentru a păcăli discriminatorul.

În acest fel, un GAN condiționat poate fi utilizat pentru a genera exemple dintr-un domeniu de un anumit tip.

După un pas mai departe, modelele GAN pot fi condiționate de un exemplu din domeniu, cum ar fi o imagine. Acest lucru permite aplicații ale GAN-urilor cum ar fi traducerea text-imagine sau traducerea imagine-imagine. Acest lucru permite unele dintre cele mai impresionante aplicații ale GAN-urilor, cum ar fi transferul de stil, colorizarea fotografiilor, transformarea fotografiilor din vară în iarnă sau din zi în noapte și așa mai departe.

În cazul GAN-urilor condiționate pentru traducerea de la imagine la imagine, cum ar fi transformarea zilei în noapte, discriminatorului i se oferă ca intrare exemple de fotografii reale și generate pe timp de noapte, precum și fotografii reale (condiționate) pe timp de zi. Generatorului i se furnizează ca intrare un vector aleatoriu din spațiul latent, precum și (condiționat de) fotografii reale din timpul zilei.

De ce rețele adversariale generative?

Unul dintre numeroasele progrese majore în utilizarea metodelor de învățare profundă în domenii precum viziunea computerizată este o tehnică numită augmentare a datelor.

Augmentarea datelor are ca rezultat modele mai performante, atât prin creșterea abilității modelului, cât și prin asigurarea unui efect de regularizare, reducând eroarea de generalizare. Aceasta funcționează prin crearea unor exemple noi, artificiale, dar plauzibile, din domeniul problemei de intrare pe care este antrenat modelul.

Tehnicile sunt primitive în cazul datelor de imagine, implicând recoltări, răsturnări, zoom-uri și alte transformări simple ale imaginilor existente în setul de date de antrenament.

Modelarea generativă de succes oferă o abordare alternativă și potențial mai specifică domeniului pentru augmentarea datelor. De fapt, augmentarea datelor este o versiune simplificată a modelării generative, deși este rareori descrisă în acest mod.

… extinderea eșantionului cu date latente (neobservate). Acest lucru se numește mărirea datelor. În alte probleme, datele latente sunt date reale care ar fi trebuit să fie observate, dar care lipsesc.

– Pagina 276, The Elements of Statistical Learning, 2016.

În domenii complexe sau în domenii cu o cantitate limitată de date, modelarea generativă oferă o cale spre mai multă pregătire pentru modelare. GAN-urile au înregistrat mult succes în acest caz de utilizare în domenii cum ar fi învățarea profundă de întărire.

Există multe motive de cercetare pentru care GAN-urile sunt interesante, importante și necesită studii suplimentare. Ian Goodfellow prezintă o serie dintre acestea în discursul său de deschidere a conferinței din 2016 și în raportul tehnic asociat intitulat „NIPS 2016 Tutorial: Generative Adversarial Networks.”

Printre aceste motive, el evidențiază capacitatea de succes a GAN-urilor de a modela date cu dimensiuni mari, de a gestiona datele lipsă și capacitatea GAN-urilor de a furniza ieșiri multimodale sau răspunsuri multiple plauzibile.

Pe cea mai interesantă aplicație a GAN-urilor este, probabil, cea a GAN-urilor condiționate pentru sarcini care necesită generarea de noi exemple. Aici, Goodfellow indică trei exemple principale:

• Super-rezoluția imaginilor. Capacitatea de a genera versiuni de înaltă rezoluție ale imaginilor de intrare.
• Crearea de artă. Capacitatea de a mari imagini noi și artistice, schițe, picturi și altele.
• Traducere de la imagine la imagine. Capacitatea de a traduce fotografii între domenii, cum ar fi de la zi la noapte, de la vară la iarnă și multe altele.

Poate că cel mai convingător motiv pentru care GAN-urile sunt studiate, dezvoltate și utilizate pe scară largă este succesul lor. GAN-urile au fost capabile să genereze fotografii atât de realiste încât oamenii sunt incapabili să își dea seama că acestea reprezintă obiecte, scene și persoane care nu există în viața reală.

„Uimitor” nu este un adjectiv suficient pentru capacitatea și succesul lor.

Further Reading

Această secțiune oferă mai multe resurse pe această temă, dacă doriți să aprofundați.

Posts

• Best Resources for Getting Started With Generative Adversarial Networks (GANs)
• 18 Impressive Applications of Generative Adversarial Networks (GANs)

Books

• Chapter 20. Deep Generative Models, Deep Learning, 2016.
• Chapter 8. Generative Deep Learning, Deep Learning with Python, 2017.
• Machine Learning: A Probabilistic Perspective, 2012.
• Pattern Recognition and Machine Learning, 2006.
• The Elements of Statistical Learning, 2016.

Papers

• Generative Adversarial Networks, 2014.
• Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2015.
• NIPS 2016 Tutorial: Generative Adversarial Networks, 2016.
• Conditional Generative Adversarial Nets, 2014.
• The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation, 2018.

Articole

• Generative model, Wikipedia.
• Latent Variable, Wikipedia.
• Generative Adversarial Network, Wikipedia.

Summary

În această postare, ați descoperit o introducere delicată în Generative Adversarial Networks, sau GANs.

În mod specific, ați învățat:

• Context pentru GANs, inclusiv supervizat vs. învățarea nesupravegheată și modelarea discriminativă vs. generativă.
• GAN-urile sunt o arhitectură pentru antrenarea automată a unui model generativ prin tratarea problemei nesupravegheate ca fiind supravegheată și prin utilizarea atât a unui model generativ, cât și a unui model discriminativ.
• GAN-urile oferă o cale pentru augmentarea sofisticată a datelor specifice domeniului și o soluție pentru problemele care necesită o soluție generativă, cum ar fi traducerea de la imagine la imagine.

Do you have any questions?
Ask your questions in the comments below and I will do my best to answer.