최신 ICT 이슈 * 최신 ICT 이슈 I. 현실같은가짜를상상으로만들어내는새로운인공지능 GAN 엔비디아의연구팀은신경망이유명연예인 (celebrity, 셀럽 ) 의이미지를생성하는기술을공개했는데, 생성된이미지는실제인물에기반을둔것이아니라인공지능 (AI) 이유명인의개념을이해하고상상으로그린것이며, 유명인이외에도모든객체의개념을이해한후사람의개입없이 AI가실제와똑같이그려낼수있음을보여주었음. 생성적대립쌍신경망 (Generative Adversarial Network: GAN) 이라불리는이기술은 2014 년처음등장한이래가장주목받는 AI 연구주제로부상하였음 최근인공지능 (AI) 컴퓨팅분야연구에적극나서고있는엔비디아 (Nvidia) 는 GTC 유럽 2017 컨퍼런스에서딥러닝기반응용프로그램 빈센트 (Vincent) AI 의공개시연을진행 빈센트 AI 는이용자가스타일러스입력펜을사용해간단히스케치한그림을실시간으로유화나네온색상의팝아트등 7 가지예술작품스타일로변환시켜주는응용프로그램으로 캠브리지컨설턴트 (Cambridge Consultants) 라는기업이엔비디아기술을이용해제작한것임 엔비디아의젠슨황 CEO 는기조연설도중무대에서내려와스타일러스를직접들고엔비디아로고와사람의얼굴을그렸으며, 이것이실시간으로피카소풍의그림으로변환되자컨퍼런스에참석한청중들의박수가터져나왔음 < 자료 > NVIDA 캠브리지컨설턴트의 AI 연구소인디지털그린하우스 (Digital Greenhouse) 에서 5 명으로 [ 그림 1] 빈센트 AI 로변환시킨스케치구성된연구팀은두달만에빈센트 AI 의데모를구현할수있었으며, 이번데모는엔비디아의딥러닝전용수퍼컴퓨터인 DGX 시스템 에서트레이닝을거쳐구현되었음 기존의딥러닝알고리즘이방대한양의데이터를소화할수있게됨으로써놀라운성과를달 * 본내용과관련된사항은산업분석팀 ( 042-612-8296) 과최신 ICT 동향컬럼리스트박종훈집필위원 (soma0722@naver.com 02-576-2600) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 정보통신기술진흥센터 33
주간기술동향 2017. 11. 22. 성한것인데, 빈센트 AI 에적용된인공지능기법은두개의신경망을이용하여이전에비해훨씬더적은표본으로도응용프로그램을생성할수있었다는점에서주목받고있음 엔비디아측에따르면, 알파고의등장에많은바둑기사들이호응을보인것처럼의외로많은예술가들이빈센트 AI 에상당한호감을보이고있으며, 빈센트 AI 를통해예술이무엇인지, 예술에대한자신들의지식이어느정도인지알게될것이라기대하고있다고함 빈센트 AI 의놀라운이미지전환기술뒤에는정밀한튜닝작업을거친 GAN(Generative Adversarial Network), 즉 생성적대립쌍신경망 이라는최신 AI 기술이자리하고있음 비영리인공지능연구단체인 오픈 AI 의컴퓨터과학자인이언굿펠로우가창안한 갠 (GAN) 기술은최근인공지능기반이미지전환기술로크게각광받고있으며, 굿펠로우는연구논문발표후구글의인공지능연구부서인 구글브레인 으로자리를옮겨연구를지속하고있음 이언굿펠로우에의해 2014 년에처음등장한이기법과관련한논문수가기하급수적으로증가해서최근에는 190 편이상이학계에보고되고있으며, 페이스북의 AI 연구를이끌고있는얀르쿤교수는갠 (GAN) 을가장중요한기술로꼽고있음 갠신경망은 대립쌍을이루는 (Adversarial) 두개의네트워크를만들고, 상호대립과정에서훈련목표를자동으로생성하도록학습시키는모델임 통상기계학습이사람이태그를달아주는방식으로학습결과가맞았는지확인해주는데반해갠기법은사람의개입없이컴퓨터가스스로목표이미지와비교해서생성한이미지를반복해서평가하고수정하는과정속에서데이터자체에서지식을얻는 비지도학습형 알고리즘임 최근이미지구별이나음성인식등에활용되는인공지능기술인 CNN 이나 RNN 은 지도학습형 알고리즘으로이미지나음성을구별하고인식할뿐만들어내지는못하는데, GAN 은생성모델을통해직접이미지와음성을만들어낸다는것이큰차이점임 엔비디아의연구팀이개발한기술역시 GAN 을이용한것으로, 엔비디아는논문을통해신경망이유명인 (celebrity, 셀럽 ) 의이미지를자동으로생성하는기술을공개했는데, 이이미지는실제사람이아닌 AI 가 유명인 이라는개념을이해하고상상으로생성해낸것임 GAN 으로그린가상의유명인은어디선가본 < 자료 > Karras et al. [ 그림 2] GAN 이생성한유명인이미지 34 www.iitp.kr
최신 ICT 이슈 듯한것처럼보이지만실존인물은아니며, 구글에서이미지검색을해도해당인물이발견되지는않는데, 한마디로 GAN 은진짜같은가짜를생성해내는기술이라고도할수있음 엔비디아가발표한논문은 GAN 이유명연예인외에도침실, 화분, 말, 소파, 버스등의객체를 AI 가개념만듣고현실과똑같이그려낼수있음을보여주고있음 생성적대립쌍이라는명칭이붙은이유는, GAN 이서로경쟁하는두개의신경망 (dueling neural network) 구조를통해성능을개선하고딥러닝모델을진화시키기때문 GAN 의구조는일반적으로 감식자 (Discriminator) 와 생성자 (Generator) 라는두개층의신경망으로구성되고, 양측이서로충돌하면서발생하는차이점을수정해나가며궁극의균형점, 즉진짜같은가짜의생성에이르게됨 생성네트워크는진짜와똑같은가짜이미지를생성하는역할을담당하며, 생성자에노이즈 ( 랜덤신호 ) 가입력되면이를토대로가짜이미지를생성함 감식자는입력된데이터가진짜인지가짜인지를판정하는데, 생성자가만들어낸가짜 (Fake) 이미지와샘플데이터세트에서추출된실제 (Real) 이미지가감식자에입력되면 Fake 또는 Real 여부를판정하게됨 < 자료 > Anton Karazeev [ 그림 3] 대립쌍을이루는 GAN 의작동프로세스 이방식은게임이론중 내쉬균형 (Nash Equilibrium), 즉합리적판단을하는상호간의게임이론에따라수학적으로균형점을찾는다는이론이적용된것임 한마디로 GAN 은생성자와감식자가대치하며, 매우성공적인가짜를생성해내는인공지능기술이라정의할수있음 GAN 의개념을주창한이언굿펠로우는대립쌍을설명하면서생성자와감식자의관계를위조지폐범과경찰의대결로비유하였음 화폐위조범 ( 생성자 G) 이새로운위폐를만들어내면경찰이나은행원 ( 감식자 D) 은이를간파해야하고, 위조범들이이를피하기위해더그럴듯한위조지폐를만들면경찰관들도동시에감식기술을향상시키는데, 이과정을통해위조화폐가더욱정교해진다는것 즉, 위폐범의위조기술과경찰의감식기술이서로를자극하면서발전을거듭하면, 결국위조화폐는진짜화폐와같은수준의내쉬균형점에이르게된다는것으로, 현실에서는감식자가 정보통신기술진흥센터 35
주간기술동향 2017. 11. 22. 위폐범을이겨야하나 GAN 에서는위폐범의승리가목표임 이언굿펠로우는대립쌍을설명하면서수학같이명확한답이없지만확률적으로목표와근사한지를끊임없이확인하면서이미지를변환해가면결국엔위폐일확률과진짜일화폐일확률이각기 0.5 가된다고표현하였음 인간과 AI 가대결과공존해야하는시대에인간이우위를점할수있는영역으로흔히창의성과예술분야가거론되지만, 알파고등장에서보듯현실은창의성에서도 AI 의우월성이드러나는데, 위폐범의승리를목표로하는 GAN 같은기술의등장이그원인이라할수있음 이처럼 GAN 은매우성공적인가짜를생성할수있으나기술적으로몇가지과제가있었는데, 엔비디아는특수구조를개발하여과제를해결해가고있음 GAN 의과제는알고리즘의교육에장시간연산이필요하다는점과알고리즘의작동이불안정하다는점이었는데, 엔비디아는서서히이미지의해상도를높여나가는구조의네트워크를개발하여문제를해결하였음 엔비디아가개발한 GAN 의특징은학습초기단계에서는낮은해상도 (4 4) 의네트워크를사용하고, 학습이진행되면서점차해상도를올려최종적으로고해상도 (1024 1024) 의네트워크를사용하여선명한이미지를생성한다는점 < 자료 > Karras et al. [ 그림 4] 점증적으로해상도를높여나가는엔비디아의 GAN 엔비디아의 GAN 이순차적으로생성한이미지와생성에소요된시간을살펴보면, GAN 에학습을시작한지 4 시간 33 분이경과한시점에저해상도 (16 16) 의이미지가생성되어사람으로보이는듯한형상이나타났음 1 일 6 시간이경과한시점에서나타난중간해상도 (64 64) 의이미지에서는얼굴윤곽이뚜렷해졌으며, 5 일 12 시간이경과한시점에나타난고해상도 (256 256) 이미지에서는인물이부드 36 www.iitp.kr
최신 ICT 이슈 럽게그려져있지만세부적으로보면군데군데일그러진곳이있음 19 일 4 시간이경과한시점에나타난초고해상도 (1024 1024) 이미지에서는리얼한인물이완성되었는데, 이처럼엔비디아의 GAN 은감식자 (Discriminator) 의스킬을검증하면서서서히해상도를올려나가는방식을통해알고리즘교육시간을약 20 일로단축하였음 엔비디아가 GAN 의성능을개선했지만, 고해상도의이미지를생성하려면대규모컴퓨팅리소스를필요로하는등아직연구를통해개선해야할것들이많이남아있음 GAN 에서선명한이미지를생성하기위해서는대규모컴퓨팅자원이필요한데, 엔비디아의경우이연구를위해 NVIDIA Tesla P100 GPU(4.7 TFLOPS) 를사용하였음 GAN 의알고리즘학습에는약 20 일정도가걸렸는데, 많이개선된것이지만고해상도의이미지를생성하려면여전히많은처리시간이필요하며, 결국완벽한가짜이미지생성에아직까지는많은비용이소요됨을의미함 또한, GAN 으로그려낼수있는대상은 GAN 이학습을마친분야로제한되기때문에현재는유명연예인등일부에한정되는데, GAN 의교육시간을상당히단축시키거나혹은폭넓은분야를커버하게하려면추가연구가필요한상황임 GAN 은양날의검이될위험성이존재하지만, 현재 AI 기술개발의가장큰걸림돌을해결할단서가될수있다는점에서 AI 분야의큰돌파구가될수있는연구주제임 GAN 은현재딥러닝이안고있는많은문제를해결할수있는비장의카드가될가능성이있으며, 비지도학습 (Unsupervised Learning) 과라벨이없는데이터 ( 태그없는교육자료 ) 분야의연구를크게진전시킬단서가될것으로전망되고있기때문 이는현재 AI 개발의가장큰걸림돌이되고있는문제, 즉알고리즘을교육하기위해대량의태그데이터가필요하다는문제의해결책이될수있음을의미하며이것이개발자들이 GAN 에주목하는가장큰이유임 반면, GAN 에대한우려도그만큼크게대두되고있는데, GAN 이가상으로그려낸이미지는사진촬영을한연예인이라해도의심의여지가없으며, 실제와똑같은가짜앞에서양자의진위를판정할수있는사람은아무도없음 소셜미디어에서가짜뉴스가문제가되고있지만 GAN 의등장으로이제는가짜사진이사태를더욱복잡하게할가능성이커졌으며, 인스타그램에올라오는사진들역시 GAN 이만들어낼시대가도래하고있음 전문가들이라고이런문제를비껴나갈수있는것은아니어서, 천문학자들은이제우주의이미 정보통신기술진흥센터 37
주간기술동향 2017. 11. 22. 지를직접우주공간에나가서사진찍듯이그려내고있으며, 화산폭발장면을실감나는사진으로표현하고있음 또한, 인체의 DNA 가어떻게작동하는지또단백질이어떻게반응하는지를직접촬영한사진처럼표현하기도하는데, 그럴듯한이미지들과함께이런저런학술이론을제시하면한마디반박조차못하고감쪽같이설득당할수밖에없음 GAN 의등장은현실과가상현실사이에서진위의구분이무의미해지는시대의도래를시사하며, 양날의검이될수있는 GAN 의활용범위와방안을놓고 AI 개발자커뮤니티뿐아니라일반인사이에서도다양한논쟁이벌어질것으로보임 [ 참고문헌 ] [1] ChristianToday, NVIDIA news: AI from GPU company has now created images of people that don't exist, 2017. 11. 3. [2] Engadget, Neural network creates photo-realistic images of fake celebs, 2017. 10. 30. [3] Forbes, NVIDIA Just Made The Face Of AI A Little Less Uncanny In The Valley, 2017. 10. 30. [4] Alphr, Meet Vincent, the AI artist bringing your sketches to life, 2017. 10. 17. 38 www.iitp.kr