최신 ICT 이슈 * 최신 ICT 이슈 I. 스스로학습하는인공지능 GAN, 현재 200 여개파생기술연구중 구글의인공지능 (AI) 연구부문인구글브레인의이언굿펠로우가 2014 년발표한 GAN(Generative Adversarial Networks) 은최근 10년간 AI 연구에서가장뛰어난성과로평가받고있으며, 현재약 200 여개의변형된기술들이연구되고있음. GAN 은딥러닝과달리인간의개입없이도그리고학습할데이터가없어도신경망스스로학습해나갈수있음을보여주고있다는점에서큰기대를받고있으며, 그잠재력만큼동시에큰위험도내포하고있어우려의목소리도높아지고있음 알파고이후인공지능 (AI) 이대체할수없는창의성을키워야한다는주장이더욱커졌지만, 알파고쇼크의본질은창작도 AI 가인간보다잘할수있음을보여준데있음 지나 10 월알파고를개발한 딥마인드 (DeepMind) 는 인간의지식없이바둑게임정복하기 라는논문을발표하며, 새롭게 알파고제로 (Zero) 를소개하였음 제로 라는코드네임이붙은이유는, 이전버전의알파고개발에서는최초학습데이터로사람의기보약 16 만건을사용한반면, 알파고제로는사람의기보나바둑에대한기본규칙을전혀입력하지않고 AI 스스로바둑을두면서실력을배양하도록했기때문 논문에따르면알파고제로는 72 시간만에이세돌을꺾은 알파고리 버전을넘어섰고, 4 개월후에는커제를꺾은 알파고마스터 버전을넘어섰다고함 기존 AI 가방대한데이터분석과강화학습등을통해인간의지혜를배우는데초점을두고인간이이미잘할수있는것들을자동화는수준이었다면, 알파고제로는인간전문가의개입이나인간의관점입력없이이루어졌다는데중대한함의가있음 알파고제로의바둑을보면서바둑계에서나온반응은그래도사람이수천년동안발전시켜온소위바둑의정석이란것이틀리지않았음이확인되어 다행이다 라는것이었는데, 최소한바둑계에서는이제아무도 AI 를그저엄청난속도로연산을하는기계로만바라보지않음 * 본내용과관련된사항은산업분석팀 ( 042-612-8296) 과최신 ICT 동향컬럼리스트박종훈집필위원 (soma0722@naver.com 02-576-2600) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. 정보통신기술진흥센터 33
주간기술동향 2017. 11. 29. 실제디자인, 회화, 음악, 문학, 영화등예술과창작영역에 AI 의침투소식은이제더이상낯설지않은데, 이들소식에서언급되는 AI 는수십가지로변형되고있는 GAN 기술임 지난 5 월 엔비디아 GTC 2017 컨퍼런스에서구글리서치의이언굿펠로우는청중들에게각양각색의고양이사진을보여주며, 이중실제고양이사진이아닌 AI 가임의로합성해낸이미지를찾아보라고질문을던졌음 청중들은좀처럼찾아낼수없었는데, 사실그사진들중실제고양이사진은단한장도없었고모두 AI 가무작위로합성해낸것이었으며, 사람들은진짜사진과가짜사진의구분이무너지고있다며감탄과탄식을동시에쏟아냈음 고양이사진합성에사용된인공지능기술은 생성적대립쌍신경망 (Generative Adversarial Network: GAN) 이라불리는것인데, 이언굿펠로우가지난 2014 년에논문을통해발표했을때컴퓨터사이언스학계에서찬사가쏟아졌음 딥러닝의창시자로불리는제프리힌튼교수 < 자료 > NVIDA 는 갠 (GAN) 에대해 최근 10 년간가장매 [ 그림 1] GAN 을개발한이언굿펠로우력적인이론 이라평가했으며, 인간의가이드라인에따라수동적으로학습하는기존 AI 와달리 능동적으로학습하고행동하는 AI 개발을위한토대가될것이라보았기때문임 갠신경망은 대립쌍을이루는 (Adversarial) 두개의네트워크, 즉이미지를만드는 생성자 (Generator) 와이미지가진짜인지가짜인지감별하는 감식자 (Discriminator) 를서로경쟁시켜생성자가감별자가구분하기어려운진짜같은가짜를만들게하는것임 2014 년이후매주새로운갠 (GAN) 논문들이쏟아지고있으며, 최근에는 190 편이상이보고되고있는데, 전문가들도모두추적하기힘들정도로다양한응용기법들이등장하고있음 그이름도다양해 DCGAN, SRGAN, StackGAN, 3D-GAN, CycleGAN 등 200 여개의서로다른기법이 GAN 으로부터개발되고있어 GAN 기술은앞으로더욱발전속도가가속화될전망 가장대표적인 GAN 기법은 DCGAN(Deep Convolutional Generative Adversarial Networks) 으로엔비디아는이를이용해유명연예인의이미지를생성하는기술을공개하였음 엔비디아의 DCGAN 은유명연예인뿐만아니라침실, 화분, 말, 소파, 버스등어떤객체라도 AI 가개념만듣고현실과똑같이그려낼수있음을보여주었음 34 www.iitp.kr
최신 ICT 이슈 DCGAN 에서생성자 (Generator) 는매개변수에서원래이미지를찾아처리하는 디컨볼루션네트워크 (De-Convolution Network) 로구성되며, 입력된노이즈 ( 랜덤신호 ) 로부터이미지를생성함 감식자 (Discriminator) 는매개변수를응축처리하는 컨볼루션네트워크 (Convolution Network) 로구성되며, 여기에위조이미지 (Fake) 또는실제이미지 (Real) 를입력함 감식자는입력된이미지를처리하고그것이위 < 자료 > Amazon 조 (Fake) 인지또는실제 (Real) 인지여부를로지스틱회귀분석법으로판정하며, 이과정에서 [ 그림 2] DCGAN 을이루는생성자와감식자감식자는역전파알고리즘 (Backpropagation) 으로진짜와가짜의차이값 (Gradient) 을얻게됨 이차이값을다시생성자에입력하여진짜와똑같은가짜를생성하는기술을향상시키는데, 양측이모두향상되는구조로이프로세스를몇번이고되풀이하여감식자가구분할수없는진짜같은가짜이미지를생성하게됨 DCGAN 의생성자는가짜이미지를생성할뿐만아니라생성된이미지를연산조작하는기능을가지고있는데, 예를들어 안경을쓴남자-안경을쓰지않은남자 + 안경을쓰지않은여자 = 안경을쓴여자 와같은연산을처리함 연산의결과안경쓴여성의이미지를 9 개 < 자료 > Radford et al 생성하며, 맨중앙이미지가구하려는답으로주위의 8 개이미지를외삽법 (extrapolation) [ 그림 3] DCGAN 생성자의이미지연산조작으로추론하여중앙의이미지를생성한것이고, 이런연산조작기법을이용하면금발을흑발로바꿀수도있음 외삽법이란어떤주어진구간의밖에존재하는값을추정하는것으로보외법 ( 補外法 ) 이라고도하며, 반대로주어진구간내에존재할수있는값을추정하는것은보간법 ( 補間法 ) 이라고함 회화그림관련응용프로그램에적용되고있는 SRGAN(Super-Resolution Generative Adversarial Networks) 은저해상도이미지를고해상도이미지로변환하는기법임 정보통신기술진흥센터 35
주간기술동향 2017. 11. 29. [ 그림 4] 의맨오른쪽이원본이미지인데, 예를들어, 이이미지의해상도를 4 배로늘리는작업을한다고할때다양한방법으로시도가가능함 맨왼쪽이미지는기존에주로많이사용하던 바이큐빅 (bicubic) 이라는 2 차원외삽법에의해해상도를높인것임 < 자료 > Ledig et al 왼쪽에서두번째는이미지수준을예측하는심층레지듀얼 [ 그림 4] SRGAN 으로해상도높이기네트워크 (Deep Residual Network) 로서딥러닝의손실함수인평균제곱오차 (Mean Squared Error) 에최적화되어있는 SRResNet 기법을이용해해상도를높인것임 왼쪽에서세번째가 SRGAN 으로생성한이미지인데, 물리적으로는손실압축에서화질손실정보를수치로표현한 최대신호대비잡음비 (peak signal-to-noise ratio) 가높아노이즈가있지만, 외견상구조적유사성 (Structural Similarity) 은원본이미지에가장가까움 SRGAN 기법은이미지초해상도 (Image Super-Resolution) 라고도불리며저해상도이미지를 8K 모니터등고해상도디스플레이에표시하는기술로서주목받고있음 스택 GAN(StackGAN, Stacked Generative Adversarial Networks) 은입력된문장과단어를해석해이미지를생성하는인공지능기법임 예를들어, 이새는파란색에흰색이섞인짧은부리를가지고있다 라는텍스트를입력하면 StackGAN 이이를이해하여그에맞는이미지를생성함 GAN 이생성자와감식자의대립네트워크를생성하듯, Stack GAN 은저해상도이미지를생성하는 Stage-I 과고해상도이미지를생성하는 Stage-II 의 2 단계네트워크구성을갖추고있음 DCGAN 과마찬가지로 StackGAN 에서생성된이미지는실제조류가아닌 StackGAN 이상상으로생성한것이며, 사진처럼보이지만그러한새는세상에존재하지않음 < 자료 > Zhang et al [ 그림 5] StackGAN 3D-GAN 은 MIT 의 AI 연구팀이공개한입체모델생성네트워크로가령가구사진을통해 교육시키면 3D-GAN 은가구를 3 차원으로그릴수있게됨 36 www.iitp.kr
최신 ICT 이슈 연구팀의논문을보면이케아의가구사진을 3D-GAN 에입력하면그가구를 3D 로묘사하는데, 입력된사진은가구전체를담고있지않지만 3D-GAN 은이것을상상에서보충하여 3D 이미지를생성해내고있음 3D-GAN 역시 3D 모델이미지를연산조작할수있는데, 가령 선반있는낮은테이블- 선반없는높은테이블 + 높은테이블 = 선반이있는높은테이블 과같은연산을수행해이미지를생성함 [ 그림 6] 은 3D-GAN 이학습한성과를가시적으로보여주기위한것이며, GAN 이학습한성과를매개변수로네트워크에저장하는것 < 자료 > Wu et al 을실제로볼수는없음 MIT 는현재숨겨진영역 (Latent Space) 의매개 [ 그림 6] 3D-GAN 을이용한 3D 이미지생성변수를출력하는 3D-GAN 의학습메커니즘을검증하기위한연구를수행하고있음 사이클 GAN(CycleGAN) 은인공지능이자율적으로학습하여이미지의스타일을다른스타일로변환시킬수있는기술임 입력된이미지의스타일을다른스타일로변환하는방법을일반적으로 스타일변환 (Style Transfer) 이라고하며, 이미지사이의스타일을매핑하기위해최근들어심층신경망을이용하는경우가많음 심층신경망이화가의스타일을습득하여그화풍으로그림을그리는기술이다수발표되고있으며, 사진을입력하면 AI 가이를모네스타일혹은피카소스타일의유화로변환해주는애플리케이션들이대표적임 그러나이방식은화가의작품이나풍경사진데이터중어느한쪽혹은양쪽의데이터가거의없는경우, 작품과사진이 짝을짓게하는교육 (Paired Training) 을어떻게실행할수있을것인가가큰과제가됨 이에비해사이클 GAN(Cycle-Consistent Adversarial Networks) 기술은쌍을이루는교육데이터가필요없는, 즉작품-사진의쌍을지을필요없이, 모네의유화나풍경사진을각각독자적으로사용하여네트워크를교육시키는짝짓지않는교육 (Unpaired Training) 기법임 교육된사이클 GAN 은예를들어모네의작품을입력하면이를사진으로변환하거나반대로사진을입력하면모네의유화로변환시킬수있음 정보통신기술진흥센터 37
주간기술동향 2017. 11. 29. 또한, 얼룩말의사진을말의사진으로, 말의사진을얼룩말의사진으로변환할수있는데이를객체변형 (object transfiguration) 이라하며, 또한산의여름사진을입력하면눈쌓인겨울산의사진으로변환할수도있는데이는계절변환 (season transfer) 이라고함 < 자료 > Zhang et al 사이클 GAN 은네트워크가자율적으로학습하는아키텍처로서 교사없는학습 (Unsupervised [ 그림 7] CycleGAN 을이용한스타일변환 Learning) 으로이어질수있는기법으로기대되고있음 사이클 GAN 기법은버클리인공지능연구실이주축이되어개발하고있으며, 주책임자인중국인주준이엔외에한국인박사과정학생박태성이참여하고있기도함 디스코 GAN(DiscoGAN) 은인공지능이자율적으로서로다른객체그룹사이의특성을파악하여양자사이의관계를파악할수있는기술임 사람은하나의그룹과다른그룹의관계, 예를들어가방그룹과신발그룹의관계를경험적혹은직관적으로파악할수있으며, 신경망이이관계를파악하도록하기위해서는태그가붙어있는이미지를대량으로입력해알고리즘을교육할필요가있음 이에비해디스코 GAN 은알고리즘이양자의관계를자율적으로이해하는데, 먼저디스코 GAN 에가방과신발이라는두그룹의이미지를각각입력해각자의특성을가르치고나면이미지에태그 ( 가방이나신발등의이름 ) 가붙지않아도알고리즘이양자의관계를스스로파악함 교육된디스코 GAN 을예를들면, 가방이미지를입력하면신발이미지를생성하거나, 파란색가방이미지에서파란색신발이미지를생성하고, 남성의사진을입력하면여성의이미지를생성할수도있음 디스코 GAN 역시사이클 GAN 과마찬가지로양자의관계를정의한짝지운데이터 (Paired Data) 가불필요하고각자의특성이미지만교육시키면네트워크가자율적으로학습하는구조이기때문에, 교사없는학습의길을여는기술로주목받고있음 < 자료 > Kim et al [ 그림 8] 디스코 GAN 을이용한관계파악 GAN 은기초연구뿐만아니라비즈니스에응용도시작되고있으며, 아마존이 GAN 을이용 한패션사업의구상을밝힌것이대표적임 38 www.iitp.kr
최신 ICT 이슈 아마존은산하연구소인 Lab126 에서 GAN 의개발을진행하고있으며, GAN 이유행중인패션을통해스스로스타일을학습하고자신만의패션을생성하도록하고있고, GAN 이패션디자이너가되어인간을대신해새로운디자인을창조하게하는것임 패션트렌드는페이스북이나인스타그램등에올라온사진으로학습하는데, 이사진들을 GAN 에입력하면 GAN 이트렌드를배워독자적인패션을디자인하게됨 < 자료 > Amazon 또한, 아마존은인공지능스피커에코의변형버전인 에코룩 (Echo Look) 을통해이 [ 그림 9] GAN 을이용한아마존의에코룩용자를촬영한다음패션에대한조언을하는서비스를제공하고있음 아마존은에코룩을통해이용자의패션취향을이해한다음, GAN 이개인에특화된디자인을만들게하는계획을갖고있으며, GAN 이생성한디자인으로만든주문형옷 (On-Demand Clothing) 이이용자에게배달되게하는사업구조임 이처럼 200 여개에달하는 GAN 의변형기술연구가폭넓게진행되고있는이유는 GAN 이현재딥러닝이안고있는많은문제를해결해줄강력한무기를제공할수있기때문임 특히, 교사없는학습 (Unsupervised Learning) 과태그없는데이터 (Unlabeled Data) 교육분야에서연구를크게진전시킬단서를제공할것으로전망되고있으며, 사이클 CAN 이나디스코 GAN 이그러한가능성을잘보여주고있음 또한, 엔비디아의연구팀역시 DCGAN 기술을이용해촬영한것처럼선명한가상의유명연예인이미지를생성하고있지만, 신경망교육에는태그가붙어있지않은연예인사진을사용하는등알고리즘이자율적으로배우는기술은빠르게진화하고있음 과학자들은상상하는모습을모두이미지로만들어낼수있는이런시스템들을보며인공지능신경망이세상을해석하는통찰력을제공해줄것이라고기대하고있음 비록인공지능이어떤원리로이미지를저장하고해석하는지명확하지는않더라도, 바둑기사들이알파고가바둑의본질을보다잘이해한다고인정하듯이, 과학자들역시컴퓨터가생성해내는이미지가실제세상에서도통할수있다고생각하는것임 GAN 에대한기대가높아지는만큼그위험성에대한지적도나오고있으며, AI 뿐만아니라모든기술이그렇듯이기술을어떻게사용할것인지는결국인간의결정에달려있음 페이스북의 AI 연구소장인얀르쿤은 GAN 과그파생기술들이지난 10 년의기계학습연구에 정보통신기술진흥센터 39
주간기술동향 2017. 11. 29. 서가장뛰어난성과라고높이평가하고있음 한편, GAN 의위험성을지적하는목소리도높아지고있는데, 지금까지도페이스북가짜사진이문제가되었지만 GAN 의등장으로그위험성이더욱높아짐에따라이제뉴스에게재되는사진이나비디오조치도신뢰할수있는가하는질문이제기되고있음 소셜미디어에게재된이미지가증거사진으로사용되는경우가많지만, 이제앞으로무엇이진실인지알수없는시대가되면과연그럴수있겠느냐는것이며, 수년내로 GAN 을통해진짜같은가짜비디오를생성할수있게된다면혼란은더욱가중될것이라는경고임 이는엄밀한근거에기반을두어야하는과학에서더욱불거질수있는문제인데, 그럴듯한이미지나동영상과함께이런저런학술이론을제시하면한마디반박조차못하고감쪽같이설득당할수밖에없는위험이생긴것임 삶을풍요롭게하는데사용될지아니면삶을위험에빠뜨리게될지, AI 가그러하듯 GAN 이라는혁신기술역시양날의검을가지고있다는점을항시염두에두고바라볼필요가있음 [ 참고문헌 ] [1] MIT Technology Review, This AI Learns Your Fashion Sense and Invents Your Next Outfit, 2017. 11. 16. [2] Daily Mail, The AI stylist that learns your fashion sense and invents your next outfit based on what you like and current trends, 2017. 11. 16. [3] PetaPixel, This Website Uses AI to Enhance Low-Res Photos, CSI-Style, 2017. 10. 31. [4] Forbes, What s Next For Deep Learning?, 2017. 7. 21. 40 www.iitp.kr