클라우드산업및정책이슈리포트 2017-01 인공지능클라우드서비스현황 Cloud Ecosystem Application mart
클라우드산업및정책이슈리포트 2017-01 CONTENTS Ⅰ. 딥러닝프레임워크 Ⅱ. 구글의클라우드 AI Ⅲ. 마이크로소프트인텔리전트클라우드 Ⅳ. 아마존 AI 플랫폼 Ⅴ. IBM 왓슨개발자클라우드 Ⅵ. 맺음말 집필자 발행일 한상기대표 ( 소셜컴퓨팅연구소 ) 2017.7.19. 본제작물은클라우드스토어씨앗이저작권을보유하고있습니다. 클라우드스토어씨앗의승인없이리포트의내용일부또는전부를다른목적으로이용할수없습니다.
Ⅰ. 딥러닝프레임워크 인공지능은모든것이고어디에도존재한. 2016년 11월패스트컴퍼니가구글의 CEO 1) 인순다피차이가추구하는전략방향을보도하는기사에서밝힌그의시각이다. 그는다시올해열린구글 I/O 개발자컨퍼런스키노트에서이제구글은모바일퍼스트가아 니라 AI 퍼스트를지향한다고밝혔다. 모든기업이이제인공지능을전략의가장중심에놓으면서인공지능개발을지원하기위한환경구축과기술확보에많은노력을기울이고있다. 많은대학과연구그룹은그동안오픈라이브러리로제공되어온딥러닝프레임워크를활용하거나같이개발해왔다. 가장대표적인딥러닝프레임워크는카페, CNTK, 텐서플로우, 씨아노, 토치등이다. 카페 (Caffe) 는버클리대학의비전과학습센터를중심으로커뮤니티그룹에서개발해온것으로 C, C++, 파이썬, MATLAB, 명령어등의인터페이스를가지며, GPU 가속을위해 cudnn을지원한다. 2016년 11월, 페이스북은스마트폰에서도딥러닝기능을지원할수있도록카페2고 (Caffe2Go) 를개발해 ios나안드로이드에서도라이트버전의딥러닝을지원할수있 게오픈했다. 3) 2) 마이크로소프트연구소가제공한통합된딥러닝툴킷인 CNTK는음성, 이미지, 문서데이터를위한 CNN과 RNN을구현했고, C++ 와명령어기반의인터페이스와다중의 GPU와서버를지원한다. 텐서플로우는구글의머신인텔리전스연구조직에서개발한것으로데이터플로우그래프를사용하는소프트웨어라이브러리이다. C++ 와파이썬을지원한다. 텐서플로우는구글이 2011년에개발한딥러닝인프라스트럭처 DistBelief가가진단점을해결한 2세대 1) 2) 3) Fast Company, At Sundar Pichai s Google, AI is Everything and Everywhere, Nov. 15, 2016. VentureBeat, AI Weekly: Google shifts from mobile-first to AI-first world, May 18, 2017. Facebook, Delivering real-time AI in the palm of your hand, Nov. 8, 2016. 3
머신러닝시스템으로구글이그동안음성인식, 이미지인식에서보여준기술을모두 담아오픈소스로제공했다. 4) 구글은 2017년 5월에안드로이드기기를위한텐서플로우라이트를발표했다. 5) 이는 안드로이드스마트폰에서동작할수있는가벼운딥러닝모델을구축하기위한새로운라이브러리이다. 또한텐서플로우러서치클라우드에서는 1,000 개의클라우드 TPU 클러스터를제공 해 180 페타플롭스수준의컴퓨팅파워를무료로제공하고있다. 구글의클라우드 TPU 는머신러닝에슈퍼컴퓨터성능을제공하고있다. 4) 5) Google Research Blog, TensorFlow Google s latest machine learning system, open sourced for everyone, Nov. 9, 2015. TechCrunch, Google s TensorFlow Lite brings machine learning to Android devices, Ma 17, 2017. 4
씨아노 (Theno) 는캐나다몬트리올대학의머신러닝그룹에의해주도되는오픈소스로파이썬의수치계산라이브러리이다. 2007년부터개발되어왔고현재 0.9.0 버전이배포되어있다. GPU를위한 CuDNN 지원이가능하다. 토치는루아 (Lua) 라는스크립트언어를기반으로개발된머신러닝라이브러리이며광범위한알고리듬을지원하는것으로유명하다. LuaJIT와 C, C++ 인터페이스를제공한다. 토치는페이스북 AI 리서치그룹, 트위터, IBM, 얀덱스등에서도사용하며페이스북인공지능랩을이끄는뉴욕대학의얀르컨교수팀이적극활용한다. 사실구글의딥마인드도 4년동안토치를가장기본연구플랫폼으로활용하다 2016년 4월에텐서플로 우로이동했다. 6) 그러나모든개발자들이딥러닝라이브러리를자유자재로활용하지못하며, 때로는데이터를소유한기업에서빠르게자사의인공지능적용가능성에대해확인하고싶거나, 이미갖추어진클라우드환경에서인공지능의다양한기술을연계하고싶을수있다. 6) Google Research Blog, DeepMind moves to TensorFlow, April 29, 2016. 5
이런배경에서기존클라우드플랫폼제공기업은자사의라이브러리와이미검증된인공지능기술을클라우드에서직접제공하기시작했다. 인공지능을클라우드에서제공하는방식은크게클라우드머신러닝플랫폼을제공하는것으로특정기술을사용하는머신러닝모델개발이가능한플랫폼제공을의미한다. 이에는마이크로소프트애저머신러닝, 아마존의 AWS 머신러닝, 구글의클라우드머신러닝등이해당된다. 그러나클라우드기업은점점고객이을단순한 API 호출을통해비전, 자연어처리, 음성인식, 번역, 추천등의기능을바로사용할수있도록상위수준에서제공하기시작했다. 이를클라우드인공지능서비스라고부르며대부분이클라우드기업은현재이방향으로서비스를확대하고있다. 6
Ⅱ. 구글의클라우드 AI 구글의클라우드플랫폼은인공지능기술을고객의비즈니스와결합하기위해가장최신의머신러닝서비스와미리학습된모델을통해고객의요구에맞는모델을생성하기위한서비스를제공한다. 여기에는클라우드머신러닝엔진을기본으로제공하는데다른구글클라우드데이터플랫폼과통합해서전체적으로관리할수있게한다. 즉, 데이터저장을위한구글클라우드스토리지, 특징추출을위한클라우드데이터플로우, 모델생성을위한클라우드데이터랩을사용해고객의모델을학습시킬수있다. 가격구조는다음과같다. ITEM US EUROPE/ASIA Training Clusters Basic Tier $0.49/hour $0.54/hour Standard Tier $4.90/hour $5.40/hour Premium Tier $36.75/hour $40.50/hour Custom Cluster Configuration $0.49/hour per ML training unit $0.54/hour per ML training unit Basic GPU Tier $1.47/hour $1.62/hour Prediction Requests Up to 100M per Month Requests over 100M per month $0.10/1k +$0.40/Node Hour $0.05/1k +$0.40/Node Hour $0.11/1k +$0.44/Node Hour $0.05/1k +$0.44/Node Hour 7
클라우드머신러닝엔진은구글의텐서플로우프레임워크및구글의다른인공지능응 용시스템과연계할수있는데이에는다음과같은것이제공된다. 구글클라우드비전 API 이미지의내용을확인해주는 REST API. 이미지내의개별객체나얼굴을확인하고, 이미지안에인쇄된단어를읽어낸다. 클라우드음성 API 음성을문자로변환한다. 80 개언어와변형을인식하며, 클라우드스토리지에업로드한음성파일을변환할수도있다. 특정단어에의한상황인식도가능하다. 처리할수있는오디오인코딩은 FLAC, AMR, PCMU, Linear-16 등이지원된다. 클라우드비디오인텔리전스 API 비디오의메타데이터를추출해비디오파일이검색가능하게한다. 중요한명사형개체를확인할수있으며주석을달수있다. 비디오목록의전반적인내용을이해하도록지원한다. 클라우드잡스 API 직업을찾고자하는사람에게직관적인직업검색이가능하며새로운기회를발견하도록추천을제공한다. 직업제목과스킬이상호간에어떻게연결되고직업의내용, 위치, 상급자등이직업을찾는사람의선호도와가장근접하게매칭하도록한다. 8
자연어 API 문서의구조와의미를분석해주는 API이다. 뉴스기사, 문서, 블로그등의문장에표현된사람, 장소, 이벤트등에관한정보를추출할수있다. 또한, 소셜미디어나콜센터또는메시징앱에서얻은대화내용에서감성을이해할수있다. 클라우드번역 API 임의의문자열을지원하는언어로번역해주는인터페이스이다. 웹사이트나애플리케이션과통합해다이나믹번역이가능하게지원한다. 구글의클라우드인공지능은이미구글의여러연구나애플리케이션개발에서입증된모델을제공한다는점과구글의클라우드서비스와통합되어제공된다는점에서가장앞선인공지능클라우드서비스라고볼수있다. 특히클라우드 TPU를통해최고성능의하드웨어까지제공한다는차별점은많은기업이구글의인공지능클라우드를기반으로자사의서비스나애플리케이션이빠르게인공지능기술을활용할수있는기회를갖게해준다. 9
Ⅲ. 마이크로소프트인텔리전트클라우드 마이크로소프트는 2017년빌드개발자컨퍼런스에서인공지능과연계하는새로운클라우드환경을제시했다. 다양한기기와인공지능그리고서버중심에서벗어난새로운 컴퓨팅환경을언급하면서이는새로운진화라고설명하고있다. 이러한진화에는세가지의특성이있는데첫번째가하나의기기가아닌다중의기기가이루어내는세상이다. 이제는공장이나병원에서도모든기기가연결되어더이상퍼스널컴퓨팅의시대가아님을확인하는것이다. 더군다나이는다양한앱모델이아니라자연인터페이스를통한인간과상호작용하는세상이다. 음성, 시각, 잉크와터치그리고멀티모달 (multi-modal) 과에이전트기반의인터페이스를상정해야한다. 7) 두번째는인공지능이다. 이러한장비는거대한양의데이터를생성하고, 데이터를기 반으로논증하며, 이를다시지식으로변환해야한다. 따라서인공지능은이를처리해야 하고다시엣지에분산해야한다. 7) Microsoft Blog, In a new era of intelligent cloud and intelligent edge, Microsoft aims to empower every developer, May 10, 2017. 10
인텔리전트엣지는유비쿼터스컴퓨팅이나앰비언트컴퓨팅을얘기하는시대에맞는개념으로클라우드의파워를모바일과 IoT 기기까지확장해, 클라우드가가능한엣지에서모든기기가데이터, 애플리케이션, 지능이자연스럽게흘러가도록하자는것이다. 동시에자연스러운사용자인터페이스를모든애플리케이션에서가능하도록하겠다고한다. 모든서비스는개발자와이용자가만나는엣지가되는것이다. 마이크로소프트의인공지능서비스는단지음성이나자연어처리, 영상처리에머무는것이아니다. 모든마이크로소프트제품이인공지능으로새롭게변화될예정이다. 파워포인트는다국어서비스가가능해지고, 액셀은데이터분석솔루션으로확장되며, 그래프는업무습관을분석해최적의업무효율성을제안한다. 마이크로소프트오피스는이제제품에서서비스로변환되고있다. 마이크로소프트는이미애저클라우드에서머신러닝과코타나인텔리전스스위트서비스를제공하고있다. 다양한코그니티브 API를통해머신러닝과애널리틱스를제공하고있으며, 이를통해추천엔진, 감성분석, 얼굴인식등을활용할수있게하고있다. SQL 데이터웨어하우스를통해빅데이터를저장관리할수있게하며, 애저머신러닝을통해예측모델을디자인하고, 하둡환경을위한스톰과스파크에서데이터분석을위한 HDInsight를제공한다. 코그니티브서비스에서는시각, 음성, 언어, 지식, 검색을위한다양한 API를제공하고있으며, 랩에서개발중인기술역시공개하고있다. 실제로마이크로소프트는연구소를 11
통해그동안매우뛰어난인공지능기술을선보였다. 이제애저클라우드플랫폼에자사에서개발한모든기술을제공하고있으며, 이는앞으로클라우드시장에서인공지능플랫폼의위치를강하게차지하겠다는의지로보인다. 이를마이크로소프트에서는인공지능의민주화된접근이라고얘기한다. 2016년 11월오픈AI는마이크로소프트의애저를딥러닝과인공지능을위한주요클라우드플랫폼으로정했다는발표를함으로써이영역에서마이크로소프트의위치를 크게올렸다. 8) 8) OpenAI, OpenAI and Microsoft, Nov. 15, 2016. 12
Ⅳ. 아마존 AI 플랫폼 아마존은이미클라우드의강자이다. 그러나인공지능에있어서는고전적인머신러닝기법에기반한서비스를제공해오다, 2016년 11월 AWS re:invent 행사에서본격적 인인공지능플랫폼을공개했다. 9) 아마존은 AWS 인프라를기반으로세개의주계층으로구성된인공지능플랫폼을제시하고있다. 기존 AWS를인공지능에좀더특화한 AI 인프라와그위에다양한프레임워크를모두지원하는 AI 프레임워크, 그리고자체데이터를사용해사용자지정머신러닝모델을학습시키는 AI 플랫폼, 마지막으로사전에학습되고튜닝된 AI 서비스를제공한다. 아마존의 AI 서비스는자동음성인식과자연어이해를위한아마존렉스, 음성합성기 술인폴리, 그리고이미지인식과검색을위한레코그니션이있다. 렉스는아마존알렉 사가상비서기술과같은기술을사용한다. 9) TechCrunch, Amazon launches Amazon AI to bring its machine learning smarts to developers, Nov. 30, 2016. 13
AI 플랫폼에서는머신러닝알고리듬을몰라도모델생성프로세스를사용할수있도록시각과도구와마법사를제공하며, EMR 기반의아파치스파크와머신러닝라이브러리 (MLlib) 가포함되어있고, 사용자라이브러리를사용할수도있다. 프레임워크에서는아마존자체의딥러닝프레임워크인 MXNet 뿐만아니라널리사용되는대부분의프레임워크를모두지원한다. 인프라에서는 EC2 P2 인스턴스에서엔비디아 GPU를활용해계산시간을단축하며기존의 AWS 서비스의기능을머신러닝개발을위해활용할수있음을장점으로내세우고있다. 아마존은이미사내에수천명이인공지능분야에서일하고있다고밝힌바있다. 또한, 에코기기의성공으로알렉사기능이확장되고이를통해자사의기술을널리알렸지만, 인공지능기반기술에서는구글, 페이스북, 마이크로소프트등에비해강력한이미지를주고있지못하다. 인공지능플랫폼을공개하기전아마존의머신러닝서비스에서는부정탐지, 콘텐츠개인화, 마케팅캠페인을위한성향모델링, 문서분류, 이탈고객예측등의영역에서사례를보여줬는데, 앞으로도아마존자체서비스에서얻은경험을진보된인공지능서비스에서어떻게서비스영역으로올려제공할것인가를지켜볼필요가있다. 14
Ⅴ. IBM 왓슨개발자클라우드 IBM의왓슨은이미다양한인공지능애플리케이션영역에서사용되는플랫폼이다. IBM은많은개발자들이자신의앱에왓슨의언어, 비전, 음성, 데이터 API를이용해코그니티브컴퓨팅기능을개발하도록지원하고있다. 블루믹스클라우드위에서제공하는왓슨서비스는영역별로매우다양하며, 수시로바뀌고있다. 언어분야에서는대화, 다이얼로그, 문서변환, 언어번역, 자연어분류, 자연어이해, 톤애널라이저등이있으며, 음성분야에서는음성인식과음성합성이제공된다. 비전은이미지인식이제공되며, 데이터인사이츠에서는 10만개이상의뉴스소스에서매일 30만개이상의기사를통해비정형데이터를분석하게하는디스커버뉴스 API가있다. 15
왓슨대화를활용한자연어이해기능은봇 (bot) 이나가상에이전트를제작하는데활용할수있음을선보이고있다. 왓슨날리지스튜디오는클라우드기반응용서비스로개발자와도메인전문가가협력해비정형문서에서인용과관계를확인하기위한주석컴포넌트를생성할수있다. 16
Ⅵ. 맺음말 모든클라우드는이제기본적으로인공지능클라우드로진화하고있다. 포스닷컴을서비스하는세일즈포스는메타마인드를인수해아이슈타인이라고부르는인공지능서비스레이어를제시하고있고, 크럭스를인수해고객세그멘테이션과패턴분석기능을제공하고있다. 기본적으로세일즈포스고객과포스닷컴고객을위한인공지능기능에특화하고있다. 다시말해개발자들이구축하는모든앱에인공지능기능이가능할수있도록이미지분류, 이미지안에서개체발견, 감성분석, 의도분석등을사용할수있도록하고있다. 또한커머스인사이츠나제품추천, 예측분류와같이쇼핑에서사용이가능한예측과개인화기능들도커머스클라우드아인슈타인이라는이름으로제공한다. 페이스북경우에는 2014년부터페이스북의머신러닝플랫폼을처음부터다시구현해 서새로운플랫폼인 FB 러너플로우 (FBLearner Flow) 를제시했다. 발표당시회사의 25% 의엔지니어가이를사용하고있다고한다. 그러나이는아직내부엔지니어용이며아직외부에서사용할수있는플랫폼이아니다. 그러나페이스북은자사의기술을늘오픈소스로개방하고있기때문에페이스북의인공지능백본도외부개발자에게활용될수있을것이다. 이미페이스북은이미지인식을위한딥마스크와샤프마스크, 문서표현과분류를위한패스트텍스트를깃허브에오픈소스로제공했다. 그외에도많은인공지능오픈소스라이브러리를개선하고향상시키는데공헌하고있으며, 인공지능연구파트너십프로그램도진행하고있다. 10) 이제국내에서개발중인파스타플랫폼도다양한인공지능프레임워크나기존국가과제에서개발된이미지, 음성인식등의기능을클라우드기반서비스로전환해제공해야할것이며, 이제클라우드에서인공지능서비스는모든레이어에서다검토해야하는핵심구성요소가될것이다. 10) Facebook, Introducing FBLearner Flow: Facebook s AI backbone, Ma 10, 2016. 17