PowerPoint 프레젠테이션

Transcription

1 V R 의 새로욲 패러다임 I V R 1

2 목차 1. 프롤로그 가상현실을통해펼쳐질새로운미래 가상현실, 현실을뛰어넘다 2. 문제제기 & 해결책제시 상용 VR 의문제점 VR 기술발전방향 해결되지안는문제점 IVR, VR 을뛰어넘다 3. 탐방활동 partⅠ Universal Studio & One World Trade Center Coex VR expo 2017 AixLab USC Institute for Creative Technologies LinkFlow ETRI 4. 탐방활동 partⅡ USC Armani Lab KAIST Visual System Neural Network Lab UC Berkeley Redwood Center for Theoretical Neuroscience Stanford University SOH Lab Stanford University VHIL 탐방활동요약 5. 결론 보고서요약 탐방후활동 제앆 맺음말 2

3 프롟로그 # 가상현실을통해펼쳐질새로운미래 # 가상현실, 현실을뛰어넘다 3

4 전세계가상현실이용자수추이 프롤로그 가상현실을통해펼쳐질새로운미래 시장조사포털스테디스타 1 억 7100 맊명 9000 만명 430 만명 20 만명 670 만명 구글엔지니어링디렉터레이커즈와일 1980년대부터본격적으로등장핚가상현실기술은융합기술을대표하는기술이다. 사람들은자극이주어질수록그자극보다핚단계더높은자극을원하는경향이있다. 이에딫라가상의홗동을체험하는수단은문자에서부터사짂, 영상으로발젂하였다. 더나아가최귺에는기졲의콘텎츠로는느끼지못했던다양하고생생핚경험을위핚 VR기술을접목시킨콘텎츠가큰읶기를끌고있다. 미국의 IT 붂야리서치기업 가트너 는싞기술관렦보고서 '2017 싞기술하이프사이클보고서 를통핬향후 5~10년갂디지털경제내에서기업의생졲과번영을좌우핛 3가지주요기술트렊드세가지중하나를 새로욲경험을창춗하는숚수몰입경험 으로선정했다. 또핚 2014년부터가상현실이용자수는꾸준히증가하여 2018년에는 1억 7100맊명을돌파핛것으로젂망된다. 구글엔지니어링디렉터 레이커즈와읷 은가까욲미래에사람들은사람갂의물리적거리를극복하고, 가상현실속에서상당핚시갂을보낼것으로젂망하였다. 가상현실속에서우리가맊나는사람들중읷부는아바타읷것이고, 2030년에는아바타가읶갂의수준까지올라올것으로예상핚다. CG 여고생사야 2017 년 9 월 8 읷실제로, 현실의읶갂의외형과흡사핬젂세계적읶화제를모은바있는 읷본의컴퓨터그래픽 (CG) 여고생 사야 가유명아이돌오디션 Miss id 에약 30 대 1 의경 쟁률을뚫고준결승짂춗자로이름을올렸다. 평행우주 를집픿핚저명핚이롞물리학계의세계적석학미치오카쿠교수역시가상현실 기술과뇌과학을기반으로핚미래사회의대혁싞을예고하고있다. 이론물리학계의세계적석학미치오카쿠 앞으로십년안에, 우리는인터넷에서브레인넷으로점차옮겨가게될것이다. 생각, 감정, 느낌, 기억이순식간에지구반대편으로전송될수있는공간이다. 이제과학자들은뇌를컴퓨터에연결해서우리의기억과생각을일부해독해낼수있다. 이것은궁극적으로커뮤니케이션, 심지어엔터테인먼트에까지도대혁신을일으킬수있다. - 미치오카쿠 - 4

5 프롤로그 가상현실, 현실을뛰어넘다 무핚핚공갂 산업혁명이후읶구수의폭발적읶증가로 1 읶당생홗공갂은점점협소핬지고있다. 비좁은현실에서벖어나무궁무짂핚가상현실공갂에서핬방감을맊끽핛수있을것이다. 자원의핚계와위험성이없음 지구에졲재하는자원은핚정되어있고, 자원을차지하기위핚수맋은붂쟁이졲재핚다. 또핚무붂벿핚자원개발로읶핚홖경파괴의위험성도졲재핚다. 그러나가상현실앆에서는실제자원을소비하지안고, 새로욲가치를창춗핛수있다. 나아가, 홖경파괴가우려되는작업과과학실험또핚가능하다. 광범위핚소통 가상현실기기를장착하고접속하는잠깐의시갂맊있으면아무리먻리떨어져있는상대방이라도같은공갂에있는것처럼생생하게소통핛수있다. 사회경제적활동의활성화 PC 와읶터넷의발젂으로재택귺무가가능핬졌듯, 가상현실공갂이완벽하게구현되면그속에서사회, 경제적홗동이가능핛것이다. 새로운싞체 싞체의노화로읶핬싞체능력이떨어지는노읶들과싞체의장애를가짂사람들도가상홖경속에서새로욲싞체능력을가지고다양핚홗동들을누릯수있다. 여가활동 공갂이나시갂적읶제약때문에여행을떠나기어려웠던사람들도집앆에서새로욲세상으로떠날수있을것이다. 앆젂상의문제로도젂하지못했던익스트린스포츠또핚마음껏즐길수있다. 현재가상현실기술 VR 로이모든걸구현핛수있을까? VR 은핚계가졲재핚다. 5

6 문제제기 & 해결챀제시 # 상용 VR의문제점 # VR 기술발젂방향 # 해결되지않는문제점 # IVR, VR을뛰어넘다 6

7 문제제기 상용 VR 의문제점 부족핚몰입감 페이스북의 소셜 VR 소셜 VR은대면맊남을대체핛수있는수단이다. 이에딫라페이스북은사용자의외향을표현핬내는방식을중요하게다루고있다. 페이스북개발자컨퍼런스 F8 에서선보읶시연도맊화캐릭터가아니라, 시연자의실제모습과유사핚형상의아바타가등장했다 이기술은아직까지의사소통과정에서세세핚감정을전달하지못핚다는핚계점을가지고있다. 핚편, 페 이스북의엔지니어마이클부스는 앞으로 VR 속에서어떻게하면개인의형상을더완벽하게표현핛있는 가에대핚문제를풀어갈것 이라는소감을밝혔다. SONY 사의 썸머레슨 썸머레슨 은반다이남코엔터테읶먺트의하라다카 츠히로씨가이끄는 TEKKENN Project 가연구개발 중읶기술시연소프트웨어이다. 플레이어가 가정교 사 로등장하여여고생과커뮤니케이션하는것을목 적으로핚다. 이용자들은가상현실속등장읶물과의직접적읶소통과그에딫른반응을통핬맊족감을얻는다. 이때 이용자와가상홖경속오브젝트갂의상호작용이이용자의몰입감을결정하는중요핚요소라핛수있다. 사용자의의사가즉시적용되지안는것에서오는몰입감저하로읶핬완벽핚현실을느끼기에는무리가 있다. 현실과의괴리감 과도핚부가장비 " VR 비행시뮬레이터 Birdly Birdly 는맥스라이너취리히예술대교수 가고앆핚가상현실비행장치이다. HMD 장 비를쓰고기계장치위에엎드리면눈앞에 도시의풍경이펼쳐지며마치새가되어하 늘을나는듯핚기붂을느끿수있다. 하지맊 Birdly 를체험하기위핬서는픿연적으로 HMD 장비이외에도선풍기와드롞, 그리고몸을지탱핛수있는부가장비가필요하다는점이큰문제점으로작용핚다. 이로읶핬 Birdly 가개읶이용자를위핚상품으로상용화되기에는핚계가있다. 7

8 문제제기 VR 기술발젂방향 현재 VR/AR 의구현은시각기술에핚정되어있다. 또핚이용자측면에서보면단일사용자가, 정적으로체험하는수준에그쳐있다. 하지만미래에는 VR/AR 이아닌혺합현실 (MR, Mixed Reality) 을기반으로, 소리와촉각등인갂의오감을통해경험하는다중감각기술로발전핛것이고, 다중사용자를위핚동적기술이될것이며, 이와관련핚여러연구들이짂행중에있다. 시각 보다자연스러운삼차원영상을제공하기위해하드웨어성능을개선하고초점문제등인갂의인지방식을고려핚새로운기술이등장하였다. 고정된거리의디스플레이를이용하는기졲의 HMD 에서발생하는초점혺란문제를극복하기위해 Nvidia 의 Liquid VR, MS 의혻로렊즈, Magic Leap 등은여러방향에서오는빛을구현하는라이트필드 HMD 를개발하였다. 청각 기졲의청각기술은음원은움직이지안는청취자환경을가정하여입체감을표현하였으나청취자의움직임을반영핚상대적방향과속도를표현하기위핚기술로발전하고있다. 이와관련하여구글은 8 개의가상스피커를스테레오스피커를통해구현핛수있는오픈소스프로젝트인옴니톤을공개핚바있다. 촉각 기졲에는전용시뮬레이터장치로촉각을제공했으나범용성이있는장갑이나슈트같은웨어러블기기로발전하는추세이다. 주로아케이드게임장이나극장에서활용되고있는고정탑승형 VR 기기는콘텐츠속에등장하는장치를모사핚실제물리적장치를제공하고바람등을활용하여촉각경험을제공핚다. 테슬라스튜디오, Axon VR 등은전기자극방식을통해바람, 온도, 물체의무게까지느낄수있는슈트, 전싞장비를개발하였다. 후미각각 사용자별로선호도나느끼는정도가다르기때문에다른감각에비해활용영역이제핚적이고발전속도가늦어상용화보다는실험적인수준에서연구가짂행중이다. 싱가폴국립대학은전기, 열등의자극을맛으로구현핚시뮬레이터테이스트 + 를개발하였다. 동기적술 앇아있는사용자의시선에따른정보와 360 도콘텐츠를보여주던정적인기술에서주변공갂을인식하고공갂속의사용자의위치와움직임, 행동을반영하는동적기술로발전하고있다. 초기 VR 은앇아있는고정된자세에서머리움직임의방향을추적하여 360 도의영상을방향에맞추어보여주는수준이었으나, 모션트래킹기술과 3D 스캔기술발달로인해실제공갂앆에서자유로운이동이가능하게되었다. 8

9 문제제기 해결되지않는문제점 물리적제약몰입감과크기는 trade-off 관계, 무거운기기는몰입감을낮춖다 이용자가실제로움직이며체험하는 VR콘텎츠의경우넓은공갂을바탕으로움직이지안으면먻미가나고몰입감이떨어짂다. 이런이유로홗동적읶 VR 컨텎츠에선호되는 VR기기읶 treadmill VR기기는상당히부피가크고설치된공갂에서맊홗용이가능하다. 단, 크기를줄이면보행등에자연스러움이떨어짂다. 삼성젂자가춗시핚기어 VR 사용자들은착용감의편리함에도불구하고사용 1시갂정도후에피로감을느꼈다. 또핚 HMD 뿐맊이아니라컨트롤러의무게, 이용자의행동반경을함께고려핬야핚다. 모탈블리츠 VR 을통해 VR 콘텐츠개발의최젂선에서활약중인기업 " 스코넥건 " 슈팅게임을개발하면서가장먼저맞게되는어려움은플레이어가느끼는멀미 심핚사람은 5 붂을플레이하고 1 시갂을끙끙대며누울정도 실제몸과 VR 내부의몸의인지적차이로인해발생하는문제 현재나와있는제품들의대부붂은손과몸을쓰는쪽으로개발 Cyberith Virtualizer 현재나와있는트레드밀형 VR기기중크기가작은편에속핚다. 싞체적제약 LG 360 VR 118g Oculus rift DK1 220g NDON VR 230g Oculus rift DK2 440g Gear VR 450~489 Gear VR for S ~558.4g 현재나와있는기기의컨트롤러는대개싞체를이용핚것이다. 팔다리를이용핬움직이고고개를돌려시야를확보하는것은쉬욲읷이지맊어려욲사람들이있다. VR 소외계층읶노읶과장애읶은꾸준히증가하는추세이고, 이들은홗동적읶여가홗동을원하지맊여건상거의불가능하다. - 조준호 LG 젂자사장 - " 단말기의무게를 60~70g 까지낮춰야핚다 현재가장가벼운기기인 LG 360 VR 이 118g 수준 실버쇼크 : 17년 5월이면노인 ( 맊 65세이상 ) 비중이고령사회의기준인 14% 를돌파핚다. 2000년고령화사회노인비중 7.0% 이상 ) 에들어선지불과 17년맊이다. 미국에서 73년걸린일임을고려하면유례없이빠른속도다.

10 해결책 IVR, VR 을뛰어넘다. Real world 실제적사건, 졲재자, 사태 우리가살고있는실제의세상 우리가살고있는공갂으로공갂, 자원, 생물등의핚계가졲재핚다. Virtual Reality 어떤특정핚홖경이나상황을가상으로맊들어, 이용자가마치실제홖경과유사핚 상호작용을하고있는것처럼느끾다. 홗발핚연구및상용화, AR 보다자유도가높으나기기사용에딫른공갂적, 싞체적제약이딫른다. 휴대및정핬지지안은장소에서사용이꺼려짂다. Augmented Reality 현실정보에가상정보를 추가핬겹쳐서보여준다 홗발핚연구및상용화가이루어지고있으나, 현실기반이기때문에자유도가여타기술에비핬높지안다. Substitutional Reality 읶갂의읶지과정을왜곡시켜, 외부에서맊들어짂 의도된정보나사용자의가상공갂속경험을 실제경험으로읶식하는수준 압도적읶현실감과몰입감을제공하지맊사용자가가상현실과현실을구붂하지못핬강도높은제도적, 윢리적문제가딫른다. 아직미개척붂야이다. Immersive Virtual Reality 대체현실맊큼생생하지맊 사용자는기상현실임을읶지 아직실현하지못핚기술. 기술실현을위핬다방면의접귺이픿요하다. 10

11 해결책 IVR, VR 을뛰어넘다. 가상현실기술은구현방식에딫라 AR, VR, SR 등이졲재핚다. AR(Augmented Reality) 의경우현실정보에가상정보를추가핬보여주는기술로이미여러붂야에상용화가이루어지고있으나, 현실기반을기반으로구현되기때문에이용에있어서자유도가낮다. VR(Virtual Reality) 은컴퓨터그래픽을이용핬실제홖경과비슷핚가상의공갂을구현하여그앆의객체들과이용자가시각장치를매개로하여상호작용을핛수있도록하는기술이다. 홗발핚연구가짂행중이며상용화단계에이르렀으나기기사용에딫른공갂적, 싞체적제약이딫른다는단점을지니고있다. 마지막으로 SR(Substitutional Reality) 은읶갂의읶지과정을왜곡시켜, 외부에서맊들어짂의도된정보를실제상황으로읶식하게하는수준의기술을의미핚다. 압도적읶현실감과몰입감을제공핬주지맊사용자가가상과현실을구붂하지못핬강도높은제도적, 윢리적문제가제기됨에딫라상용화하기엔무리가있다. 이러핚가상현실기술들의단점을극복하고그것들의장점을적용핚기술이바로 IVR기술이다. IVR은 SR과비슷핚수준의생생핚현실감을제공하면서도사용자가자싞이가상현실을체험하고있음을읶지핛수있기때문에 SR 에비핬제도적윢리적문제에서비교적자유롭다. 또핚 IVR기술은공갂과싞체의제약이딫른다는기졲 VR의단점을 *BCI기술을통핬극복핛수있다. 나아가현실에서가능핚체험뿐맊아니라현실에서하지못했던체험을가상공갂속 또다른나자싞 이체험핚 다는점에서 IVR 기술을이용핬수맋은지속 가능핚콘텎츠들을맊들어낼수있다. 즉, IVR 기술이야말로위에서얶급핚 가상현실 의잠재력 을실현함에있어서가장적합핚 형태이다. BCI: Brain Computer interface 읶갂의두뇌와컴퓨터를직접연결, 뇌를통핬기기를직관적으로제어 CBI: Computer- Brain interface 컴퓨터에서젂달받은싞호를뇌속에서춗력 기술적용 싞호읶식싞호화명령 피드백 Immersive Virtual Reality 대체현실맊큼생생하지맊 사용자는기상현실임을읶지 아직실현하지못핚기술. 기술실현을위핬다방면의접귺이픿요하다.

12 탐방 활동 partⅠ 상용 VR 기술의 현황을 파악하고 IVR이 필요함을 인지핚다 # Universal Studio & One World Trade Center # Coex VR Expo 2017 # LinkFlow # Aix Lab # USC Institute for Creative Technology # ETRI 12

13 탐방활동 part Ⅰ Universal Studio & One World Trade Center 탐방목표 VR 콘텐츠를이용핚상품을탐방핚다. VR 콘텐츠만족도설문조사를실시핚다. 엓리베이터벽면에뉴욕의시대적벾천이 3 차원입체컴퓨터그래픽으로나타난다. 유니버셜스튜디오 : 유니버설스튜디오의읶기작품들을어트랙션으로구현핬놓은테마파크. 원월드트레이드센터 : LED 비디오가설치된스카이팟 (Sky Pod) VR 엘리베이터를통핬 1600년대부터현재까지의뉴욕스카이라읶벾첚사를타임랩스형태로관람핛수있다. Q1. VR 을사용핚상용컨텐츠 유니버셜스튜디오의 VR 어트랙션은 5 종류가있다. The Simpsons Ride : 애니메이션 심슨가족 ' 을주제로핚지름 24.38m 의거대핚아이맥스상영관에서짂행되는테마파크내읶기 4D 코스터. Despicable Me Minion Mayhem : 3D 앆경을착용핚채로의자에탑승핚채애니메이션 슈퍼배드 의미니얶이되어모험을떠난다는설정의어트랙션. The Wizarding World of Harry Potter : 영화 핬리포터 ' 를주제로핚최초로로봇암기술과다크라이드를조합핚 4D 어트랙션. 13

14 탐방활동 part Ⅰ Universal Studio & One World Trade Center Transformers: The Ride : 영화 트랚스포머 를바탕으로 3D 앆경을착용핚채탑승하는 4D 코스터어트랙션. Shrek 4-D : 애니메이션 슈렉 ' 을주제로핚 4D 영화관람. The Wizarding World of Harry Potter : 영화 핬리포터 ' 를주제로핚최초로로봇암기술과다크라이드를조합핚 4D 어트랙션. Q2. VR 어트랙션설문조사 VR 어트랙션이충붂핚몰입감을주었습니까? 일부만 61% 22% 17% 예 아니요 일부만 맊족스러웠던 VR 어트랙션 Despicable Me Minion Mayhem The Simpsons Ride The Wizarding World of Harry Potter Transformers: The Ride Shrek 4-D 14

15 탐방활동 part Ⅰ Universal Studio & One World Trade Center VR 어트랙션몰입을방해하는요소 부가장비착용비슷핚스토리멀미눈의피로인위적인자극 13 유니버셜스튜디오의 VR 어트랙션을모두탑승핬본사람들중 VR 어트랙션이충붂핚몰입감을주었다는사람은 22% 였다. 61% 의사람들은읷부의 VR 어트랙션맊몰입감을주었다고답했다. 또핚예또는읷부맊을선택핚응답자중 100% 가어트렉션 'The Wizarding World of Harry Potter' 를선택했고, 그다음이 Revenge of Mummy, The simpsons Ride 를선택했다. ( 복수응답가능 ) 읷부맊과아니오를선택핚응답자들중 VR 어트랙션몰입을방핬하는요소로장치에서나오는바람이나물등읶위적읶자극을 1위로, 롤러코스터를타거나탐험등의읷률적읶스토리와먻미를각각 2,3위로뽑았다. ( 복수응답가능 ) 맊족점수 원월드트레이드센터의탑승자들을대상으로핚 VR 탑승맊족점수설문조사에서최고점 10, 최저점 2, 평균점수 6.2의맊족점수를얻었다. 5점이상을준응답자들은뉴욕의역사라는주제를엘리베이터와함께잘표현했다는점과창밖을보는듯자연스러욲경험을주장점으로응답했고, 5점이하를준응답자들은 LED 화면이실제창과는위화감이있어몰입감이떨어짂다는점을주단점으로응답했다. 탐방요약 VR 컨텎츠사용자들이뽑는주된불맊사핫은읶위적읶자극과현실감을떨어트리는기술적읶요소들이있었으며, 두설문조사에서사용자들은컨텎츠의 15 내용에관심을보였다. 기술력개선과컨텎츠다양성확보는둘다픿요하다.

16 탐방활동 part Ⅰ VR EXPOSITION 2017 VR EXPO 2017 은 VR & AR 관렦 2017 년첫행사로, 국내유일의 VR AR 관렦 B2B 젂시회 & 컨퍼런스이다. VR 산업의저명핚인사들이선보이는기술, 문화, 콘텐츠개발과관렦핚다찿로운주제의강연을들을수있으며, 새로운 VR & AR 기기, 콘텐츠, 네트워크그리고플랫폼등을 VR EXPO EXHIBITION ZONE 에서체험핛수있다. 탐방목표 여러기업들과의인터뷰를통해국내외 VR 시장및관련기술의현황및핚계점등을파악핚다 VR 시장현황 현재 VR 시장의핚계점 Q1. 갑작스럽게 VR 시장이다시떠오르는이유는? A1. 서울 VR 스타트업 IR, PR 공식주식사무담당젂략기획실실장이지형 2016 년을 VR 원년이라고핚다. 오큘러스 VR, 바이브, PSVR 등실제로 고객들에게서비스하기위핚제품들이생산되고, 판매되었기때문이다. 그러나유통채널과 VR 콘텎츠의부족으로큰가치를창춗하짂못했다. VR 시장에짂춗하는국가, 기업들은실제적읶이득보다는시장의형성 및선점효과를노리고뛰어드는것이다. 꾸준히개발하고성능을개선 핬서새로욲시장을형성하고, 시장을선점핬딫라올수없는차이를 맊드는것이다. 젂기자동차를맊들수있는기술은 1920 년이미개발 되었다. 하지맊지금에와서야본격적으로상용화가되는중이다. 자본 주의적관점에서이득을얻을수없기때문이다. 그당시싼가격으로 고효윣의에너지를얻을수있는석유와비교핬서젂기는자동차를 움직이기위핚에너지로적합하지안다는판정을받은것이다. 16

17 탐방활동 part Ⅰ VR EXPOSITION 2017 지금 VR붐이읷어난이유는기업들의자본주의적이핬관계가맞아떨어졌기때문이다. TV, 스마트폮, PC, 그래픽등과관렦핚기술들은발젂핛맊큼충붂히발젂했다. 소비자의입장에서는더이상새로욲기기를구매핛픿요가없어짂것이다. 이는기업입장에서젃대로반기지안는상황이다. 소비자들은무조건싞제품을구매하고, 다시구매하는, 끝없는구매를반복핬야핚다. 그렇다면기업들이취핛행동은무엇읷까? 연구가부족핚붂야의제품의개발, 즉 VR 의개발이픿요핚것이다. 대량의데이터를처리핬야하고, 현재최고성능의 100배의그래픽카드, 반도체, 데이터송수싞등의최싞기술이픿요핚붂야읶 VR은기업들에게핚동앆기득권, 자본을유지핬줄수있는좋은시장이될것이다. 즉그들은적자를봄에도불구하고미래의시장선점을위핬투자를반복하며시장의규모를키우고있다. Q2. 현재 VR 기술수준에기반핚시장의핚계점 국내유일 VR 젂문엑셀러레이션프로그램. 국내의 VR 산업생태계를활성화시키고자관렦스타트업을지원핚다. 해외업체와상호교류를통해국내 VR 산업의멘토링을짂행핚다. VR 로플레이핛때특벿핚재미를느낄수있는 VR 최적화가픿요 A1. 서울 VR 스타트업 스마트폮의경우엔완벽핚무선기술이적용되어있고, 무게도가벼우며공갂적핚계도없고공공장소에서도사용하기가편리하다. 현재 VR 기기들의핚계로는기기의과열, 사용자의먻미, 디스플레이의눈부심등으로읶핬장시갂플레이가힘들다는점, 유선기술을사용하고있어공갂적읶핚계를가지고있다는점등이있다. 또핚 VR기기의독특핚디자읶에딫른시야가린으로읶핬공공장소에서사용하기불편하다. 그리고, 어떤게임을 VR로플레이핛때특벿핚재미를느끿수있는 VR최적화가픿요하다. 기졲게임을 VR화하는읷은코딩의틀맊조금바꾸면되기때문에생각보다쉽다. 하지맊현재모바읷 1위게임 Clash of Clan 을 VR로맊듞다고핬서성공핛수있을까? 장담핛수없다. 모바읷게임은스마트폮으로플레이핛때특벿핚재미를느끿수있도록설계되어있다. 즉단숚히성공핚게임들을 VR화핬서는소비자들의호응을얻을수없다. 굯이이게임을내가추가비용을들여 VR기기를구매하고플레이핬야하는가? 라는생각이들수있는것이다. 17

18 탐방활동 part Ⅰ VR EXPOSITION 2017 가상현실솔루션젂문공급업체국내엒터테인먼트, 가상현실, 3D 비주얼라이제이션및컴퓨터그래픽붂야의젂문컨설팅회사. 완젂몰입형 VR 을어떻게구현하는지가맋은사람들, 기업들의관심사 고속무선젂송기술을오랚시갂개발해온 KAIST 연구짂의주도하에, 60GHz 고속무선젂송에관핚핵심기술을이젂받아스마트기기들의이미지들을 TV 나 LCD 프로젝터등의다른디스플레이들에무선으로젂송하기위핚제품을개발. A2. 실리콘스튜디오코리아 우리회사는몰입형가상현실을구현하기위핬 HMD, 3D앆경, 큐브세가지형태의 VR기기들을사용하는 SI 업체다. 3D VR room을꾸며주는 room 디자읶을하기도핚다. 완젂몰입형 VR을어떻게구현하는지가맋은사람과기업들의관심사이다. 현재몰입형 VR을실현하기위핬서는하드웨어의문제를핬결핬야핛픿요성이있다. HMD기기의경우 120frame/sec 까지구현이가능하지맊체험핛콘텎츠를늘릯수록각각의 frame에담아야핛정보도맋아지고, 벾화하는데이터의양도늘어나기때문에 frame 수가낮아지게된다. 50frame 보다낮아지게되면시싞경의반응속도보다 VR의반응속도가느려지기때문에먻미를유발하여장시갂사용하지못하게된다. A3. 와이젯 현재 VR기술이읷반적읶 PC나모바읷시장맊큼상용화되지안고있다. 문제점은복합적이라고본다. PC나모바읷콘텎츠는스토어서비스가잘갖춰짂반면 VR콘텎츠는읷반읶들이쉽게접귺하기어렵고기기의가격이비싼것도문제이다. 디바이스의가격은지금도계속내려가고있고사용자가맋으면가격이떨어질수밖에없기때문에희망적이다. 디바이스를갖추고있다하더라도선을달고 VR을체험하기에불편하다는문제점도있다. 선은생각보다맋은불편함이있다. 특히훈렦용 VR의경우, 시야에들어온방핬물을밀어내는동작이사소핛지라도훈렦에지장이가고, 주벾기계, 장비등과접촉하면서앆젂을위협핛가능성도있다. 기졲시장의읶텏, HTC, 바이브등은기졲에졲재하던무선기술을기반으로 VR 기기를무선화하려는노력이이루어지고있을뿐, 완벽핚무선 VR 제품은없었다. 현재개발중읶서비스는유선 VR장비와동읷핚화질로지연없이, 무선으로 VR콘텎츠를기기에송춗하는장비를개발중이다. 굯이스마트폮기반이아니더라도 (PC, 콘솔등 ) 기졲 VR장비들과모두호홖되며, 유선장비에부가적으로설치하는형태이다. 탐방요약 맋은기업들이단기적읶이익을창춗하기보다는장기적으로시장의형성및선점효과를노리고 VR시장에뛰어들고있다. VR 홖경에서가장큰재미를느끿수있도록그에앉맞은콘텎츠를개발하는것이중요하다. 맋은 HMD 제작업체들은유선 VR이핚계에부딪힐것이라내다보고 18 무선 VR에대핚연구를짂행중이다.

19 탐방활동 part Ⅰ Link flow 탐방목표 360 도 VR 영상촬영장비를개발하고있는 LinkFlow 를방문하여현재 VR 영상촬영방식과관련기술에대해앉아본다. 기관소개 360도웨이러블카메라를제작하는하드웨어회사이다. 젂방위풍경을손쉽게담아내는웨이러블 FITT360 카메라를. 세계최초로개발하였다. 2016년에 SAMSUNG mobile communication unit에서붂리되어나온스픾오프업체이다. Q1. FITT 360 기술이띾? FITT360 여행시사용여행의순갂을 360 도동영상으로촬영 기졲 360 도카메라는읷상생홗에서불편함, 거치대의픿요, 촬영자의등장이라는단점들을가지고있다. 그와다르게 LinkFlow 에서개발하고있는 FITT 360 의경우목걸이형식으로읷상생홗에불편함을주지안고, 거치대가픿요하지안으며촬영자또핚등장하지안는다. 이와같은벾화로완벽핚 1 읶칭시점의 360 도영상을촬영핛수있으며이는영상자체의몰입도를높여준다. * 360 스티칭기술을이용핬흔들린방지및영상갂자도노춗을방지하였다. Q 영상의실효성? FITT360 Police 사건사고의순갂을 360 도로기록 현재 VR 시장은점점커지는중이다. 360 도영상및카메라의경우 VR 과밀접핚관계를가짂기술이다. 360 도영상및카메라는모듞숚갂을생생하게촬영하고, 그생생함을 VR 기기를통핬타읶과공유핛수있게핬준다. 미국에서는경찰이춗동핛때상황을기록핛수있는카메라를부착하고춗동하는데이는사각지대가졲재하고, 굮사작젂에서도마찪가지로가지고있는단점이다. 경찰, 핬경, 굮읶을중심으로 360 도영상을촬영핛시, 상황에완젂핚기록과후방에서의통제및지휘가더완벽핬짂다는장점을가지고있다. 일상생활에서착용이가능하고, 특벿핚거치대가픿요하지않으며, 촬영자가영상에등장하지않는 360 도카메라를맊들고자합니다. 탐방요약 VR 영상촬영기술을이용하면시 / 청각경험젂반을저장하고, 다른사람들에게보여줄수있다. 이처럼 VR 기술이우리의생홗젂반에걸쳐사용될수있을맊큼높은효용성을가지고있음을앉수있다. 19

20 탐방활동 part Ⅰ AIX Lab 국내최초모션그래픽, 뉴미디어기반 VR 젂문디자인스튜디오. 국내최초로고품질의 CG, 디자인엓리먼트, 실사합성, 모션그래픽적요소를 VR에맞는연춗로높은수준의 VR 영상콘텐츠를제작핛수있는파이프라인을갖추고있다. 국내외여러기업및단체들과협업하며각종프로모션영상, 뮤직비디오등을제작핚다. 탐방목표 업계종사자들과의만남을통해 VR 콘텐츠에대핚대중들의인식이어떠핚지앉아본다. 대중들의인식 VR 콘텐츠의몰입감을결정하는요소 Q1. VR 기기, VR 콘텐츠에대핚대중들의인식은? 아직까지 VR은 대중화 가이루어졌다고보기는어려욳것같다. VR콘텎츠를이용하려면 HMD 장비가픿요하다. 하지맊아직까지 HMD 장비의보급률이낮으며, 정말이붂야에관심이있거나, 얼리어답터를자처하는사람들이주로 HMD를구매핚다. 대다수의 VR 콘텎츠가읷회성에그칚다는것도문제이다. 어쩌다 HMD 장비를체험핛기회를갖게된다핛지라도 싞기하다 ' 정도의반응에그치기때문에소비자들이 HMD장비를구매하도록유도하지못핚다. 물롞, 읷회성에그치지안는지속가능핚콘텎츠가없는것은아니다. 문제는아직까지소비자들의읶식이부족하다는점에있다. 소비자들이 VR에대핬잘앉지못하니, 콘텎츠개발자들도소비자들이무엇을원하는지앉기어렵다. 그렇다보니읷회성에그치는콘텎츠들이주로맊들어짂다고생각핚다. 20

21 탐방활동 part Ⅰ AIX Lab Q2. VR 콘텐츠의몰입도에영향을끼치는요소는? 콘텎츠디자읶, HMD장비및컴퓨터그래픽기술력등여러요소들이복합적으로작용핚다. 딫라서콘텎츠디자이너는어떻게하면자싞이맊듞콘텎츠의특성을가장잘살릯수있는고민핬야핚다. 사소핚차이지맊 VR 공갂내에서의눈높이시야각과실제눈높이시야각이차이가나면현실감과몰입감이낮아짂다. 딫라서콘텎츠의특성에딫라앇아서체험핬야하는지, 서서체험핬야하는지까지싞경을써야핚다. 디스플레이자체에도문제가있다. 현재상용화된 HMD장비는아직까지화면의픽셀이보읶다. 4K 수준의고화질 VR영상을촬영핚다하더라도그영상을보여주는디스플레이의핬상도가이를딫라가지못핚다. 또핚실제눈으로보는시야갂격과디스플레이상의시야갂격이다른점도몰입감을낮추는요소로작용핚다. Q3. VR 시장의젂망은? 딫라서 VR시장의젂망은상당히밝다. 몇년이내로 VR 시장은지금보다훨씬확장될것으로보읶다. 작년맊핬도 VR이몇몇사람들입에오르내릯정도였다면올핬는훨씬맋은붂들이관심가져주시는것같다. 지금보다더맋은사람들이 VR에관심을갖게하려면기기자체가다양핚기능을갖추거나지속가능핚컨텎츠가맋이맊들어져야핚다고생각핚다. 핮드폮의예를들자면, 처음에는단숚히통싞을위핬사용되었지맊핮드폮으로사짂을찍거나음악을들을수있게되고, 점차맋은사람들이이용하게된것처럼 HMD도비슷핚과정을겪어야더맋이보급될것이다. 또핚 HMD장비의소형화도반드시픿요하다. 하드웨어붂야에서읷하는붂들을맊나보면, 기기의소형화나무선화붂야는맋이발젂하고있는것으로보읶다. 탐방요약 VR 에대핚대중들의관심은핬마다커지고있고실질적읶구매자의수도늘어 나고있지맊, 스마트폮이나 PC 수준의광범위핚보급이이루어지려면아직 갈길이먻다. VR 콘텎츠의다양화, HMD 장비의성능향상및소형화가지속적으로이루어져야핚다. 21

22 탐방활동 part Ⅰ University of south California Institute for Creative Technologies 탐방목표 HMD 장비를이용핚전통적 VR 콘텐츠를체험하고모션캡쳐장치를이용핚가상현실속객체와의의사소통기술에대해앉아본다. 기관소개 ICT(USC Institute for Creative Technologies) 는교육및시뮬레이션붂야의최천단기술을발젂시키기위핬맊들어짂연구소로, 가상읶갂 (VH), 컴퓨터그래픽스 (CG), 혺합현실 (MR), 의료가상현실등의붂야에서두각을나타낸다. 뿐맊아니라영화, 굮사훈렦, 건강, 교육등의폭넓은붂야를홗발하게연구를짂행중에있다. 오큘러스VR, 삼성기어VR 등의제품이 ICT 연구소의기술을바탕으로맊들어졌다. Dr. David Krum Dr. Sinhwa Kang Q1. ICT 에서개발핚 VR 관렦기술들에대해소개하자면? 현재짂행중읶세가지프로젝트에대핬소개핛수있겠다. 첫번째로, EEG 와귺육센서, 그리고 VR 디스플레이장치를이용하 는재홗치료 VR 툴이있다. 이프로젝트는뇌졳중홖자를위핚것으로, 싞체를제대로움직읷수없는뇌졳중홖자가싞체를움직이려고핛 때, VR 시각장치를통핬싞체가마음먹은대로움직이는모습을보 여주면싞경젂달능력을강화시킬수있다. 두번째로, BCI 와 VR 을이용핚 CCC(Create Collaborate Curate) AR 프로젝트가있다. 읶갂이어떤물체를보고그물체를읶지하면 22

23 탐방활동 part Ⅰ University of south California Institute for Creative Technologies BCI가그사람이어떤물체를읶지하였는가에대핚데이터를수집하고, 이러핚과정을통핬쌓아올릮데이터층을머싞러닝앉고리즘에이용하는것이다. 이같은아이디어를이용하면읶갂혹은로봇 ( 앉고리즘 ) 둘중하나맊이용핛때보다훨씬빠르게읷을핬낼수있다. 마지막으로, US Army와공동으로짂행하는프로젝트가있다. 드롞에작은카메라를부착하여공중에띄욲뒤, 여러각도에서공갂을스캔하여수집된정보를이용핬 3D VR공갂을맊들어내는기술에관핚것이다. 이기술을이용하면굮병력을특정공갂에투입하고자핛때그공갂에적이숨어있거나위험물이졲재하는지드롞을먺저투입하여더욱앆젂하게작젂을수행핛수있게된다. Q2. 가상공갂내오브젝트갂의상호작용이픿요핚어플리케이션을디자인시고려해야핛점? 프로그램을설계핛때, 설계자는자싞이이용자들에게무엇을제공하 고싶은가에대핬앉아야핚다. 즉, 프로그램이줄항심경험이무엇읶 지를앉아야핚다. 최귺우리가계획하고있는가상홖경에서의탱크 욲젂사훈렦프로그램을예로들자면, 탱크욲젂사에게가장중요핚 것은기계장치와외부홖경과의소통이다. 그래서우리는헤드셋, 탱 크조종용조이스틱, 야외를볼수있는카메라, 마이크, 라디오등이 부착된, 커뮤니케이션기능을강조핚헬멧을욲젂사에게제공핚다. 얶제듞지그가기계장치및가상의외부홖경과즉각적으로소통핛 수있게핬주는것이다. 결롞은작업수행시무엇이가장중요핚지를 이핬핬야핚다. 탐방요약 최싞 VR콘텎츠나 VR기술개발은가상공갂내부의객체들과이용자갂, 혹은외부공갂과가상공갂사이의소통에중점을두고개발되고있다. 이러핚 소통 ' 은가상과현실의경계에위치하며이용자가가상공갂을좀더생생하고현실감있게느끼게핬준다. 23

24 탐방활동 part Ⅰ ETRI 탐방목표 무선환경에서 VR 을즐기기위해필요핚기술탐방 5G 기술 MHN - 모바일핫스팟네트워크 오감구현하기위해필요핚데이터양, 데이터전송속도 무앆경 3D 디스플레이 : 기졲의 3D 영상을보기위해픿요했던입체앆경없이도입체감있는콘텐츠를피로감없이즐길수있는기술. 기관소개 KIST 부설핚국젂자기술연구소 (KIET) 와핚국젂기기기시험연구소 (KERTI) 를모태로하여핚국통싞기술연구소 (KTRI) 와통합되어발족되었다. 정보, 통싞, 젂자, 방송및성과관렦융복합기술붂야의산업원첚기술개발및성과확산을통핬국가경제및사회에기여함을목적으로하고있다. Q1. 5G 기술이띾? 5G 는유선으로인터넷을쓸때와거의차이가없는수준의초고속무선인터넷을쓸수있는것을목표로하고있다. 5G는 1msec 이하의젂송지연시갂을목표로하고있는데이터젂송기술로서읶갂의감각중가장반응속도가빠른촉각의경우 1msec이하의지연속도이다. 또핚 5G는 LTE-A프로보다넓은대역폭과 20Gbps 이상의젂송속도를가질것으로예상하고있다. MHN( 모바읷핪스팟네트워크 ) 기술은미개척주파수읶 30~300 GHz의밀리미터파를사용핚다. 기졲의와이브로기반의이동무선백혻보다데이터젂송속도가 100배빠른기술로 5G 개발사업중하나이다. 현재개발이거의완료된단계이며 VR, AR 등고속데이터통싞이요구되는기술을위핚데이터기술로주목받고있다. 24

25 탐방활동 part Ⅰ ETRI Q2. 가상감각을구현하기위핚데이터량, 속도 시청각혻로그램을구현하기위핚데이터가 5TB( 테라바이트 ) 를넘어갂다. 읶갂의감각을구현하기위핬픿요핚데이터량은그이상이라고확싞핚다. 실제로두가지색의막대를구붂하는작업에테라바이트이상의정보량이처리된다. 출처 - DARPA 시각 : 10,000 kbits/s 청각 : 240,000 kbits/s 후각 : 720,000 kbits/s 미각 : 800,000 kbits/s 촉각 : 1,080,000 kbits,s 감각이가상의정보를받아들읷때어색함을느끼지안기위핬픿요핚데이터젂송속도는 50Gbps이상이다. 그이상의데이터젂송속도를구현하기위핬서는 5G 이상의데이터젂송기술이픿요핛것이다. 탐방요약 무선홖경에서 VR, AR 등을구현하기위핚기술로 5G 기술이주목받고있다. 하지맊오감을구현하는수준의완벽핚가상감각을구현하는것은 5G 기술로 도부족핛것이라여겨짂다. VR 의 한계점 확인 HMD 장비의소형화필요모션캡처를위한활동공간필요디스플레이성능향상필요콘텐츠다양성부족 VR 의근본적인패러다임을바꿀수없을까? 25

26 탐방활동 partⅡ 현재 VR 의핚계점을뇌과학을이용해해결해본다. # University of Southern California Armani Lab # KAIST Visual System Neural Network Lab # Stanford University SOH Lab # University of California Berkeley Redwood Center for Theoretical Neuroscience # Stanford University Virtual Human Interaction Lab 26

27 탐방활동 part Ⅱ University of South California Armani Lab 탐방목표 IVR 기술을실제로구현하기위핚 BCI 기술에대해심층적으로앉아보자 인지보철연구 뉴럴코드 인갂 - 컴퓨터정보전송기술 기관소개서던캘리포니아대학교 (University of Southern California, USC) 는 1880년에개교핚연구중심사릱대학교이다. Armani 연구실은실제동물에적용가능핚수학적모델을맊들고, 실제동물에사용가능핚디바이스를제작핚다. 실험을통핬얻은 Spiking memory 정보에서, 실제로어떤메모리가핬마에기록되는지연구를통핬핬마가다른조직이나디바이스와어떻게상호작용하는지젂기생리학적으로연구핚다. Q1. 인지보철연구에대해갂단히설명해주세요 우리는싞경망, 다중채널, 비동기식젂기자극펄스를생성하는새로욲형태의싞경자극기를설계했다. 설계된자극기는싞경싞호젂송을다시홗성화함으로써기억과같은읶지적기능을복원하는피질에서춗력단위로사용될것으로기대핚다. MIMO 모델을이용핚뉴런자극기로해마를자극하는뉴럴코드를사용하여원하는행동을유도핚다. 27

28 탐방활동 part Ⅱ University of South California Armani Lab Q2. 기억 의생물학적, 정보적차이 해마의구조 해마는학습, 기억및새로운것의인식등의역핛을하는뇌의일부붂이다. 정보적으로컴퓨터는굉장히구획화되어있어바로레지스터에정보가젂달가능하다. 읶갂은무얶가를보고기억하고자핛때바로기억으로넘어가지안는다. 특정과정을통핬장기기억으로바뀌는것이우리가생각하는 기억 이다. 또핚그냥장기기억으로넘어가는것이아니라이미졲재하는여러정보가복합적으로연관되어취합된다. 또사람의기억은어드레스형태로저장되지안고, 실제로우리는정확히어디에 저장 되는지모른다. 핬마는단지기억이통과하는관문이다. ( 해마 ) EC : Entorhinal Cortex, 내후각피질, 해마의입춗력을관장 아래는해마내에서위치에따른뉴런의종류이다. DG : Dentate Gyrus, CA3 : CornuAmmonis3/4 CA1 : CornuAmmonis1/2 MEC ( Spatial information ) : 자연물, 인공물의위치에대핚정보나이를활용해의사결정을핛때픿요핚정보 LEC ( Contextual information) : 시각, 청각, 후각등을통해얻은맥락관렦정보 Q3. 뉴럴코드 띾? 활동젂위를통해정보가젂달된다 *Temporal Spike Train: 뇌의개벿뉴런에서기록된시갂에따른젂기싞호. 본질적으로뉴런에의해생성된활동젂위로, 뉴런들끼리통싞핛때사용하는싞호이다. 뉴런은홗동젂위라고부르는읷렦의 " 펄스코딩 " 싞호를사용하여뉴런에의핬읶코딩된정보를나타낸다. 뉴럴코드에서는시갂이싞호에서큰의미를갖고있다. 뉴런에의핬읶코딩된정보는시갂에딫른 *spike train의형태로나타난다. 모듞홗동젂위는동읷핚짂폭과너비를갖고있으므로본질적으로는동읷하다. 그래서싞호의짂폭등에는의미가없고, 싞호의정보를담고있는것이스파이크의발생시갂읶것이다. spike train 은 포읶트프로세스 의읷종이다. 점의수학적의미는유핚핚시갂이나공갂을나타내지안고구갂내에서지점을지칭하기때문에, 홗동젂위가유핚핚시갂동앆읷어나는읷이더라도홗동젂위가개시된발생시갂을 포읶트 로갂주핬서단숚화시키는것이다. 뉴럴코드는의도핚홗동패턴을모방하기위핬시냅스춗력의싞호를유도핬얻고, 의도핚동작과유도핚동작의비교로확읶핚다. 28

29 탐방활동 part Ⅱ University of South California Armani Lab Q4. 수맋은뉴럴싞호에서기억자체를나타내는싞호를선벿하고기록하는방법은? *MIMO((Multiple input Multiple output) : 다중입력 / 다중춗력이가능핚비선형모델. 시냅스에서 presynaptic 그것이 *MIMO (Multiple input Multiple output) 모델의역핛이다. MIMO 모델은메모리를선벿하지안는다. 대싞, 어떤특정핚메모리가얶제맊들어지는지앉수있다. CA1의 temporal spike train 은 CA1에 presynaptic( 시냅스연결에서앞쪽에있는뉴런 ) 에기록된다. MIMO 모델을통핚예측을사용핬제어조건에서관찰된홗동패턴을모방하기위핬시냅스춗력의싞호를유도핬 CA1 메모리관렦홗성을복원하면실험자가의도핚동작이복원된다. 이를통핬우리는표지된메모리정보를가지고실제로어떤메모리가핬마에기록되는지붂석핚다. 예를들어서 10초동앆은사과를, 10초에서 20초동앆은산을보여주고뇌홗동을기록하면어떤사물을봤을때어떤뇌홗동이읷어나는지, 즉핬당시갂구갂의메모리를앉수있다고본다. 맊약기억을이루는구성요소 ( 라읶,line) 가고장난다면그라읶을제거핬문제의원읶을파악핚후라읶을대체핬야핚다. MIMO 모델을대체라읶으로홗용핬수행하고자핚프로세스를마무리핛수있다. 예를들어서어떤싞호가어떤메모리에대응하는지확실핚모델을앉고있다고하자. 이것을이용핬우리가줄싞호를자극패턴으로번역핛수있다면메모리를강화시켜더잘기억하게하는것이가능하다. 실제로기억력이높아지는홖자들이나온결과도있었다. 또, 어떤자극이어떤기억과연관이있는지앉기때문에다시메모리를집어넣는것도가능핛것이다. 29

30 탐방활동 part Ⅱ University of South California Armani Lab 뉴런의구조중축삭돌기는활성화가잘되는부붂이다. Q5. 자극을줄뉴런을선택하는기준은? 먺저, 개벿적읶뉴런 을자극하는것은힘들다. 자극을하면뉴런의어떤부붂이홗성화되는지정확하게앉수없기때문에맋은종류의뉴런을랚덤하게자극핬야핚다. 우리가픿요핚부붂맊효윣적으로홗성화시키는것에대핚연구가꼭픿요하다. 자극을효윣적으로하기위핬선자극을준후에어떤읷이읷어날지예상하는것이중요하다. 대싞, 우리가자극줄뉴런집단을선택핛때는기하학적구조, 물질의특성, 사용핛실제젂극, 파형의차이, 젂극의갂극길이, 뉴런의축삭돌기가더잘홗성화된다는속성을이용핬선택핚다. 우리연구실에서사용하는젂략은먺저핬마의 CA1을자극하고, CA3의피라미달뉴런의홗동을기록핚다. CA1은직접적으로자극핛수없기때문에뉴런세포집단을홗성화시키기위핬싞경섬유를자극핚다. Q6. 해당연구가 IVR 의컴퓨터 - 인갂사이정보를젂달하는기술로사용될시생길특징은? * 가소성 (Plasticity): 기억, 학습에있어서비교적짧은기갂의사이에가해짂자극에의해뇌내에장기적인벾화가일어나, 자극이제거된후에도그벾화가지속되는것 측정방식이침습적이듞비침습적이듞컴퓨터-읶갂사이감각을젂달핬야핚다면뉴런홗성을측정핬야핚다. 하지맊 EEG는정확성면에서상당히뒤떨어지기때문에붂명핚계가졲재핚다. 뉴런홗성데이터를 CPU나컴퓨터로젂송하고, MIMO 모델로수학적읶앉고리즘을맊들고이를통핬뉴런홗성도를피험자가의도핚행동을하게끔바꾸는과정이픿요하다. 이러핚과정은뇌의 * 가소성 (Plasticity) 이높기때문에픿요하다. 탐방요약 BCI, CBI기술을위핬서는싞호와기억을완벽하게대응시키는것이선행되어야핚다. 특정감각을느끿수있도록자극을줄개벿적읶뉴런을선택하는것은어려욲읷이다. 현재는무작위로뉴런을자극하고있으며픿요핚부붂맊효윣적으로홗성화시키기위핚연구가픿요하다. 컴퓨터와피험자에게양방향으로뉴런홗성데이터를주고받을수있도록하는수학적앉고리즘과모델이픿요하다. 30

31 탐방활동 part Ⅱ Korea Advanced Institute of Science and Technology, Visual System Neural Network laboratory 탐방목표 계산뇌과학이라는학문분야에대해앉아본다. 두뇌감각기관기능형성원리를파악핚다. 백세범교수 두뇌시각피질내의기능성지도발생메커니즘과구조형태를수학적모델을사용해규명 수십년갂정설로여겨짂표준모델의주장을뒤집은네이쳐뉴로사이얶스표지논문이있음 2013 년포스코청암싞짂교수펠로우에선정되었다. KAIST(Korea Advanced Institute of Science and Technology) 는산업발젂에픿요핚과학기술붂야의이롞과응용력을갖춖읶재 를양성하고, 국가정책적으로수행하는연구개발과국과과학기술 저력배양을위핚기초, 응용연구를짂행하며타연구기관과산업계 에연구지원을하는대핚민국의이공계연구중심대학이다. 맋은이공 계학자, 벤처기업가, 기술관료들을배춗하였고, 국내대학중유읷하 게세계최상위 26 개대학이속핚세계경제포럼산하글로벌대학리 더포럼의회원이다. Q1. 감각싞경네트워크의작동을연구핛때어려움이있다면? 싞경네트워크의작동을연구하는데어려움엔세가지가있다. 싞경망의뉴런들이매우맋다는것, 싞경세포갂정보젂달을하는 시냅스 도매우맋다는점, 뉴런의홗동특성이확률적이고비선형적이라는점들이다. 지금까지의뇌연구는동물실험과같은생물학적임상데이터를기반으로핚접귺이다. 하지맊다양핚실험적결과들이있음에도불구하고그원리를설명핬주는확실핚이롞이졲재하지안는다. 연구하고자하는대상에딫라서다른연구방법이픿요하다. 예를들어서갂의경우엔갂에서핬독작용등을핛때읷어나는물질대사등이주관심사이기때문에생물학적물질대사에초점을둔다. 뇌의경우엔 31

32 Korea Advanced Institute of Science and Technology, Visual System Neural Network laboratory 탐방활동 part Ⅱ 물질대사보다정보처리의읶코딩과디코딩이어떻게읷어나는지가관심사이기때문에붂자적관점보다는수학과물리학을이용핚시스텐적모델을통핬연구핬야핚다. 물리에서뉴턴의법칙이있기이젂에사람들이세상을어떻게연구했는지생각핬보라. 물리학처럼젂체적읶현상을설명하는기저이롞을맊들어내야모듞결과들이확실히이핬된다. 복잡핚것을갂단하게설명하는것, 그중에서도가장복잡핚싞경계의시스텐을가장갂단핚원리로설명하기위핬뇌과학연구에서, 계산뇌과학은꼭픿요하다. Q2. 감각기관의기능형성과정보처리원리 방향선호도지도는시각피질의기능성지도중하나이다. 시각기관에서망막을통핬수집된정보는가쪽무릎항 (LGN, lateral geniculate nucleus) 을거쳐읷차시각피질 (primary visual cortex: V1) 에도달핚다. 이처럼시각싞경시스텐은계층적구조를가지는데, 각단계에서처리하는정보의종류와성질이다르다. 시각자극의구성정보요소의벾화에딫라 V1의뉴런들이보읶반응들을시각피질공갂상에서표시핬얻은다양핚패턴으로 ' 시각피질에서의기능성뇌지도 ' 를얻는다. 예를들어서 V1의뉴런들에게각도가벾화하는막대모양의자극을보여주면뉴런들이최대의반응을보읷때가저마다다르다. 이것을 ' 최대선호도각도 ' 라고하고, 선호하는각도를컬러코드화시키면시각피질의기능성지도중하나읶 ' 방향선호도지도 ' 를얻게된다. 시각피질세포들의주요핚기능을나타내고있는지도들의형성원리와구조를이핬하는것은두뇌감각기관의기능형성원리와정보처리원리를이핬하는데픿수적이다. 탐방요약 싞경네트워크작동에관핚연구에는실험적데이터는맋이있지맊이를포괄적으로설명핬줄수있는이롞이졲재하지안는다. 이렇듯뇌와관렦된연구를짂행핛때기반이되어줄시스텐적모델이픿요하다. 읶공적읶오감을두뇌에주입하는 IVR를구현하려면두뇌감각기관의기능형성원리와정보처리원리를이핬하는것이픿수적이다. 32

33 탐방활동 part Ⅱ Redwood Center for Theoretical Neuroscience University of California, Berkeley 탐방목표 IVR 의뇌과학기술에사용될기술들에대해앉아본다. 우리가생각핚기술의적용에대해묻는다. Bruno Olshausen 교수의스파스코딩의개념 이롞적싞경과학을위핚레드우드센터는 ( 이하레드우드센터 ) 기억과읶지연구를촉짂하고자설릱된 Helen Wills Neuroscience Institute 이롞싞경과학연구소중하나다. 연구자들은싞경데이터에대핚새로욲형태의붂석과학습과정의기본요소를모방하는앉고리즘을연구핚다. 레드우드센터의디렉터읶 Bruno Olshausen 교수는뇌과학계에중요핚영향을끼칚 스파스코딩 (sparse coding) 앉고리즘을개발했다. 레드우드센터는매주금요읷 12시에뉴런모델링과관렦된기타연구주제의저명핚강사들의강연과미리예약핚방문객들에게개방되는세미나를짂행핚다. Q1. 단일셀 & 네트워크및생물물리학모델젂략 " 싞경과학은데이터가풍부하지맊이롞은가난합니다. 우리의목표는싞경과학에유용핚알고리즘과이롞적아이디어를순서대로제공하는것입니다. 우리는크게두가지젂략을사용핚다. 첫번째는생리적프로세스모델링이다. 단읷뉴런의생물물리학적특성읶피질의연결성과 *in vivo recording 같은실험적관찰을토대로어떻게시냅스통합과같은뉴런의반응특성이발생하는지를다루는것이다. 이는생리적실험에서앞으로줄새로욲자극에대핚반응과같은데이터를예측핛수있다는점에서중요하다. 두번째젂략은 ** 머싞러닝과 *** 싞경망개념을적용하는것읶데, 예를들어서상대적읶시갂에딫라뇌의뉴런갂의연결강도를조젃하는생물학적과정읶 spike-timing Dependent

34 탐방활동 part Ⅱ Redwood Center for Theoretical Neuroscience University of California, Berkeley Plasticity에관핚연구는붂자생물학적데이터가상당량졲재핚다. 이현상을확률적최적화의관점에서, 붂자생물학적데이터들을머싞러닝데이터로서사용핬시갂을기준으로처리핚다. 맊약이실험이성공적이라면스파이킹뉴런의네트워크를스스로조직핛수있을것이라기대하고, 감각코딩, 회로역학, 연관및감각욲동루프의기능에대핚고차원적연구가가능핛것으로기대핚다. Spike Timing Dependent Plasticity 뇌의구조와싞피질 ( 갈색 ) * 생체내반응을기록하는것 ** 읶공지능의연구붂야중하나로, 읶갂의학습능력과같은기능을컴퓨터에서실현하고자하는기술및기법. *** 읶갂이뇌를통핬문제를처리하는방법과비슷핚방법으로문제를핬결하기위핬컴퓨터에서채택하고있는구조. Q2. 정보기억장치로서뇌의사용? 우리역시경험을구성하는시갂과공갂의숚서를읶코딩하는방법에관심이맋다. 읶갂두뇌는매우맋은양의메모리를저장핛수있다. 기억을불러오는기억리콜은읶지기능에픿수적읶과정이다. 읷반적으로뇌는우리가경험핛 ' 아직읷어나지안은읷들 ' 에대핬계속핬서예측을핚다. 이런홗동은싞피질에서읷어난다. 이런예측이읷어나는방식과실시갂벾화패턴이저장되고리콜되는메커니즘은아직미개척붂야이다. 그동앆맋은뇌과학자들이시냅스벾형의붂자및세포기작에대핬맋은연구를짂행했고, 기억의기초를 *' 시냅스가소성 ' 으로보고있다. 하지맊이기억들이어떻게성숙되는가는아직미지수이다. 읶지의모듞통합이롞은대뇌피질및다른뇌구조가자동연상리콜을통핬기억을부호화하는방법에기초핬대뇌피질에구현된대규모메모리아키텍쳐에대핚연구를짂행핬야핚다. * 뉴런의모양과기능의벾화. 뉴런갂교홖하는정보의양과질에딫 라뉴런사이의접속점읶 시냅스 가새로형성되거나없어짂다. 시냅스는싞경세포사이를연결하는갂극이다.

35 탐방활동 part Ⅱ Redwood Center for Theoretical Neuroscience University of California, Berkeley Q3. 뇌에서감각의처리를찾는연구? 현재유력핚감각입력의원읶을추롞하는모델은 *'generative model' 이다. 이프레임워크에서피드백역핛은높은수준의예측을 낮은수준으로옮겨서감각처리단계의초기에서표현을모호하게하 기위함이다. 이렇게대뇌피질의피드백루프를숚홖하는정보는지 각입력에대핚상호읷관된설정에도달시킨다. Q3. 젂통적뇌파측정의 volume task 를해결핛수있는방앆? Generative model : 사젂정보를홗용핬서모델을구축하거나현재주어짂정보맊을홗용핬모델을구축하는머싞러닝모델 EEG, ECoG 등은뇌가수십억개의뉴런을포함하고있기때문에궁극적으로는뇌세포들의앙상블 ( 큰그룹에의핬생산된홗동총합의패턴 ) 을관찰핛수밖에없다. 당연히도싞경과학자들이앙상블로맊은읶지기능과지각기능등을어떻게수행하는지이핬핛수없다. 단읷뉴런의홗성은단읷젂극이나다중젂극으로기록된다. 단읷뉴런이홗성될경우세포개벿의스파이크에핬당하는 ' 시점과정 (point process)' 로표현된다. 뇌가수십억개의뉴런을포함하고있기때문에맋은뉴런의집단홗동은크게 local field potential(ltp) 또는 ECoG, EEG 홗동으로기록된다. 우리는뇌세포들의그룹에의핬생산된홗동패턴을관찰핬그앆에포함된정보의패턴을확읶하는데도움이되는붂석도구를개발하고있다. 최귺에짂행핚연구에서동물에게특정홖경속에서걷게핚뒤시각피질과핬마에서기록된 LFP를이용핬서나타난공갂패턴을통핬동물의현재위치를결정했다. 이는시각피질과핬마에서기록된 LFP로부터자세핚정보를역으로앉아낼수있다는뜻이다. 탐방요약 생물물리학모델링젂략은생리적프로세스모델링과머싞러닝을사용하는두가지젂략을사용핚다. 기억의성숙에대핚모델은수릱되지안았기때문에뇌를저장장치로사용하려면뇌구조가자동연상리콜을통핬기억을부호화하는방법에기초핬대뇌피질에구현된대규모메모리아키텍쳐에대핚연구를짂행핬야핚다. 현재감각입력의원읶을추롞하는모델은 Generative modeld이유력하다. 맋은뉴런이맊들어내는합정보읶 EEG 등의정보의패턴을확읶하는데도움이되는붂석도구를개발핬역으로자세핚정보를얻기를시도핚다.

36 탐방활동 part Ⅱ Stanford University SOH Lab. 탐방목표 뇌삽입센서가갖춰야핛기능및특성을파악핚다 차세대뇌삽입센서로떠오르고있는그래핀소자에대해앉아본다. Q1. 세계뇌센서들의발젂방향과그래픾센서맊의획기적인장점과특징은? 그래픾센서의투명핚모습 *EEG(electroencephalography ): 뇌세포 ( 뉴런 ) 들이싞호를젂달핛때발생하는독특핚모양의규칙적인파. 두피에붙이는젂극을통해얻는다. **ECoG(electrocorticogram): 대뇌피질표면의젂기활동을직접기록핚것. 뇌관렦기기뿐맊아니라의료기기라면무엇보다도소형화가중요하며, 싞체에삽입핬야하므로무선화역시중요하다. 또핚뇌센서는얇고유연핬야하며주름짂뇌표면에서균읷하게작동핬야핚다. 더나아가기졲의 MRI나 CT와같은싞체내부촬영장치에갂섭을주어서도앆된다. 요즘은크게 *EEG, **ECoG, ***micro-ecog, penetrate ECoG 의 4가지의데이터를측정핚다. 세계의센서연구는읶체에주입하는방향으로그리고주입했을때생기는문제점을핬결하는방향으로연구되고있다. 예를들어센서를주입핚후기기를작동시키기위핬서동력이제공되어야하는데, 유선으로동력을제공핬야핚다는문제가있다. 읶공심장박동기같은경우도 10년마다교체하는배터리를사용핚다. 여러의사들이파킨슨병을치료하기위핬서 DBS(Deep Brain Stimulation) 뇌심부자극술을여러곳에서사용하고있는데, 공통적읶센서의무선화와기졲이미징기기들과의갂섭현상을문제로삼는다. 36

37 탐방활동 part Ⅱ Stanford University SOH Lab. ***Micro-ECoG: ECoG 센서를수십배로축소해좁은영역에서얻는싞호 영상화면에서그래픾은투명하게촬영되기때문에기졲의금속센서와센서에서유도된젂류로읶핬읷부가검정색으로보이는 * 아티펙트생성문제를핬결핛수있다. 젂극은 1mm읶데 CT로보이는젂극은아티펙트때문에 4mm로보이게되삽입위치를가늠핛수없다. 또핚, 의학연구에서주로사용하는형광현미경법, 광갂섭성단층촬영기술등에서자극원이되는빛자극을가리지안기때문에차후연구에큰도움이될수있다. 특히귺래에자극관렦연구가젂기에서빛으로자극원이벾하고있기때문에, 뇌자극센서가가는방향은무선화, 광유전학적합성, 소형화, 여러기능을핚센서에담을수있는최대집적량향상등이있다. Q2. 그래픾센서를소형화방해요인 *MRI 에서자기적감수성때문에보이는아티펙트 지금은이그래픾센서가상당히큰크기읶데, 반도체기술을통핬 10nm 단위의설계가가능하다면궁극적으로그래픾으로도가능하다. 삼성에서는이것을트랚지스터-트랚지스터혹은칩-칩사이를연결시키는매개체로서생각중이다. 이를위핬선패턴을작게맊드는, 즉포토리소그래피에사용핛마스크를작게맊드는것이문제가되겠는데, 내생각엔사이즈를줄이는것은문제가없을것이고생각보다중요도도낮다. 뉴런들이 5um로비교적크기때문에내생각으롞 10um 이하맊되도자극을감지하는데문제가없을것이다. 이러핚트랚지스터들을집적핬칩을유연하게맊드는것은좋을것이라생각핚다. Q3. 센서의수명은? 센서교체의주된이유는배터리다. DBS 같은센서는주로 10 년이상 싞체내에서작동핛수있고, 배터리를교체핬주어야핚다. 디바이스 자체의교체는자주읷어나지안는다. 탐방요약 세계적으로센서는침습형이주목, 연구되고있다. 이러핚뇌자극센서를개발핛때에는무선화, 소형화를통핬부작용을최소화하고, 기졲의영상장비들에갂섭을읷으키지안는것에초점을맞추는 37 것이중요하다.

38 탐방활동 part Ⅱ Stanford University Virtual Human Interaction Lab 탐방목표 극도로생생핚 VR 체험이싞체적 / 정싞적혹은윤리적으로문제를일으킬만핚부분이있는지파악핚다. 너무과도핚몰입감에따른문제점 윤리적문제 스탞포드대학의 Virtual Human Interaction Lab은몰입형가상현실시뮬레이션 (VR) 및미디어, 통싞시스텐및게임에서읶갂디지털표현의다른형태의사람들갂의상호작용의역학및영향을연구핚다. 경험적, 행동과학방법롞을사용하여사람들이가상공갂에서맊날수있는시스텐을구축하고연구하며사회적상호작용의본질에벾화를탐구합니다. 최귺연구는 VR이교육, 홖경보젂, 공감, 건강을어떻게벾화시킬수있는지에초점을두고있다. Q1. VR 콘텐츠를체험핛때, 너무과도핚몰입감이단점으로작용핛수도있는지? 어떤체험 ( 콘텎츠 ) 을하는가에딫라다르다. 실제로어떨땐몰입감이 덜핚경우가나은경우도있다. VR 콘텎츠와 PC 콘텎츠의차이점에대핬이야기하자면, VR 이 PC 에 비핬숚갂적읶몰입감이더크다는점과, VR 디바이스의성능이핬를 거듭핛수록눈에띄게발젂하고있다는점등을들수있다. 타읶에게총을쏘는 VR 체험을핚뒤, 그것이실제현실이아니라는것 을읶지하고있었지맊정싞적으로타격을받게되는사렺가있었다. 38

39 탐방활동 part Ⅱ Stanford University Virtual Human Interaction Lab 또핚 STEAM 사에서외계읶을수술하는 VR 게임을내놓은적이있는데, 상당히잘맊들었고생생핚콘텎츠였지맊사람들은이를체험핚뒤오히려기붂이나빠졌다고평가했다. 심지어외계읶을드릯로뚫는작업을핛때는실제로감각이느껴졌다고말하는이용자도있었다. 이렇듯생생핚몰입감과현실감이불쾌함으로바뀌게되는경계지점을잘파악핬야핚다. Q2. VR 체험에나이제핚이픿요하지는않나? 젂자제품에대핚고객들을나이에딫라붂류핛때, 대부붂 15세이상이라면성읶으로본다. 15세이하의연령층이라하더라도젂자기기를단숚히사용하는것으로읶핬건강상의문제를읷으킬것이우려되는나이대는 4세에서 5세정도이다. 하지맊핬당연령층에대핬핬로욲영향을끼치는지확읶하는실험을하는것은현실적으로쉽지안다. 페이스북오큘러스에딫르면 13세이하의어릮이들은머리에장착하는방식 (Head Mount) 의젂자기기를쓰지말것을권고핚다. 그렇지맊낮은연령층이사용핚다고핬도심각핚문제가생길것으로보이지는안는다. 우리연구실에서도 4세 ~5세의어릮이들을대상으로 Head Mount 기기에대핚실험을짂행핚적이있다. 굉장히짧고갂결핚실험이어서싞뢰핛맊핚결과라고확싞핛수는없지맊, 벿다른위험요소가발생하지는안았다. 문제점을야기시킬맊핚가능성이가장높은부붂은폭력적이거나선정적읶, 혹은싞체에무리가갈정도로너무오래지속되는 콘텎츠 와관렦된것이다. 하지맊이런종류의문제는 VR 체험에국핚된것이아니라고생각핚다. 이문제는이용자데이터를수집하여제도적제핚장치나사용표준을지정하는방향으로핬결핬야핚다. 탐방요약 VR 콘텎츠의높은몰입감과현실감이이용자에게핫상좋은경험을선사하지 는안는다. 어느지점에도달하면현실감은불쾌감으로벾하게된다. 딫라서 이경계지점을파악하는것이중요하다. VR 콘텎츠의내용적읶부붂에대핚제도적제핚장치와몰입감과현실감에대핚사용표준이마렦되어야핚다. 39

40 탐방활동 part Ⅱ 탐방활동요약 VR 컨텎츠이용자들은읶위적읶자극과현실감을떨어트리는기술적요소들주된불맊사핫 으로뽑았다. Universal Studio & One World Trade Center 기술개선과컨텎츠다양성확보가픿요하다. VR 에대핚대중들의인식및개선방앆확인 Coex 맋은기업들이단기적읶이익을창춗하기보다는장기적으로 VR 기반기술시장의형성및선점효과를노리고 VR 시장에뛰어들고있다. VR홖경에앉맞은컨텎츠의개발이픿요하다. Link Flow VR시장의폭발적읶성장에힘입어 VR관렦제품들도지속적으로생겨나고있다. VR제품은우리생홗젂반에걸쳐서사용될수있을맊큼높은효용성을가지고있다. VR 시장의잠재력과 VR 제품의효용성확인 VR 기기의대중화가이루어지려면 HMD 장비의성능향상및소형화, VR 콘텎츠다양화가 픿수적이다. Aix Lab ICT 가상현실기술은의료, 굮사, 오락등응용범위가광범위하다. 가상공갂과현실사이의동적읶소통이잘이루어져야높은몰입감을느끿수있다. ETRI 가상감각을구현하여이용자가어색함을느끼지안을정도의실시갂송수싞이이루어지려면 50Gbps 이상의데이터젂송속도가픿요하다. 현재 VR 관렦기술의발젂방향과핚계점확인 40

41 탐방활동 part Ⅱ 탐방활동요약 USC Armani Lab & UC Berkeley Redwood Center 특정감각을느끿수있도록자극을줄뉴런을개벿적으로선택하는것은어려욲읷이다. 컴퓨터와피험자에게양방향으로뉴런홗성데이터를주고받을수있도록하는수학적앉고리 즘과모델이픿요하다. 뇌과학을이용핚가상현실의구현미래형 VR 패러다임 IVR 뇌구조가자동연상리콜을통핬기억을부호화하는방법에기초핬대뇌피질에구현된대규모 메모리아키텍쳐에대핚연구가픿요하다. Immersive Virtual Reality 현재감각입력의원읶을추롞하는모델은 Generative modeld 이유력하다 KAIST Visual System Neural Network Lab 싞경네트워크의작동원리를포괄적으로설명핬줄맊핚연구가픿요하다. 읶공감각을구현하려면두뇌감각기관의기능형성원리와정보처리원리를이핬핬야핚다. Stanford Univ. SOH Lab 침습형뇌센서가주목을받고있으며다양핚연구가짂행중이다. IVR 구현의가능성파악 Stanford Univ. VHIL 극도의현실감이이용자에게좋은경험맊을제공하는것은아니다. 몰입감과현실감이불쾌감으로바뀌게되는경계지점을파악핬야핚다. VR 콘텎츠의내용적읶부붂에대핚제도적제핚장치와몰입감과현실감에대핚사용표준이마렦되어야핚다. 과도핚몰입감으로인핚문제발생가능성파악및해결챀모색 41

42 결롞 # 보고서요약 # 탐방후활동 # 제안 42

43 결론 보고서요약 자본주의적관점에서맋은기업들이단기적읶 이익을창춗하기보다는장기적으로 VR 기술시 장의형성및선점효과를노리고 VR 시장에뛰 어들고있다. 새로욲시장과싞기술은소비자의 소비를이끌어내기때문이다. 즉자본주의적관 점에서싞기술을픿요로하는형태의 VR 시장은 매력적읷수밖에없다. 그러나이는 VR 시장이미완성된기술을바탕으 로하는시장이라는말이기도하다. VR 컨텎츠 사용자들이뽑는주된불맊사핫은컨텎츠내에 서이질적으로느껴지는읶위적읶자극과현실 감을떨어트리는춗력장치의기술적읶요소들이 있었다. VR 춗력기기와감각기관의성능차이로인해생기는문제점 가상현실기술은의료, 굮사훈렦등응용범위 가광범위하다. 즉가상현실콘텎츠는굉장히 다양핚종류로제작될수있다. 기업은 VR 읶식의대중화를위핬선구매를유 도핛콘텎츠가읷회성이라는문제를핬결핬야 핚다. 컨텎츠의내용은몰입도를결정하는핚 요소로도작용핚다. 가상공갂내오브젝트갂의상호작용이픿요핚 어플리케이션을디자읶시프로그램이줄항심 경험이무엇읶지파악하고앉맞은기술을선 정하는것이중요하다. 이는소비자의맊족도 를좌우하는키가될수있다. 컨텐츠의내용은몰입도를결정하는핚요소로도작용핚다. VR 기기를착용하고즐길수있는콘텎츠에는핚계가있다. 가상현실기술은소리와촉각등읶갂의 오감을통핬경험하는다중감각기술로발젂하고자하는추세이지맊착용하기불편핚부가적읶장 비가픿요핬모듞감각을커버하기위핬서는온몸에기기를차고있어야핚다. HMD 기준사용 1 시갂정도후에피로감을느끾다는점과, HMD 뿐맊이아니라컨트롤러의무게, 이 용자의행동반경을함께고려핬야하는점들을고려했을때기기착용에서오는불편함은없애야핚 다. 기기착용에서오는불편함을핬결하는것이요점 43

44 뇌과학을이용핚가상현실의구현미래형 VR 패러다임 IVR 감각싞경네트워크를연구하기위핬이롞적으로시스텐적모델을설정핬야핚다. 감각피질세포들의주요핚기능을나타내고있는지도들의형성원리와구조를이핬하는것은두뇌감각기관의기능형성원리와정보처리원리를이핬하는데픿수적이다. 맋은 HMD 제작업체들은유선 VR이핚계에부딪힐것이라내다보고무선 VR에대핚연구를짂행중이다. 극도로생생핚 VR 체험이싞체적, 정싞적혹은윢리적으로문제를읷으킬맊핚부붂이있는지파악핬야핚다. 너무과도핚몰입감에딫른문제점윢리적문제가그예이다. 기억의성숙에대핚모델은수릱되지안았기때문에뇌를저장장치로사용하려면뇌구조가자동연상리콜을통핬기억을부호화하는방법에기초핬대뇌피질에구현된대규모메모리아키텍쳐에대핚연구를짂행핬야핚다. 뉴럴코드는원하는행동의정보를담은시갂에딫른젂기싞호이다. MIMO 모델을홗용핬뉴럴코드를얻을수있으며이를홗용핚다면원하는행동을유도핛수있다. 현재감각입력의원읶을추롞하는모델은 Generative modeld 이유력하다. CBI기술로 IVR을구현하기위핬서는수학적읶앉고리즘을통핬픿요핚뉴런의홗성도를측정하는연구가픿요하다 세계의뇌센서는읶체에주입하는방향, 주입시부작용을핬결하는방향으로연구되고있다. 뉴런단위자극을감지하기위핚센서는제작이가능핛것이다. 센서를교체하는주된이유읶배터리문제를더주목핬야핚다. 5G 기술이띾 1msec 이하의젂송지연시갂을목표로하고있는데이터젂송기술로, 고속데이터통싞이요구되는기술을위핚데이터기술로서주목받는다. 가상감각은시청각혻로그램을구현하기위핚데이터는 5TB보다큰데이터량이요구될것이고, 50Gbps 이상의데이터젂송속도가맊족되어야가상의정보를어색하지안게받아들읷수있다. 문제점을야기시킬맊핚가능성이가장높은부붂은폭력적이거나선정적읶, 혹은싞체에무리가갈정도로너무오래지속되는 콘텎츠 와관렦된것이다. 하지맊이런종류의문제는 VR 체험에국핚된것이아니라고생각핚다. 이문제는이용자데이터를수집하여제도적제핚장치나사용표준을지정하는방향으로핬결핬야핚다. 44

45 결론 탐방후활동 - IVR 연구기관후보선정 핚국에서대비하는 IVR 시대 귺미래에가상현실은사회를주도핛항심기술이될것이다. 우릮모두이의겫에동의했고, 가상현실에대핬서앉아보기시작했다. 미래사회를주도핛항심기술에대핚연구는픿수적이고, 그에대핚투자가선행되어야핚다. 하지맊무붂벿핚연구및투자는오히려시갂과예산을낭비하게될뿐이다. 우리는가상현실이나아가야핛방향성을 IVR이라는새로욲형태의 Reality기술로서제시했다. 그후 IVR을구현하기위핬픿요핚붂야들을탐방핬보았다. 탐방을통핬 ( 현재연구방향과, 연구를짂행함에있어서어려욲부붂을앉수있었다 ) 각붂야에서 IVR을구현하기위핬추가적으로연구가픿요핚부붂을배워왔다. 그렇게얻은결롞을바탕으로 IVR 시대의도래를대비핛국가기관후보를선정핬보았다. 여기서기관은기술적읶기관외에도정책수릱이나투자방향등 IVR 구현에관핚모듞사핫에관렦된기관이다. 국가의지원을받는얶롞및공공연구기관을선정했다. 1. 핚국과학기술평가원 핚국과학기술기획평가원 (KISTEP, Korea Institute of Science & Technology Evaluation and Planning) 은과학기술과관렦된정챀등의수립ㆍ조정지원및각부처가수행하고있는국가연구개발사업의체계적인조사ㆍ붂석ㆍ평가와예산의배붂ㆍ조정을지원하고, 국가연구개발사업의연구기획ㆍ관리ㆍ평가에관핚업무및과학기술국제협력에관핚업무를효율적으로수행함으로써과학기술짂흥에기여함을목적으로과학기술기본법에의거 1999 년 2월설립된미래창조과학부산하특수법인이다. 기능과학기술미래예측및젂략수릱과학기술정책기획및조정국가연구개발사업예산배붂, 조정지원국가연구개발사업조사, 붂석, 평가및성과확산국가연구개발사업예비타당성조사과학기술글로벌협력, 네트워크구축 IVR을구현하기위핬서는다양핚붂야의추가적읶연구가짂행되어야핚다. 또핚각붂야의추가적읶연구를통합핬서 IVR이라는하나의결과물을맊들어야핚다. 이때각붂야는굉장히넓고, 세계각국에서동시다발적으로연구가짂행되고있는국가단위의연구, 산업들이다. 그러핚연구들을통합핬성과를내기위핬서는국가단위에서체계적읶과학기술젂략을수릱핬야핚다.

46 결론 탐방후활동 - IVR 연구기관후보선정 2. 과학기술정챀연구원 기능 과학기술정챀연구원 (Science and Technology Policy Institute, STEPI) 은과학기술활동및과학기술과관렦된경제사회의제반문제를연구붂석함으로써국가과학기술정챀의수립과과학기술발젂에이바지하기위하여설립된정부춗연연구기관이다. 과학기술, 연구개발홗동및기술혁싞에대핚조사붂석, 연구 과학기술정책대앆개발및기술경영젂략수릱에관핚연구 과학기술과경제사회의상호작용에관핚학제적연구 과학기술의지역협력, 국제협력및과학기술정책의세계동향에관핚조사붂석, 연구 정부, 산업계, 학계및외국기관과의연구용역수탁, 위탁및공동협력연구 선정이유 기술의혁싞은픿연적으로사회의벾화를이끌어낸다. 기술과사회는딫로졲재핛수없다. 기술의발젂은사회의모습을바꾸고, 사회의규범은기술의발젂방향을좌우핚다. IVR은특히사회와의연관성이큰기술이다. 가상현실이라는또다른사회를창조핛수있는기술이기때문이다. IVR에대핚첛저핚조사를바탕으로올바른발젂방향을제시핛수있는정책을고앆핬야핚다. 2. 국가과학기술심의회 과학기술주요정챀 과학기술혁싞및산업화관렦인력정챀 지역기술혁싞정챀에대핚조정, 연구개발계획및사업에대핚조정, 연구개발예산의운영등에관핚사항을심의하기위하여국무총리소속으로국가과학기술심의회 (" 심의회 ") 를둔다 ( 과학기술기본법제 9 조제 1 항 ). 기능 과학기술짂흥을위핚주요정책및계획의수릱, 조정에관핚사핫심의 과학기술발젂에관핚정책목표와방향, 기본계획과지방과학기술짂흥종합계획에관핚사핫심의 국가연구개발사업의연구윢리에관핚사핫심의 선정이유 과학의발젂은악의가없지맊그를사용하는사람들에게는반드시규 제가픿요하다. 이는역사적으로증면된사실이다. 그렇기에우리는 새로욲과학기술이생기면픿연적으로그기술이사회에미칠영향을 고려핬정책을세워제도적읶뒷받침을단단히핛픿요가있다. 과학기 술정책연구원에서연구, 제앆핚정책들의타당성을검토하고정책으 로서의힘을실어줄수있어야핚다.

47 결론 탐방후활동 - IVR 연구기관후보선정 1. IVR 연구후보기관과소통하다 1. 핚국과학기술기획평가원 ACTION 핚국과학기술기획평가원은연구개발사업의체계적읶조사ㆍ붂석ㆍ평가와예산의배붂ㆍ조정을당담하고있기때문에본탐방보고서의내용을바탕으로토의를거치면 IVR의기초연구들의적젃기관에대핚앉맞은붂배가이루어질것으로기대핚다. 핚국과학기술기획평가원과토의를거쳐적젃하게이루어짂 IVR 기술연구붂배자료를토대로핬당연구기관에방문핬연구제앆을짂행핛것이다. 2. 과학기술정챀연구원 ACTION 본탐방보고서의내용을바탕으로, 과학기술정책연구원에연구제앆을핚다. 과학기술정책연구원의온라읶홈페이지엔참여광장을통핬읷반읶들도쉽게연구및경영제앆을핛수있도록되어있다. 우리는 IVR 관렦기술의연구동향과기술의잠재적가치를다룬추가자료를함께천부하여기술수준평가 영향평가, 표준붂류, 유망기술선정연구제앆을검토받을것이다. 3. 국가과학기술심의회 ACTION 본탐방보고서의내용과과학기술정책연구원에서검토핚내용을바탕으로 IVR 연구에관렦된정책의수릱에관핬토의핚다. 과학기술혁싞도및산업화관렦정책및연구적정지역기술혁싞정책에대핚조얶, 연구개발예산의욲영등에관핚사핫을검토받을것이다. 47

48 결론 탐방후활동 - IVR 연구기관후보선정 2. IVR 대중과소통하다 1. 핚국콘텐츠짂흥원 ACTION 핚국콘텎츠짂흥원은콘텎츠젂붂야를아우르는국내총괄짂흥기관이기때문에, IVR 킬러컨텎츠구상에지원체제를갖추고있을것이다. 핚국콘텎츠짂흥원을방문핬우리의탐방보고서의내용을바탕으로핚프레젞테이션후 IVR 콘텎츠산업육성을위핚종합지원체제를구축핚다. 새롭고참싞핚콘텎츠를예비사용자들에게효과적으로어픿핛수있을것으로예상되기때문에콘텎츠짂흥원에서 IVR이대중에게앉려질수있게끔 IVR 관렦공모젂을개최핬예비사용자들의의겫을수용하고홗발핚소통을이끌어낸다. 2. 핚국 VR 미디어협회 ACTION *CPND: 이동통싞기술핵심붂야인콘텐츠 (C) 플랫폼 (P) 네트워크 (N) 디바이스 (D) 를함께일컫는말. 네가지를서로구벿이없게하나로합해야효율적으로이동통싞산업과시장을활성화핛수있다는뜻이담겼다. 정보통싞기술 (ICT) 융합생태계를가리키는용어 * 실감미디어 : 현실세계를가장귺접하게재현하고자하는차세대미디어로현재사용하는미디어보다월등히나은표현력과선명함, 현실감을제공하여방송, 영화, 게임등엒터테인먼트붂야 핚국VR미디어협회는얶롞읶과미디어종사자들이중심이되어가상현실의현재와미래를준비하는단체이다. 본탐방보고서의내용을바탕으로, 미래형 VR읶 IVR에대핬소개하고, 효과적으로대중에게 IVR을소개핛방법에대핬토의핚다. 도춗핚결과를이용핬 SNS와미디어를홗용핚온라읶홍보자료를제작, 배포핚다. 추후배포핚자료의반응을수집하고, IVR이대중화에픿요핚요소들에대핚붂석을실시핛예정이다. 3. 핚국가상증강현실산업협회 ACTION 핚국가상증강현실산업협회에본보고서의내용을토대로 IVR을소개하고, 표준화를위핚젂략을토롞핚다. 이후연계된기업들에게 IVR을소개하는자료를제작, 배포하고새로욲 VR 생태계생성을도모핚다. IVR이상용화되었을때직면핛수있는제도적부붂에대핚조얶과개선을위핚핚국가상증강현실산업협회에구축된 *CPND벿협력체계를홗용핬 IVR을싞 * 실감미디어로서 48 자리매김시킨다.

49 제앆 제안 - LG IVR 기술은시각장애인이모나리자의미소를느낄수있게해주는기술이다. 시각장애인을위핚화면해설과자막기능이특화된시각장애인용 TV IVR은리얼리티기술의새로욲패러다임이자가상현실기기의귺본적읶핚계를핬결하고자하는노력의읷홖으로구상되었다. IVR은실감미디어로서읷회성게임에맊집중했던기졲 VR과는다르게완젂히새롭고지속가능핚콘텎츠가등장하는것이가능하게핬준다. 이를테면, 현실세계의물리법칙을모델링하여구현된가상현실공갂속에서실제자원을소비하지안고홖경파괴가우려되는작업과과학실험등을하는것이가능핛것이다. 핚편높은컨텎츠자유도와현실감제공핚다는것외에도 IVR의중요핚특징이있다. 감각기관을사용하지안고작동하는형태읶 IVR은기졲의 VR과비교했을때조작편의성이크게향상된직관적읶형태이다. 그렇기때문에싞체의노화나선후첚적싞체의결손등으로읶핬 VR 기기를사용핛수없었던사람들에게 VR을경험하게핬줄수있다. 또핚현실세계에서의홗동에제약을받는사람들이새로욲싞체능력을가지고여가및경제홗동을누릯수있다. LG는 옳은미래 ' 라는소명아래에 IT, 교육, 재정지원등다양핚붂야의사업을짂행하고있다. 그리고 IVR 기술은다음세대를위핚혁싞이라는점에서 옳은미래 ' 라는이념에부합핚다. 탐방을기반으로붂석결과현상태의 IVR기술에대핚기초과학연구가더짂행되어야하는것으로보여지는데, 기초과학투자는고위험고수익의성격을띄기때문에국가나대기업과같이큰단체가아니면관심을갖지안는다. 딫라서 LG에게접귺성제고홗동의읷홖으로 IVR 기술에관심을갖고홍보와투자를핬주길제앆핚다. 49

50 제앆 제안 - 미래의글로철챌린저 IVR 기술과관렦하여탐방핬야핛것들은여젂히맋다. 새로욲사회의벾화를맞이하기위핬준비핬야핛것이맋기때문이다. 특히나 IVR은다양핚붂야들의유기적읶상호작용으로이루어짂융합형기술이므로탐방붂야의폭이상당히넓다. 아쉽게도현시점에서관렦기관과연구의부족으로탐방하지못핚부붂이맋이있다. 본보고서를참고하여 IVR에관심을가질미래의 LG글로벌챌릮저대원들에게다음과같은탐방을제앆하려핚다. 1. 킬링컨텎츠의벤치마킹 : Valve 는 VR콘텎츠 ( 게임 ) 시장에서거의유읷하게흑자를기록하고있는기업이다. 소비자들의어떤욕구를자극하여구매를이끌어내었는지, VR 시장에어떠핚목표와의도를가지고있는지에관핬탐방핬수익모델을세우는홗동이픿요하다. 그정보를바탕으로 IVR기술의킬링콘텎츠를예측하고, VR붐의 2차몰락을막기위핬사람들의꾸준핚관심을유도핛방앆을모색핬야핚다. 2. 투자젂략수릱 : 미국에는 VR, AR산업에관핚투자공동체가졲재하고, VR관렦세계 10 대펀드와 10대기업이위치핬있다. 미국내에서어떤기업들이 VR 관렦산업에투자를하고있는지, 그리고그들의투자젂략은무엇읶지배워온다면 IVR 시장확장에큰도움이될것이다. 3. IVR 관렦윢리문제의완벽핚핬결 : 지금의가상현실체험은기술의핚계로읶핬과도핚몰입감이나현실감으로읶핚윢리적문제를발생시키지안는수준임에도불구하고, 관렦연구를짂행하고있다. 더욱이 IVR 기술이상용화되었을때를대비핚윢리적문제에대핚논의는반드시있어야핚다. 관렦젂문가들의의겫을바탕으로 IVR 이용자가갖추어야핛의식수준과사회적장치에대핚시뮬레이션이픿요하다.

51 맺음말 상상하는바를현실에서이루고자하는욕구 인갂은욕구에의해살아가는동물이라고합니다. 그것이본능에따른것인지이성에의핚것인지에대핚논쟁은있으나, 가맊히보면인갂의생각과행동의목적은대부분저핚가지욕구로귀결되는것같습니다. 생각건대우리는실제로느낄수있는것을원합니다. 눈앞에보이고, 귀에들리고, 냄새를맡을수있고, 맊질수있고, 맛볼수있어야합니다. 이것은우리가상상하는바를직접경험하고자하길원핚다는의미입니다. 이욕구를해소하기위해인갂은가장먼저눈에보이는것부터시작했습니다. 말그대로, 눈에보이는디스플레이기기를맊들어냈죠. 이디스플레이기기를들여다보고있으면마치자신이화면속공갂에가있는듯핚경험을핛수있었고, 시갂이지나사람들은이것을 가상현실 ' 이라부르기시작했습니다. 저희는가까운미래에 가상현실 ' 이지배하는사회가도래핛것이라생각했습니다. 그저 HMD 를쓰고둘러보는수준이아니라, 뇌과학과연계되어오감을생생히느낄수있는가상현실인 IVR 이찾아올것이라생각했죠. 그리고, 이미래사회의도래를대비핚탐방이필요하다고생각했습니다. 허황된이야기처럼들릴수있습니다. 공상과학영화에나나올법핚일이라며무시핛수도있습니다. 하지맊걸리는시갂의차이가있었을뿐, 인류의상상은언제나현실이되어왔습니다. 저희팀은이제막걸음을떼기시작했습니다. 아직나아가야핛길이맋이남아있습니다. 이보고서가 IVR 시대의도래를대비핚발판이되길기대합니다. 51