68 특집 : 2018 평창동계올림픽방송 특집 2018 평창동계올림픽방송 에어플로팅스페이스기반스포테이먼트실감체험플랫폼 김찬규, 김차주, 노태영, 이용진, 정광모 / 전자부품연구원 요약본논문에서는 2018 평창동계올림픽에맞춰동계올림픽과동계스포츠에대한관심을높이는데활용되고있는스포테이먼트실감체험플랫폼에대해소개한다. 에어플로팅스페이스기반스포테이먼트실감체험플랫폼개발을통해스키및스키점프체험플랫폼을설계하였고, 현재국립부산과학관에설치되어운영되고있다. 국립부산과학관에서스키및스키점프체험플랫폼은관람객들에게동계스포츠를간접적으로체험할수있게하고, 이와함께평창올림픽에대한관심도를높이는데크게활용되고있다. 본논문에서는현재국립부산과학관에설치되어운영되고있는스포테이먼트시뮬레이터의설계및개발방법에대해소개하고자한다. Ⅰ. 서론 2018 평창동계올림픽과함께동계스포츠에대한 관심도가높아지고있다. 이와함께, 동계스포츠를간접적으로체험할수있는플랫폼들이다양한곳에서설치되어운영되어지고있다. 현재국립부산과학관에서도동계과학스포츠특별전시관에스키및스키점프체험플랫폼을설치하여평창동계올림픽과동계스포츠에대한관심을높이고있다. 스키및스키점프체험플랫폼을통해관람객들에게동계스포츠를간접적으로체험할수있게서비스하고있다. 이를통해평창올림픽에대한관심도를높이는데크게활용되고있다. 본논문에서는현재국립부산과학관에설치되어운영되고있는스포테이먼트시뮬레이터의설계및개발방법에대해소개한다. 현재의가상현실기반의스포츠관련시뮬레이터들은대부분실감체험이떨어진단순한 Fun 게임을 본연구는과학기술정보통신부 실감미디어산업 R&D 기반구축및성과확산사업 의에어플로팅스페이스기반스포테이먼트실감체험플랫폼기술개발과과제로수행된연구결과임 68 방송과미디어제 23 권 2 호
에어플로팅스페이스기반스포테이먼트실감체험플랫폼 149 위한기기이다. 이는실제스포츠장비에비해운동효과가낮고현장감이낮아영화, 게임, 스포츠, 체험교육, 놀이공원등의여러산업분야에활용이저조하다. 다양한산업분야중스키, 스키점프, 에어플라잉등의시뮬레이터는다른산업분야체험플랫폼에비해높은실감효과재현이필요하다. 에어플로팅스페이스 (AFS: Air Floating Space) 란기존영화제작에사용되고있는플라잉모션유닛과슬라이딩및다축모션유닛을결합하여, 높은몰입감의공중체험효과를제공하는기술을뜻한다. 따라서본논문에서는스키및스키점프시뮬레이터에이러한에어플로팅스페이스기술을결합하여높은몰입감의실감효과를제공하는스포테이먼트 (Sportainment) 시뮬레이터개발방법에대해제시한다. 스키및스키점프경기장의실제환경정보를획득하여현장상황에대한사실적인실감효과를제공하고, 이를통해사용자에게서비스의만족도를높이면서다양한산업분야에활용가능한스포 테이먼트시뮬레이터를개발한다. 스포테이먼트시뮬레이터개발을위해, 우선에어플로팅스페이스기반스포테이먼트실감체험플랫폼을제시한다. 이를바탕으로에어플로팅스페이스기반의스키및스키점프실감체험플랫폼에대해제시한다. 이와함께에어플로팅스페이스기반스키및스키점프의실감효과증대를위하여실감정보획득및모니터링기술과 VR 콘텐츠기술에대해제시한다. Ⅱ. 본론 1. 에어플로팅스페이스기반스포테이먼트실감체험플랫폼에어플로팅스페이스기반스포테이먼트실감체험플랫폼은실제현장의장면과상황을사실적으로모 AFS 실감정보획득실감정보수정 / 편집 AFS 프로파일링 다중센서기반 AFS 실감정보획득 / 처리기술 3D공간정보획득공간입체음향생성가상공간재현현실모사 3D영상획득및가상공간재현기술 스포테인먼트실감체험플랫폼 에어플로팅스페이스휴먼모션트래킹및제어시스템기술 실감효과재현콘텐츠인터랙션통합미들웨어체험유사도측정 실감체험플랫폼평가기술에어플로팅스페이스엑츄에이터플랫폼 모션유닛동기화수평움직임모션플라잉모션 < 그림 1> 에어플로팅스페이스기반스포테인먼트실감체험플랫폼개념도 2018 년 4 월 69
150 특집 : 2018 평창동계올림픽방송 사및재현하고, 고품질의 3D 영상과동기화하여스포츠의재미와현장감을높인다. 사실적인체험제공을통해극한의스포츠체험, 훈련체험, 놀이체험서비스등의흥미유발을극대화한다. < 그림 1> 은에어플로팅스페이스기반스포테이먼트실감체험플랫폼의개념도이다. 에어플로팅스페이스기반스포테이먼트실감체험플랫폼은다중센서기반 AFS 실감정보획득 / 처리기술, 현실모사 3D 영상획득및가상공간재현기술, 에어플로팅스페이스휴먼모션트래킹및제어시스템기술, 에어플로팅스페이스액츄에이터플랫폼, 실감체험플랫폼평가기술로구성된다. 다중센서기반 AFS 실감정보획득및처리기술은실세계환경정보를바탕으로실감정보를획득및편집하여모니터링하는기술을나타낸다. 이를통해체험모델다양화를위한 AFS 프로파일링기술을개발한다. 현실모사 3D 영상획득및가상공간재현기술은현실공간모사를위한 3D 공간정보 를획득하고, 이를통해몰입형 3D 가상공간을재현한다. AFS 휴먼모션트래킹및제어시스템개발은 AFS 실감정보를기반으로실감효과를재현하고사용자의모션인식및콘텐츠와의인터랙션기술을나타낸다. AFS 액츄에이터플랫폼개발은사용자가직접탑승하게될스키및스키점프체험플랫폼기술을나타낸다. 실감체험플랫폼평가기술은위험상황에서의시뮬레이션및안정성요소기술개발과이를평가할수있는가이드라인정의가포함된다. 2. 스키시뮬레이터스키시뮬레이터는 6축움직임을갖는스키플레이트와함께실감효과장치, 사용자모션인식장치등여러시스템들이상호복합적으로연결된형태로구성된다. < 그림 2> 는에어플로팅스페이스액츄에이터플랫폼중에서스키시뮬레이터의전체구 < 그림 2> 스키시뮬레이터전체구성도 70 방송과미디어제 23 권 2 호
에어플로팅스페이스기반스포테이먼트실감체험플랫폼 151 Heave/Pitch 모션 Sway 모션 Surge 모션 Yaw 모션 < 그림 3> 스키플레이트움직임 성도를나타낸다. HW부분은실감효과발생장치와관리자 Server 와스키콘텐츠를제공하는 pc와디스플레이장치등여러디바이스들로구성된다. Gyro 데이터, 사용자의모션인식, 스키플레이트의 Roll 등의데이터가스키콘텐츠 Server pc로수집되고, 스키플레이트의위치정보가모션제어프로그램을통해콘텐츠속아바타에반영된다. 콘텐츠속아바타의위치는다시스키시뮬레이터로전달되어사용자의움직임을반영한다. 이와함께스키플레이트에서제공되는진동과스키속도를반영한바람효과가스키시뮬레이터의몰입감을높인다. 사용자의의지를반영한스키플레이트가입력부 시켜줌으로써사용자에게실제스키를탈때에발생하는가속도 / 회전모션등을제공한다. 사용자가스키플레이트를기울이게되면, Plate 움직임입력부에서스키플레이트의기울어진각도를측정하고측정된각도는메인 PC로전달되어기울임의방향에따라 Sway 모션생성부를좌 / 우로이동시킨다. 또한기울어지는정도에따라가감속의느낌을사용자가전달받을수있도록구현한다. Yaw 모션생성은스키의기본적인 Turn 모션구현에반드시필요하며, 솔레노이드리니어액츄에이터에독립적으로동작하는이동자들의움직임을통해구현하였다. < 그림 4> 는 Yaw 모션생성부의 로작동하며스키콘텐츠와의연동을통해스키플레이트의움직임을제어한다. < 그림 3> 은스키플레이트의움직임을나타낸다. 스키플레이트는다축움직임 (Roll, Heave/Pitch, Sway, Surge, Yaw) 을구현한다. 사용자의좌 / 우방향으로이동시키거나가상환경의상황에따라 Sway/Yaw 방향으로회전 스키플레이트 6 자유도 ROLL / YAW 동작 < 그림 4> Yaw 모션생성부구현 스키플레이트 6 자유도 ROLL / YAW 동작 2018 년 4 월 71
152 특집 : 2018 평창 동계올림픽방송 구동 매커니즘을 보여주며, 구동 플레이트 앞과 뒤 를 따로 제어하여 사용자에게 회전 피드백을 제공 할 수 있도록 설계하였다. 용하여 가감속의 변화도를 증가시켰다. 스키 제어의 엣지 모션을 표현하기 위해서 <그림 8> 과 같이 Roll 방향 모션을 구현하였다. 관성측정 모 실제 스키 슬로프의 노면에는 높낮이 차이와 경 듈, 스키 플레이트, 소형 유니트 베어링, 샤프트로 사가 존재하며 실제 스키어들은 하강 도중 실시간 구성되고 플레이트의 움직임 입력부에서 소형 유니 적으로 Heave/Pitch 정보의 변화를 실시간적으로 트 베어링을 사용하여 좌/우 ±15 이하까지 기울일 감지한다. <그림 5>는 실시간으로 발생하는 모글 수 있도록 설계하였다. 언덕에서의 Heave/Pitch 차이를 나타내며 Pitch 모션 생성부의 회전각도 ±12 로 국내 스키장들의 평균 경사를 기준으로 설계하였다. <그림 6>은 Heave/ Pitch 모션 동작을 나타낸다. <그림 8> Roll 모션 구현 <그림 9>는 실제 제작된 스키시뮬레이터의 모습 <그림 5> 실제 스키 슬로프(좌), 스키 슬로프 단면(우) 이다. 스키 콘텐츠를 디스플레이하기 위한 영상 장 치와 스키 플레이트, 안전장치 등으로 구성되어진 모습을 확인할 수 있다. 스키 플레이트 6자유도 스키 플레이트 6자유도 HEAVE 동작 HEAVE 동작 <그림 6> Heave/Pitch 모션 생성부의 구현 실제 스키어들은 스키를 탈 때 가속도의 변화를 느끼며, 시뮬레이터에서 사용자들의 가감속 정보를 표현 할 수 있는 요소로 Surge 모션을 제어하였다. <그림 7>은 Surge 모션 구현을 나타낸다. 기존에 구현된 6-DOF Driving Simulator들은 공압 실린 더를 사용하지만 본 개발에서는 리니어 모터를 사 <그림 9> 스키 시뮬레이터의 제작 모습 3. 스키점프 시뮬레이터 스키 플레이트 6자유도 스키 플레이트 6자유도 SURGE 동작 SURGE 동작 <그림 7> Surge 모션 생성부 구현 72 방송과 미디어 제23권 2호 스키점프 시뮬레이터는 트롤리 시스템, 공중체험
에어플로팅스페이스기반스포테이먼트실감체험플랫폼 153 < 그림 10> 스키점프시뮬레이터전체구성도 플라잉유닛, 스키점프플레이트판바람실감효과재현장치등여러시스템들이상호복합적으로연결된형태로구성된다. < 그림 10> 은에어플로팅스페이스액츄에이터플랫폼중에서스키점프시뮬레이터의전체구성도를나타낸다. 트롤리시스템과공중체험플라잉유닛이사람의점프액션을가능하게하고, 스키점프플레이트판이슬로프를활강하는액션을가능하게한다. 바람실감효과재현장치가시뮬레이터의몰입감을더한다. 일반적인 x,y,z 축방향운동을위해서는최소 3축이상의자유도를가진구조가필요하나, 스키점프는경기형태의특성상주행, 활공, 착지 3단계의동작을하므로수평움직임과수직임직임만으로충분히구현가능하다. 플라잉유닛에대한동작고려사항은총 3가지로점프, 비행, 착지로구성된다. 점프동작은점프대에서얻게되는전진력에의한가속도를구현하기위하여점프대에서경기자를전방으로밀어내는 동작을나타낸다. 비행동작은충분한훈련을받지못한경우공기저항에의한자세를유지하지못하기때문에이를보조해줄동작을나타낸다. 착지동작은착지를위해상체를일으켜세울때공기저항에의해보조되는동작을나타낸다. 3가지동작고려사항을바탕으로 < 그림 11> 과같이스키점프시뮬레이터작동프로세스를설계하였다. < 그림 11> 스키점프시뮬레이터기구구성 스키점프경기는본래점프대에서활강하면서발생한수직성분과수평성분의전진력에의하여활강 2018 년 4 월 73
154 특집 : 2018 평창동계올림픽방송 하는동계스포츠종목이나, 실내에서시뮬레이션되는경우기계적보조에의해이러한점프와비행동작이유지되어야한다. 따라서윈치와레일구조의복합구동을통해스키점프의입체기동을구현하였다. 실제스키점프국가대표코치와의인터뷰및다수의경기동작비디오분석을통해점프동작에필요한요소를추출하고, 이를바탕으로, 공중부양동작을보조할수있도록윈치제어방식을개발하였다. 트롤리 ( 수평이동장치 ) 는 4축방식으로윈치를제작하였으며와이어의흔들림을최소화하였다. < 그림 12> 는수평이동을위해제작된트롤리의시작품모습이다. 와이어를일직선이아닌중심부에서사선방향으로체결되도록가이드위치를설정하였고, 2레일방식으로설계하여기동안정성을높였다. < 그림 12> 트롤리윈치모듈 < 그림 13> 은실제제작된스키점프시뮬레이터의모습이다. 스키점프동작구현을위한공중체험플라잉유닛, 스키점프플레이트판, 실감효과발생장치등으로구성되어진모습을확인할수있다. 사용자가하네스를입은상태로 VR HMD를착용하고플레이트판에선상태로준비자세를취한다. 콘텐츠속스타트신호와함께플레이트판의기울기가증가하게되고윈치에의해서사용자가당겨지면서 점프모션을취하게된다. < 그림 13> 스키점프시뮬레이터의제작모습 3. AFS 실감정보획득및모니터링기술 AFS 실감정보획득및모니터링은환경정보획득과자세정보획득으로분류된다. 환경정보획득은실제스키슬로프에반영할환경정보를획득하여주변환경을콘텐츠속환경과동일하게조성한다. 자세정보획득은사용자의모션을인식하여사용자에게알맞은자세를유도한다 [1]. 환경정보모니터링을위해실제스키슬로프활강을통해환경정보데이터 ( 속도, 풍속, 진동, 온도, 조도 ) 를획득하였다 [2]. 획득데이터는정규화하여시뮬레이터의실감재현장치에서활용할수있는데이터로가공화한다 [3]. < 그림 14> 는실감정보획득및모니터링의전체구성도를나타낸다. 실감환경정보데이터는스키활강영상과동기화하여환경정보데이터의변화를실시간으로반영하고이를가시화한다. 모니터링프로그램은스키활강영상과스켈레톤모션데이터, 3축진동데이터, GPS를이용한속도. 고도, 풍속 / 풍량데이터로구성되어있고이는서로연동된다. 스키및스키점프시뮬레이터운용시실감정보반영을위해환경데이터가수집된다. 수집된데이터는사용자가시뮬레이션구동중사실감과몰입 74 방송과미디어제 23 권 2 호
에어플로팅스페이스기반스포테이먼트실감체험플랫폼 155 < 그림 14> 실감정보획득및모니터링의전체구성도 < 그림 15> 통합실감정보수집장치의시스템블록도 감을극대화한다. 재현한환경정보로속도, 풍속, 진동, 온도, 조도가있다. < 그림 15> 는통합실감환경정보수집장치의시스템블록도를나타낸다. 위치정보는 GPS, 풍속은열선식풍속센서, 진동은가속도센서에서취득한다. 사용자의자세정보모니터링을위해서는 OptiTrack 카메라를사용하여팔, 고관절, 무릎각도순으로마커를이용해각도를측정하였다 [4]. 스키점프자세측정시스템은세부적으로는스키점프제어기 (Trolley) 에컴포트를연결하여 SJMA(Ski 2018 년 4 월 75
156 특집 : 2018 평창동계올림픽방송 Jump Motion Analyzer) 프로그램으로부터정보를받아와자세를인식한다 [5],[6]. < 그림 16> 은실제마커를부착한모습과 SJMA 프로그램을이용한자세인식을나타낸다. 시뮬레이션이시작하게되면스키점프제어기 (Trolley) 로부터시작신호를받게되고전달받은각도값을이용하여사용자의자세완벽도를계산한다. 사용자의자세변화에따라점수의가감산이되고사용자가점프를하게될때까지측정을한후점수에따른등급을측정한다. 를제작하여다양한코스에서체험할수있도록하였다. < 그림 17> 은스키콘텐츠화면을나타낸다. < 그림 18> 은스키점프콘텐츠화면나타낸다. 배경지형, 부속건물, 스타디움, 조망석, 케이블카및헤드타워등 3D Max 모델링결과물을이용하여 Unity 상에스키점프가상공간구축하였다. < 그림 18> 스키점프콘텐츠화면 < 그림 16> 사용자자세인식 4. AFS 스키및스키점프 VR 콘텐츠기술스키및스키점프시뮬레이터와의콘텐츠연동을위해스키가상공간을구축하였다. 용평알파인코스를기반으로작업하였으며곤돌라, 관중석, 리프트, 비행기, 타워, 원근배경등의작업을통하여실감효과를극대화하였다. 가상공간은난이도별코스 사용자의캐릭터들또한함께모델링하였다. 각가상공간에사용될남녀캐릭터들각기 1종식제작하였으며, 캐릭터에대한모델링, 렌더링작업을수행하고커스터마이징하여실제사람에가까운형태로구현제작하였다. 또한관중오브젝트를제작하고배치하여콘텐츠의실감도를높였다. < 그림 19> 는각 < 그림 17> 스키콘텐츠화면 < 그림 19> 남자 / 여자스키 / 점퍼캐릭터모델링 76 방송과미디어제 23 권 2 호
에어플로팅스페이스기반 스포테이먼트 실감체험 플랫폼 157 캐릭터 모델링과 렌더링 작업을 나타낸다. 각 가상공 포테이먼트 실감체험 플랫폼은 실제 환경 정보를 간에 사용될 스키, 스키점프의 남녀 캐릭터 제작을 획득하여 현장 상황에 대한 사실적인 실감효과를 위하여 3D MAX를 활용하여 모델링을 구현하였다. 제공하고, 이를 통해 사용자에게 서비스의 만족도 실감정보 연동 및 효과 렌더링 기술 또한 VR 콘 텐츠에 반영하였다. 실감정보 효과 렌더링을 구현 를 높인다. 이와 함께 다양한 산업 분야에 활용 가 능한 강점을 갖는다. 하기 위해 스키 플레이트 Snow Particle, Trail 표 기술적 파급 효과로는 시뮬레이터와 실감재연 요 시, 조명등에 대한 효과를 콘텐츠와 Scripts 연계 소들의 접목으로 환경적 요소를 반영하는 사실적인 를 통해 적용하였다. 가상공간상에 눈 재질과 플레 시뮬레이터 서비스가 가능해진다. 사회적 파급효과 이트상의 마찰시 눈 처리, 기후에 따라 눈이 내리 로는 국내 및 해외 리조트, 휴양지, 레저 스포츠 단 는 효과, 광원효과 등 다양한 이펙트를 적용하였다. 지, VR 테마파크, 놀이공원 등에 설치하여 누구나 <그림 20>은 Ski Particle 효과를 <그림 21>은 Ski 어디서든 스포테이먼트 체험 플랫폼을 체험 할 수 Trail효과를 반영한 화면이다. 있도록 기여한다. <그림 20> Ski Particle 효과 적용 화면 <그림 22> 국립부산과학관에 설치된 스키 시뮬레이터 <그림 21> Ski Trail 효과 적용 화면 Ⅲ. 활용 방안 본 논문에서 제시된 에어플로팅스페이스기반 스 <그림 23> 국립부산과학관에 설치된 스키점프 시뮬레이터 2018년 4월 77
158 특집 : 2018 평창동계올림픽방송 에어플로팅스페이스기반스포테이먼트실감체험플랫폼개발을통해제작된스키및스키점프체험플랫폼은평창동계올림픽에맞춰현재국립부산과학관에설치되어운영되고있다. < 그림 22> 와 < 그림 23> 은국립부산과학관에설치되어현재운영되고있는스키및스키점프체험플랫폼의모습이다. 관람객들에게평창동계올림픽과함께동계스포츠에대한관심을높이는데크게활용되고있다. 나이, 성별에관계없이누구나탑승가능하며하루평균대략 200여명의탑승객들이동계스포츠를체험하고있다. Ⅲ. 결론 본논문에서는에어플로팅스페이스기반스포테이먼트실감체험플랫폼개발방안을제안하였다. 에어플로팅스페이스기반의실감형스키및스키점프체험환경을구성하기위하여현실세계의환경정보를획득하고처리하는기술을반영하여현실감을극대화한가상공간을구현하였다. 또한현실환경에특화된고품질의 3D VR 가상공간을구축하여스포테이먼트실감형체험플랫폼의몰입감을높였다. 활용방안으로실감재연요소들에대한접목으로사실적인시뮬레이터서비스를가능하게하는기술적파급효과를가지며, 테마파크, 레저스포츠단지등에설치하여스포테이먼트체험에대한접근성을높인다. 평창동계올림픽에맞춰에어플로팅스페이스기반스포테이먼트실감체험플랫폼은국립부산과학관에서동계스포츠에대한간접체험을가능하게하고, 동계올림픽에대한관심을높이는데활용되고있다. 참고문헌 참고문헌 [1] Jae-Hong Youn, Jun-Hyung Park, Chong-Han Kim (2014). Design of Multi-Sensor Based Environment Data Integration Acquisition Module for Realistic Sports Simulation. 한국콘텐츠학회 ICCC 논문집, 435-436. [2] Jun-Hyung Park, Seung-Moon Jeong (2015). Development of Environment Data Acquisition Device for Tangible Sports Simulation. 한국콘텐츠학회 ICCC 논문집, 187-188. [3] 윤재홍, 박준형, 최효승 (2017). 패턴매칭을통한실시간환경정보손실데이터보정방법. 한국콘텐츠학회종합학술대회논문집, 379-380. [4] 김종한, 박준형, 정승문 (2015). 스키자세유사도측정의효율성향상을위한 Weight Point를적용한 Pairwise testing 방법. 한국콘텐츠학회종합학술대회논문집, 331-332. [5] Chong-Han Kim, Seung-Moon Jeong (2015). Verifying the Accuracy of the Ski Posture Similarity with the One-to-one Comparison Techniques. 한국콘텐츠학회 ICCC 논문집, 189-190. [6] Chong-Han Kim, Jun-Hyung Park, Seung-Moon Jeong (2016). Development of Augmented Reality System Interacting with Body Information for Ski Simulation. 한국콘텐츠학회 ICCC 논문집, 233-234. 78 방송과미디어제 23 권 2 호
에어플로팅스페이스기반스포테이먼트실감체험플랫폼 159 필자소개 김찬규 - 1993 년 : 연성대학교전문학사 - 1992 년 ~ 1994 년 : 생산기술연구원 HDTV 사업단위촉연구원 - 1994 년 ~ 현재 : 전자부품연구원책임연구원 - 주관심분야 : Realistic Media Platform, Embedded System, Virtual Reality e-training 김차주 - 2015 년 : 광운대학교공학사 - 2017 년 : 광운대학교공학석사 - 2017 년 ~ 현재 : 전자부품연구원연구원 - 주관심분야 : Mobile Communication Protocol, Virtual Reality 노태영 - 2014 년 : 한국산업기술대학교공학사 - 2016 년 ~ 현재 : 전자부품연구원연구원 - 주관심분야 : Computer Graphics, Game Programming, Virtual Reality 이용진 - 2016 년 : 명지대학교공학사 - 2016 년 ~ 현재 : 전자부품연구원연구원 - 주관심분야 : Embedded System, Virtual Reality 정광모 - 1990 년 : 광운대학교공학사 - 2002 년 : 광운대학교공학석사 - 2007 년 : 광운대학교공학박사 - 1990 년 ~ 1994 년 2 월 : LG 정보통신 - 1994 년 ~ 현재 : 전자부품연구원수석연구원 - 주관심분야 : 3D Interaction System, Virtual Reality e-training, Natural Interaction 2018 년 4 월 79