손목착용형제스춰마우스인터페이스기술 한국전자통신연구원
TECHNOLGY BRIEF 기술소개서손목착용형제스춰마우스인터페이스기술 기술개요 대형디스플레이, HMD 와같은비접촉식 3D 공간환경에서손목에착용하고사용자의팔 / 손목동작을사용하여각종기기를조작할수있도록하는손목착용형입출력인터페이스기술임 기술개발상태 : 6 단계 2
TECHNOLGY BRIEF 기술소개서 손목착용형제스춰마우스인터페이스기술 기술설명 기술개발의필요성 최근대형디스플레이및기능이향상된 HMD가많이개발 / 출시 디스플레이출력장치의개발로인한새로운입력인터페이스의필요성이대두 HMD 기반가상현실, 증강현실응용상용화에따른인터페이스필요 기술개념 대형디스플레이, HMD 와같은비접촉 3D 공간환경에서손목에착용하고사용자의팔 / 손목동작을사용하 여각종기기를조작할수있도록하는신개념의 Hands-free 입출력인터페이스기술 기술구성 기술의특징 대형편의성 ( 무구속형 ) 을고려한손제스춰인식 - 손 / 팔 (pitch, yaw) 동작기반포인트컨트롤 - 손목 (roll) 제스춰기반이벤트인식 (left/right click, etc) 손목제스춰기반 Depth 입력기능 (Proximity Sensor) 실감피드백을위한 Vibration 저전력 / 저비용 / 다중사용자를위한 WPAN(IEEE802.15.4) 기반무선통신 호환성 : HID standard protocol 지원 사용자의의도하지않는입력방지및 Calibration 기능 (hands-free 기능 ) 3
4 기술적경쟁력 세계각국의선진연구기관은전통적인인터페이스방식에서벗어나모바일컨버전스및쌍방향 TV 시대를위한동작인식, 실감형의인터페이스기술에주력하고있으며, 본기술은사용자의편이성이큼 적용분야 대형디스플레이, HMD 등비접촉식환경 의료용 / 장애인용인터페이스 ( 제약환경 ) 3D Virtual Control을이용한가상 / 증강현실 Smart TV, Digital Wall, Smart Watch Entertainment (Game/Simulation) 관련지재권현황 No. 국가출원번호 ( 출원일 ) 상태명칭 1 KR 2010-0057600 (2010.06.17) 공개 공간입출력인터페이싱장치및방법
5 기술동향 최근대형디스플레이및기능이향상된 HMD 가많이개발 / 출시되고있으며 AR, VR 등의응용상용화에적용가능한인터페이스기술임 국내기술 국내에서는본기술과관련하여주도하는업체는없음 관련기업 Microsoft, Intel, 소니, 파나소닉, NEC, 닌텐도 해외기술 MS, 인텔, 소니, 파나소닉, NEC 등엔터테이먼트기업중심으로기술개발중 MS, 인텔등세계적기업이미래의컴퓨팅기술에제스처 ( 동작인식 ) 인터페이스를촉진시키고있으며, 소니, 파나소닉, NEC 등 Consumer 엔터테인먼트기업이동작인식을이용한애플리케이션시연등을통해이분야의산업화에주력하고있음 수요처 기술수요 적용처 컴퓨팅및엔터테인먼트관련기업 슬림폰, 노트북, 시계, 네비게이터, 전자신문, 휴대용디스플레이, 게임기 닌텐도 Wii 는동작인식에기반한실감형인터페이스를채택하여단숨에게임기시장석권한경험이있음
6 시장동향시장동향 비디오게임업계의부활을예상하는측은소니, MS, 닌텐도가내놓은향상된모션콘트롤러와 3D 입체영상기술이실제와동일한게임환경을제시함으로써비디오게임이용자들을다시콘솔로이끌것으로기대 MS가 2011년 11월에발매한모션컨트롤러키넥트는출시 4개월만에 1000만대를돌파하는높은인기보여주었으며, 게임컨트롤러로서의기능이외에도스마트 TV 리모콘등데스크탑환경을벗어난디스플레이상호작용에적용할수있는기술이므로스마트 TV, 기능성콘솔게임기 ( 비디오게임포함 ), 프리젠테이션기기등에인터페이스로제공될전망 차세대퍼스널컴퓨팅기술발전전망 Source : 가트너, 2007, 7 월 국내시장 동작인식폰 - 삼성전자 동작인식폰 이라는이름으로 2005 년초삼성전자와팬택 & 큐리텔에서휴대전화에가속도계를적용한 ( 지자계포함 ) 기술은선보인후 3D 리얼게임폰, 동작인식 DMB 폰 등이 2005~2007 년연속적으로출시 무선 3차원공간인식프리젠터 마이크로텍시스템 자이로센서와가속도센서를내장하여관성항법시스템알고리즘을이용하여공간상에서손목의움직임으로 Mouse Pointing 이기능한공간인식프리젠터이며, 국내외시장에제품을공급중 해외시장 G-speak - Oblong Industries 대형스크린상에서센서가장착된특수장갑을착용하고, 장갑의센서와카메라비젼을동시에사용하여제스처입력을받음. 장갑형태의마우스로써동영상편집등다양한작업 Kinect - Microsoft MS 사의전신동작, 얼굴, 음성인식솔루션으로입술움직임인식과발끝동작추적 Wii Remote 일본닌텐도 3 축의가속도계를이용하여사용자의동작을인식하고, 비전방식으로 x, y 축움직임을감지하여게임콘텐츠에연동된입력장치개발. 5m 정도떨어진거리에서도정확한포인팅이가능하나, 거리가멀어지면센싱감도가떨어지는단점이있으며, 정교한동작인식이불가능하고, 단순히동작의유무만판별하는수준이며, 주변에다른광원이있는경우오차발생가능
해외시장 3D 제스처인식솔루션 벨기에, Softkinetic-Optrima 사 3D, Full-body, 실시간동작인식 SW 플랫폼, 툴, 애플리케이션, CMOS 3D ToF 센서등의기술을개발하여 IISU( 소프트웨어 ), DepthSense(3D depth sensing, ToF chipset), OptriCam(3D 카메라 ) 의제품을판매하고있으며, 2010 년 2 월에 3D 제스처인터페이스플랫폼에인텔사의 CE3100 프로세서를결합한 3D 이미징솔루션을시범사례로소개하였으며, 이제품은 TV 와 Set-top 박스제조업체에 Interative TV 를만들수있는툴을제공할예정 동작에기초한 PC 용게임개발업체 - 미국, Livri 사 Livri 사 ( 미국 ) 는 Softkinetic-Optrima 사의동작인식솔루션을적용해신형동작게임을출시예정. 동사는 Metrological Media Innovations 사 ( 네덜란드 ) 와공동으로통합형 3D 제스처기반솔루션개발을계획중이며, MS 의 Xbox 360 Kinect 와경쟁이예상 네덜란드, Metrological Media Innovations 사 Metrological Media Innovations 사 ( 네덜란드 ) 는고기능의인터랙티브디지털홈엔터테인먼트를개발하였으며, Softkinetic-Optrima 사의 3D 동작인식플랫폼 iisu 와 3D/RGB 카메라 OptriCam 을통합한 kit 를개발중이며, 2010 년가을에시판예정임. 이제품은 TV 에적용가능하며, 이 kit 를통해 3D 동작인식기술적용과비디오게임개발이가능 기술이전내용및범위 손목착용형제스춰마우스 H/W 설계기술 손목착용형제스춰마우스메인보드 H/W 회로설계도 WPAN 수신 USB 동글보드 H/W 회로설계도 디버깅보드 H/W 회로설계도 ) 손목착용형제스춰마우스 S/W 프로그램 센서 (IMU/proximity/vibration), WPAN, HID 제어 S/W ( 펌웨어 ) 관련 IPR 실시권 7
8 기술사업화및사후관리 예상응용제품및서비스 대형디스플레이 AR/VR 기반산업용서비스 의료서비스 ( 수술 ) 장애인보호서비스 Smart Watch(Phone) Smart TV, 엔터테인먼트 ( 게임 ) 제품 / 서비스의시장규모 세계 VR 분야 '14년약 3.5억불전망 (Source: ABI Research) 전세계 IPTV 시장규모는 2017년 812억달러에이를것으로전망담당자 (Source:. 나 GIA) 성곤 기술개발필요성 최근 3D 대형디스플레이및성능이향상된 HMD 가많이개발 / 출시되고있으며이에따라새로운인터페이스방법및멀티포인트를지원하는새로운입력인터페이스의필요성이대두되고있으며, 정보단말중심이아닌사용자중심의입력장치필요성이증대되고있음. 세계각국의선진연구기관과기업은키보드, 리모콘등전통적인인터페이스방식에서벗어나모바일컨버전스및쌍방향 TV 시대를위한동작인식, 실감형의인터페이스기술개발에주력하고있음
9 관련특허요약 발명의명칭 공간입출력인터페이싱장치및방법 기술개요 암밴드타입 (armband-type) 의비접촉식공간입출력인터페이싱기술에관한것으로, 사용자의손목의움직임을센싱하는근접센서와, 사용자의팔의움직임을센싱하는관성센서와, 근접센서또는관성센서의센싱값에대응하는사용자입출력인터페이싱인식정보를생성하는제어부를포함하는기술임 공간입출력인터페이싱장치 공간입출력인터페이싱장치 (100) 는사용자의손목에착용되도록암밴드타입 (armbandtype) 이적용될수있으며, 비접촉방식의공간입출력인터페이싱이가능하도록근접센서 (102), 관성센서 (104) 등을포함함 공간입출력인터페이싱장치 (100) 는사용자의손가락이아닌손목에간단히착용이가능하고, 손목및팔의움직임을비접촉방식으로센싱할수있으며, 센싱되는움직임정보를사용자입출력인터페이싱동작으로판단및처리가능 공간입출력인터페이싱장치 (100) 는근접센서 (102), 관성센서 (104), 손목움직임판단부, 제어부, 데이터저장부, 전력공급부, 좌표계산부, 햅틱 (haptic) 신호발생부등을포함할수있음 근접센서 (102) 는상술한암밴드타입의공간입출력인터페이싱장치 (100) 의암밴드형상을따라측면에장착됨 관성센서 (104) 는공간입출력인터페이싱장치 (100) 의내부에장착됨 기술특장점대표청구항 전체청구항수 : 총 20 항 활용도및편의성극대화사용자손목의움직임을센싱하는근접센서 ; 수술용대형디스플레이, HMD(Head Mounted Display) 등과같은특수한장비를사용하는사용자또는손가락사용이불편한사용자에게비접촉식공간입력환경을제공 공간입출력장치의물리적인제약을극복하고활용도를높일수있으며, 사용편의성을극대화할수있음 상기사용자의팔의움직임을센싱하는관성센서 ; 상기근접센서또는관성센서의센싱값에대응하는사용자입출력인터페이싱인식정보를생성하는제어부 를포함하는공간입출력인터페이싱장치