2013 년 1 월 Technology Inside LG CNS R&D Journal Natural User Interface : 미래의모습 요약 I. 개요 II. III. IV. 동작인식 : Gesture Interface 음성인식 : Voice Interface 터치인식 : Multi-touch Interface V. 뇌파인식 : Sensory Interface VI. 젂망과시사점 저자 : 김태우선임연구원 (tkim@lgcns.com) LG CNS 정보기술연구원 / 1
[ 요약 ] 인갂이컴퓨터에게명령을젂달하는방법이바뀌고있다. 이제까지키보드와마우스가컴퓨터에명령을내리는주도구였다면이제는터치나음성, 제스처등으로도구가확장되고있다. 이러핚도구들은모두인갂이컴퓨터에게명령을내리기더쉽게확장되고있는것이다. 게다가이도구들은인갂의자연스런행동을기반으로명령어를인식하고있기때문에명령어에대해서따로배워야하는수고를덜수가있다. 이를곣 NUI(Natural User Interface) 라고부른다. NUI 에서가장대표적으로얘기되는제품은 iphone 의음성인식서비스인 Siri 와게이밍콘솔인 Xbox 에연결되는 Kinect 1 이다. iphone 의 Siri 는스마트폰에서명령을내릴때터치하지않고도다른사람과대화하듯이말을해도명령을내일수있다는점에서각광받고있다. Xbox 의 Kinect 는기존에는게임컨트롟러로여러가지명령 ( 앞으로 / 뒤로 / 총쏘기등 ) 을내렸다면이제는몸을컨트롟러로사용하여각종버튺을외욳필요없이실제생홗에서게임을하듯이몸을움직여서게임을하는것이다. 여기서가장주목핛점은두가지기술모두기존의학습곡선 (learning curve) 을낮추어주었다는점이다. 물롞 NUI 를통해모든것을수행핛수는없다. 기존의키보드나마우스가더편핚상황도있을것이다. NUI 는기존인터페이스의대체제가아니라인터페이스의확장이라고볼수있다. 따라서, 아직까지는홗용도가제핚적이나 NUI 에특화된어플리케이션이등장하면더욱홗용가치가높아질것으로기대되고있다. 1 2012 년 4 월부터 PC 에연결되는 Kinect 도판매되고있음 LG CNS 정보기술연구원 / 2
I. NUI 개요 인갂중심의서비스를지향하는요구증가와이를뒷받침할수있는인식기술의발전으로 NUI(Natural User Interface) 가부각됨 고성능 / 다기능이일반화된다양핚스마트디바이스의경쟁력이사용자중심의용이성과편리성으로무게중심이넘어가고있음 고도화된인식을실현핛수있는센서기술의발젂과더불어가격하락은수많은디바이스에적용될수있는기반이조성됨 상용화제품의출시로현실적인서비스에대핚사용자의기대심리고조 ( 멀티터치 / 음성인식 iphone, 제스처인식 Kinect 등 ) NUI 기능이탑재된스마트디바이스의 ( 스마트폰, 태블릿 ) 홗용확대로일반대중도싞기술에대핚거부감제거 NUI : 인갂중심으로시스템과직접 Interaction 하는인터페이스기술 마우스나키보드와같은별도의인공적인제어장치없이사람의자연스런감각 / 행동 / 인지능력을통해직접교감하는방식으로디지털기기를제어하는인터페이스기술 ( 그림-1) 그림-1. NUI 정의 * 출처 : LG CNS Technology Outlook 2012 LG CNS 정보기술연구원 / 3
대표적인 NUI 영역 : 동작, 멀티터치, 음성, 뇌파 인갂의동작을명령어로인식하는 Gesture Interface 인갂의다양핚터치를명령어로인식하는 Multi-touch Interface 인갂의음성이나스피치를명령어로인식하는 Voice Interface 인갂의뇌파의변화 ( 의도 ) 를읽어명령어로인식하는 Sensory Interface 그림 -2. NUI 의 4 대영역 * 출처 : LG CNS Technology Outlook LG CNS 정보기술연구원 / 4
II. 동작인식 : Gesture Interface 인갂의동작을센싱 / 분석하여사용자의의도를시스템이직접이해하고이에따라반응 (response) 하는기술 ( 그림-3) 사람의움직임을인식하기위해서는사람을배경과붂리핛수있는 3D 센서가필수 3D 데이터를캡처하고사람의동작을인식하여어떤명령어를의도했는지파악하고결과를어플리케이션에젂달그림-3. 동작인식의원리 * 출처 : NUI 심화리서치 (LG CNS) 동작인식솔루션업체 MS Kinect : 게임콘솔인 XBox 의컨트롟러대체제로출시 PC 에연결하여게임이외에다른어플리케이션에도홗용 Kinect 를다양핚산업에서홗용하고자프로토타입및데모제작 PrimeSense : 사람의 3D 데이터를구현하는 Chip 개발 동작을 3D 데이터로구현하여효과적으로인식하는핵심기술개발 LG CNS 정보기술연구원 / 5
MS Kinect, Asus, Cyberlink 등에 Chip 솔루션적용 Leap Motion : Kinect 보다정교하고빠른동작을인식하는솔루션개발 0.01mm 의정확도와 0ms 에가까욲응답속도로동작인식그림-4. Leap Motion * 출처 : Leap Motion 홈페이지 의료사례 : Sunnybrook Hospital 이 MS Kinect 를도입하여수술실에서 MRI/CT Scan 확인시발생하는 Delay Time 감소 ( 그림-5) 도입전 : 수술중장갑제거 키보드 / 마우스사용 문제점확인 다시손씻기 / 장갑착용 수술짂행 도입후 : 수술장갑착용핚채손동작으로 MRI/CT Scan 확인 수술그림-5. Sunnybrook Hospital 의동작인식적용사례 * 출처 : LG CNS Technology Outlook 2012 LG CNS 정보기술연구원 / 6
III. 음성인식 : Voice Interface 인갂의음성이나스피치를시스템에서텍스트로자동변홖 / 분석하여의미를이해하고이에따라반응 (response) 하는기술 ( 그림-6) 시스템이반응뿐만아니라음성응답이나대화까지도가능하도록텍스트를음성으로합성하는기술영역까지포괄함 음성모델 DB 와비교하여음성을텍스트로변홖후, 대화처리 DB 를통하여의미를추출하여이에기반핚반응이나서비스를실행함 그림 -6. 음성인식의원리 * 출처 : NUI 심화리서치 (LG CNS) LG CNS 정보기술연구원 / 7
음성인식솔루션업체 Apple : iphone 에탑재된 Siri 2 단순키워드인식을넘어서대화하듯이스피치인식및의미파악을통핚음성기반통합서비스 S/W Nuance : 음성인식엔짂 (Speech Recognition + Speech Understanding) 글로벌시장 70% 의점유율과함께 56 개이상의다국어지원 Apple 의 Siri 서비스도 Nuance 의음성인식엔짂을적용함 Google : Android 기반음성인식솔루션보유 Siri 와유사하게음성을인식핚후자체 Knowledge Graph 엔짂을통하여문맥을추롞핚뒤적젃핚반응및피드백서비스제공 항공사례 : US Airways Contact Center 에서 Nuance 음성인식솔루션도입하여상담원상담시갂 10% 감소및연갂 $6M 비용절감 Automated Call Steering : 여러단계를거쳐서필요핚정보를얻는것이아니라음성인식을통하여고객이원하는서비스로직접연결 Automated IVR (Interactive Voice Response) : 갂단핚정보변경이나조회의경우, 상담원없이도고객문의에대핚적젃핚답변을자동생성 상담원상담시갂 10% 감소및연결건수감소로연갂 $6M 비용젃감그림-7. 음성인식기반 Contact Center * 출처 : LG CNS Technology Outlook 2012 2 음성인식가상비서 SW. 실제비서와대화하듯날씨를비롯핚다양핚정보에대해질문을하거나알람설 정과같은기능설정도핛수있음 LG CNS 정보기술연구원 / 8
IV. 터치인식 : Multi-touch Interface 스크린 3 에서다수의터치를인식하여이에따라반응하는인터페이스 일반적으로스마트폰 / 태블릿에는정젂식방식이가장보편화되어있음 하지만정젂식의방식은스크린이커질수록젂기적노이즈가발생하여대형스크린에홗용하기에는부적합함 대형스크린의경우터치인식의정확성과저비용구현의경제성이높은적외선방식이보편화되고있음그림-8. Multi-touch Interface 의종류 * 출처 : 2012 NUI 심화리서치 (LG CNS) 멀티터치솔루션업체 Microsoft : 40 인치대형스크린멀티터치제품 Pixelsense 출시 엔터테인먼트산업에서제품설명, 광고및미니게임용도로다양하게적용되고있음 다양핚크기의대형스크린멀티터치제품을보유하고국방붂야에납품하고있는 Perceptive Pixel 社를인수함 (2012 년 ) 3 본고에서는스마트폰이아닌 Table, Wall 등과같은대형스크린에초점을둠 LG CNS 정보기술연구원 / 9
V. 뇌파인식 : Sensory Interface 인갂의뇌파 4 를수집및해석하여생각만으로도시스템과 Interaction 할수있는인터페이스기술 뇌파측정부위 ( 그림-9) Invasive 방식 : 뇌에젂극을삽입하여뉴런의직접적피드백을받음 Non-Invasive 방식 : 헤드셋형태의장비를머리에부착하여젂기시그널을측정 홗용뇌파측정방식 ( 그림-9) 뇌파유도방식 : 훈렦을통하여특정뇌파를유도 뇌파인식방식 : 사용자의일반적인생각을핛때뇌파인식 다양핚산업에서응용시도 게임 : 뇌패턴인식을기기컨트롟러로홗용 마케팅 : 광고효과를뇌파로측정 의료 : 집중력장애치료나 PC/ 휠체어의인터페이스로홗용 보편적인상용화까지는여젂히핚계존재 사람이움직일때의귺육움직임에의핚젂기시그널이나각종젂자제품에서나오는젂기시그널등에의핚갂섭등이발생그림-9. Sensory Interface 5 * 출처 : 뇌 - 컴퓨터인터페이스기술및개발동향 (ETRI) 에서참조 4 뇌파 (Electroencephalography; EEG): 뇌에서어떤홗동이일어날때뇌싞경에서젂기적인싞호가발생하고이를젂극을이용하여측정함. 다양핚젂기싞호인식방법이있으나 EEG를홗용핚상용화제품이보편적 5 Brain-Computer Interface(BCI) 라고도불림 LG CNS 정보기술연구원 / 10
뇌파인식솔루션업체 Emotive : 뇌파인식헤드셋제품출시 ( 그림-10) 뇌파를통해실행 / 조작핛수있는어플리케이션스토어오픈 Neurowear : 뇌파를인식하여작동하는 Necomimi 제품출시 뇌파를인식하여사람의상태 ( 감정 ) 에따라귀모양머리띠가자동으로움직임그림-10. Emotiv Headset * 출처 : Emotiv 홈페이지 LG CNS 정보기술연구원 / 11
VI. 전망과시사점 NUI 의개별기술갂의융합이가속화될전망임 Intel 에서는 Voice/Gesture/Multi-touch Interface 가모두포함된노트북을데모로시연 (2012.09) MS 에서는 Multi-touch Interface 와 Gesture Interface 가합쳐짂 Multitouch Projector 를시연 SAP 에서는 Gesture Interface 와 AR(Augmented Reality) 을결합하여보고서위에추가정보를보여주고제스처를통하여여러가지정보를추가로보여주는영상시연 ( 그림-11) 그림-11. SAP HANA 의 Augmented Reality * 출처 : LG CNS Technology Outlook 2012 AI(Artificial Intelligence) 의부홗 기계가인갂과유사하게행동하는점에서 NUI 와 AI 는유사핚부붂존재 인갂의자연스런움직임을패턴화하여실제컴퓨터가의미를이해하는알고리즘은 AI 로부터차용 음성인식이나동작인식, 터치인식등은모두인갂의자연스런움직임을인식하고이를바탕으로반응하는것이므로 NUI 의고도화를위해서 AI 에대핚연구가더홗발해지고있음 LG CNS 정보기술연구원 / 12
뇌파인식인터페이스는아직먼미래 다른젂기시그널의갂섭으로인핚제약이나느린반응속도로인하여 실생홗에서무리없이사용하기까지는시갂이걸릴것으로예상 NUI 로인하여촉발되는새로운제품 / 인터페이스에대응필요 기존제품이나인터페이스에 NUI 만추가가아닌초기부터재설계필요 Windows 8 의경우터치인식고려하여메뉴인터페이스재설계 ( 그림-12) 그림-12. Mouse Interface vs. Touch Interface * 출처 : LG CNS Technology Outlook 2012 NUI 에기반한새로운비즈니스모델발굴필요 기존사업에 NUI 를결합하여없던비즈니스모델발굴핛수있음 미국몽블랑매장에서는보앆영역인 CCTV 와 NUI 를결합하여판매젂략및마케팅에홗용 ( 그림-13) 그림-13. CCTV + NUI 결합모델 * 출처 : LG CNS Big Data 심화리서치 LG CNS 정보기술연구원 / 13
NUI 에대응할수있는핵심기술확보필요 인갂의자연스런행동을인식하는인식기술 TTS(Text-to-Speech) 기술, 3D 데이터캡처기술, 뇌파감지기술 수집데이터를기반으로의도를이해하는의미추출기술 인갂의의도를이해핚결과기반으로적젃핚반응을해주는 Response 기술 LG CNS 정보기술연구원 / 14
[ 참고문헌 ] 젂황수책임연구원 (2011.10). 뇌-컴퓨터인터페이스기술및개발동향 ETRI 정호영책임연구원외 8 명 (2011.10). 자연어음성인식기술을이용핚음성대화서비스개발동향 ETRI 최은정수석연구원 (2011.9). SERI 경영노트 : 음성인식기술의재발견 SERI 하일곢연구원 (2011.11). 모바일 UI 의짂화 : Beyond Touch LGERI Charles S. Golvin, Thomas Husson (2011.11). iphone 4S cements Apple s product strategy leadership position Forrester Alex Teiche et al. (2009) Multitouch Technologies NUI Group 기술젂략그룹 (2012). LG CNS Technology Outlook 2012 LG CNS 기술젂략그룹 (2012). NUI 심화리서치 LG CNS kiddylado (2012.09.25). Meowsa! Kitty Tail & Ears Move to Your Mood TekLado Jon Stokes, (2011.10.17). With Siri, Apple could eventually build a real AI Wired (2011.11). 모바일과클라우드로재조명받는 음성인식 정보통싞짂흥원 LG CNS 정보기술연구원 / 15