인터페이스의대세는멀티모달궁극의목표는 생각읽기 새로운기기와서비스의출현은인터페이스의혁신을촉진시킨다. 스마트기기의역사가 5 년남짓되는현재마우스, 터치스크린, 음성 동작인식등복수의인터페이스방식이하나의기기에통합적으로사용되는멀티모달추세가확대되고있다. 또한별도의신체적움직임없이생각만으로기기를조작하는뇌 - 컴퓨터인터페이스도게임영역등에서사용되기시작하고있다. 한수연연구위원 julie@lgeri.com 스마트폰과태블릿, 스마트 TV에이어안경과시계형태의웨어러블디바이스까지정말다양한형태의기기들이소비자들의일상으로들어오고있다. 형태가다양해지고구현하는콘텐츠와서비스의종류도광범위해지면서기기와사용자간의연결기능을담당하는인터페이스방식또한진화를거듭하고있다. 특히최근에는멀티모달 (Multi-modal) 인터페이스가큰흐름으로자리잡기시작했다. 키보드마우스터치뿐아니라펜, 음성, 동작등다양한인터페이스방식을하나의기기에적용함으로써기기와더직관적인소통을가능케하려는노력들이확산되고있는것이다. 이와같이인터페이스의목적은기기와사용자간정보의양방향흐름을최대한직관적으로가능하게하는것인만큼궁극적으로는사용자의직접개입을최소화하면서도풍부한경험을제공할수있는두뇌-컴퓨터간인터페이스 (BCI, Brain-Computer Interface) 가주목받을가능성이높다. 현재까지혁신의주역은마우스와터치스크린일반 TV의리모콘도대단한인터페이스의진화로꼽을수있다. 그러나과거인터페이스의변화를통한사용자편의성제공과저변확대 를획기적으로체감할수있었던영역은 PC 사용환경이다. 명령어와키보드중심이었던 PC 사용성은기계적언어를별도로공부하지않은일반인에게는진입장벽이상당히높았다. 1950년대효과적인컴퓨터제어방안으로명령어 -키보드기반의인터페이스가처음도입된후 1980년대아이콘-마우스가일반적으로사용되기전까지 30여년간인터페이스방식은크게달라지지않았으며, 컴퓨터는소수전문가들의영역이었다. 마우스가처음발표된시기는 1968년으로크고작은변화를거치며상용화시점인 1980년대에이르러그래픽기반사용자인터페이스의핵심으로자리잡는데성공했다. 전문가들의입장에서는명령어기반의인터페이스가여전히강력하면서도유연한도구였지만, 아이콘-마우스로대변되는직관적인그래픽인터페이스는일반인의컴퓨터사용에대한진입장벽을낮추는데큰역할을담당했다. 그이후 30여년간소형조이스틱을탑재한제품등작은변화의시도들이있었지만마우스의형태와기능은큰변화없이현재까지이어지고있다. 데스크톱이후이동성이강조되는노트북이등장하면서터치패드가새로운인터페이스 22 LG Business Insight 2013 10 16
스마트폰이멀티터치스크린의성장성을단번에끌어올렸듯이새로운기기와서비스의출현은인터페이스혁신을가속시킨다. 로추가되고현재대부분의터치패드가멀티터치기능을보유하고있지만, 마우스의편의성을완전히대체하지는못했다. 그러나노트북터치패드는현재모바일기기에보편적으로탑재되고있는터치스크린인터페이스의시초라는점에서의미가크다. 어린아이도한번만만져보면곧바로조작이가능한터치스크린은스마트폰의도입으로인해사용자들에게가장친숙한인터페이스로순식간에자리매김했다. 모바일컴퓨팅기기로서다양한기능을수행할수있도록고안된스마트폰은이동성을극대화하면서도사용편의성을해치지않기위해서인터페이스의혁신이반드시요구되었다. 2007년애플의아이폰은이러한조건을충족시키기위해터치스크린이라는카드를들고나왔으며, 많은사용자들의지지를얻으며태블릿이나 PC로점차영역을확장하고있다. 스마트폰처럼기술적파급력을극대화할수있는적합한기기를만나지못했을뿐, 사실터치스크린도이미컴퓨터사용환경에서 30년의역사를가진오래된인터페이스기술이다. 데스크톱컴퓨터가보편화되기훨씬이전부터아주단순한형태의터치스크린은 ATM 기기등에탑재되어별도의교육훈련없이사용자들이기계와쉽게상호작용할수있는수단으로활용되었으며, 컴퓨터분야에서도 1983년에적외선센서를적용한 HP-150 과같은터치기능제품이출시된바있다. 그러나디스플레이자체에정전식터치센서가내장된아이폰의멀티터치기술로인해터치스 크린인터페이스의성장잠재력이다시불붙게된것이사실이다. 스마트폰과멀티터치스크린의관계처럼새로운기기와서비스의출현은인터페이스의혁신을촉진시키는동력으로작용함을알수있다. 스마트기기의역사는이제불과 5년정도임을감안할때앞으로도근접거리에서조작해야하는다수의기기들이출현할수있어인터페이스의혁신방향성을쉽게단정짓기어렵다. 당장구글글래스나애플아이워치처럼기기와사용자간접점이매우제한적인형태에서는음성이나동작인식등의대안이필요하다. 음성 동작인식인터페이스적용노력중음성이나동작인식은웨어러블기기에앞서스마트 TV에먼저적용되기시작했다. 스마트기능을 TV에접목시키고자하는기업들의입장에서고민되는주요요소중하나가인터페이스인데, 이는통상시청거리가 2미터이상인 TV 사용환경에서조작의편의성을제공하는것이만만치많은문제이기때문이다. 버튼식리모컨은특히나수동적인기존의 TV 환경에서정확도와효율성이가장높은인터페이스이며, 수십년동안이에익숙해진사용자들을다른인터페이스로전환시키는것은쉽지않다. 초기스마트 TV 모델에는쿼티키보드를장착한리모콘이시도된바있으나좋은반응을얻지못했다. 이어무선마우스포인터처럼 TV 화면을향해조작할수있는매직리모콘이출시되면서사용편의성이다소개선된 LG Business Insight 2013 10 16 23
음성및동작인식인터페이스등이활발히적용되고있으나, 아직보편화를기대하기까지걸림돌이많은상황이다. 효과를얻었지만, 음성이나동작인식을적용해보다다양한조작을가능하게하기위한노력은계속되고있다. 음성인식기술은애플, 마이크로소프트, 구글등주요 IT 기업들이길게는 10여년전부터연구해오던분야이다. 그러나여전히잦은오류와느리고어색한사용톤으로보편화되지못하고있다. 특히주변의소음간섭이나타인과공존하고있는공간에서기계에소리내어명령을내리는부자연스러운사용성이주요걸림돌로지적되고있다. 그러나자동차내부처럼폐쇄된개인적공간등에서주행중구사하는제한적인명령어에한해서는상대적으로전망이밝다고할수있다. 동작인식기술은스마트폰을얼굴에가져가면통화연결이되는것처럼기기자체의움직임을감지해다음단계에필요한작업을수행하는기본적인인터페이스에서부터마이크로소프트의키넥트게임애플리케이션처럼사용자의손이나신체의움직임을인지해의도된명령을수행하는고도화된인터페이스로나뉠수있다. 기본적인동작인식은기기에자력계 가속도계나자이로스코프등의센서를탑재해비교적단순하게구현할수있지만, 카메라나적외선을이용해사용자의움직임자체를명령어로처리하는과정은하드웨어적정교함은물론다양한명령어를몇가지동작으로일반화하여수행하도록하는알고리즘에 PC 의동작인식인터페이스, Leap Motion 올여름미국에서출시되어큰관심을모은 3D- 모션센싱 인터페이스립모션 (Leap Motion) 은 PC 에 USB 로연결하는동 작인식인터페이스장치다. 그러나이제품이보유한특별한 장점은기존의동작인식인터페이스와확연히구분된다. 첫째, 통상 2D 이미지센서및프로세싱기반의기술은상하좌우로 움직이는단순한동작인식만이가능한데비해적외선기반의 3D 깊이감지센서를활용한립모션은손 과 10 개의손가락관절움직임을모두읽 어들일수있다. 화면을손가락으로긁거 나클릭하고, 줌인 줌아웃을하며, 화면 상의물체를회전시키는것도가능하다. 결과적으로 2D 센서대비양손으로훨씬 다양한명령을지시할수있다. 둘째, 미 세함을읽어내는정확도측면에서립모션 은뛰어난성능을자랑한다. 0.01mm 수 립모션은적외선기반의 3D 깊이감지센서를적용하고있다. 준으로손의움직임을인지하고, 센서의리프레시속도는 1 초에 290 번이나된다. 기기와상호작용하는속도도거의실시간에 가까워손의움직임이지체없이화면에반영된다. 이러한장점 들에도불구하고, 립모션사용자들은비슷한의구심을갖는다. 굳이마우스가있는데 PC 에립모션을연결하여양팔을흔들 며번거롭게사용해야하는충분한이유가없다는것이다. 일반 적인 PC 는마우스를쓸수없는환경도아 니고, 마우스가실행할수있는동작들을 립모션이특별히쉽게구현하는것도아니 기때문이다. 새로운인터페이스는기존의 인터페이스로는불편한새로운하드웨어와 애플리케이션의출현이정당성을부여하듯 이립모션도단순히 PC 에연결하며마우 스를대체하는형태로는지속적인호응을 얻기힘들어보인다. 24 LG Business Insight 2013 10 16
멀티모달인터페이스는보다자연스러운기기사용환경을향한업계노력의일환이다. 대한고민이수반된다. 이러한과정을거쳤다하더라도동작인식인터페이스에대해회의적인진영은사용자들이직관적으로구사할수있는단순한동작의수가제한적이라는사실에주목한다. 기기조작을위해특별히배우고기억해야하는동작이많아진다면이를수용할만한사용자는많지않을것이다. 지금은멀티모달인터페이스가대세로컴퓨팅, 커뮤니케이션, 엔터테인먼트기기전반에걸쳐하나의기기에복수의인터페이스를적용하려는움직임이활발하다. 터치스크린과마우스를동시에사용할수있는노트북이나, 음성 동작 리모콘인식이모두가능한스마트 TV는주변에서어렵지않게볼수있다. 터치스크린이라도촉각을자극하는햅틱기능을통합한인터페이스는사용자에게더욱풍부하고색다른경험을제공하려는목적을가지고있다. 터치버튼을누르면진동하는단순한기능은이미보편적으로적용되고있지만향후에는햅틱기술로스크린표면을통해사물의질감을표현하는단계로발전할것으로업계는예상하고있다. 이외에도안면 표정변화를읽어내는감성인식, 사람의시선이어디를어떤순서로얼마나오래보는지를읽어내는아이트랙킹 (Eye tracking) 인식등차세대멀티모달의재료들은한두가지가아니다. 2013 년 1월인텔이소개한 Perceptual computing( 지각적컴퓨팅 ) 은직관적사용편의성과부족함없는컴퓨팅파워를구비한모 바일디바이스의시장잠식으로부터 PC 수요 를방어하기위한중요한수단으로서멀티모달 인터페이스를시도한사례이다. 카메라가장착 된 PC 가손동작을인식하며구동되는모습은 마이크로소프트의키넥트와유사제품처럼보인 다. 그러나 Perceptual computing 아이디어는 인텔이판매하고자하는개별제품이나플랫폼 이라기보다인터페이스적관점에서인텔이그리 고있는컴퓨팅기기들의지향점을보여준다. 적외선의깊이감지센서와 HD 웹켐, 마이크로 폰, 소트프웨어개발패키지로구성된 Perceptual computing 키트는사용자가해당 시점에사용하는애플리케이션에따라서키보 드, 마우스, 터치스크린, 음성 동작을통해기 기를조작하고, 때로는복수의인터페이스를동 시에사용하며기기와상호작용하는환경이다. 하이테크세상은 Intel inside 같은단순 하드웨어적차별성 신뢰성대신사용자에게 특별한경험을제공하는가치중심으로변했 으며, 인텔의입장에서도컴퓨터의두뇌에감 각을더해줌으로써사용자를제대로인지하 인텔의 Perceptual computing( 인지적컴퓨팅 ) 은컴퓨터에감각을더함으로써사용자를더욱잘인지하도록하는데목적이있다. LG Business Insight 2013 10 16 25
현재기기사용성의한계를극복하기위해미래형인터페이스는사용자의직접조작이나개입을최소화시켜야한다. 고, 컴퓨터와의상호작용을더욱직관적으로만들어줄필요를느끼는것이다. 인텔이제시하고있는시제품이가치를인정받을수있는특별한애플리케이션으로무엇이있을까하는의구심은존재한다. 그러나업계전문가들은미래의기기사용환경은복수의인터페이스들이얼마나조화롭게동시사용될수있느냐가관건이기때문에인텔이자연스러운멀티모달인터페이스구현을적극적으로연구하고있다는사실을긍정적으로평가하고있다. 미래형인터페이스는단순함과편리함지향 2013 년은구글글래스로인해웨어러블기기의인터페이스에대한관심이높았다. 몸에착용하는웨어러블기기는크기가작을수록좋을뿐만아니라결코무겁거나복잡한형태를가져갈수없다. 이러한제약조건하에서사용자가기기를자연스럽고편하게조작하는것은쉽지않아보인다. 결과적으로음성인식과함께안경측면에위치한터치패널의조합으로구성된구글글래스는한편으로기기자체가매우새로운인터페이스의역할을충실히수행한다고할수있다. 예를들어, 실내외보행중내비게이션기능을증강현실로구현하거나연동된스마트폰에메시지가왔을때자동으로통보해주는제2의스크린으로서편의성을제공해준다. 소형프로젝션화면은바로눈앞에서대단한조작없이많은정보들을즉시표시해줄수있다. 스마트폰을가방이나호주머니에서꺼내고몇번의버튼조작과정을거쳐 야알수있는정보들을거의자동으로습득하게되는편리함이다. MIT 미디어랩에서주변사물과공간을사용자에게보다자연스럽게연결해주는인터페이싱방법을연구하는패티메이즈 (Pattie Maes) 교수는현재기기의사용한계를 Blind Passive Disruptive 등세가지로요약하고있다. 즉, 기기자체는현재의상황에대해아는것이없는캄캄한상태이고, 사용자가명령을해야만반응하는수동적인특성을가지고있으며, 사용자가기기와상호작용을하기위해서는하던일을멈추고순간이더라도거의 100% 에가까운주의를기울어야하는불편함이있다. 따라서메이즈교수는미래의기기는 Context-aware Proactive Integrated 되는형태로나아가야한다고주장한다. 기기에장착된수많은센서와소프트웨어알고리즘이상황과맥락을해석 / 이해하고사용자가바로그시점에효용을얻을수있는정보를능동적으로제공하며, 이러한과정에서사용자의직접조작이나개입은최소화되어자연스럽게기기- 사용자가상호작용하는모습을그리고있다. 특히인터페이스적으로 Disruptive가 Integrated 형태로진화하게되면무엇이달라질지간단한예를들어보자. 대형서점에책을구입하러갔다고가정할때지금은스마트폰을꺼내어검색창에책제목을입력하고그에대한리뷰정보등을수작업으로찾아보게된다. 몇년후동일인물은안경형기기를착용하고역시대형서점을들어 26 LG Business Insight 2013 10 16
사용자의인위적인동작없이생각만으로기기를제어하는 BCI 는초기단계이지만상용제품이출시되고있다. 가관심있는책을집어들고응시한다. 책의표지디자인이나마케팅문구등을읽어내려갈때안경형기기는해당도서와관련돼사용자가가장원할만한정보를눈앞에자동으로표시해준다. 물론사용자가원할만한정보는사용자의과거정보탐색행태및취향을반영하여맞춤형으로선별된다. 이렇듯인터페이스의미래가치는사용에대한심리적부담이나학습과정필요없이자연스럽고직관적인제어를가능하게하면서도사용자가하고있던일을멈추지않고상호작용할수있는단순함과편리함이라고할수있다. 궁극의모습은생각과현실세계의직접적통합공교롭게 2009년동시에개봉한할리우드영화서러게이트와아바타는일종의대리로봇을통해주인공의생각이현실에서그대로실행되는내용을담고있다. 위험하거나접근이불가능한환경안에서대리로봇은모든물리적인위험을감수하면서등장인물의생각을그대로수행하는것이다. 공상과학영화에서나가능한장면이지만이렇게인간의뇌가컴퓨팅기기나로봇등의기계장치에연결되어생각만으로제어하는기술을뇌-컴퓨터인터페이스 (Brain-Computer Interface, BCI) 라고한다. 음성이나동작무엇하나인위적으로사용하지않으면서기기와상호작용하는극단적인단순함과편리함이실현되는것이다. 영화의장면을떠올리면터무니없이허황돼보이지만, 실제로단순한 BCI를상용화한애플리케이션은의료 나게임영역에서서서히등장하고있다. 뇌를통해사용자의기기제어의도를감지하는접근법은세가지가있다. 뇌의활동상태에따라서주파수가다르게발생하는뇌파를이용하는방법, 뇌특정부위신경세포의전기적신호를이용하는방법, 기능성자기공명영상촬영장치를이용해뇌안에서혈액이몰리는영상을이용하는방법등이다. BCI 기술은 1990년대후반실험실수준에서사용자가컴퓨터화면의커서를움직여의사소통을가능하게하는등의성과를보여주기시작한이래 2000년대부터상당히활발한연구가진행되고있다. 주로전신마비환자를대상으로단순한전기신호를읽어컴퓨터화면에메시지를작성하고, 휠체어나로봇팔등을조작함으로써삶의질을개선시키기위한목적으로상용화되고있다. 대표적으로 MIT, 브라운대학등다수의기관과협업하고있는 BrainGate 社가개발한반도체칩은환자의뇌에이식되어생각만으로전자우편을보내거나게임기, TV 수상기를제어하고, 로봇팔을움직여커피잔을잡아마시고다시테이블에올려놓는등의행동을가능하게한다. 최근에는의료분야를넘어일반사용자를대상으로하는애플리케이션으로 BCI 영역이확장하고있는데주목할필요가있다. 초기단계이긴하지만게임애플리케이션이대표적인데미국의 NeuroSky 社와 Emotiv 社는뇌파의미세하지만독특한변화를모니터링해상호작용하는블루투스헤드셋, 느낌과감정에 LG Business Insight 2013 10 16 27
BCI 기술은전신마비환자들의의사소통과기기조작을돕기위한목적으로처음연구되기시작하여, 2000 년대들어서상당한진전을보였다. 관련된뇌파를읽는헤드셋등을출시해게임 에서생각만으로특정명령을내리거나감정과 관련된사진을검색하는등의역할을수행한 다. 캐나다의 InteraXon 社는스마트폰이나태 블릿과무선으로연결되어뇌파를실시간으로 분석해뇌운동을돕거나스트레스를조절하 고집중도는높일수있는헤드밴드를출시했 다. 여기에는게임등의기기를뇌파로직접조 작하는기능도포함되어있다. 뇌의활동은단순히현재상황을제대로 분석하는것만으로도실질적인사용자가치를 줄수있다. 일부자동차제조사들이개발중 인졸음을감지하는헤이밴드는운전자의상 태에따라자동으로비상등을깜빡여줄수있 고, DARPA( 미국방위고등연구계획국 ) 가연구 하고있는기술은시시각각변하는파일럿의 인지적상황에따라서본부로부터의추가정 보전달방식을음성이나그래픽모드간자동 변환하는인터페이스로정확한의사결정을지 원한다. MIT 가소개한아이디어처럼현재스 트레스지수가높거나급하게처리해야하는 BCI 는 1990 년대말부터주로전신마비환자들의삶을돕기위한방안으로연구되기시작했다. 정보량이많을경우컴퓨터인터페이스가자동으로업무량을조절해주는등의애플리케이션은구성원의정신건강이나업무효율성을높이는방안으로구상되고있다. 보편화위해서는초소형 비침습형센서필요뇌-컴퓨터인터페이스가사용층을넓혀보다보편적인애플리케이션으로발전하게위해서는하드웨어적인개선이반드시필요하다. 뇌의활동을측정하는방식은기본적으로침습형과비침습형으로나뉘는데, 침습형 (invasive) 방식은전극 / 마이크로칩을외과적으로두피에시술해뇌파를측정하는방식이고, 비침습형 (non-invasive) 방식은헤드셋이나헤드밴드를겉으로착용해뇌파를측정하는방식이다. 비침습형은침습형에비해사용법이간편하여실용화측면에서반드시필요하지만잡신호가섞여정확하고세밀한측정이어렵다는한계가있다. 전신마비환자들을대상으로하는애플리케이션의경우에는삶의질개선에절대적으로기여한다는측면에서정확한기기조작을위해외과적시술을감수한다. 그러나일반적인사용자가양손을사용하지않으면서도자연스러우면서직관적인명령을시스템에직접내릴수있다고해서뇌에전극이나센서를이식하지는않을것이다. 현재는간단한수준의뇌센싱기능이헤드셋이나헤드밴드형태로구현되는초기상황인데, 이또한게임시간에만잠깐씩착용하는것을용인하는수준이지, 28 LG Business Insight 2013 10 16
단독의완결성을갖춘 BCI 가출현하기까지는긴시간이소요되겠지만, 멀티모달의중요한축으로서하이브리드형태의애플리케이션이먼저시도될가능성이높다. BCI 를상시착용할수있는형태와는거리가 멀다. 주류시장에서고객을확보하기위해서 는크기를훨씬작게만들면서방대한뇌의움 직임을읽고의도를감지해낸후, 복잡할수있 는제어정보를무선으로전송하는기술적어 려움을극복하는것이관건이다. 상호보완적역할로출발할듯 과거인터페이스혁신을주도한마우스나터치 스크린이순식간에주류시장으로편입된것 처럼보이지만, 사실이들모두기술적개념 소개나시제품시연은 1960 년대중 후반에이 뤄진바있다. 기술적완성도와애플리케이션 활용성이일반대중에게인정을받고상업적 선택을받기까지 30~40 여년이소요된셈이 다. 뇌 - 컴퓨터인터페이스의경우에도 1990 년 후반을시작시점으로보자면, BCI 가단독으 로특정기기를조작하면서충분한사용자가 치를제공하기까지는오랜시간이걸릴것으로 예상된다. 그러나앞서언급한멀티모달추세 NeuoSky 社의제품처럼현재 BCI 는주로헤드셋이나헤드밴드형태로출시되고있다. 대로 BCI 또한일차적으로는타인터페이스와역할분담을고려하여상호보완적으로적용될것으로예상된다. 즉, 하이브리드형태로출발해단계적으로독립성을확보하는형태로진화할수있다. 예를들어, 시선의움직임을감지해자동스크롤을해주거나시선이일정시간정지해있는콘텐츠에대해서추가정보를제공하라는명령을내리는아이트랙킹 (eye tracking) 웨어러블기기가있다고하자. 정지된시선이나깜빡이는움직임이해당명령을내리는의도된행동일수도있지만무의식적으로일어나는돌발상황일여지도충분하다. 그렇다면의도와무의식사이에명확한구분이필요한데이를보완해주기위해뇌파감지센서를안경다리부분에탑재한다면기기의오작동염려를확실히낮춰줄수있다. 2013 년 4월미국오바마정부는미래 10 년장기프로젝트로 Brain Activity Map 을선정하고당장내년인 2014 년에만도 1억달러의예산투입을약속했다. 해당프로젝트의주요목적은신경세포의활동을완벽히파악해알츠하이머같은다양한뇌관련질병을치료할수있는기반을마련하는데있지만, 인간의인지적메커니즘을규명하는연구결과물은 BCI 분야의발전에도크게기여할것으로예상된다. 업계는복잡한뇌의전체적인지도가완성되기전에라도 2년내리모콘인터페이스등에의미있는변화를유발할새로운뇌-컴퓨터인터페이스제품들이출시될수있을것 으로내다보고있다. www.lgeri.com LG Business Insight 2013 10 16 29