음악교육인터페이스의설계와구현 5 6 김성환 * Ⅰ. 서론 Ⅱ. 움직임과비주얼효과에의한음악교육사례 Ⅲ. 스토리텔링기반의음악교육인터페이스 Ⅵ. 결론 18세기에시작된음악교육은, 20세기에들어표준음악교육으로정형화되었다. 표준음악교육은여러레퍼토리로혼자혹은여럿이서노래하기, 악기공연, 음색과변주, 반주의즉흥연주, 특별한가이드라인으로작곡과개작, 악보를읽고표기하기, 음악을듣고분석하고묘사하기, 음악과음악공연을평가하기, 음악과다른예술간의관계를이해하기, 음악과역사, 문화와의관계를이해하기등의내용으로짜여있다 [1, 3]. 이러한전통적인음악교육은여러가지방법론으로분화되었고여러음악교육자들이사용하고있지만, 기능적인음악능력의발달에국한되어있다. 컴퓨터게임기술은, 스토리텔링에기반한대화성 (interactivity) 를제공하는휴먼인터페이스로볼수있다. 본논문에서는스토리텔링기술에기반한게임기술을기반으로하여, 보다쉽고재미있는음악교육인터페이스를제안하고자한다. 게임을직접적으로음악교육에활용한예는구체적인사례가없으나, 음악을주요매체로하여, 오락성을제공하 * 서울시립대학교컴퓨터과학부교수논문투고일 : 2015.04.30 심사완료일 : 2015.06.19. 게재확정일 : 2015.06.22 는게임형태를통해, 음악이어떻게오락성을가진요소로구현되고, 음악교육에적용할수있는지를살펴보고자한다. 본논문에서는전통적인음악교육에서탈피하고보다재밌고감성을풍부하게하는음악교육을위해스토리텔링기법과접목시켜보았다. 스토리텔링기법과게임기법을활용한음악교육방법론을제시하고그에관련된음악교육인터페이스를설계및구현하였다. 음악교육의역사는 18세기의보스톤에노래학교가세워진것으로시작한다. 보스톤메사츄세츠의교회에서노래와악보읽는법을가르쳤는데, 이음악학교는점차콜로니전역으로퍼져나가 19세기에는보스톤을중심으로음악교육의방법론이제시되었다. 20세기초반에 Bachelor 음악교육이제시되었고음악적성검사가시작하였다. 20세기중후반에는학생중심의철학이채택되었으며과학, 수학, 기술에근거한음악교육커리큘럼이생겨났다. 양질의음악교육을위한목적프로그램이제시되어교육자들에게이것을따르도록추천되었고, 청지각, 움직임연구, 아동개발, 인식능력, 기억과정, 영향과동기등의분야에서음악교육의영향력이강조되었다. Kodaly method는손의제스쳐를사용한재미 (fun) 요소를도입한예이며, 그의교육은 ' 재미 ' 를주재하고있었다. Kodaly는음악교육의주요목표는학생들에게음악사랑을가르치는것이며, 음악교육은아동교육에생생함을제공하기위한필수요소라고말했다. Kodaly의특징적인교육방법은솔페즈 ( 선율 음계를계명으로노래하기 ), 손사인과악보속기표기 ( 스틱표기 ), 리듬계이름부르기이다. < 그림 1> 은 Kodaly의손제스처를사용한음악교육방법을보여주는데, 여러패턴의손모양으로계이름을표기하여음악교육에재미를더한다. Carl Orff는저명한독일작곡가겸음악교육가로, 피교육자가가진리듬감과선율의감각으로음악을파악하게하려했다. Orff는몸전체를타악기로보고즉흥연
음악교육인터페이스의설계와구현 7 8 주를즐기도록하여, 어른들의압박과기계적인학습훈련에서벗어서자유로이음악능력을키우도록유도했다. 그것은또한학생들의자신감을북돋아주기도했다. Carl Orff는음계종, 색소폰, 철금, 드럼, 그밖의타악기를변형한것을특별한악기그룹으로발전시켰다. Dalcroze method는신체를이용한음악교육, 리듬체조기법으로, 세가지기본개념으로나뉘는데솔페즈의사용, 즉흥연주, 유리드믹스 ( 음악리듬을몸놀림으로표현하는리듬교육법 ) 이다. 때때로리듬체조라고불리는유리드믹스는움직임을사용해서리듬, 구성, 음악적표현의개념을가르치며, 학생들이신체에대한지식을얻고운동감각을비롯한 모든감각을통해발생하는음악의경험에초점을맞춘다. Dalcroze은, 음악은인간뇌에기반을두는언어이므로음악교육은인간이무엇인지를생각하게하는것과깊게연결된다고주장한다. 운동감각적지각 (Kinesthetic sense)' 이라는용어를통해달크로즈가리듬학습에있어서움직임을얼마나강조했는지알수있다. 신체움직임에대한감지는느낌으로전환후신경을통해사람의뇌에전달되며뇌에전달된감지정보는지식으로바뀌게된다. 그리고뇌에전달된지식은판단의토대가되고, 뇌는몸에다시명령을보내서움직임이일어나게만든다 [3]. 달크로즈는 음악적감각 과 몸의움직임 은직접적으로연관이있다고하였다. 즉, 몸의리듬감을통해음악적리듬감을파악할수있다고볼수있다. 음악학습중리듬감발달에있어서가장중요한것은신체움직임을통해리듬을느끼게하고리듬을표현하게하는것이다. 달크로즈는학생들이이론과실제연주의연관성을갖지못하는문제를인식하고동작과음악을연결시키는음악교육을주장하며자신만의리듬교육방법인 유리드믹스 (Eurhythmics)' 를만들었다. 달크로즈의교수법을적용한수업에서학습자는자신의몸을하나의악기로생각하고신체동작및다양한움직임을통해음악을표현하며음악적리듬감을체득할수있다. 또한학습자는보이지않는소리를들으며아티큘레이션, 음색, 박자등에민감하게반응하며생각되는이미지또는느낌을몸의움직임으로표현하는과정속에서자연스럽게음악적개념을형성하게된다. 이와같이달크로즈교수법에따라음악학습에있어서몸의움직임을통해음악적리듬, 선율, 화성, 형식등음악요소및개념에대한물리적탐색이가능하다고볼수있다. 우리의몸은음악을향해움직인것을물리적으로기억하게된다. 리드믹컬한운동또는움직임은기술적정확성과예술적민감성과관련한몸의기억을개선시킨다. 우리의몸기억의개선은궁극적으로악기를연주하거나노래하는능력등을향상시키게된다. 음악게임은인간의시각과청각을유도하여오락성을부여한다. 대상게임은 Beatmania (1997), Audio-surf (2008), cirring (2006), Stream-Line, Punk-o-matic 이다. < 그림 2 (a)> 는 Beatmania라고하
음악교육인터페이스의설계와구현 9 10 는 1997년일본의코나미사에서발매한음악게임시리즈이다 [4]. 리듬게임의시초로보이며, 음악에맞춰떨어지는노트를화면상에서사라지기전에맞추는방식으로진행되며, 다수의음악중에서선택할수있다. Beatmania 개임에서는, 음악에맞춰노트가나온다. 1차원의트랙이 6~8개가존재하여 2차원이된다. 곡명과난이도에따라노트의패턴이정해져있으며, 개발자는곡을파악하여사용자가건반을연주하는듯한기분을느끼도록패턴을설정한다. Beatmania 게임은음악교육측면에서리듬에관련된인간의반응체계를실감할수있다. 그것은대화성인터페이스에서사용자의리듬감에대한즉각적인평가를받을수있기때문이다. 하지만조작이슈팅요소의고려에치우쳤기때문에음악을구성하는선율의역할을파악하기에는부족한점이있다. 게임성이강해서쉽게음악에접근할수있는기회를제공한다. < 그림 2(b)> 는 Audio-surf 라는게임으로, IGF ( 미국의게임미디어그룹이주최하는국제게임대회 ) 에서우승한퍼즐리듬게임이다 [5]. 사용자가선택한음악에따라트랙이나타나면사용자는차선을가로질러음악에맞춰나타나는색블록을얻는다. 리듬게임과퍼즐게임, 레이싱게임의요소를합친인디게임이다. Audio-Surf 게임은레이싱요소에비중이커서음악교육의기능은떨어진다. 하지만높은게임성이음악에대한관여도를높여서친숙도를높이는데기여할수있다. 높은집중력을필요로하는레이싱게임의특성으로인해게임의배경음악에대한집중또한높아지게된다. < 그림 2(c)> 는 2006년일본의 D4U가개발한 cirring이라는플래쉬음악게임이다 [6]. 점점커지는동심원이일정크기이상이되었을때마우스포인터가동심원안에들어와있어야하며, 원이사라져놓치게되면포인트를잃는다. 원이사라지기전에원안에마우스포인터가들어와있으면점수를얻지만, 모든점수를잃게되면게임은끝난다. 직관적인조작이필요한데, 동심원의크기를비교해서맞춰야할원의순서를판단한다. 원하나는비트하나를연주하지만, 마우스를이동하는것뿐이라비트를의도하는감각은느끼기힘들다. 원이한번에많이, 빠르게나타나거나떨어진곳에서나타나는것으로난이도를높일수있다. 동심 원의일정크기는, 음악의리듬으로결정된다. 리듬에맞춰원을맞추면타악기소리가나는데, 타이밍은청각의직관성으로맞춰야한다. 발상이기발하고코딩은간단한, 개발자에게이상적인게임이다. Cirring 게임의음악교육적인기능은경쾌한배경음악이주는메시지가리듬의형태로전달된다는것이다. 선율과음악전반에대한것은배우기어렵지만, 반복플레이를통해음악과친숙해지고리듬감을배울수있다. 예 : (a) Beatmania, (b) Audio-surf, (c) Cirring, (d) Stream-Line < 그림 2(d)> 는아머게임즈가개발한리듬액션플래쉬게임 Stream-Line 이다 [7]. 리듬에따라다양하게출현하는폭탄과장애물을피해야한다. 리듬게임에슈팅요소가섞여있다는점이특이사항이다. 음악교육측면에서 Stream-Line 게임은, 음악의주재가반복되는주절과패턴변화주기가일치하여음악의반복적인구성을자연스럽게이해할수있다는기능을가진다. 선율에대한이해를돕기에는역부족이지만, 조작을통해리듬을자연스럽게감각에베어들게하여리듬에대한이해를도울수있다. 그외, Evil-Dog가개발한 Punk-o-matic [8] 이있으며, 인터페이스는패턴을입력하기위한테이블인데, 각행은드럼, 베이스, 전자기타를나타낸다. 각악기는약 10가지의연주패턴을가지고있으며, 각각열에입력된숫자에따라패턴을재생한다.
음악교육인터페이스의설계와구현 11 12 Punk-o-matic 게임은음악에서악기가담당하는역할에대한이해를도울수있다. 악기의연주패턴이음악전체를구성하는메커니즘을쉽게눈으로확인하여이해할수있다. 하지만사용자관여도가작아서몰입의효과가낮을수있다 [1]. 음악은언어이고메시지를담고있는매체이다. 음악은작곡을통해이야기를전달하는것이목적인데, 현재까지의음악교육은이야기전달과는다른기술적기교위주의교육이었다. 전통적인음악교육과는다른시각으로스토리텔링기법을적용하여, 비쥬얼적으로제시된이야기에맞는음악을작곡할수있는환경을제공하려고한다. 본논문에서제안하는시스템을통해, 스토리텔링이가능한이야기가제시된다. 제시된스토리의테마를사용자각자가도출해내어음악교육인터페이스에서풀어나가는것이다. 음악교육인터페이스에물방울효과를삽입해서, 물방울이이야기를풀어나가는매체가되거나자신이느낀이미지를그대로표현하는도구가될수있다 [2]. 또한선율과리듬을시각적으로표현해서스토리텔링할수있도록돕는다. 예를들어선율은색으로구분하고, 리듬을결정하는음의장단은물방울의크기로표현할수있다. 사용자가수월한스토리텔링을할수있도록, 시간성과사용자의조작의도를살리고시각과청각의이용을조합한음악교육환경을만들고자한다. < 그림 3(a)> 는 5선지의 2차원확장버전으로, 오선지를클릭해잡아끌어올려리듬을조작할수있다. < 그림 3(b)> 와같이, 클릭하면물방울이형성되며클릭을놓는순간바닥으로떨어져음계가연주된다. 바닥보다음계의구역을지정한다. 클릭시간에따라물방울의크기가달라지면크기가커짐에따라연주시간이길어진다. 두개의물방울을떨어뜨릴수있는툴을준비해화음을연주할수있도록한다. : (a) 재생인터페이스 ( 오선지메타포 ), (b) 작곡인터페이스 ( 물방울메타포 ) < 그림 3(b)> 를작곡인터페이스, < 그림 3(a)> 를재생인터페이스로선택해, 선율의구성과리듬의이해를돕기위한교육용휴먼인터페이스를만들었다. 작곡인터페이스에서는선율을구성하는과정을시각적으로확인할수있고, 재생인터페이스에서는음악의전체적인구성을시각적으로확인할수있다. < 그림 3(b)> 의작곡인터페이스는노트의필드를색에따라분류하여시각적으로인지하기쉽게만들었다. 도구는스포이트모양의마우스포인터인데클릭하는것으로입력한다. 색감과음의인지를연결하여선율을구성하는과정을시각적으로이해시키고, 음의길이를직감각적으로입력할수있게한다. 사용자는표현하고싶은노트를선택해, 그노트의필드위에서클릭한다. 마우스클릭버튼을놓는순간물방울이떨어지듯이노트위로떨어지고, 파동이되어퍼지는이펙트와함께해당하는음이연주된다. 다음물방울이떨어질때까지의간격은악보상에서의쉼표의길이와같다. 물방울의색에따라다른악기의소리를표현할수있다. 의도하는리듬을연주하기위해긴음과짧은음을
음악교육인터페이스의설계와구현 13 14 연주할수있는데, 마우스클릭을짧게하면작은물방울이떨어져작은파동이일면서짧은음이연주되고, 마우스클릭을길게하면큰물방울이떨어져큰파동이일어나면서긴음이연주된다. 화음을연주하기위한도구역시 2개의스포이드를통해화음을구성할수있다. 음악교육에서멀티미디어의기술적인면을활용한음악교육은현재까지많지않다. 대부분의음악교육프로그램은전통적인음악교육의보조적인역할을수행하고, 음악게임이나리듬게임들은음악에대한친숙도를높여주는기능이주가된다. 본논문에서는보다음악에대한이해를돕기위해작곡을스토리텔링기법과결부시킨새로운음악교육론을제시하였다. 사용자가스토리의이미지를음악으로표현하여작곡과연주에참여하고음악의구성을이해하도록하였다. 피교육자가관심을가질스토리텔링주제를주고, 시각적인효과 ( 물방울효과 ) 를통해, 이야기의실감을높이려했는데음의길이가길어질수록동심원의지름이넓어지는것과각음계가담당하는색이각각다르다는것, 동심원이빗방울처럼떨어져파형으로퍼져나가는것등의시각적인효과로사용자의참여도를높일수있었다. 본논문에서제시한스토리텔링을활용한음악교육방법론에서고려되지못한것은, 스토리를이해하고이미지를구성, 표현하기위해사용자의음감이요구된다는것이다. 표현하고싶은선율을표현하기위한음감이없으면작곡을통한스토리텔링은난항을겪을지도모른다. 이것은사용자의몰입도를높임으로써해결할수있다. 여러차례의연주를실행하면서시행착오를통해음감을학습하고작곡을즐길수있게된다. < 논문및저서 > [1] 한녹손, 김성환, MAGICPUZZLE: an educational game framework based on augmented reality, 한국컴퓨터게임학회논문지 14호, pp. 103-108, 2008. [2] 정규만, 김성환, 컴퓨터게임을위한비사실적렌더링, 한국컴퓨터게임학회논문지 14호, pp. 91-96, 2008. [3] L. Choksy, R. M. Abramson, A. E. Gillespie, D. Woods, F. York, Teaching music in the twenty-first century, 2nd ed., (NJ: Prentice Hall, 2000). < 기사및인터넷 > [1] Music education, at en.wikipedia.org/ [2] BM98 available in http://liebe4u.x-y.net [3] Audio-surf at www.audio-surf.com [4] Cirring at www.sasa-cafe.com/cirring [5] Stream-Line at armorgames.com/play [6] Punk-o-matic at www.punk-o-matic.net
음악교육인터페이스의설계와구현 15 16 음악교육인터페이스의설계와구현 - 비주얼효과에기반한스토리텔링을중심으로 Design and Implementation of Music Education Interface - Focused on Visual interface based storytelling 김성환 Kim Sung-Hwan 전통음악교육에서는기교와같은기능적인면을중시하여, 재미요소선율, 리듬에집중하고있다. 본논문에서는전통음악교육에서탈피하여보다재미있는음악교육방법을제시하기위해스토리텔링기법과게임성 ( 휴먼인터페이스에기반한사용자의친근감유도 ) 을접목시키고자한다. 음악게임과리듬게임이지니는음악교육적인면을살펴보고, 사용자의입장에서실감의정도, 음향효과의시각적효과, 게임성, 조작의도의반영, 재연가능성을중심으로분석하여인터페이스구현에참고하였다. 본논문에서구현된작곡인터페이스는피교육자에게스토리를제시하고그에따른이미지를선율로표현하여사용자의이야기를풀어나가도록하며, 재생인터페이스는디지털음원사운드폰트기반의각각의음계를담은음원을내장시켜연주할때출력하며, 스토리와이야기와상응하는시각적인효과를재생인터페이스에구현하였다. In the traditional music education, functionality such as instrumental skill is very important, and they focus on the fun, melody and rhythm. In this paper, we present the music educational methodology that integrates storytelling skill and fun of computer game. We review music and rhythm based game, and analyze them on the basis of user s actual feeling, sound effect, visual effect, fun of the game. In our scheme, we present music composition and replay interface. Given a story with visual effects, learner will express his/her feelings for the story in the form of musical melody. Using bulit-in sound fonts, learner can be more focused on the theme of music than just on instrumental skills. Keyword: Music Education, Storytelling, Composition 주제어 : 음악교육, 스토리텔링, 작곡