음악의특성에따른피아노솔로음악으로부터의멜로디추출 923 음악의특성에따른피아노솔로음악으로부터의멜로디추출 (Extracting Melodies from Piano Solo Music Based on its Characteristics) essential In this paper, we propose a method to extract melodies from piano solo music which is highly polyphonic and has a wide pitch range We categorize piano music into three classes taking into account the characteristics of music, and extract melodies according to each class The performance evaluation for the implemented system showed that our method works successfully on a variety of piano solo music Key words : Melody Extraction, Piano Music, Polyphonic Music 최윤재 박종철 (Yoonjae Choi) (Jong C Park) 요약최근디지털음반시장의발전으로인해음악검색및추천에대한수요가증가하고있는데이러한서비스를수행하는음악기반응용시스템의성능향상을위해서는일반적인음악의형태인다음 (Polyphonic) 음악에서멜로디를추출하는과정이필수적이다 본논문에서는다음의복잡도가높고넓은음역을가지는음악을만들수있는피아노솔로음악에서멜로디를추출하는방법을제안한다 본연구는피아노음악을음악의특성에따라세가지유형으로분류해서유형별로멜로디를추출하는방법을살펴본다 제안한방법에따라구현된시스템을이용해서성능을측정한결과다양한피아노솔로음악에적용가능함을확인했다 키워드 : 멜로디추출, 피아노음악, 다음음악 Abstract The recent growth of a digital music market induces increasing demands for music searching and recommendation services In order to improve the performance of music-based application services, the process of extracting melodies from polyphonic music is 이연구 ( 논문 ) 는산업자원부지원으로수행하는 21세기프론티어연구개발사업 ( 인간기능생활지원지능로봇기술개발사업 ) 의일환으로수행되었습니다 이논문은 2009 한국컴퓨터종합학술대회에서 음악의특성에따른피아노솔로음악으로부터의멜로디추출 의제목으로발표된논문을확장한것임 비회원 : 한국과학기술원전산학과 mp2893@gmailcom 종신회원 : 한국과학기술원전산학과교수 park@nlpkaistackr 논문접수 : 2009년 8월 13일심사완료 : 2009년 10월 14일 CopyrightC2009 한국정보과학회ː개인목적이나교육목적인경우, 이저작물의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시명시해야합니다 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위를하는경우에대하여는사전에허가를얻고비용을지불해야합니다 정보과학회논문지 : 컴퓨팅의실제및레터제15권제12호 (200912) 1 서론인터넷을기반으로하는정보기술과검색기술이발전하면서최근에는기존의텍스트형태의정보뿐만아니라사진이나음악, 동영상과같은멀티미디어자료의검색및활용방법에대한연구도활발히진행되고있다 특히디지털음반시장이빠른속도로성장해가면서 [1] 음악검색및추천에대한수요도증가하고있다 음악을검색하기위해서는음악의제목이나작곡가등의음악정보를자연언어의형태로질의하거나허밍등을통해멜로디를기반으로질의를할수있다 음악정보를이용하여질의를하는경우, 제목이나작곡가등검색에서활용할수있는형태의정보가사전에모든음악에기록되어있어야한다 이러한음악정보를반복적인작업없이효율적으로제공하기위해서는검색하고자하는음악데이터베이스내에서동일한음악을자동으로분류할수있어야하고, 이작업은허밍을통해동일한멜로디를가지는음악을검색하는것과같은문제로생각할수있다 일반적인다음 (Polyphonic) 음악에서는그음악의특징을나타내는멜로디이외에도반주 (Accompaniment) 등의정보가함께나타나므로음악정보기반의질의시스템이나허밍기반질의시스템에서효율적인검색을위해서는각음악이가지는특징적인멜로디를추출하는것이관련시스템의성능향상에필수적이다 [2] 본연구에서는음악에서멜로디를추출하는방법에대해논의하며그대상으로피아노솔로음악을고려한다 음악을만들수있는여러악기들중피아노는가장넓은음역을가지며, 복잡한다음음악도단일악기만으로표현할수있다 또한오케스트라가연주하는교향곡을피아노로편곡할수있을만큼피아노는표현의정도가크다 따라서피아노의음악에서멜로디를추출할수있다면그방법을다른음악에도적용해서멜로디를추출하는데큰도움이되리라기대한다 2 관련연구음악에서멜로디를추출하는방법은두가지로나눌
924 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 12 호 (200912) 수있다 먼저 MP3나 Wave 형식의파일로부터오디오정보를받아들여신호처리과정을통해멜로디를추출하는방법이있다 이방법의대표적인예로는 Goto[3] 와 Ryynanen, Klapuri[4] 가있다 이러한방식은실제로녹음된음악에서멜로디를추출할수있다는장점이있지만음의높이나음의지속시간, 음들간의관계, 음들의배치와같은음악자체의특성을효과적으로사용하기어렵다는단점이있다 다른방법으로는미디 (MIDI) 나 NIFF, ESac와같이음악을상징적인기호로표현한파일을받아들여서멜로디를추출하는것이다 이러한방향으로는여러종류의시도가있었지만현재까지 Uitdenbogerd와 Zobel[2] 의 Skyline Algorithm, 또는이의변형된알고리즘이가장성공적이다 [5] 본연구에서는멜로디의효율적인추출을위해서는음악의특성을우선적으로고려하는것이중요하다고보아음표로표현된음악으로부터멜로디를추출하는방법에대해논의한다 특히본연구에서는음악의특성에따라음악을세가지형태로분류하여각유형에맞는원칙을사용하여멜로디를추출하는방식을제안한다 이와같은방법은 Ozacn, Isikhan, Alpkocak [6] 에서실험결과, 음악의특성이나스타일이멜로디추출에큰영향을준다는점을인식하고음악의특성에따라서로다른알고리즘을적용해야함을지적한것과그맥을같이한다 3 자료분석본논문은피아노솔로음악의구조적특징을고려해서아래의세가지유형으로나누는방식을제안한다 1 동시에발생하는음들의지속시간이모두동일하고그외에음들간의겹침이없는경우 (Equal Occurrence: E 유형 ) 2 멜로디가상단부에위치하는경우 (High Melody: H 유형 ) 3 멜로디가하단부에위치하는경우 (Low Melody: L 유형 ) 31 E 유형 E 유형의음악은반주와멜로디가확연히구분되지않고전체가화음으로만구성된구조다 동시에시작된음들은대개동시에끝나고다음에발생하는음들과는겹침이없기때문에음들간의수직적인겹침은존재해도수평적인겹침은존재하지않는다 그림 1을보면첫부분의못갖춘마디의 4분음표세개는모두동시에시작하고동시에끝난다 그래서다음마디의 2분음표들과겹치지않는다 즉첫째마디의음들은수직적인겹침만을가진다고할수있다 둘째마디의음들도마찬가지이다 그림 1 베토벤의월광소나타 2악장 32 H 유형기본적인피아노연주법에서오른손은멜로디를, 왼손은반주를담당한다 [7] 그러므로일반적인피아노음악은대부분 H 유형에속하고그만큼 H 유형에는많은패턴이존재한다 그림 2, 3, 4 세작품모두멜로디는상단부에존재한다 그러므로하단의오선지에있는음표들은모두반주에해당한다 하지만네작품에서그이외의공통점은찾기힘들다 그림 2에서는반주음들이모두 8분음표로동일한지속시간을갖고있다 그림 3의경우하단부의반주가그형식이매우자유로워서일정한패턴을찾기힘들다 그림 4의경우위의두음악과는또다른구조를가진다 그림 4의상단부에는 16분음표가반복적으로나오고있다 그림 2와 3은상단오선지의음들이단음이거나화음으로이루어진구조인데그림 4는상단에도제 2 반주가존재하는구조를가지고있다 그림 2 베토벤의비창소나타 3악장그림 3 Fly Me to the Moon 그림 4 베토벤의비창소나타 2악장 33 L 유형음악의멜로디가하단에존재하는경우는흔하지않다 피아노음악의많은경우는대개 H 유형에속하기때문이다 상단의음들이일정하고하단의음들이더흥미로운패턴을이루고있을때하단의음들이멜로디로인식된다 [8] 그러므로 L 유형의음악에서주목해야할특징은바로상단의음들이일정하다는것이다 그림 5 베토벤의월광소나타 3악장
음악의특성에따른피아노솔로음악으로부터의멜로디추출 925 그림 5는상단부의음들이반주에해당하고하단부의음들이멜로디를구성한다 이러한 L 유형의특징은상단부의반주음들의지속시간이전부는아닐지라도매우일정하다는것이다 또많은경우반주음들의진행속도가멜로디음들의진행속도보다빠르다 이역시그림 5를통해확인할수있다 4 유형자동판별과멜로디추출 음악에서멜로디를추출하기위해서는우선그음악이 3절에서살펴본세가지유형중에서어디에속하는지를판단한뒤이에맞게멜로디를추출해야한다 이를위해음악을미디파일의형태로입력받는데우선여러트랙및채널에분산되어있는음들을모두하나의트랙과채널로모은후에마디를단위로나눠서처리하도록한다 각각다른마디에속한두음이붙임줄로이어져있는경우두마디를동시에처리하도록한다 4절에서는 Uitdenbogerd, Zobel[2] 이나 Ozcan, Isikhan, Alpkocak[6] 등의제안과는다르게음들사이의다양한겹침에주목하여수식을통해음악의특징을표현한다 41 E 유형의판별및멜로디추출 E 유형의음악에서는다른유형의음악에서보기어려운수직적인겹침이수평적인겹침보다자주나타나는특징을가지고있다 따라서이러한 E 유형의특징을아래와같은수식으로나타낼수있다 수직적겹침수수직적겹침비율 = 전체음의수수평적겹침수수평적겹침비율 = 전체음의수수직적겹침수는동시에발생하며지속시간이동일한음들의개수를뜻한다 그림 1에서첫째마디에서는수직적겹침수가 3이되고두번째마디에서는 6이된다 수평적겹침수는둘이상의음이서로조금이라도겹치는부분이존재하는데수직적겹침이아닌모든경우의수를의미한다 그림 1에서는수직적겹침만이존재하므로수평적겹침수는 0이된다 수직적겹침비율 평균수직적겹침비율 = 처리한마디수 수평적겹침비율 평균수평적겹침비율 = 처리한마디수 위의수식을이용해평균수직적겹침비율과평균수평적겹침비율을구한다 여러실험을거친결과평균수직적겹침비율이 08이상이고평균수평적겹침비율이 05이하라면입력받은음악은 E 유형에속한다고볼수있음을확인했다 E 유형의음악들은수평적겹침은드물고수직적겹침이음악의대부분을구성하므로수평적겹침에대해 고려할필요가적다 또한 E 유형의음악들은대부분화음으로구성되어있는데화음의경우에는가장높은음이멜로디에해당한다는기본원칙 [2] 에서벗어나는경우가드물다 그러므로 E 유형의음악에서멜로디를추출하는알고리즘으로는 Skyline Algorithm을그대로사용해도큰문제가없을것이다 42 H 유형의판별및멜로디추출 H 유형의경우에는 E 유형이나 L 유형과는달리특별히일관되는특징을찾기어렵다는것을 32절에서이미확인했다 그러므로입력받은음악이 H 유형인지파악하는모듈을따로제작하기보다는 E 유형과 L 유형의검사절차를밟은후에어느쪽에도속하지않는다면입력받은음악은 H 유형에속한다고판단할수있다 H 유형의음악에는반주와멜로디가존재하기때문에 Skyline Algorithm처럼수평적겹침을무시할수는없다 그러므로 H 유형의음악으로부터멜로디를추출할때에는특별한경우가아니라면선택된멜로디음들의지속시간을지켜야한다 화음으로이루어진음들의경우에는여러음들이동시에발생하는경우사람들은대개가장높은음을멜로디로인식한다는기본원칙 [2] 을따라가장높은음을선택하도록한다 43 L 유형의판별및멜로디추출 L 유형은상단부의반주음들의지속시간이매우일정하고진행속도가하단부의멜로디음들보다빠르다는특징을갖고있는데이는아래와같이표현할수있다 다수음의음높이 다수음의평균음높이 = 다수음의개수 나머지음의음높이 나머지음의평균음높이 = 나머지음의개수다수음이란한마디내에서지속시간이동일한음들중에서가장개수가많은음을뜻한다 나머지음이란다수음외의모든음을뜻한다 그림 5의경우에는모든마디에서 16분음표가다수음이된다 L 유형의특징을고려하면하나의마디내에서지속시간을기준으로구분했을때가장많이존재하는음을반주음이라고볼수있다 즉하나의마디내에서다수음이바로반주음이라고판단할수있다 그리고 L 유형에서반주음은당연히상단부에위치하므로다수음의평균음높이는나머지음의평균음높이보다높을것이다 평균음높이차 = 한마디내에서의 ( 다수음의평균음높이 - 나머지음의평균음높이 ) 평균음높이차 평균음높이차의평균값 = 처리한미디수 위수식을이용해입력받은음악의전체평균음높이차의평균값과표준편차를구한다 미디파일에서는음의높이가양의정수로표현되는데 1의차이가바로
926 정보과학회논문지 : 컴퓨팅의실제및레터제 15 권제 12 호 (200912) 반음하나의차이를뜻하고음의높이가높을수록큰정수값을갖는다 L 유형의음악이라면당연히평균음높이차의평균값이양의값을가질것이다 여러실험을거친결과평균값이 10보다크다면입력받은음악이 L 유형에속한다고볼수있음을확인했다 L 유형의음악은 H 유형과는달리음의지속시간이문제가되는경우는거의없다고볼수있지만동시에발생하는음들의경우어떤음을선택할지를판단하는것이매우어렵다 반주음들이상단부에존재하므로동시에발생한음들중에서가장높은음을택하거나가장낮은음을택하는방법을취할수없기때문이다 L 유형은반주와멜로디를분리하면비교적쉽게멜로디를추출할수있다 같은시간에여러음이발생하는경우에는다수음, 즉반주에해당하는음을모두제거한후에남은음들중에서가장음높이가높은음을택하고그음의지속시간을지켜주면 L 유형의음악에서멜로디를성공적으로추출할수있다 그림 5의첫째마디의경우에는 16분음표가다수음이다 그러므로첫째마디의첫발생음들중에서다수음인 16분음표를제거하면 G# 이남고이것이바로멜로디음이므로성공적으로멜로디를추출한것이된다 5 구현및결과 51 시스템구조본연구에서구현한시스템의구조는그림 6과같다 시스템은리눅스를운영체제로하고파이썬을이용해서구현했다 전처리과정은미디파일을입력받아서이후모듈에서처리하기좋은리스트의형태로음들을저장하기위한절차이다 유형판별모듈그림 6 시스템은저장된음들의리스트를넘겨구조도받아입력받은음악이어떤유형에속하는지결정한다 멜로디추출모듈은입력받은음악의유형이결정된후리스트에담긴음들을받아유형에맞춰멜로디를추출해낸다 미디파일생성모듈은추출한멜로디리스트를미디파일로다시제작해주는역할을한다 그림 7은리스트의사랑의꿈의멜로디를추출한결과이다 유형판별모듈은계산결과 L 유형이라고판단했으며아래숫자들은추출된멜로디를나타낸다 52 평가평가는유형자동판별모듈과멜로디추출모듈의성능을각각측정하는방식으로한다 테스트대상은자료분석및시스템구현과정에서사용한다양한장르의음악 22곡, 즉 Training Set( 표 1) 과연구과정에서사용하지않은여러장르의음악 20곡, 즉 Test Set( 표 2) 으로구성된다 1) 모든음악은발췌음악으로서 10초부터 1분여까지길이가다양하다 그림 8은유형판별모듈의실험결과이다 그림에서 X축은마디수를나타내며 Y축은정확도 (Precision) 을뜻한다 우선 Training Set과 Test Set의각음악을한마디단위로잘라서각마디가어떤유형인지판별했다 그후에는 N-Gram 형식과같이보는대상을한마디씩증가시키면서유형판별실험을했다 그림 8을보면알수있듯이두그룹모두마디를많이볼수록정확도가증가하며로그형태의곡선을보이고있다 표 1과표 2는멜로디추출모듈의실험결과로재현율 (Recall) 과정확도 (Precision) 을이용해성능을측정했다 각각은아래와같은수식으로정의된다 추출된정답멜로디음의개수재현율 전체정답멜로디음의개수 추출된정답멜로디음의개수정확도 추출된전체음의개수 그림 8 유형판별모듈의실험결과 표 1 Training Set 의성능측정결과 음악이름 재현율 정확도 쇼팽, 군대폴로네이즈 1000 1000 베토벤, 월광소나타 2악장 1000 8158 요코칸노, Piano Bar 1000 9787 평균값 9905 8862 표 2 Test Set 의성능측정결과 음악이름 재현율 정확도 베토벤, 비창 1악장 1000 1000 라흐마니노프, 전주곡 Op23 No5 1000 1000 드뷔시, 달빛 1000 1000 평균값 9476 8993 그림 7 리스트의사랑의꿈의멜로디추출결과 1) 전체음악목록은 Http://nlpkaistackr/~yjchoi/music_list 에서확인할수있다
음악의특성에따른피아노솔로음악으로부터의멜로디추출 927 Training Set의평균재현율과평균정확도는각각 9905, 8862( 표 1) 이며 Test Set의평균재현율과평균정확도는각각 9476, 8993( 표 2) 이다 결과수치를보면알수있듯이구현된시스템은대부분의경우음악으로부터멜로디를성공적으로추출하고있다 그림 9는 Training Set과 Test Set을대상으로기존의멜로디추출알고리즘들과제안한알고리즘의성능을비교평가한것이다 Skyline Algorithm[2] 의경우에는최대한많은음을추출한다는원칙에의해재현율이타알고리즘들보다높은수치를기록하고있지만그러한원칙때문에정확도가떨어지는것을볼수있다 Revised Skyline Algorithm[9] 의경우에는 Time Overlap Parameter를사용해음들을제거해나가는방식을채택했기때문에재현율은조금떨어지지만정확도는전반적으로높다 Skyline Algorithm과 Revised Skyline Algorithm은모두멜로디가하단에존재하는음악은제대로처리하지못한다는한계점을가지는데그에비해 Melody Lines[10] 는하단에멜로디가존재하는경우에도어느정도대처하는모습을보이긴했지만전반적인성능은다른두알고리즘에비해떨어졌다 제안된알고리즘은재현율과정확도에서모두기존알고리즘들보다높은성능을보임으로써음악을특성에따라분류해서각유형에맞춰각기다른멜로디추출방법을적용하는방법이유효하다는것을보여준다 정확도 그림 9 전체데이터를대상으로한성능비교 성능평가결과전체적으로높은수치를기록했지만예외적인경우도있었는데쇼팽의혁명연습곡과같이매우빠른반주음들과휴식기간이잦은멜로디를갖는음악의경우에는정확도가 50% 전후를기록하기도했다 쇼팽의혁명연습곡의경우, 반주의속도가매우빠르기때문에짧은휴식기간에도많은양의반주음이포함될수있어서정확도가더욱떨어진다쇼팽의왈츠 Op64 No2의경우에는재현율과정확도모두 20% 미만을기록했는데이는초기에유형판별모듈에서곡의유형을잘못판단했기때문이다 이음악이맞는유형으로판별된다고가정하고재현율과정확도를계산해본결과두수치모두 100% 를기록했다 6 결론및향후계획 본논문에서는피아노솔로음악을음악의특성에따라세가지유형으로나누어분석하여유형별특징을조사하고각유형으로부터멜로디를추출하는방법에대해논의하였다 제안된방법을이용해멜로디추출시스템을구현하였으며재현율과정확도를기준으로시스템의성능을측정한결과다양한피아노솔로음악에적용가능함을확인했다 특히제안한시스템은과거 10 여년간다양한형태로폭넓게사용되어온 Skyline Algorithm에비하여매우높은성능을제공하는것으로서유형의분류가적절하게선행되는것이정확한멜로디의추출에매우중요하다는것을보인다 추후에는하나의음악내에둘이상의유형이혼재하는경우를다룰수있도록음악을의미있게분할하는연구를진행할계획이다 그리고 5절에서확인했듯이아직유형판별이완벽하게이루어지는것이아니므로더욱많은피아노음악을분석해유형판별모듈의성능을향상시키면시스템의전체적인완성도가한층높아질것이라기대된다 참고문헌 [ 1 ] Digital Music Report 2009, International Federation of the Phonographic Industry(IFPI) [2] A Uitdenbogerd, J Zobel, "Manipulation of Music For Melody Matching," Proc ACM international conference on Multimedia, pp235-240, 1998 [3] M Goto, "A real-time music-scene-description system: predominant-f0 estimation for detecting melody and bass lines in real-world audio signals," Speech Communication, pp311-329, 2004 [4] M Ryynanen, A Klapuri, "Transcription of the Singing Melody in Polyphonic Music," Proc ISMIR, pp222-227, 2006 [5] C Isikhan, G Ozcan, "A Survey of Melody Extraction Techniques For Music Information Retrieval," CIM08 Abstract Proc, pp82-83, 2008 [6] G Ozcan, C Isikhan, A Alpkocak, "Melody Extraction on MIDI Music Files," Proc of the Seventh IEEE International Symposium on Mutimedia, pp 414-422, 2005 [7] B Hill, "A Complete Idiot s Guide to Playing Piano," Alpha Books, p109, 2001 [8] R Frances, "La Perception de la Musique," Vrin, 1958 [9] W Chai, "Melody Retrieval on the Web," MS Thesis, Massachusetts Institute of Technology, 2000 [10] MidiLib Project Team, Http://www-mmdbiaiunibonnde/forschungprojekte/midilib/english