(19) 대한민국특허청 (KR) (12) 공개특허공보 (A) (51) 국제특허분류 (Int. Cl.) B25J 9/16 (2006.01) B25J 13/08 (2006.01) (21) 출원번호 10-2014-0184773 (22) 출원일자 2014 년 12 월 19 일 심사청구일자 전체청구항수 : 총 7 항 2014 년 12 월 19 일 (54) 발명의명칭파지자세및파지력을추정하는장치 (11) 공개번호 10-2016-0075150 (43) 공개일자 2016년06월29일 (71) 출원인 서울대학교산학협력단 서울특별시관악구관악로 1 ( 신림동 ) 재단법인실감교류인체감응솔루션연구단 서울특별시성북구화랑로 14 길 5, 국제협력관 ( 하월곡동, 한국과학기술연구원 ) (72) 발명자 김상현 서울특별시동작구동작대로 29 길 118, 501 동 202 호 ( 사당동, 신동아아파트 ) 박재흥 경기도용인시수지구진산로 34 번길 29, 712 동 901 호 ( 풍덕천동, 진산마을삼성래미안 7 차아파트 ) ( 뒷면에계속 ) (74) 대리인 리앤목특허법인 (57) 요약 본발명은파지자세및파지력을추정하는장치에관한것으로서, 미리정한신체부위에부착되어상기제 1 생체신호를검출할수있는전극센서와, 상기검출된제 1 생체신호에대한특징벡터인제 1 시너지벡터를추출하는시너지추출부와, 미리정한수로분류된복수개의분류자세중적어도하나의자세를사용자가취한상 ( 뒷면에계속 ) 대표도 - 도 1-1 -
태에서미리정한시간에따라파지력을변화시킬때, 상기미리정한시간에따라검출되는제 2 생체신호에대한특징벡터인제 2 시너지벡터와, 상기제 2 생체신호를상기제 2 생체신호에대응되는파지력정보로변환시킬수있는변환행렬을상기분류자세별로저장하여포함하고있는자세정보저장부와, 상기제 1 시너지벡터와상기제 2 시너지벡터사이의유사도를평가하여, 상기임의의파지자세를상기분류자세들중적어도하나의특정분류자세로추정하는파지자세추정부와, 상기변환행렬을이용하여상기검출된제 1 생체신호로부터상기임의의파지자세에서의파지력을추정하는파지력추정부를포함하는것을특징으로한다. 본발명에따르면, 사용자가임의의파지자세를취할때발생하는제 1 생체신호로부터상기임의의파지자세및 파지력을동시에연관시켜추정할수있게된다. (72) 발명자 김민곤 경기도군포시용호 2 로 51, 102 동 1101 호 ( 당동, 쌍용아파트 ) 이지민 서울특별시관악구남부순환로 1910, 402 호 ( 봉천동 ) 권정흠 서울특별시강서구강서로 348, 110 동 501 호 ( 내발산동, 우장산힐스테이트아파트 ) 유범재 서울특별시서초구서초중앙로 188, B 동 2003 호 ( 서초동, 아크로비스타 ) 이발명을지원한국가연구개발사업 과제고유번호 490-20130046 부처명 교육과학기술부 연구관리전문기관 한국연구재단 연구사업명 글로벌프론티어연구개발사업 연구과제명 인간의손과원격물체의상호작용을위한원격존재실시간 Robot Hand의조작제어 기여율 1/1 주관기관 서울대학교 연구기간 2012.09.01 ~ 2015.08.31-2 -
명세서청구범위청구항 1 사용자가임의의파지자세를취할때발생하는제1 생체신호로부터파지자세및파지력을추정하는장치에있어서, 미리정한신체부위에부착되어상기제1 생체신호를검출할수있는전극센서 ; 상기검출된제1 생체신호에대한특징벡터인제1 시너지벡터를추출하는시너지추출부 ; 미리정한수로분류된복수개의분류자세중적어도하나의자세를사용자가취한상태에서미리정한시간에따라파지력을변화시킬때, 상기미리정한시간에따라검출되는제2 생체신호에대한특징벡터인제2 시너지벡터와, 상기제2 생체신호를상기제2 생체신호에대응되는파지력정보로변환시킬수있는변환행렬을상기분류자세별로저장하여포함하고있는자세정보저장부 ; 상기제1 시너지벡터와상기제2 시너지벡터사이의유사도를평가하여, 상기임의의파지자세를상기분류자세들중적어도하나의특정분류자세로추정하는파지자세추정부 ; 상기변환행렬을이용하여상기검출된제1 생체신호로부터상기임의의파지자세에서의파지력을추정하는파지력추정부 ; 를포함하는것을특징으로하는파지자세및파지력을추정하는장치. 청구항 2 제 1항에있어서, 상기제1 생체신호와제2 생체신호는근전도신호이며, 상기전극센서는상기근전도신호를검출할수있는근전도센서인것을특징으로하는파지자세및파지력을추정하는장치. 청구항 3 제 1항에있어서, 상기미리정한신체부위는, 사용자의손가락과손목의움직임을관장하는근육들이위치한부위들중적어도하나를포함하는것을특징으로하는파지자세및파지력을추정하는장치. 청구항 4 제 1항에있어서, 상기제1 시너지벡터와제2 시너지벡터는, 검출되는생체신호에대해서소위주성분분석법을통해생성된고유벡터를이용하여추출되는것을특징으로하는파지자세및파지력을추정하는장치. 청구항 5 제 1항에있어서, 상기제2 생체신호에대응되는파지력정보는, 상기미리정한시간에따라파지력을변화시킬때검출되는힘정보로서, 힘측정센서를이용하여검출되는것을특징으로하는파지자세및파지력을추정하는장치. 청구항 6-3 -
제 1항에있어서, 상기파지자세추정부는, 상기제1 생체신호시너지벡터와상기제2 생체신호시너지벡터들사이의소위가중된유클리드거리차이를기초로하여상기유사도를평가함으로써, 상기상기임의의파지자세를상기분류자세들중에서상기거리차이가최소인적어도하나의상기특정분류자세로추정하는것을특징으로하는파지자세및파지력을추정하는장치. 청구항 7 제 1항에있어서, 상기파지력추정부는, 상기파지자세추정부에의하여추정된상기특정분류자세에대응하는상기변환행렬을이용하여, 상기제1 생체신호가입력되면상기임의의파지자세에서의파지력으로추정할수있는파지력정보가출력되도록하는것을특징으로하는파지자세및파지력을추정하는장치. 발명의설명 [0001] 기술분야본발명은파지자세및파지력을추정하는장치에대한것으로서, 사용자가임의의파지자세를취할때발생하는제1 생체신호로부터상기임의의파지자세및파지력을동시에연관시켜추정할수있도록하는파지자세및파지력을추정하는장치에관한것이다. [0002] [0003] [0004] [0005] 배경기술현대사회에들어서로봇기술의발전으로인간사회에다양한영향을미치면서, 로봇과인간사이의인터페이스구축에대한연구가활발히이루어지고있다. 이러한연구의일환으로많이대두되는것이생체신호를이용한인터페이스구성이다. 생체신호는사용자의정보가나타나있기에, 사용자가임의의장비를조작할필요없이로봇을조작할수있다는이점이있다. 이러한생체신호중인간의골격근에서발현되는신호를근전도라고명명하며, 다양한분야에서인터페이스를구축하거나, 근육의움직임을분석하기위하여사용되고있다. 종래에는, 상기인터페이스구축과관련해서근전도를이용하여자세를추정하는연구와, 근전도를이용하여힘을추정하려는연구가개별적으로있었다. 하지만종래의근전도를이용하는기술은, 자세와힘을추정함에있어, 동시에연관하여나타낼수가없다는문제점이있었다. 발명의내용 [0006] 해결하려는과제본발명은상기문제를해결하기위해안출된것으로서, 그목적은사용자가임의의파지자세를취할때발생하는제1 생체신호로부터상기임의의파지자세및파지력을동시에연관시켜추정할수있도록하는파지자세및파지력을추정하는장치를제공하기위함이다. [0007] 과제의해결수단상기목적을달성하기위하여본발명에따른파지자세및파지력을추정하는장치는, 미리정한신체부위에부착되어상기제1 생체신호를검출할수있는전극센서와, 상기검출된제1 생체신호에대한특징벡터인제 1 시너지벡터를추출하는시너지추출부와, 미리정한수로분류된복수개의분류자세중적어도하나의자세를사용자가취한상태에서미리정한시간에따라파지력을변화시킬때, 상기미리정한시간에따라검출되는제2 생체신호에대한특징벡터인제2 시너지벡터와, 상기제2 생체신호를상기제2 생체신호에대응되는파지력정보로변환시킬수있는변환행렬을상기분류자세별로저장하여포함하고있는자세정보저장 - 4 -
부와, 상기제1 시너지벡터와상기제2 시너지벡터사이의유사도를평가하여, 상기임의의파지자세를상기분류자세들중적어도하나의특정분류자세로추정하는파지자세추정부와, 상기변환행렬을이용하여상기검출된제1 생체신호로부터상기임의의파지자세에서의파지력을추정하는파지력추정부를포함하는것을특징으로한다. [0008] [0009] [0010] [0011] [0012] [0013] 여기서, 상기파지자세및파지력을추정하는장치는, 상기제1 생체신호와제2 생체신호가근전도신호이며, 상기전극센서가상기근전도신호를검출할수있는근전도센서인것이바람직하다. 여기서, 상기파지자세및파지력을추정하는장치는, 상기미리정한신체부위가사용자의손가락과손목의움직임을관장하는근육들이위치한부위들중적어도하나를포함하는것일수도있다. 여기서, 상기파지자세및파지력을추정하는장치는, 상기제1 시너지벡터와제2 시너지벡터가, 상기검출되는생체신호에대해서소위주성분분석법을통해생성된고유벡터를이용하여추출되는것이바람직하다. 여기서, 상기파지자세및파지력을추정하는장치는, 상기제2 생체신호에대응되는파지력정보가, 미리정한시간에따라파지력을변화시킬때검출되는힘정보로서, 힘측정센서를이용하여검출되는것이바람직하다. 여기서, 상기파지자세및파지력을추정하는장치는, 상기파지자세추정부가, 상기제1 생체신호시너지벡터와상기제2 생체신호시너지벡터들사이의소위가중된유클리드거리차이를기초로하여상기유사도를평가함으로써, 상기임의의파지자세를상기분류자세들중에서상기거리차이가최소인적어도하나의상기특정분류자세로추정하는것이바람직하다. 여기서, 상기파지자세및파지력을추정하는장치는, 상기파지력추정부가, 상기파지자세추정부에의하여추정된상기특정분류자세에대응하는상기변환행렬을이용하여, 상기제1 생체신호가입력되면상기임의의파지자세에서의파지력으로추정할수있는파지력정보가출력되도록하는것이바람직하다. [0014] 발명의효과 본발명의파지자세및파지력을추정하는장치에따르면, 사용자가임의의파지자세를취할때발생하는제 1 생체신호로부터상기임의의파지자세및파지력을동시에연관시켜추정할수있는효과가있다. [0015] 도면의간단한설명 도 1 은본발명의일실시예에따른파지자세및파지력을추정하는장치의블록도 ; 도 2는도 1에도시된자세정보저장부의블록도, 도 3은도 2에도시된자세정보들의전처리과정을나타낸흐름도, 도 4는도 1에도시된파지력추정부에서수행되는파지력추정방법을나타낸흐름도 ; 도 5는도 1에도시된전극센서가부착되는신체부위를나타낸도면 ; 도 6은미리정한수로분류된분류자세를나타낸도면 ; 도 7은생체신호를이용한파지력추정결과와시너지벡터를이용한파지력추정결과를나타낸그래프, 및도 8은시너지벡터를이용한파지력추정결과와실제측정된파지력결과사이의절대오차를나타낸그래프이다. [0016] [0017] 발명을실시하기위한구체적인내용이하에서는도면을참조하여본발명을보다상세하게설명한다. 도면들중동일한구성요소들은가능한한어느곳에서든지동일한부호들로나타내고있음에유의해야한다. 또한본발명의요지를불필요하게흐릴수있는공지기능및구성에대한상세한설명은생략한다. 본발명에서사용한용어는단지특정한실시예를설명하기위해사용된것으로본발명을한정하려는의도가아니다. 단수의표현은문맥상명백하게다르게뜻하지않는한, 복수의표현을포함한다. 본출원에서, " 포함하다 " 또는 " 가지다 " 등의용어는명세서상에기재된특징, 숫자, 단계, 동작, 구성요소, 부품또는이들을조합한것이존재함을지정하려는것이지, 하나또는그이상의다른특징들이나숫자, 단계, 동작, 구성요소, 부품또는이들을조합한것들의존재또는부가가능성을미리배제하지않는것으로이해되어야한다. - 5 -
[0018] [0019] 도 1은본발명의일실시예에따른파지자세및파지력을추정하는장치의블록도이고, 도 2는도 1에도시된자세정보저장부의블록도이며, 도 3은도 2에도시된자세정보들의전처리과정을나타낸흐름도이며, 도 4는도 1에도시된파지력추정부에서수행되는파지력추정방법을나타낸흐름도이다. 도 1 내지도 4를참조하면, 발명의일실시예에따른파지자세및파지력을추정하는장치 (100) 는, 사용자가임의의파지자세 (P) 를취할때발생하는제1 생체신호 (V 1 ) 로부터파지자세및파지력을추정하는장치로서, 전 극센서 (10) 와, 시너지추출부 (20) 와, 자세정보저장부 (30) 와, 파지자세추정부 (40) 와, 파지력추정부 (50) 를포 함하여구성된다. [0020] 본실시예에서상기제 1 생체신호 (V 1 ) 는사용자가임의의파지자세를취할때검출되는생체신호이며, 제 2 생체신호 (V 2 )( 후술 ) 는전처리단계과정 ( 후술 ) 에서검출되는생체신호임을전제로한다. 여기서상기제 1 생체 신호 (V 1 ) 및제 2 생체신호 (V 2 )( 후술 ) 는, 골격근에서발현되는신호 ( 이하근전도신호 (v i )) 로구성된근전도집 합 (V) 임을전제로한다. [0021] [0022] [0023] 상기전극센서 (10) 는, 상기생체신호를검출할수있는센서로서, 사용자의근전도신호를수집할수있는수단을포함할수있다. 여기서상기전극센서 (10) 는, 사용자의미리정한신체부위에탈부착될수있는근전도센서 (EMG, electromyography) 이다. 본실시예에서상기전극센서 (10) 는, Delsys Tringo EMG System이사용되었다. 여기서상기전극센서 (10) 의샘플링주파수가 1/n Hz이고 1초동안근전도신호를수집한다면 n 개 (frame) 의근전도신호 (v i ) 로이루어진근전도집합 (V = [v 1, v 2,..,v i,.., v n ],i=1,2,...,n ) 을검출할수있다. 여기서상기미리정한신체부위는, 사용자의손가락과손목의움직임을관장하는근육들이위치한부위들중적어도하나를포함할수있다. 예를들어, 상기미리정한신체부위의수가 m 이라면상기전극센서 (10) 는 m 개가마련되며, 상기근전도신호 (v i ) 는 m 개의요소를가진열벡터 (column vector) 로표현될수있다. 또한상 기근전도집합 (V) 는크기가 m x n 인행렬집합으로표현될수있다. ( ) [0024] 본실시예에서상기전극센서 (10) 가부착되는위치는, 도 5에도시된바와같이, Extensor Carpi Ulnaris(ECU)(10a), Extensor Digitorum Communis(EDC)(10b), Extensor Carpi Radialis(ECR)(10c), Flexor Carpi Ulnaris(FCU)(10d), Flexor Digitorum Superficialis(FDS)(10e), Flexor Carpi Radialis(FCR)(10f) 의 6 가지근육들이위치하는부분이다. 따라서본실시예에서, 상기 m 은 6 이라고할수있다. [0025] 상기시너지추출부 (20) 는, 상기 6 개의근육들 (10a, 10b, 10c, 10d, 10e, 10f) 에서검출되는근전도신호집합 (V) 인제 1 생체신호 (V 1 ) 로부터, 상기근전도신호 (v i ) 들사이의강한상관관계를수학적으로찾아특징벡터로 나타내는제 1 시너지벡터 (b k ) 들을추출한다. 상기제 1 시너지벡터 (b k ) 들은, 검출되는상기근전도신호 (v i ) 들 에대해서소위주성분분석법 (PCA, Principle Component Analysis) 의결과를이용하여추출된다. [0026] 여기서상기제 1 시너지벡터 (b k ) 들은, 상기주성분분석법을이용한 [ 수학식 1] 에의해생성되는공분산행렬 (Cov : covariance matrix) 에대한고유분석 (Eigen Value Decomposition) 을통해구할수있다. [0027] [ 수학식 1] [0028] [0029] 여기서, n 은고정된파지자세에서수집된근전도신호 (v i ) 의수를의미하며, i 는수집된상기 n 개의근전도신 호 (v i ) 들중 i 번째 frame 의근전도신호 (v i ) 를의미하며, 은파지자세에서측정된 n 개의근전도신호 (v i ) 들의평균벡터이다. 마지막으로 [ 수학식 1] 에서 T 는전치 (transpose) 를나타낸다. - 6 -
[0030] [0031] [0032] 상기공분산행렬 (Cov) 의고유분석을통하면고유값및상기고유값에대응되는고유벡터 ( 이하주성분벡터 ) 가생성되며, 일반적으로고유값의크기순서에따라상위 K개의주성분벡터들을선택할수있으며, 선택된상위 K개의주성분벡터들을열백터로하는시너지벡터들을얻을수있다. 한편, 상기근전도집합 (V) 를상기주성분분석법을이용하여행렬분해하면 [ 수학식 2] 와같다. [ 수학식 2] [0033] [0034] 여기서 V 는상기미리정한 m 개의신체부위들에서수집되는 n 개의 frame 근전도신호 (v i ) 들의근전도신호 집합 ( ) 이다. 여기서 A 는상기근전도신호집합 (V) 으로부터상기주성분분석법을통해생성되는주 성분벡터들의집합 ( ) 이다. 여기서 C 는상기주성분벡터들에상응하는계수벡터들의집합 ( ) 이다. [0035] 일반적으로상기 m 개의신체부위들에서검출되는근전도신호 (v i ) 의 m 개요소들사이에는강한상관관계가존 재하므로, 상기시너지벡터들의개수 (K) 를상기마련되는전극센서 (10) 들의개수 (m) 보다작게하여도상기시 너지벡터들만으로상기고정된파지자세에서발현되는근전도경향을잘반영할수있다. 여기서상기시너지 벡터들의집합 (A') 을, m x K 크기의행렬 ( ) 로, 상기시너지벡터들의집합 (A') 에상응하는계 수벡터들의집합 (C') 을, K x n 크기의행렬 ( ) 로표현할수있다. [0036] 본실시예에서상기제 1 시너지벡터 (b k ) 들은, 상기주성분벡터에대응하는고유값들중상위 3 개 (K=3) 의고유 값에대응되는주성분벡터들 (b 1, b 2, b 3 ) 을선택하여추출되었다. [0037] 상기자세정보저장부 (30) 는, 전처리과정을통하여미리정한수로분류된복수개의분류자세 (P j ) 별로제 2 시너지벡터 (a j,k ) 들과변환행렬 (H j ) 를저장하여포함한다. [0038] 여기서상기분류자세는, 사용자가손으로물건을잡을때취하는자세를말한다. 본실시예에서상기분류자 세 (P j ) 를, 도 6 에도시된바와같이, 엄지, 검지를이용하여파지하는자세 (Thumb-Index Grip, P 1 ) 와, 엄지, 검 지, 중지를이용하여파지하는자세 (Thumb-2 Grip, P 2 ) 와, 엄지, 검지, 중지, 약지를이용하여파지하는자세 (Thumb-3 Grip, P 3 ) 로분류하였다. [0039] [0040] 상기전처리과정의일례는, 도 3 을참고하여설명하기로한다. 먼저, 상기 6 가지근육 (10a, 10b, 10c, 10d, 10e, 10f) 이위치하는사용자의신체부위에상기전극센서 (10) 들을부착하고, 힘측정센서를포함하는물체 (S) 를마련한후, 상기분류자세 (P j ) 들중적어도하나의자세를 사용자가취하여상기물체 (S) 를파지한상태에서미리정한시간에따라파지력 (f j ) 을변화시킨다. 상기힘측정 센서는 ATI-MINI40 가이용되었다. 상기사용자는, 단조증가방식으로파지력이 15N 까지변화할수있도록상기 힘측정센서에힘을가하였다. (S31) [0041] 이어서, 상기사용자가파지력을변화시킬때상기전극센서 (10) 를이용하여근전도신호집합 (V) 인제 2 생 체신호 (V 2,j ) 를검출하는동시에, 상기힘측정센서를이용하여상기제 2 생체신호 (V 2,j ) 에대응하는상기파지 력 (f j ) 정보를검출한다. 여기서, n 개의 frame 으로근전도신호를수집하였다면, 상기제 2 생체신호 (V 2,j ) 는 m x n 크기의행렬이며, 상기파지력 (f j ) 는 1 x n 크기의행렬이된다.(S32) [0042] 이렇게 S32 단계에서검출된제 2 생체신호 (V 2,j ) 를, 상기주성분분석법을이용한 [ 수학식 1] 에의해생성되는 공분산행렬 (Cov : covariance matrix) 에대한고유분석 (Eigen Value Decomposition) 을통해상기제 2 시너지 벡터 (a j,k ) 들을추출한다. 본실시예에서는, 상기제 2 시너지벡터 (a j,k ) 들의개수를상기제 1 시너지벡터 (b k ) 들 - 7 -
과마찬가지로 3 개 (K=3) 로추출하였다. (S33) [0043] 아울러, S32 단계에서검출된상기제 2 생체신호 (V 2,j ) 와, 상기제 2 생체신호 (V 2,j ) 에대응하는상기파지력정 보 (f j ) 사이의변환행렬 (H j ) 을추출한다. 여기서상기변환행렬 (H j ) 은, [ 수학식 4] 에의해얻어질수있다. (S34) [0044] [0045] 먼저 [ 수학식 4] 의도출과정을 [ 수학식 3] 으로부터설명한다. [ 수학식 3] [0046] [0047] 여기서, f i 는상기 i 번째 frame 에상응하는파지력 ( ) 이며, 상기 v i 는상기 i 번째 frame 에상 응하는근전도신호 ( ) 이다. 고정된파지자세에서검출되는상기 i번째 frame에상응하는근전도신호 (v i ) 와, 상기 i번째 frame에상응하는파지력 (f i ) 사이에선형성이가정된다. 상기 H는상기고정된파지자세에서의상기 i번째 frame에상응하는근전도신호 (v i ) 와, 상기 i번째 frame에상응하는파지력 (f i ) 사이의선형변환행렬 ( ) 이다. [0048] 고정된상기분류자세 (P j ) 에서수집되는 n 개의근전도신호 (v i ) 와, n 개의파지력 (f i ) 사이의변환행렬 (H j ) 은 [ 수학식 4] 와같다. [0049] [ 수학식 4] [0050] [0051] 여기서 V 2,j 는상기 n 개의근전도신호 (v i ) 들의근전도신호집합을나타내는제 2 생체신호 ( ) 이 며, f j 는상기제 2 생체신호 (V 2,j ) 에대응하는파지력정보 ( ) 이다. 상기 H j 는고정된상기분류 자세 (P j ) 에서의상기제 2 생체신호 (V 2,j ) 와상기제 2 생체신호 (V 2,j ) 에대응하는파지력정보 (f j ) 사이의선형 변환행렬 ( ) 이다. [ 수학식 3] 에서보는바와같이, 상기 i번째 frame에상응하는근전도신호 (v i) 와상기 i번째 frame에상응하는파지력 (f i ) 사이에선형성이가정되는것과마찬가지로, 상기제2 생체신호 (V 2,j ) 와상기제2 생체신호 (V 2,j ) 에대응하는파지력정보 (f j ) 사이에도선형성이가정된다. 여기서상기 [ 수학식 4] 에서의 + 는의사역행렬 (pseudo inverse) 를의미한다. (S34) [0052] 이어서, 상기 S31, S32, S33, S34 단계를상기분류자세 (P j ) 들전부 (P 1, P 2, P 3 ) 에대하여수행한다. (S35) [0053] 한편상기파지자세추정부 (40) 는, 상기제 1 시너지벡터 (b k ) 와, 상기제 2 시너지벡터 (a j,k ) 들사이의유사도를 상기분류자세별로평가함으로써, 상기임의의파지자세 (P R ) 를상기분류자세 (P j ) 들중적어도하나의특정분 류자세 (P c ) 로추정한다. 본실시예에서 P c 는 P 1, P 2, P 3 중에서어느하나일수있다. [0054] 본실시예에서상기파지자세추정부 (40) 는, 상기제 1 시너지벡터 (b k ) 와, 상기제 2 시너지벡터 (a j,k ) 들사이의 가중유클리드거리차이 (weighted-euclidean distance) 를기초로만들어진평가함수 (E(j)) 를통해상기유사 도를평가한다. [0055] 상기평가함수 (E(j)) 는 [ 수학식 5] 으로표현되며, 상기평가함수 (E(j)) 의값은 0 에가까울수록상기임의의 파지자세 (P R ) 가추정되는상기특정분류자세 (P c ) 와유사함을의미한다. - 8 -
[0056] [ 수학식 5] [0057] [0058] 여기서 K 는, 상기시너지추출부 (20) 에서추출되는시너지벡터 (b k, a j,k ) 들의개수이며, 본실시예에서 K 의값은 3 이다. 여기서 j 는상기분류자세들중 j 번째자세를의미하며, w k 는상기제 1 시너지벡터 (b k ) 를구하기위하 여만든 [ 수학식 1] 의공분산행렬 (Cov) 를고유분석하였을때생성되는고유값행렬 (W) 의 k 번째대각성분의 값을의미한다. [0059] 여기서상기파지자세추정부 (40) 는, 상기분류자세 (P j ) 들중상기평가함수 (E(j)) 의값이최소가되도록하 는특정분류자세 (P c ) 를추출함으로써, 상기임의의파지자세 (P R ) 를상기특정분류자세 (P c ) 로추정하게 된다. [0060] 본실시예에서, 임의의파지자세 (P R ) 로서상기분류자세 (P k ) 들중상기 P 1, P 2, P 3 자세를각각 300 회씩인가하 여실제인가되는임의의파지자세 (P R ) 에대한추정되는특정분류자세 (P c ) 의결과를혼동행렬로서 [ 표 1] 에 나타내었다. 표 1 [0061] 인가파지자세 (P 1 ) 인가파지자세 (P 2 ) 인가파지자세 (P 3 ) 추정특정분류자세 (P 1 ) 300 10 0 추정특정분류자세 (P 2 ) 0 290 0 추정특정분류자세 (P 3 ) 0 0 300 [0062] 상기 [ 표 1] 에나타난바와같이, 실제인가되는임의의파지자세 (P R ) 가 P 2 일때 300 회중 10 회를제외하고, 실 제인가되는임의의파지자세 (P) 와추정되는특정분류자세 (P c ) 가모두일치하였다. 즉추정성공률은 98.89% 을보였다. [0063] 상기파지력추정부 (50) 는, 상기특정분류자세 (P c ) 에대응하는변환행렬 (H c ) 을이용하여상기전극센서 (10) 를통해검출된상기제 1 생체신호 (V 1 ) 로부터상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는 파지력정보 (f c ) 를출력한다. 추정예를들어, 상기특정분류자세 (P c ) 가 P 1 이라면이용되는상기변환행렬 (H c ) 은 H 1 이된다. [0064] [0065] 상기파지력추정부 (50) 에서수행되는파지력추정과정의일례를도 4 를이용하여설명하기로한다. 먼저, 시너지추출부 (20) 로부터추출된상기제 1 생체신호 (V 1 ) 의주성분벡터들의집합 (A) 을이용하여상기제 1 생체신호 (V 1 ) 를상기변환행렬 (H c ) 에이용될수있도록 [ 수학식 6] 와같이재구성한다.(S51) [0066] [ 수학식 6] [0067] [0068] 여기서 A 는상기주성분분석법을통해상기제 1 생체신호 (V 1, ) ) 으로부터생성되는주성분 벡터들의집합 ( ) 을의미한다. 여기서 C 는상기제 1 생체신호 (V 1 ) 으로부터생성되는주성분벡 터들에상응하는계수벡터들의집합 ( ) 이다. 여기서상기 V' 는상기제 1 생체신호 (V 1 ) 를상기 변환행렬 (H c ) 에이용될수있도록상기 A 와 C 의행렬곱에의해생성되는재구성되는제 1 재구성생체신호 - 9 -
(V', ) 이다. [0069] 아울러, 상기변환행렬 (H c ) 을이용하여상기제 1 생체신호 (V 1 ) 로부터생성되는주성분벡터들의집합 (A) 과, 상 기제 1 생체신호 (V 1 ) 로부터상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 를 출력한다. (S52) [0070] 상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 를출력하는방법은 [ 수학식 7] 과 [ 수학식 8] 을이용하여설명한다. [0071] [ 수학식 7] [0072] [0073] [0074] 여기서 C 와 A 와 V' 가의미하는바는상기 [ 수학식 6] 에서의 C 와 A 와 V' 의의미와동일하다. 여기서 C 는상기 A 의주성분벡터들이서로직교 (orthonormal) 하는점을이용하여상기 [ 수학식 7] 처럼구할수있다. [ 수학식 8] [0075] [0076] 여기서 f c 는임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 ( ) 로서상기 [ 수학식 3] 의 f i 에대응되고, V' 는제 1 재구성생체신호 ( ) 로서상기 [ 수학식 3] 의 v i 에대응되 며, H c 는상기추정되는특정분류자세 (P c ) 에대응하는선형변환행렬 ( ) 로서, 상기 [ 수학 식 3] 의 H 에대응된다. 즉, 상기 [ 수학식 3] 의 f i, v i, H 는각각 f c, V', H c 로치환될수있다. 그리고상기 V' 는 [ 수학식 6] 에서와같이로표현되며, 상기 C 는 [ 수학식 7] 에서와같이 로표현될수있으므로, 상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는 파지력정보 (f c ) 는상기 [ 수학식 8] 과같이표현될수있다. [0077] 여기서상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 는, 상기전처리과정에 서수집된 (f j ) 의크기를초과하여출력될수있다. [0078] 본실시예에서임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 를출력할때는, 상기 [ 수학식 8] 에서의 m 차원의 A( ) 를, K 차원으로차원축소 (m > K) 된상기제 1 시너지벡터 (b k ) 들의집합 (A', ) 으로치환하여구성된 [ 수학식 9] 를이용하여출력한다. [0079] [ 수학식 9] [0080] [0081] 한편본실시예에서상기 [ 수학식 9] 의효용성을검증하기위하여, 상기전처리과정에서 6 개의상기전극센서 (10) 에서검출되며차원을축소하지않은 6 차원의상기제 2 생체신호 (V 2,j ) 로부터추정되는힘결과 ( 상기 [ 수학 식 2] 이용 ) 와상기전처리과정에서 3 차원으로차원축소된상기제 2 시너지벡터 (a j,k ) 들의집합으로부터추정 되는힘결과 ( 상기 [ 수학식 9] 이용 ) 를상기분류자세 (P j ) 마다비교할수있도록도 7 에도시하였다. [0082] 즉도 7 에서는, 사용자가상기분류자세 (P j ) 들중어느하나의자세를취하면서파지력을단조증가방식으로변 화시킬때, 상기힘측정센서로부터검출되는힘정보를파란실선으로도시하였으며, 상기 6 차원의상기제 2 생 - 10 -
체신호 (V 2,j ) 로부터추정되는힘결과 ( 상기 [ 수학식 2] 이용 ) 를빨간실선으로도시하였으며, 3차원으로차원축소된상기제2 시너지벡터 (a j,k ) 들의집합으로부터추정되는힘결과 ( 상기 [ 수학식 9] 이용 ) 를검은점선으로도시하였다. 도 7의 (a) 그래프는, 상기 P1(Thumb-Index Grip) 자세를취했을때의결과들이고, (b) 그래프는, P2(Thumb-2 Grip) 자세를취했을때의결과들이며, (c) 그래프는, P3(Thumb-3 Grip) 의자세를취했을때의결과들이다. [0083] 도 7 에도시된바와같이, 상기상기 6 차원의상기제 2 생체신호 (V 2,j ) 로부터추정되는힘결과 ( 상기 [ 수학식 2] 이용 ) 와, 3차원으로차원축소된상기제2 시너지벡터 (a j,k ) 들의집합으로부터추정되는힘결과 ( 상기 [ 수학식 9] 이용 ) 모두상기힘측정센서로부터검출되는힘정보의추세를잘반영하고있다. 또한, 상기상기 6차원의상기제2 생체신호 (V 2,j ) 로부터추정되는힘결과 ( 상기 [ 수학식 2] 이용 ) 와, 3차원으로차원축소된상기제2 시너지벡터 (a j,k ) 들의집합으로부터추정되는힘결과 ( 상기 [ 수학식 9] 이용 ) 사이에차이가거의없다는점에서, 상기 6개의근육들에서발생하는근전도신호사이에강한상관관계가있으며, 상기 6차원의생체신호 (V 1, V 2,j ) 를대신하여상기 3차원으로차원축소된시너지벡터 (b k, a j,k) 들의집합을이용하여파지력을추정하여도데이터손실이거의없다는장점이있다. [0084] 한편, 본실시예에서사용자가상기임의의파지자세 (P R ) 를취하면서파지력 (f R ) 를변화시킬때상기임의의파 지자세 (P R ) 로추정되는특정분류자세 (P c ) 를이용하여상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 를출력함으로써, 상기임의의파지자세 (P R ) 에서의파지력 (f R ) 을추정하는방법의효용성을검증하기위하여, 힘측정센서로부터검출되는힘정보와, 상기파지력정보 (f c ) 를상기분류자세 (P j ) 마다비교할수있도록도 8에도시하였다. [0085] 즉도 8 에서는, 사용자가상기분류자세 (P j ) 들중어느하나의자세를취하면서파지력을단조증가방식으로변 화시킬때, 상기힘측정센서로부터검출되는힘정보를파란실선으로도시하였으며, 임의의파지자세 (P R ) 로추정되는특정분류자세 (P c ) 를이용하여 3차원으로차원축소된상기제1 시너지벡터 (b k ) 들의집합으로부터출력되는파지력정보 (f c )( 상기 [ 수학식 9] 이용 ) 를빨간실선으로도시하였으며, 상기힘측정센서로부터검출되는힘정보와 3차원으로차원축소된상기제1 시너지벡터 (b k ) 들의집합으로부터출력되는파지력정보 (f c ) 사이의절대오차를검은점선으로도시하였다. 도 8의 (a) 그래프는, 상기 P1(Thumb-Index Grip) 자세를취했을때의결과들이고, (b) 그래프는, P2(Thumb-2 Grip) 자세를취했을때의결과들이며, (c) 그래프는, P3(Thumb-3 Grip) 의자세를취했을때의결과들이다. [0086] 도 8 에도시된바와같이, 임의의파지자세 (P R ) 로추정되는특정분류자세 (P c ) 를이용하여 3 차원으로차원축소 된상기제 1 시너지벡터 (b k ) 들의집합으로부터출력되는파지력정보 (f c ) 는상기힘측정센서로부터검출되는힘 정보의추세를잘반영하고있다. [0087] 또한상기임의의파지자세 (P R ) 로추정되는특정분류자세 (P c ) 를이용하여 3 차원으로차원축소된상기제 1 시 너지벡터 (b k ) 들의집합으로부터출력되는파지력정보 (f c ) 와, 상기힘측정센서로부터검출되는힘정보사이의절대오차가 3N 미만이라는점에서, 상기파지자세및파지력을추정하는장치 (100) 는, 상기전극센서 (10) 에의하여검출되는제1 생체신호 (V 1 ) 만으로임의의파지자세 (P R ) 를특정분류자세로 (P c ) 로추정할수있으며, 추정된상기특정분류자세 (P c ) 에따른상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (P c ) 또한신뢰할만한수준으로획득할수있다는장점이있다. [0088] [0089] [0090] 이하에서는, 상술한구성의파지자세및파지력을추정하는장치 (100) 의작동하는방법의일례를설명하기로한다. 먼저, 사용자가임의의파지자세 (P) 를취하면서힘을가하는경우미리정한신체부위에부착된상기전극센서 (10) 는제1 생체신호 (V 1 ) 을검출하게된다. 이어서, 상기시너지추출부 (20) 는, 상기제1 생체신호 (V 1 ) 로부터상기주성분분석법을통해제1 시너지벡터 - 11 -
(b k ) 들을추출하게된다. [0091] 아울러, 상기파지자세추정부 (40) 는, 상기자세정보저장부 (30) 에저장되어있는상기분류자세 (P j ) 별상기제 2 시너지벡터 (a j,k ) 들과상기제 1 시너지벡터 (b k ) 들사이의가중된유클리드거리차이를계산하여, 상기거리 차이가최소가되도록하는특정분류자세 (P c ) 를추출함으로써, 상기임의의파지자세 (P R ) 를상기특정분류 자세 (P c ) 로추정하게된다. [0092] 이어서, 상기파지력추정부 (50) 는, 상기자세정보저장부 (30) 에저장되어있으며상기특정분류자세 (P c ) 에 대응하는변환행렬 (H c ) 을이용하여상기제 1 생체신호 (V 1 ) 로부터상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 를출력하게된다. [0093] 상술한구성의파지자세및파지력을추정하는장치 (100) 는, 미리정한신체부위에부착되어상기제 1 생체신 호 (V 1 ) 를검출할수있는전극센서 (10) 와, 상기검출된제 1 생체신호 (V 1 ) 에대한특징벡터인제 1 시너지벡터 (b k ) 를추출하는시너지추출부 (20) 와, 상기분류자세 (P j ) 별로상기제 2시너지벡터 (a j,k ) 및상기변환행렬 (H j ) 을저장하여포함하고있는자세정보저장부 (30) 와, 상기제1 시너지벡터 (b k ) 와상기제2 시너지벡터 (a j,k ) 사이의유사도를평가하여, 상기임의의파지자세 (P) 를상기분류자세 (P j ) 들중적어도하나의특정분류자세 (P c ) 로추정하는파지자세추정부 (40) 와, 상기변환행렬 (H j ) 을이용하여상기검출된제1 생체신호로 (V 1 ) 부터상기임의의파지자세 (P R ) 에서의파지력 (f R ) 을추정하는파지력추정부를포함하고있으므로, 사용자가임의의파지자세 (P R ) 를취할때발생하는제1 생체신호 (V 1 ) 로부터상기임의의파지자세 (P R ) 및파지력 (f R ) 을동시에연관시켜추정할수있는장점이있다. [0094] 그리고, 상기파지자세및파지력을추정하는장치 (100) 는, 상기제 1 생체신호 (V 1 ) 와제 2 생체신호 (V 2,j ) 가근 전도신호이므로, 해부학적관점에서인간의모든움직임은골격근의수축과이완에서비롯되므로파지자세및파지력을추정함에있어, 생체신호중가장관련성이있는근전도를이용한다는장점과, 상기전극센서 (10) 가상기근전도신호를검출할수있는근전도센서로서, 신체부위에부착하기만하면손쉽게근전도를검출할수있다는장점이있다. [0095] [0096] 또한, 상기파지자세및파지력을추정하는장치 (100) 는, 상기전극센서 (10) 가부착되는미리정한신체부위가, 사용자의손가락과손목의움직임을관장하는근육들이위치한부위들이므로, 상기파지자세및파지력을추정함에있어가장관련성이있는부위의근전도를측정하게되는바, 신뢰할만한결과를얻을수있게하는장점이있다. 그리고, 상기파지자세및파지력을추정하는장치 (100) 는, 상기제1 시너지벡터 (b k ) 와제2 시너지벡터 (a j,k ) 는, 검출되는생체신호에대해서소위주성분분석법을통해생성된고유벡터를이용하여차원축소되어추출되는것이므로, 파지자세및파지력을추정함에있어, 처리하는데이터의크기를줄이면서도상기제1 생체신호 (V 1 ) 와제2 생체신호 (V 2,j ) 의특징을필요한수준만큼반영할수있다는장점및시간지연을최소화시키면서파지자세및파지력을추정할수있다는장점이있다. [0097] 또한, 상기파지자세및파지력을추정하는장치 (100) 는, 상기제 2 생체신호 (V 2,j ) 에대응되는파지력 (f j ) 정보 가, 상기미리정한시간에따라파지력을변화시킬때검출되는힘정보로서, 힘측정센서를이용하여검출되는 것이므로, 상기제 2 생체신호 (V 2,j ) 와, 상기파지력 (f j ) 을상호선형성을가정할수있도록용이하게대응시킬 수있다는장점이있다. [0098] 그리고, 상기파지자세및파지력을추정하는장치 (100) 는, 상기파지자세추정부 (40) 가, 상기제 1 생체신호 시너지벡터 (b k ) 와상기제 2 생체신호시너지벡터 (a j,k ) 들사이의소위가중된유클리드거리차이를기초로하 여상기유사도를평가함으로써, 상기임의의파지자세 (P R ) 를상기분류자세 (P j ) 들중에서상기거리차이가최 소인적어도하나의상기특정분류자세 (P c ) 로추정하는바, 파지자세추정성공률을신뢰할만한수준으로획득 할수있다는장점이있다. [0099] 또한, 상기파지자세및파지력을추정하는장치 (100) 는. 상기파지력추정부 (50) 가, 상기파지자세추정부 (4-12 -
0) 에의하여추정된상기특정분류자세 (P c ) 에대응하는상기변환행렬 (H c ) 을이용하여, 상기제1 생체신호 (V 1 ) 가입력되면상기임의의파지자세 (P R ) 에서의파지력 (f R ) 으로추정할수있는파지력정보 (f c ) 가출력되도록하므로, 분류자세 (P j ) 별로전처리되어있는제2 생체신호 (V 2,j ) 와제2 생체신호에대응되는파지력 (f j ) 사이의선형변환행렬 (H c ) 를이용한다는점에서, 파지력추정오차율을저감시킬수있다는장점이있다. [0100] [0101] 한편, 본발명의일실시예에따른파지자세및파지력을추정하는장치 (100) 에서, 상기시너지추출부 (20) 와, 상기자세정보저장부 (30) 와, 상기파지자세추정부 (40) 와, 상기파지력추정부 (50) 에서수행되는기능은알고리즘이구축된기록매체에의하여수행될수있다. 또한상기파지자세및파지력을추정하는장치 (100) 는, 인간의의도를파악하여로봇핸드에전송하는구축되는알고리즘과함께, 인간의손을이용한로봇핸드의원격조작을원활히수행하기위하여이용될수있다. 이상에서는본발명의바람직한실시예및응용예에대하여도시하고설명하였지만, 본발명은상술한특정의실시예및응용예에한정되지아니하며, 청구범위에서청구하는본발명의요지를벗어남이없이당해발명이속하는기술분야에서통상의지식을가진자에의해변형실시가가능한것은물론이고, 이러한변형실시들은본발명의기술적사상이나전망으로부터개별적으로이해되어져서는안될것이다. [0102] 부호의설명 * 도면의주요부위에대한부호의설명 * 100 : 파지자세및파지력을추정하는장치 10 : 전극센서 20 : 시너지추출부 30 : 자세정보저장부 40 : 파지자세추정부 50 : 파지력추정부 도면 도면 1 도면 2-13 -
도면 3 도면 4-14 -
도면 5 도면 6-15 -
도면 7-16 -
도면 8-17 -