(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (51) 국제특허분류 (Int. Cl.) B25J 13/08 (2006.01) B25J 9/16 (2006.01) B25J 15/00 (2006.01) (21) 출원번호 10-2012-0028017 (22) 출원일자 2012 년 03 월 20 일 심사청구일자 (56) 선행기술조사문헌 JP2002264059 A* JP2003211381 A* JP2011235386 A* KR1020100083557 A* 2012 년 03 월 20 일 * 는심사관에의하여인용된문헌 (45) 공고일자 2012년11월07일 (11) 등록번호 10-1197125 (24) 등록일자 2012년10월29일 (73) 특허권자 한국기계연구원 대전광역시유성구가정북로 156 ( 장동 ) (72) 발명자 최태용 대전서구월평 3 동다모아아파트 108 동 1202 호 도현민 대전시유성구반석동 613 반석마을 6 단지 610-1401 ( 뒷면에계속 ) (74) 대리인 김종관, 박창희, 권오식 전체청구항수 : 총 5 항심사관 : 명대근 (54) 발명의명칭물체파지시스템및물체파지방법 (57) 요약 본발명은물체파지시스템및물체파지방법에관한것으로서, 더욱상세하게로봇핸드에의해캐리어상에배치된복수개의동일한물체가파지되는물체파지시스템에서, 캐리어로부터일정거리이격되어설치되는카메라에의해촬영된영상을통해캐리어에수용된물체각각의노출률을계산하고, 노출률이높은순서대로로봇핸드에의해파지되도록함으로써, 물체파지효율을향상시킬수있는물체파지시스템및물체파지방법에관한것이다. 대표도 - 도 1-1 -
(72) 발명자경진호대전유성구지족동열매마을아파트 601-1001 박찬훈대전서구둔산동크로바아파트 101동 201호 박동일 대전유성구지족동열매마을아파트 101 동 1401 호 이발명을지원한국가연구개발사업 과제고유번호 MO1940 부처명 지식경제부 연구사업명 지경부-국가연구개발사업 (II) 연구과제명 양팔작업을위한센서융합인지기반제어기술개발및다중로봇협업생산공정적용기술 개발 (1/5) 주관기관 한국기계연구원 연구기간 2010.12.01 ~ 2012.05.31-2 -
특허청구의범위청구항 1 로봇핸드 (10) 에의해캐리어 (20) 상에배치된복수개의동일한물체 (30) 가파지되는물체파지시스템 (1) 에있어서, 물체 (30) 가수용되며, 빈, 팰릿또는컨베이어벨트중어느하나인캐리어 (20); 상기물체 (30) 를파지하는로봇핸드 (10); 상기캐리어 (20) 로부터일정거리이격되어수직방향으로설치되되, 상기캐리어와평행하게설치되는카메라 (40); 및상기물체 (30) 를 0 내지 360도로회전시켜촬영한데이터베이스를포함하며, 상기데이터베이스와상기카메라 (40) 에의해촬영된물체 (30) 각각의면적을비교하여노출률을계산하고, 노출률이높은순서대로물체 (30) 를상기로봇핸드 (10) 가파지하도록하되, 노출률이동일한물체 (30) 의경우, 상기데이터베이스에저장된영상데이터와상기카메라를통해촬영된실제영상을비교하여크기비율이가장큰물체 (30) 를파지하도록제어하는제어부 (50); 를포함하여형성되는것을특징으로하는물체파지시스템. 청구항 2 삭제청구항 3 제 1항에있어서, 상기물체파지시스템 (1) 은상기로봇핸드 (10) 에거리센서 (70) 가더장착되는것을특징으로하는물체파지시스템. 청구항 4 제 1항에있어서, 상기물체파지시스템 (1) 은상기로봇핸드 (10) 에흡착기 (60) 가장착되어상기로봇핸드 (10) 가상기물체 (30) 를흡착하여파지하는것을특징으로하는물체파지시스템. 청구항 5 제 1항에의한물체파지시스템 (1) 을이용하여물체 (30) 파지하는방법에있어서, 물체 (30) 를 0 내지 360도로회전시켜촬영하여상기물체 (30) 의전체면적에대한데이터베이스를구축하는 DB구축단계 (S100); 상기캐리어 (20) 에수용된상기물체 (30) 로부터일정거리이격되어설치되는카메라 (40) 를통해물체 (30) 를촬영하는파지대상촬영단계 (S200); 제어부 (50) 가상기카메라 (40) 로촬영된물체 (30) 각각의면적과데이터베이스에구축된상기물체 (30) 의전체면적을비교하는노출률계산단계 (S300); 및상기제어부 (50) 에의해계산된노출률에따라, 노출률이높은순서대로상기로봇핸드 (10) 가물체 (30) 를파지 - 3 -
하는단계 (S400); 를포함하는것을특징으로하는물체파지방법. 청구항 6 제 5항에있어서, 상기물체파지방법은상기노출률계산단계 (S300) 에서계산된노출률이동일한물체 (30) 가복수개있을경우, 상기데이터베이스에저장된영상데이터와상기카메라를통해촬영된실제영상을비교하여크기비율이가장큰물체가파지되는것을특징으로하는물체파지방법. 명세서 [0001] 기술분야본발명은물체파지시스템및물체파지방법에관한것으로서, 더욱상세하게로봇핸드에의해캐리어상에배치된복수개의동일한물체가파지되는물체파지시스템에서, 캐리어로부터일정거리이격되어설치되는카메라에의해촬영된영상을통해캐리어에수용된물체각각의노출률을계산하고, 노출률이높은순서대로로봇핸드에의해파지되도록함으로써, 물체파지효율을향상시킬수있는물체파지시스템및물체파지방법에관한것이다. [0002] [0003] [0004] [0005] [0006] [0007] [0008] [0009] [0010] [0011] 배경기술최근들어, 컴퓨터를비롯한관련기술의급격한발전과산업의발달에따라로봇에대한수요및활용도는급격한증가추세에있다. 또한, 사용자의요청에따라물건을파지하여원하는곳으로이동시켜줄수있는로봇시스템이개발되고있으며, 다양한산업분야에서빈 (bin) 또는팰릿 (pallet) 과같은캐리어로부터물체를피킹하여추가의처리를위해기계장치에물체를공급하는것은필수적이다. 일반적으로산업용로봇의핸드를그리퍼 (gripper) 또는엔드이펙터 (end effector) 라고하는데, 통상그리퍼는손가락또는손전체로물체를잡는집게모양의로봇핸드를가리키고, 엔드이펙터는각종공구를로봇핸드에부착하여핸드대신에사용할때지칭되는용어이다. 그런데이러한로봇핸드를이용하여물체를파지할때카메라등의물체인식시스템에서의위치오차와, 로봇팔의기구학적오차등이발생할수있는데, 이러한위치오차및기구학적오차는로봇핸드가물체를성공적으로파지하는데큰영향을미친다. 종래에는로봇핸드에카메라를장착하여오차를줄여보려는시도가있었다. 그런데로봇핸드에카메라를위치시키는경우는최소의카메라수로최대의작업영역을얻을수있으나, 파지를위해목표물에접근함에따라카메라초점이맞지않아카메라의블러링효과가발생하며이를방지하기위해자동초점카메라가필요하였다. 그러나자동초점을사용할경우로봇핸드에장착하기위한부피상의문제와온라인카메라보정을해야하는문제가있었다. 또한, 카메라의특성상조명의영향으로인한오차가문제되고, 또한카메라에의해획득된영상처리가부담으로작용하는문제점이있었다. 상술한바와같은문제점을해결하기위해국내공개특허제2010-0077232호 ( 공개일 2010.07.08, 명칭 : 로봇핸드의물체접근방법 ) 에는카메라를사용하지않고저렴한거리센서를이용하여로봇핸드의방향을조정하여물체를파지할수있는방법을개시하고있다. 하지만, 거리센서를이용하여로봇핸드로물체를파지하는시스템은카메라또는로봇핸드로부터의거리가가장가깝다하더라도다른물체에의해일부면이눌려져있을경우, 누르고있는물체를치우는것이선행되 - 4 -
는것이바람직한것에반해, 거리상으로가까이있는물체만을인식하여파지함으로써, 작업효율이저하될수 있다는문제점이있다. 선행기술문헌 [0012] 특허문헌 ( 특허문헌 0001) 국내공개특허제 2010-0077232 호 ( 공개일 2010.07.08, 명칭 : 로봇핸드의물체접근방법 ) ( 특허문헌 0002) 미국등록특허제 4412293 호 ( 등록일 1983.10.25, 명칭 : Robot system which acquires cylindrical workpieces from bins) 발명의내용 [0013] 해결하려는과제본발명은상기와같은문제점을해결하기위하여안출된것으로서, 본발명의목적은봇핸드에의해캐리어상에배치된복수개의동일한물체가파지되는물체파지시스템에서, 캐리어로부터일정거리이격되어설치되는카메라에의해촬영된영상을통해캐리어에수용된물체각각의노출률을계산하고, 노출률이높은순서대로로봇핸드에의해파지되도록함으로써, 물체파지효율을향상시킬수있는물체파지시스템및물체파지방법을제공하는것이다. [0014] [0015] [0016] [0017] [0018] [0019] 과제의해결수단본발명의물체파지시스템은로봇핸드 (10) 에의해캐리어 (20) 상에배치된복수개의동일한물체 (30) 가파지되는물체파지시스템 (1) 에있어서, 물체 (30) 가수용되는캐리어 (20); 상기물체 (30) 를파지하는로봇핸드 (10); 상기캐리어 (20) 로부터일정거리이격되어설치되는카메라 (40); 및상기카메라 (40) 에의해촬영된영상을통해상기캐리어 (20) 에수용된물체 (30) 중노출률이높은순서대로물체 (30) 를상기로봇핸드 (10) 가파지하도록제어하는제어부 (50); 를포함하여형성된다. 또한, 본발명의일실시예에따른상기제어부 (50) 는상기물체 (30) 를 0 내지 360도로회전시켜촬영한데이터베이스를포함할수있다. 또한, 본발명의일실시예에따른상기물체파지시스템 (1) 은상기로봇핸드 (10) 에거리센서 (70) 가더장착될수있다. 또한, 본발명의일실시예에따른상기물체파지시스템 (1) 은상기로봇핸드 (10) 에흡착기 (60) 가장착되어상기로봇핸드 (10) 가상기물체 (30) 를흡착하여파지할수있다. 또한, 본발명의물체파지방법은로봇핸드 (10) 에의해캐리어 (20) 상에배치된복수개의동일한물체 (30) 가파지되는물체 (30) 파지하는방법에있어서, 물체 (30) 를다양한각도로촬영하여상기물체 (30) 의전체면적에대한데이터베이스를구축하는 DB구축단계 (S100); 상기캐리어 (20) 에수용된상기물체 (30) 로부터일정거리이격되어설치되는카메라 (40) 를통해물체 (30) 를촬영하는파지대상촬영단계 (S200); 제어부 (50) 가상기카메라 (40) 로촬영된물체 (30) 각각의면적과데이터베이스에구축된상기물체 (30) 의전체면적을비교하는노출률계산단계 (S300); 및상기제어부 (50) 에의해계산된노출률에따라, 노출률이높은순서대로상기로봇핸드 (10) 가물체 (30) 를파지하는단계 (S400); 를포함한다. 또한, 본발명의일실시예에따른상기물체파지방법은상기노출률계산단계 (S300) 에서계산된노출률이동일한물체 (30) 가복수개있을경우, 상기로봇핸드 (10) 에장착된거리센서 (60) 를통해계산된거리가가장짧은물체 (30) 가파지될수있다. - 5 -
[0020] [0021] [0022] 발명의효과본발명의물체파지시스템및물체파지방법은로봇핸드에의해캐리어상에배치된복수개의동일한물체가파지되는물체파지시스템에서, 캐리어로부터일정거리이격되어설치되는카메라에의해촬영된영상을통해캐리어에수용된물체중노출률이높은순서대로물체를로봇핸드가파지하도록함으로써, 물체파지효율을향상시킬수있다는장점이있다. 또, 본발명의물체파지시스템및물체파지방법은노출률이가장높은물체를먼저파지하되, 로봇핸드에장착된흡착기를통해흡착하는방식으로물체를파지후이동시킬때, 흡착하려는물체가가려져있는면적이적어흡착이용이하다는장점이있다. 아울러, 본발명의물체파지시스템및물체파지방법은산업현장에적용시, 업무처리속도가빨라지고, 효율이향상됨으로써, 생산원가가절감되도록할수있다는장점이있다. [0023] 도면의간단한설명 도 1 은본발명에따른물체파지시스템을개략적으로나타낸도면. 도 2는캐리어에물체가수용되는일실시예를나타낸평면도. 도 3은캐리어에물체가수용되는또다른실시예를나타낸평면도. 도 4는캐리어에물체가수용되는또다른실시예를나타낸사시도. 도 5는물체의크기를비교하는방법을나타낸도면. 도 6은본발명에따른물체파지방법을나타낸순서도. 도 7은본발명에따른물체파지방법의또다른실시예를나타낸순서도. 도 8은본발명에따른물체파지방법에서노출률을정의하기위한참고도면. 도 9는본발명에따른또다른물체파지시스템을개략적으로나타낸도면. [0024] [0025] 발명을실시하기위한구체적인내용이하, 상술한바와같은본발명의물체파지시스템및물체파지방법을첨부된도면을참조로상세히설명한다. 도 1은본발명에따른물체파지시스템을개략적으로나타낸도면이고, 도 2는캐리어에물체가수용되는일실시예를나타낸평면도이며, 도 3은캐리어에물체가수용되는또다른실시예를나타낸평면도이고, 도 4는캐리어에물체가수용되는또다른실시예를나타낸사시도이며, 도 5는물체의크기를비교하는방법을나타낸도면이고, 도 6은본발명에따른물체파지방법을나타낸순서도이며, 도 7은본발명에따른물체파지방법의또다른실시예를나타낸순서도이고, 도 8은본발명에따른물체파지방법에서노출률을정의하기위한참고도면이며, 도 9는본발명에따른또다른물체파지시스템을개략적으로나타낸도면이다. [0026] [0027] [0028] [0029] 실시예1 본발명의물체파지시스템 (1) 은로봇핸드 (10) 에의해캐리어 (20) 상에배치된복수개의동일한물체 (30) 가파지되는물체파지시스템 (1) 에있어서, 물체 (30) 가수용되는캐리어 (20) 로부터일정거리이격되어설치되는카메라 (40) 와, 상기물체 (30) 를파지하는로봇핸드 (10), 상기카메라 (40) 에의해촬영된영상을통해상기캐리어 (20) 에수용된물체 (30) 중노출률이높은순서대로물체 (30) 를상기로봇핸드 (10) 가파지하도록제어하는제어부 (50) 를포함하여형성된다. 상기로봇핸드 (10) 는물체 (30) 를파지하여다른곳으로이동시키기위한것으로, 집게형태일수도있고손가락모양일수도있으며, 물체 (30) 를집을수있는형태이면다양한형태로얼마든지변경실시가능하다. 상기로봇핸드 (10) 는상기제어부 (50) 에서지시하는명령에따라물체 (30) 를선택하여파지하게된다. 이때, - 6 -
상기제어부 (50) 는상기카메라 (40) 에의해촬영된영상에서노출률이높은물체 (30) 를지정하여상기로봇핸 드 (10) 가파지하도록명령을전달하게된다. [0030] [0031] [0032] [0033] [0034] [0035] [0036] [0037] [0038] [0039] [0040] [0041] [0042] [0043] [0044] [0045] [0046] 상기카메라 (40) 는상기캐리어 (20) 로부터일정거리이격되어수직방향으로설치되되, 상기캐리어 (20) 와평행하게설치되어물체 (30) 의노출면적을정확히파악할수있도록하는것이바람직하다. 상기캐리어 (20) 는빈 (bin) 일수도있고, 팰릿 (pallet) 또는컨베이어벨트일수도있다. 상기제어부 (50) 는카메라 (40) 에서촬영된영상을분석하고, 면적을계산하여물체 (30) 의노출률을계산하는것으로, 모니터, 중앙처리장치, 디지털시그널프로세서 (DSP) 등용도에맞게다양하게구성될수있다. 이때, 본발명의물체파지시스템 (1) 은상기로봇핸드 (10) 에거리센서 (70) 가더장착될수있다. 본발명의물체파지시스템 (1) 은노출률이높은물체 (30) 가선택되면상기거리센서 (70) 를통해상기물체 (30) 까지의거리를측정하고, 이를통해상기로봇핸드 (10) 가거리를인식하여상기물체 (30) 를파지하도록한다. 실시예2 도 9에도시된바와같이, 본발명의물체파지시스템 (1) 은상기로봇핸드 (10) 에흡착기 (60) 가장착되어상기로봇핸드 (10) 가상기물체 (30) 를흡착하여파지하도록할수있다. 흡착기 (60) 가장착된상기로봇핸드 (10) 는크기가너무작거나, 형태가복잡하거나, 둥근형태여서집어이동시키기곤란한경우에용이하게사용될수있다. 상술한바와같이, 본발명의물체파지시스템 (1) 은노출률에따라파지순서를결정하게된다. 이에따라, 상기로봇핸드 (10) 는파지하려는물체 (30) 가다른물체 (30) 에의해가려지거나눌려진정도가적은물체 (30) 부터파지하게된다. 다시말해, 노출률이높다는것은상기로봇핸드 (10) 에의해흡착될수있는면적이넓다는것을의미하므로, 본발명의물체파지시스템 (1) 은흡착작업이용이하다는장점이있다. 실시예3 본발명의물체파지방법은로봇핸드 (10) 에의해캐리어 (20) 상에배치된복수개의동일한물체 (30) 가파지되는물체 (30) 파지하는방법에있어서, 물체 (30) 를다양한각도로촬영하여상기물체 (30) 의전체면적에대한데이터베이스를구축하는 DB구축단계 ; 상기캐리어 (20) 에수용된상기물체 (30) 로부터일정거리이격되어설치되는카메라 (40) 를통해물체 (30) 를촬영하는파지대상촬영단계 ; 제어부 (50) 가상기카메라 (40) 로촬영된물체 (30) 각각의면적과데이터베이스에구축된상기물체 (30) 의전체면적을비교하는노출률계산단계 ; 및상기제어부 (50) 에의해계산된노출률에따라, 노출률이높은순서대로상기로봇핸드 (10) 가물체 (30) 를파지하는단계 ; 를포함하여형성된다. 상기물체 (30) 는상기캐리어 (20) 에수용될때, 복수개의물체 (30) 가쌓여져수용되다보면항상평평하게위치되는것이아니고, 여러각도로기울어져수용되는경우가대부분이므로다양한각도에서미리촬영한데이터를통해전체면적에대한데이터베이스를구축할필요가있다. 이에따라상기 DB구축단계에서는상기물체 (30) 를다양한각도로촬영하여각각도별로촬영된상기물체 (3 0) 의영상을저장하여전체면적에대한데이터베이스를구축하게된다. 그다음, 상기물체 (30) 로부터일정거리이격되어설치되는카메라 (40) 는상기캐리어 (20) 에수용된물체 (30) 를촬영하여촬영데이터를상기제어부 (50) 로전달한다. 상기제어부 (50) 는각물체 (30) 의형태를파악하고, 미리구축된데이터베이스와비교하여전체면이노출된물체 (30) 가있는지를판단하게되고, 도 2와같이전체면이노출된물체 (30) 가있으면그물체 (30) 를선택하여상기로봇핸드 (10) 가파지하도록지시하며, 도 3과같이전체면이노출된물체 (30) 가없는경우, 아래와같은계산식을통해각물체 (30) 의노출률을계산하고, 상기로봇핸드 (10) 가노출률이높은물체 (30) 를선택하여파지하도록지시한다. 이때, 상기로봇핸드 (10) 는노출률이높은물체 (30) 가선택되면, 상기거리센서 (70) 로거리를인식하여상기물체 (30) 를파지한다. 계산식 : 노출면적ㆇ전체면적 = 노출률 - 7 -
[0047] [0048] [0049] [0050] [0051] [0052] [0053] 도 8을참고로본발명에적용하기위한노출률에대해다시정의하면, 실제 3차원물체가도 8(b) 과같이상기카메라를통해보이는 2차원영상에서, 카메라방향에서보이는면들에대한노출률을가중합계로나타낼수있다. 도 8(a) 을참고로, 노출률은 w1*( 상면또는하면의노출률 ) + w2*( 좌측면또는우축면의노출률 ) 로정의할수있다. 상기로봇핸드에흡착기가장착되는경우, 상면을대상으로하여 w1=1, w2=0으로노출률을계산하게된다. 상기로봇핸드가그립 (grip) 형태인경우, 상면및하면을모두대상으로하여 w1=1, w2=1로노출률을계산하게된다. [0054] [0055] [0056] [0057] [0058] 실시예4 본발명의물체파지방법은상기노출률계산단계 (S300) 에서계산된노출률이동일한물체 (30) 가복수개있을경우, 상기데이터베이스에저장된영상데이터와상기카메라를통해촬영된실제영상을비교하여크기비율이가장큰물체가파지되도록할수있다. 도 4에도시된바와같이, 상기로봇핸드 (10) 는노출률이동일한물체 (30) a, b가있을경우, 미리데이터베이스에저장된영상데이터와실체카메라에서촬영된영상을비교한다. 도 5(a) 는카메라에찍힌실제영상이며, 도 5(b) 가데이터베이스에저장된영상이다. 도 5(a) 의왼쪽에있는물체는데이터베이스에저장된영상과비교했을때크기비율이 0.8이고, 도 5(a) 의오른쪽에있는물체는크기비율이 1.1이라하면, 오른쪽에있는물체가더가까이있다고볼수있다. 이에따라, 상기제어부 (50) 는상기로봇핸드 (10) 가상기거리센서 (70) 를통해거리를인식하여물체 b를파지하도록지시하게된다. 이때, 상기데이터베이스는동일거리에서상기물체 (30) 를다양한각도에서촬영한데이터를포함하게된다. [0059] [0060] [0061] 이에따라, 본발명의물체파지시스템및물체파지방법은로봇핸드에의해캐리어상에배치된복수개의동일한물체가파지되는물체파지시스템에서, 캐리어로부터일정거리이격되어설치되는카메라에의해촬영된영상을통해캐리어에수용된물체중노출률이높은순서대로물체를로봇핸드가파지하도록함으로써, 물체파지효율을향상시킬수있다는장점이있다. 또, 본발명의물체파지시스템및물체파지방법은노출률이가장높은물체를먼저파지하되, 로봇핸드에장착된흡착기를통해흡착하는방식으로물체를파지후이동시킬때, 흡착하려는물체가가려져있는면적이적어흡착이용이하다는장점이있다. 아울러, 본발명의물체파지시스템및물체파지방법은산업현장에적용시, 업무처리속도가빨라지고, 효율이향상됨으로써, 생산원가가절감되도록할수있다는장점이있다. [0062] 본발명은상기한실시예에한정되지아니하며, 적용범위가다양함은물론이고, 청구범위에서청구하는본발명 의요지를벗어남이없이당해본발명이속하는분야에서통상의지식을가진자라면누구든지다양한변형실 시가가능한것은물론이다. [0063] 부호의설명 1 : 물체파지시스템 10: 로봇핸드 - 8 -
20 : 캐리어 30 : 물체 40 : 카메라 50 : 제어부 60 : 흡착기 70 : 거리센서 S100~S400 : 물체파지방법의각단계 도면 도면 1 도면 2-9 -
도면 3 도면 4-10 -
도면 5 도면 6-11 -
도면 7-12 -
도면 8-13 -
도면 9-14 -