(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (45) 공고일자 2015년11월13일 (11) 등록번호 10-1566784 (24) 등록일자 2015년11월02일 (51) 국제특허분류 (Int. Cl.) E02F 9/20 (2006.01) E02F 9/24 (2006.01) (21) 출원번호 10-2014-0050032 (22) 출원일자 2014 년 04 월 25 일 심사청구일자 2014 년 04 월 25 일 (65) 공개번호 10-2015-0123534 (43) 공개일자 2015 년 11 월 04 일 (56) 선행기술조사문헌 JP05038655 A* JP2012254660 A* KR100934719 B1* KR101123738 B1* * 는심사관에의하여인용된문헌 (73) 특허권자 주식회사영신 경기도성남시분당구서현로 170, 비동 1326 호 ( 서현동, 분당풍림아이원플러스오피스텔 ) ( 주 ) 영신디엔씨 경기도성남시분당구판교로 242, 에이 701 호 ( 삼평동 ) 주식회사이에스피 경기도안산시단원구연수원로 87 ( 원곡동 ) (72) 발명자 강일형 서울특별시서초구고무래로 10 길 19, 반포반곡빌딩 6 층 ( 반포동 ) 김남포 서울특별시서초구고무래로 10 길 17 동호빌딩 3 ( 뒷면에계속 ) (74) 대리인 이순국전체청구항수 : 총 10 항심사관 : 조덕현 (54) 발명의명칭산업용및건설용중장비접근감시및작동제어시스템 (57) 요약 본발명은산업용및건설용중장비주변으로인체나물체등이접근하는것을감시하고경보를발령하며그에따라중장비작동을자동으로정지제어하는시스템에관한것으로서, 보다상세하게는산업용및건설용중장비주변을 360 도전방위카메라로작업현장을실시간촬영하면서중장비운전자가인체나물체의접근을용이하게식별할수있도록함과아울러, 인체나물체등이접근하면운전자나작업자에게경보를발령함과동시에자동적으로중장비작동을정지제어하는산업용및건설용중장비접근감시및작동제어시스템에관한것이다. 대표도 - 도 1-1 -
(72) 발명자 김석 서울특별시서초구고무래로 10 길 17 동호빌딩 3 층 김영민 서울특별시강북구인수봉로 64 길 15, 지층 ( 수유동 ) - 2 -
명세서청구범위청구항 1 산업용및건설용중장비의주변으로인체나물체의접근을감시하고중장비작동을제어하기위한중장비접근감시및작동제어시스템에있어서, 상기중장비상부에탑재된 360도전방위카메라에의해중장비주변 360도전방위를촬영하여생성된 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을출력하는 360도전방위카메라유닛 (10) 과 ; 상기 360도전방위카메라유닛에의해촬영된피쉬아이뷰 (Fisheye View) 영상에상기중장비주변으로미리설정된간격으로구분된접근거리별안전지역라인, 경고지역라인및위험지역라인이표시되어운전자가지속적인감시모니터링할수있도록접근감시영역화면을출력하고, 상기접근감시영역화면에인체또는물체의접근상황을화면출력하는운전실디스플레이유닛 (20) 과 ; 상기운전실디스플레이유닛의접근감시영역화면에인체또는물체의접근시인체또는물체의접근여부를판단하고접근거리를산출하여상기경고지역라인접근시경보신호를출력하고, 상기위험지역라인접근시경보신호및중장비작동정지신호를출력하는접근감시제어유닛 (30) 과 ; 상기접근감시제어유닛으로부터중장비작동정지신호를입력받아중장비작동정지신호를중장비전자제어유닛 (ECU ; Electronic Control Unit) 또는유압제어유닛에송신하여중장비작동을정지하도록하는작동정지제어유닛 (40); 을포함하여구성되며, 상기접근감시제어유닛 (30) 은인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서영상인식알고리즘또는패턴인식알고리즘을통하여인체또는물체의접근검출신호를발생하는접근검출부또는인체또는물체의접근움직임검출신호를발생하는움직임검출부와 ; 상기접근검출부또는움직임검출부에서발생된접근검출신호또는움직임검출신호에따른접근검출영역또는움직임검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된접근검출영역또는움직임검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 2 제1항에있어서, 상기 360도전방위카메라유닛 (10) 은 360도전방향으로부터입사된영상을굴절시키는어안렌즈 (100) 와 ; 상기어안렌즈로부터굴절된영상을굴절및투과시키는릴레이렌즈 (200) 와 ; 상기릴레이렌즈로부터입사된영상을결상하는 CCD 이미지센서 (300); 를포함하여구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 3 제1항에있어서, 상기 360도전방위카메라유닛 (10) 은 360도전방향으로부터입사된영상을굴절시키는굴절부, 상기굴절된영상을상기굴절부중앙부쪽으로반사할수있도록상기굴절부와대향한내측면에형성되는제1반사부, 상기제 1반사부를통해반사된영상을릴레이렌즈유닛으로반사시킬수있도록상기굴절부중앙부내면에형성되는제2반사부및상기제2반사부에서반사된영상을투과시키는투과부를포함하여구성되는카타디옵트릭 (Catadioptric) 렌즈와 ; 상기카타디옵트릭 (Catadioptric) 렌즈로부터굴절, 반사및투과된영상을굴절및투과시키는릴레이렌즈와 ; 상기릴레이렌즈로부터입사된영상을결상하는 CCD 이미지센서 ; 를포함하여구성되는 - 3 -
것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 4 제1항에있어서, 상기 360도전방위카메라유닛 (10) 은적외선카메라를채택하여야간안전작업이가능하도록구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 5 삭제청구항 6 삭제청구항 7 제1항에있어서, 상기경보신호는상기경고지역라인또는상기위험지역라인에따라달리출력하도록구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 8 제1항에있어서, 상기움직임검출부는직전촬영된상기피쉬아이뷰 (Fisheye View) 영상과현재촬영된상기피쉬아이뷰 (Fisheye View) 영상차이측정에의하여차이가생기는경우움직임검출신호를발생하도록구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 9 제8항에있어서, 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를비교하여움직임영역을검출하여움직임검출신호를발생하도록구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 10 제8항에있어서, 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를다수의분할영역이미지단위로각각비교하고, 비교결과각분할영역이미지중변화된픽셀수를계수하고계수치가일정이상이면해당분할영역을움직임검출신호로발생하도록구성되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 11 제 1 항에있어서, - 4 -
상기접근감시제어유닛의제어부는상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하고, 중장비작동정지신호를출력하여작동정지제어유닛으로송신하는단계 ; 를포함하여수행하는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 청구항 12 제11항에있어서, 상기경보표시부는경고음, 경광등, LED표시장치에서선택되는것을특징으로하는산업용및건설용중장비접근감시및작동제어시스템 발명의설명 [0001] 기술분야본발명은산업용및건설용중장비주변으로인체나물체등이접근하는것을감시하고경보를발령하며그에따라중장비작동을자동으로정지제어하는시스템에관한것으로서, 보다상세하게는산업용및건설용중장비주변을 360도전방위카메라로작업현장을실시간촬영하면서중장비운전자가인체나물체의접근을용이하게식별할수있도록함과아울러, 인체나물체등이접근하면운전자나작업자에게경보를발령함과동시에자동적으로중장비작동을정지제어하는산업용및건설용중장비접근감시및작동제어시스템에관한것이다. [0002] 배경기술일반적으로, 건설현장, 토목공사현장, 채석장, 광산또는각종산업현장에는크레인, 덤프트럭, 불도져, 굴삭기, 휠로더, 지게차등과같은다양한종류의중장비가널리사용되고있으며, 대부분중장비차체가크고무겁고, 막대한동력이발생되므로중장비를운전하는운전자는안전운전을위하여항상주의를기울여야하며, 운전을잘못할경우큰사고를일으킬우려가항상존재할뿐만아니라, 중장비차량들은단한명의운전자에의하여구동되고있으며, 이경우, 해당중장비차량의운전자가차량주변의상황을모두인식하는것은불가능하기때문에사고발생위험이있었다. [0003] 특히, 굴삭기, 지게차등과같은건설용또는산업용중장비들은운전실에서전방을관측하기용이하지만, 차체에실리는장비들로인해좌우및후방관측이어려우므로통상적으로운전자는중장비실내에위치한리어뷰미러 (rear view mirror) 또는좌, 우에위치하는사이드뷰미러등여러미러를통해중장비주위를감시하며중장비를운행하게되지만, 그러나운전석에서감시할수있는범위에는사각지대가존재하는데, 이러한사각지대는중장비의안전운행에있어서커다란문제점이되며, 실제로중장비의운전중발생하는인명사고나구조물파손등의사고는대부분운전자가관측하기어려운좌우및후방의사각지점에서발생되고있으므로현장에서는중장비운전자및작업자모두세심한주의를기울이며작업하고있다. [0004] 그러나, 이러한주의에도불구하고작업도중에운전자또는작업자의부주의로인하여중장비에의한사고가자주발생되는데, 이러한사고는주로중장비운전자가운전중에중장비후방또는사각지대에서작업중이던작업자를미처인식하지못하고장비의붐 (boom) 대를회전하여붐대로작업자를타격하거나중장비후진과정에서작업자에게상해를입히는사고가많이발생되고있다. - 5 -
[0005] 이러한문제점을해결하기위하여, 현재, 각종센서를활용하거나카메라를활용한감시시스템이개발되었거나개발중에있는데, 그주요개발기술을살펴보면, 한국등록특허 10-0227862에중장비의주변으로접근하는물체의이동을감지하여운전자에게시각및청각적으로경고하는주장치와, 중장비의후면부에설치되어서물체이동을감지하여전선을통하여주장치로신호를전송하는감지장치로구성되는것을특징으로하는중장비의작업자접근감지장치가개발된바있는데, 이장치는작업자의접근을감시하여경보를발령하기는하지만근본적인사고방지에는불가능한문제점이있었다. [0006] 또한, 한국공개특허 10-2013-0033582에는건설현장에서의건설중장비차량간의무선통신과함께상호간의위치인식을할수있는지그비기술을이용하여중장비차량간의접근을인식하도록이루어지고, 다른중장비차량이접근하면접근정도에따라운전자에게이를경고하거나, 또는구동장치의작동을중지시키도록함으로써, 건설중장비차량간의충돌사고를미연에방지하는건설중장비충돌방지시스템이개발되어있으나, 이시스템은각각의장비또는작업자에별도의지그비노드를갖추어야하는문제점이있었다. [0007] 또한, 본출원인이건설용중장비접근감시시스템으로개발한것으로서, 중장비차체에착탈가능하게장착되며, 인체의접근을감지하는 PIR(Pyroelectric Infrared Ray) 센서와, 물체로부터반송되는초음파를이용하여물체의접근거리를감지하는초음파센서를구비하는복수의센서유닛 ; 상기센서유닛으로부터출력되는신호를처리하여인체또는물체의접근여부를판단하고접근거리를산출하여대응하는제어를수행하는메인컨트롤유닛 ; 상기메인컨트롤유닛의제어에의해인체의접근시에차체외부로경보음을출력하는경보용스피커 ; 및중장비의운전실에설치되며상기메인컨트롤유닛에서검출된인체또는물체의접근상황을화면출력하는디스플레이장치를포함하는건설용중장비접근감시시스템을개발한바있으나, 이시스템역시작업자의접근을감시하여경보를발령하기는하지만근본적인사고방지에는불가능한문제점이있었다. [0008] 한편, 중장비의작업자접근에의한사고를방지하기위하여카메라를활용한감시시스템이개발되고있는데, 중장비차체후방에카메라를부착하고, 카메라로촬영된영상을운전실내에표시하여운전자가후방의인체나물체를확인하도록하고있다. 대표적인것으로는, 한국공개특허 10-2009-0116496에카운터웨이트의후방에설치되는후방감시용카메라에의해장비주변에위치하는피사체를촬영하여운전실에설치되는모니터에영상신호를디스플레이하여후방을감시하는시스템에서, 모니터전체의영상화면속에서움직임이큰부분의영역을감지하여콘트라스트 (contrast) 를높이거나박스 (box) 표시함에따라, 운전자가모니터화면상에서장비에근접된피사체 ( 장비주변의작업자또는물체를말함 ) 를용이하게구분하여인식할수있도록한건설장비의후방감시시스템이개발되어있으나, 이시스템은카메라를이용하여후방을감시할뿐전방위사각지대는여전히감시가불가능한문제점이있었다. [0009] 이러한, 전방위사각지대의감시문제를해결하기위하여, 최근에는한국등록특허 10-1123738에중장비주위모든방향의영상을통합한영상을생성함으로써별도의보조작업자없이도중장비의작업환경을완전하게감시할수있게되고, 출력영상에가이드라인을출력함으로써별도의거리측정장비없이도중장비주위의물체와의거리를직관적으로인식할수있게한, 중장비동작안전모니터링시스템이개발되었는데, 이시스템은전방위사각지대없이감시가가능하지만, 4개의카메라를중장비전후좌후에설치하여야하고, 전방위촬영된영상을합성보정하여야하는시스템설치가필요하며, 또한, 작업자의접근을감시하여경보를발령하기는하지만근본적인사고방지에는불가능한문제점이있었다. [0010] 따라서, 종래의중장비접근감시시스템, 단순한후방카메라만설치한경우에는, 중장비의작동중주변상황모니터링이용이하지않은문제점과, 어라운드뷰카메라를설치한경우에도 4개의분할영역카메라를설치해야하는문제점을해결하고, 중장비차체주변및사각지대에접근시중장비동작정지등안전사고를방지하기위해서는좀더효율적인모니터링장치의개발이요구되고있다. - 6 -
발명의내용 [0011] 해결하려는과제본발명은상기와같은문제점들을해결하기위해안출된것으로서, 산업용및건설용중장비주변으로인체나물체등이접근하는것을감시하고경보를발령하며그에따라중장비작동을자동으로정지제어하도록하기위해, 산업용및건설용중장비주변을 360도전방위카메라로작업현장을실시간촬영하면서중장비운전자가인체나물체의접근을용이하게식별할수있도록함과아울러, 인체나물체등이접근하면운전자나작업자에게경보를발령함과동시에자동적으로중장비작동을정지제어하는산업용및건설용중장비접근감시및작동제어시스템을제공하는것을해결하고자하는과제로한다. [0012] 과제의해결수단본발명은상기과제의해결을위하여, 산업용및건설용중장비의주변으로인체나물체의접근을감시하고중장비작동을제어하기위한중장비접근감시및작동제어시스템에있어서, 상기중장비상부에탑재된 360도전방위카메라에의해중장비주변 360도전방위를촬영하여생성된 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을출력하는 360도전방위카메라유닛과 ; 상기 360도전방위카메라유닛에의해촬영된피쉬아이뷰 (Fisheye View) 영상에상기중장비주변으로미리설정된간격으로구분된접근거리별안전지역라인, 경고지역라인및위험지역라인이표시되어운전자가지속적인감시모니터링할수있도록접근감시영역화면을출력하고, 상기접근감시영역화면에인체또는물체의접근상황을화면출력하는운전실디스플레이유닛과 ; 상기운전실디스플레이유닛의접근감시영역화면에인체또는물체의접근시인체또는물체의접근여부를판단하고접근거리를산출하여상기경고지역라인접근시경보신호를출력하고, 상기위험지역라인접근시경보신호및중장비작동정지신호를출력하는접근감시제어유닛과 ; 상기접근감시제어유닛으로부터중장비작동정지신호를입력받아중장비작동정지신호를중장비전자제어유닛 (ECU ; Electronic Control Unit) 또는유압제어유닛에송신하여중장비작동을정지하도록하는작동정지제어유닛 ; 을포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0013] 상기 360도전방위카메라유닛은 360도전방향으로부터입사된영상을굴절시키는어안렌즈와 ; 상기어안렌즈로부터굴절된영상을굴절및투과시키는릴레이렌즈와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0014] 상기 360도전방위카메라유닛은 360도전방향으로부터입사된영상을굴절시키는굴절부, 상기굴절된영상을상기굴절부중앙부쪽으로반사할수있도록상기굴절부와대향한내측면에형성되는제1반사부, 상기제1반사부를통해반사된영상을릴레이렌즈유닛으로반사시킬수있도록상기굴절부중앙부내면에형성되는제2반사부및상기제2반사부에서반사된영상을투과시키는투과부를포함하여구성되는카타디옵트릭 (Catadioptric) 렌즈와 ; 상기카타디옵트릭 (Catadioptric) 렌즈로부터굴절, 반사및투과된영상을굴절및투과시키는릴레이렌즈와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0015] 상기 360 도전방위카메라유닛은적외선카메라를채택하여야간안전작업이가능하도록구성되는산업용및 건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0016] 상기접근감시제어유닛은인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서영상인식알고리즘또는패턴인식알고리즘을통하여인체또는물체의접근검출신호를발생하는접근검출부와 ; 상기접근검출부에서발생된접근검출신호에따른접근검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된접근검출영역이상기경고지역라인에 - 7 -
접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동 정지신호를출력하는제어부 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을과 제의해결수단으로한다. [0017] 상기접근감시제어유닛은인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서인체또는물체의접근움직임검출신호를발생하는움직임검출부와 ; 상기움직임검출부에서발생된움직임검출신호에따른움직임검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0018] 상기경보신호는상기경고지역라인또는상기위험지역라인에따라달리출력하도록구성되는산업용및건설 용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0019] 상기움직임검출부는직전촬영된상기피쉬아이뷰 (Fisheye View) 영상과현재촬영된상기피쉬아이뷰 (Fisheye View) 영상차이측정에의하여차이가생기는경우움직임검출신호를발생하도록구성되는산업용 및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0020] 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를비교하여움직임영역을검출하여움직임검출신호를발생하도록구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0021] 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를다수의분할영역이미지단위로각각비교하고, 비교결과각분할영역이미지중변화된픽셀수를계수하고계수치가일정이상이면해당분할영역을움직임검출신호로발생하도록구성되는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0022] 상기접근감시제어유닛의제어부는상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하고, 중장비작동정지신호를출력하여작동정지제어유닛으로송신하는단계 ; 를포함하여수행하는산업용및건설용중장비접근감시및작동제어시스템을과제의해결수단으로한다. [0023] 상기경보표시부는경고음, 경광등, LED 표시장치에서선택되는산업용및건설용중장비접근감시및작동제어 시스템을과제의해결수단으로한다. [0024] 발명의효과 본발명의산업용및건설용중장비접근감시및작동제어시스템에의하면, 산업용및건설용중장비주변을 - 8 -
360도전방위카메라한대로작업현장을실시간촬영하면서사각지대없이중장비운전자가인체나물체의접근을용이하게식별할수있도록함과아울러, 중장비주변에미리설정된간격으로구분된접근거리별로인체나물체등이접근하면운전자나작업자에게경보를발령함과동시에자동적으로중장비작동을정지제어함으로서중장비작동에따른안전사고를원천적으로방지할수있는확기적인효과가있다. [0025] 도면의간단한설명 도 1 은본발명의중장비접근감시및작동제어시스템구성블록도 도 2는종래 360도카메라촬영후파노라마영상재합성화면도 3는본발명의 360도전방위카메라유닛의어안렌즈및릴레이렌즈구성개략도도 4는본발명의 360도전방위카메라유닛의어안렌즈에의해촬영된피쉬아이뷰 (Fisheye View) 영상도 5는본발명의 360도전방위카메라유닛의카타디옵트릭 (Catadioptric) 렌즈및릴레이렌즈구성개략도도 6는본발명의 360도전방위카메라유닛의카타디옵트릭 (Catadioptric) 렌즈에의해촬영된피쉬아이뷰 (Fisheye View) 영상도 7은본발명의 360도전방위카메라유닛에의해촬영된중장비주변피쉬아이뷰 (Fisheye View) 영상도 8은본발명의접근또는움직임검출영역을별도로박스표시한영상처리화면도 9는본발명의접근거리별안전지역라인, 경고지역라인및위험지역라인설정개념도도 10은본발명의접근거리별경보발생및중장비작동정지흐름도 [0026] 발명을실시하기위한구체적인내용본발명은, 산업용및건설용중장비의주변으로인체나물체의접근을감시하고중장비작동을제어하기위한중장비접근감시및작동제어시스템에있어서, 상기중장비상부에탑재된 360도전방위카메라에의해중장비주변 360도전방위를촬영하여생성된 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을출력하는 360도전방위카메라유닛과 ; 상기 360도전방위카메라유닛에의해촬영된피쉬아이뷰 (Fisheye View) 영상에상기중장비주변으로미리설정된간격으로구분된접근거리별안전지역라인, 경고지역라인및위험지역라인이표시되어운전자가지속적인감시모니터링할수있도록접근감시영역화면을출력하고, 상기접근감시영역화면에인체또는물체의접근상황을화면출력하는운전실디스플레이유닛과 ; 상기운전실디스플레이유닛의접근감시영역화면에인체또는물체의접근시인체또는물체의접근여부를판단하고접근거리를산출하여상기경고지역라인접근시경보신호를출력하고, 상기위험지역라인접근시경보신호및중장비작동정지신호를출력하는접근감시제어유닛과 ; 상기접근감시제어유닛으로부터중장비작동정지신호를입력받아중장비작동정지신호를중장비전자제어유닛 (ECU ; Electronic Control Unit) 또는유압제어유닛에송신하여중장비작동을정지하도록하는작동정지제어유닛 ; 을포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0027] 상기 360도전방위카메라유닛은 360도전방향으로부터입사된영상을굴절시키는어안렌즈와 ; 상기어안렌즈로부터굴절된영상을굴절및투과시키는릴레이렌즈와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0028] 상기 360도전방위카메라유닛은 360도전방향으로부터입사된영상을굴절시키는굴절부, 상기굴절된영상을상기굴절부중앙부쪽으로반사할수있도록상기굴절부와대향한내측면에형성되는제1반사부, 상기제1반사부를통해반사된영상을릴레이렌즈유닛으로반사시킬수있도록상기굴절부중앙부내면에형성되는제2반사부및상기제2반사부에서반사된영상을투과시키는투과부를포함하여구성되는카타디옵트릭 (Catadioptric) 렌즈와 ; 상기카타디옵트릭 (Catadioptric) 렌즈로부터굴절, 반사및투과된영상을굴절및투 - 9 -
과시키는릴레이렌즈와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 ; 를포함하여구성되는 산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0029] 상기 360 도전방위카메라유닛은적외선카메라를채택하여야간안전작업이가능하도록구성되는산업용및 건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0030] 상기접근감시제어유닛은인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서영상인식알고리즘또는패턴인식알고리즘을통하여인체또는물체의접근검출신호를발생하는접근검출부와 ; 상기접근검출부에서발생된접근검출신호에따른접근검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된접근검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0031] 상기접근감시제어유닛은인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서인체또는물체의접근움직임검출신호를발생하는움직임검출부와 ; 상기움직임검출부에서발생된움직임검출신호에따른움직임검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0032] 상기경보신호는상기경고지역라인또는상기위험지역라인에따라달리출력하도록구성되는산업용및건설 용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0033] 상기움직임검출부는직전촬영된상기피쉬아이뷰 (Fisheye View) 영상과현재촬영된상기피쉬아이뷰 (Fisheye View) 영상차이측정에의하여차이가생기는경우움직임검출신호를발생하도록구성되는산업용 및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0034] 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를비교하여움직임영역을검출하여움직임검출신호를발생하도록구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0035] 상기영상차이측정에의한움직임검출신호발생은직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를다수의분할영역이미지단위로각각비교하고, 비교결과각분할영역이미지중변화된픽셀수를계수하고계수치가일정이상이면해당분할영역을움직임검출신호로발생하도록구성되는산업용및건설용중장비접근감시및작동제어시스템을기술구성의특징으로한다. [0036] 상기접근감시제어유닛의제어부는상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는지판단하는단계와 ; 상기박스표시된움직임검출영역이상기위험지역라인에접 - 10 -
촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하고, 중장비작동정지신호를출력 하여작동정지제어유닛으로송신하는단계 ; 를포함하여수행하는산업용및건설용중장비접근감시및작동제 어시스템을기술구성의특징으로한다. [0037] 상기경보표시부는경고음, 경광등, LED 표시장치에서선택되는산업용및건설용중장비접근감시및작동제어 시스템을기술구성의특징으로한다. [0038] 이하에서는본발명이속하는기술분야에서통상의지식을가진자가용이하게실시할수있도록본발명의도 면을통하여상세히설명한다. 그러나본발명은여러가지상이한형태로구현될수있으며, 여기에서설명하 는도면에한정되지않는다. [0039] [ 도 1] 을참조하면, 본발명의산업용및건설용중장비접근감시및작동제어시스템은중장비상부에탑재된 360도전방위카메라에의해중장비주변 360도전방위를촬영하여생성된 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을출력하는 360도전방위카메라유닛 (10) 과 ; 상기 360도전방위카메라유닛에의해촬영된피쉬아이뷰 (Fisheye View) 영상에상기중장비주변으로미리설정된간격으로구분된접근거리별안전지역라인, 경고지역라인및위험지역라인이표시되어운전자가지속적인감시모니터링할수있도록접근감시영역화면을출력하고, 상기접근감시영역화면에인체또는물체의접근상황을화면출력하는운전실디스플레이유닛 (20) 과 ; 상기운전실디스플레이유닛의접근감시영역화면에인체또는물체의접근시인체또는물체의접근여부를판단하고접근거리를산출하여상기경고지역라인접근시경보신호를출력하고, 상기위험지역라인접근시경보신호및중장비작동정지신호를출력하는접근감시제어유닛 (30) 과 ; 상기접근감시제어유닛으로부터중장비작동정지신호를입력받아중장비작동정지신호를중장비전자제어유닛 (ECU ; Electronic Control Unit) 또는유압제어유닛에송신하여중장비작동을정지하도록하는작동정지제어유닛 (40); 을포함하여구성된다. [0040] 여기서, 본발명에서사용되는 " 신호 " 의용어에는 " 전기적신호및전기적통신 " 의개념이포함된용어이다. [0041] 상기 360도전방위카메라유닛 (10) 은중장비상부에탑재된 360도전방위카메라에의해중장비주변 360도전방위를촬영하여생성된 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을출력하는데, 본발명에서상기 360도전방위카메라가촬영한 360도환형영상인피쉬아이뷰 (Fisheye View) 영상을사용하는이유는종래한국등록특허 10-1123738호에공지된전후좌우 4대의카메라에의한분할영상을통합합성한어라운드뷰영상방식에서어라운드뷰영상을합성할필요가없기때문에처리시간이빠르고구조가간단하기때문이다. [0042] 또한, [ 도 2] 를참조하면, 종래광각이미지촬상부에서출력되는광각영상과변환된파노라마영상의일예를나타낸다. 광각영상은 360도환형이미지이고, 파노라마영상은 360도환형이미지가펼쳐진직사각형이미지이다. 이러한파노라마영상시스템은전방향카메라로부터입력되는원형형태의 360도영상을사용자가보기쉬운영상인직선형태의파노라마영상으로변환하는과정을필요로한다. [0043] 즉, [ 도 2] 의상부그림과같은원형형태의 360도영상은하부그림과같은파노라마영상으로변환된다. 이경우원형영상을파노라마영상으로변환하기위해서는많은좌표변환이필요하게되며, 이좌표변환은높은정밀도를요구하기때문에영상변환처리에는긴처리시간이걸리게된다. 게다가입력영상의굴곡으로인해파노라마영상생성시픽셀이존재하지않는부분에대한보상과정이필요하므로저해상도로인해감시성능저하를초래한다. [0044] 따라서, 상기문제점을해결하고자본발명에서는 360 도전방향카메라로부터의입력영상을파노라마영상으 로변환할필요없이 360 도환형영상인피쉬아이뷰 (Fisheye View) 영상자체를바로사용함으로써보다빠른 - 11 -
시간내에효율적인감시성능을제공하는것이특징이며, 중장비운전자는이러한영상으로인해중장비주변 상황을한눈에확인할수있게된다. [0045] 상기 360 도전방위카메라유닛은중장비주변을 360 도환형영상인피쉬아이뷰 (Fisheye View) 영상으로촬영 할수있는것이면어느것을사용하더라도무방하나그대표적인카메라구성은다음과같다. [0046] 먼저, [ 도 3] 에나타난바와같이, 360도전방향으로부터입사된영상을굴절시키는어안렌즈 (100) 와 ; 상기어안렌즈로부터굴절된영상을굴절및투과시키는릴레이렌즈 (200) 와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 (300); 를포함하여구성되는 360도전방위카메라유닛을사용하는것이바람직하며, 상기 360도전방위카메라유닛을사용하여촬영한 360도환형영상인피쉬아이뷰 (Fisheye View) 영상의일실시예는 [ 도 4] 에도시한바와같다. [0047] 또한, [ 도 5] 에나타난바와같이, 360도전방향으로부터입사된영상을굴절시키는굴절부 (113), 상기굴절된영상을상기굴절부중앙부쪽으로반사할수있도록상기굴절부와대향한내측면에형성되는제1반사부 (123), 상기제1반사부를통해반사된영상을릴레이렌즈유닛으로반사시킬수있도록상기굴절부중앙부내면에형성되는제2반사부 (124) 및상기제2반사부에서반사된영상을투과시키는투과부 (125) 를포함하여구성되는카타디옵트릭 (Catadioptric) 렌즈 (400) 와 ; 상기카타디옵트릭 (Catadioptric) 렌즈로부터굴절, 반사및투과된영상을굴절및투과시키는릴레이렌즈 (500) 와 ; 상기릴레리렌즈로부터입사된영상을결상하는 CCD 이미지센서 (600); 를포함하여구성되는 360도전방위카메라유닛을사용할수도있으며, 상기 360도전방위카메라유닛을사용하여촬영한 360도환형영상인피쉬아이뷰 (Fisheye View) 영상의또다른실시예는 [ 도 6] 에도시한바와같다. [0048] 또한, [ 도 7] 은실제로상기 360 도전방위카메라유닛으로중장비주변을 360 도환형영상인피쉬아이뷰 (Fisheye View) 영상으로촬영한것을나타내는사진이다. [0049] 아울러, 상기 360 도전방위카메라유닛은적외선카메라를채택하여야간안전작업이가능하도록구성하는것 도가능하다. [0050] 한편, 상기접근감시제어유닛 (30) 은일실시예로서, 인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서영상인식알고리즘또는패턴인식알고리즘을통하여인체또는물체의접근검출신호를발생하는접근검출부와 ; 상기접근검출부에서발생된접근검출신호에따른접근검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된접근검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는것이바람직하며, 상기영상인식알고리즘또는패턴인식알고리즘을통하여인체또는물체의접근검출신호를발생하는기술구성과접근검출신호에따른접근검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는기술구성은영상인식및추적기술분야에널리알려진당업자에게자명한기술이므로상세한설명은생략한다. [0051] 또한, 상기접근감시제어유닛 (30) 은또다른실시예로서, 인체또는물체의접근시상기접근감시영역화면의피쉬아이뷰 (Fisheye View) 영상자체에서인체또는물체의접근움직임검출신호를발생하는움직임검출부와 ; 상기움직임검출부에서발생된움직임검출신호에따른움직임검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는영상처리부와 ; 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중장비작동정지신호를출력하는제어부 ; 를포함하여구성되는것도가능하다. - 12 -
[0052] 이때, 상기움직임검출부는직전촬영된상기피쉬아이뷰 (Fisheye View) 영상과현재촬영된상기피쉬아이뷰 (Fisheye View) 영상차이측정에의하여차이가생기는경우움직임검출신호를발생하도록구성되는데, 상기영상차이측정에의한움직임검출신호발생은일실시예로서, 직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를비교하여움직임영역을검출하여움직임검출신호를발생하도록구성되는것이바람직하며, 또다른실시예로서, 직전촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지와현재촬영된상기피쉬아이뷰 (Fisheye View) 영상이미지를다수의분할영역이미지단위로각각비교하고, 비교결과각분할영역이미지중변화된픽셀수를계수하고계수치가일정이상이면해당분할영역을움직임검출신호로발생하도록구성될수도있다. [0053] 여기서, 상기접근검출신호에따른접근검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하거나, 상기움직임검출부에서발생된움직임검출신호에따른움직임검출영역을별도로박스표시하여상기피쉬아이뷰 (Fisheye View) 영상에추적표시하는것은 [ 도 8] 에도시한바와같은방법으로적용될수있다. [0054] 한편, 상기접근감시제어유닛의제어부에서상기박스표시된접근검출영역또는움직임검출영역이상기경고지 역라인에접촉되거나포함되면경보신호를출력하고, 상기위험지역라인에접촉되거나포함되면경보신호및중 장비작동정지신호를출력하는과정을 [ 도 9] 및 [ 도 10] 을참조하여설명하면다음과같다. [0055] [ 도 9] 는본발명의접근거리별안전지역라인, 경고지역라인및위험지역라인설정개념도이고, [ 도 10] 은본 발명의접근거리별경보발생및중장비작동정지흐름도이다. [0056] 상기접근감시제어유닛의제어부는상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는지판단하고, 상기박스표시된움직임검출영역이상기경고지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하며 (S001~S004 및 S007), 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는지판단하고, 상기박스표시된움직임검출영역이상기위험지역라인에접촉되거나포함되는것으로판단되면경보신호를생성하여경보표시부로출력하고, 중장비작동정지신호를출력하여작동정지제어유닛으로송신하며 (S005~S007 및 S008), 중장비작동정지신호를수신한작동정지제어유닛은중장비작동정지신호를중장비전자제어유닛 (ECU ; Electronic Control Unit) 또는유압제어유닛에송신하여중장비작동을정지한다 (S009). [0057] 여기서, 상기경보표시부는경고음, 경광등, LED 표시장치에서선택될수있으며, 상기경보신호는상기경고지 역라인또는상기위험지역라인에따라달리출력하도록구성될수도있다. [0058] 이상의설명은본발명의기술사상을예시적으로설명한것에불과한것으로서, 본발명이속하는기술분야에서통상의지식을가진자라면본발명의본질적인특성에서벗어나지않는범위에서다양한수정및변형이가능할것이다. 따라서, 본발명에개시된도면들은본발명의기술사상을한정하기위한것이아니라설명하기위한것이고, 이러한도면에의하여본발명의기술사상의범위가한정되는것은아니다. 본발명의보호범위는아래의청구범위에의하여해석되어야하며, 그와동등한범위내에있는모든기술사상은본발명의권리범위에포함되는것으로해석되어야할것이다. [0059] 부호의설명 10 : 360 도전방위카메라유닛 20 : 운전실디스플레이유닛 - 13 -
30 : 접근감시제어유닛 40 : 작동정지제어유닛 도면 도면 1 도면 2-14 -
도면 3 도면 4-15 -
도면 5 도면 6-16 -
도면 7 도면 8-17 -
도면 9-18 -
도면 10 심사관직권보정사항 직권보정 1 보정항목 청구범위 보정세부항목 청구항 2,3 변경전 상기릴레리렌즈 변경후 상기릴레이렌즈 - 19 -