(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (45) 공고일자 2017년07월03일 (11) 등록번호 10-1749131 (24) 등록일자 2017년06월14일 (51) 국제특허분류 (Int. Cl.) G06Q 50/10 (2012.01) H04N 5/225 (2006.01) H04N 5/232 (2006.01) H04N 7/18 (2006.01) (52) CPC 특허분류 G06Q 50/10 (2015.01) H04N 5/2257 (2013.01) (21) 출원번호 10-2016-0072427 (22) 출원일자 2016 년 06 월 10 일 심사청구일자 (56) 선행기술조사문헌 KR101385798 B1 ( 뒷면에계속 ) 2016 년 06 월 10 일 (73) 특허권자 경성대학교산학협력단 부산광역시남구수영로 309 ( 대연동, 경성대학교 ) (72) 발명자 박장식 부산광역시해운대구센텀중앙로 145, 112 동 280 4 호 ( 재송동, 더샵센텀파크 1 차아파트 ) 윤병우 부산광역시연제구거제천로 233, 108 동 2205 호 ( 거제동, 월드메르디앙 ) 송종관 부산광역시해운대구세실로 19, 108 동 2402 호 ( 좌동, 해운대대우 1 차아파트 ) (74) 대리인 김홍길전체청구항수 : 총 7 항심사관 : 유진태 (54) 발명의명칭영상기반분실및실종객체검출시스템 (57) 요약 본발명은영상기반분실및실종객체검출시스템에관한것으로, 보다구체적으로는백화점, 공항, 여객선터미널, 버스터미널, 지하철역, 기차역, 놀이동산등과같은공공장소등에서물건을분실한경우이들공공장소에설치된 CCTV 등과같은영상촬영장치를통하여저장된영상정보로부터분실물을용이하게찾을수있도록 ( 뒷면에계속 ) 대표도 - 도 1-1 -
하는영상기반분실및실종객체검출시스템에관한것이다. 본발명에서제안하는사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템은, 상기사용자가소지하는휴대단말기에의하여촬영된상기소정객체의제 1 영상정보와, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 2 영상정보를전송받아저장하는통합관리서버와, n 개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 3 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n 개의지역센터서버를구비하며, 상기사용자가상기휴대단말기를통하여상기 n 개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실하였다는분실정보를상기통합관리서버로제공하면, 상기통합관리서버는상기 n 개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 2 영상정보를전송하고, 상기요청정보를전송받은상기분실지역센터서버는상기요청정보전송전까지저장해놓은상기제 3 영상정보에상기제 1 영상정보또는상기제 2 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로한다. 본발명에따른영상기반분실및실종객체검출시스템을사용하는경우분실신고자가자신이소지하고있는 휴대단말기로분실물영상정보 ( 예컨대사진이미지 ) 를통합관리서버로전송하면통합관리서버에서는분실된위 치의 CCTV 를관장하는지역센터서버로해당분실물의영상정보를전송하고지역센터서버에서는 CCTV 에서촬영되 어저장된영상정보중에해당분실물이존재하는지여부를객체인식프로그램을사용하여검출하고그결과 를통합관리서버로전송하면통합관리서버에서는분실물신고자에게해당결과를전송하여확인할수있으므로 신속하게분실물을추적할수있다는이점이있다. (52) CPC 특허분류 H04N 5/232 (2013.01) H04N 7/181 (2013.01) (56) 선행기술조사문헌 KR1020100136643 A KR1020130012165 A JP2006338535 A KR1020060033463 A KR1020040084185 A - 2 -
명세서청구범위청구항 1 사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템으로서, 상기사용자가소지하는휴대단말기에의하여촬영된상기소정객체의제 1 영상정보와, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 2 영상정보를전송받아저장하는통합관리서버와, n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 3 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가상기휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실하였다는분실정보를상기통합관리서버로제공하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 2 영상정보를전송하고, 상기요청정보를전송받은상기분실지역관리서버는상기요청정보전송전까지저장해놓은상기제 3 영상정보에상기제 1 영상정보또는상기제 2 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 2 제 1 항에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역관리서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 3 영상정보에상기제 1 영상정보또는상기제 2 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 3 제 1 항또는제 2 항에있어서, 상기통합관리서버는상기탐색결과정보를상기휴대단말기로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 4 사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템으로서, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 1 영상정보를전송받아저장하는통합관리서버와, n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 2 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실한경우분실정보와함께상기사용자가휴대단말기로인터넷망을통하여검색한상기소정객체로동일한제품의제 3 영상정보를상기통합관리서버로제공하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 3 영상정보를전송하고, 상기요청정보를전송받은상기분실지역관리서버는상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 3 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송 - 3 -
하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 5 제 4 항에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역관리서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 3 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 6 사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템으로서, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 1 영상정보를전송받아저장하는통합관리서버와, n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 2 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실하였다는분실정보를상기통합관리서버로제공하면, 상기통합관리서버는인터넷망을통하여상기소정객체에대응하는제 3 영상정보를수집하여휴대단말기로전송하고, 상기사용자가상기제 3 영상정보중에서자신이분실한상기소정객체와동일하다고판단한영상정보 ( 이하, 제 4 영상정보 ) 를선택한후상기통합관리서버로전송하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 4 영상정보를전송하고, 상기요청정보를전송받은상기분실지역관리서버는상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 4 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 청구항 7 제 6 항에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역관리서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 4 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로하는영상기반분실및실종객체검출시스템. 발명의설명 [0001] 기술분야본발명은영상기반분실및실종객체검출시스템에관한것으로, 보다구체적으로는백화점, 공항, 여객선터미널, 버스터미널, 지하철역, 기차역, 놀이동산등과같은공공장소등에서물건을분실한경우이들공공장소에설치된 CCTV 등과같은영상촬영장치를통하여저장된영상정보로부터분실물을용이하게찾을수있도록하는영상기반분실및실종객체검출시스템에관한것이다. [0002] [0003] 배경기술알려진바와같이, 국내에서만연간수백만건의분실물이발생하고있는실정이나회수율은극히낮은실정이다. 이는습득자 ( 분실물을취득한사람 ) 들이분실물을습득하였다고하더라도분실자가누구인지를모르는경우가많아돌려주기가힘들뿐아니라, 습득물 ( 습득한분실물 ) 을처리하기도곤란하여분실물을발견하더라도모른척하는경우가많기때문이다. 또한, 분실자는경찰서나정부기관의분실물센터에분실물을신고하는것이외에 - 4 -
달리할수있는조치가없다. 따라서분실물의회수율은습득자가분실자를얼마나쉽게찾아서돌려줄수있 느냐에따라좌우될수있다. [0005] [ 참고 : 신문보도자료 ] [0006] 표 1 경찰청은 2015년 12월 9일부터습득물발생즉시민간유실물관리자도경찰의유실물포털 (www.lost112.go.kr) 에직접관련정보를입력토록개선하였다고밝혔다. 그동안유실물법상쇼핑몰 놀이동산등시설관리자도습득물을인계받도록규정함에따라시설자체유실물관리시스템에정보를입력한후통상 7 일이내경찰에넘겨주기때문에분실물관련정보가경찰시스템에입력되는시간이지체되어국민들이분실이후바로확인하기어려운불편을겪어왔다 이러한문제점을해결하기위해전국 57 개업체 1,477 개매장관리자가경찰시스템에직접입력토록개선함에따라분실물발생즉시정보를확인할수있어국민들이유실물회수하는시간을대폭단축하게한것이다. 그간경찰로신고되는습득물정보는유실물종합관리시스템에바로입력되어국민입장에서누리망을통한유실물자료확인이쉽고간편하였으나백화점, 공항, 버스, 지하철, 놀이동산등전국에약 5,000 여개로추정되는기관에서습득물을신고받은경우에는자체적으로유실물정보를관리하는경우가많아물건을잃어버린사람은일일이해당기관에확인을해야하고심지어어디에서물건을잃어버렸는지잘모르는경우도많아유실물을찾기위한국민불편이꾸준히제기되었다. 유실물포털시스템구축을통해장소에상관없이누구든지분실즉시경찰 LOST112 에서확인가능하므로더쉽고빠르게대국민서비스를제공할수있으며그간자체시스템이없던습득물접수기관도경찰시스템에입력할수있도록함으로써유실물관련정보의통합관리가가능할것으로기대한다. 경찰청은앞으로대한민국국민은분실즉시경찰사이트를통해관련정보를확인할수있도록전국의모든습득물을접수하는기관이참여할수있게유실물포털시스템을확대하여나갈계획이다. [0008] [0009] [0010] [0011] [0013] [0015] [0016] 이처럼, 지금까지분실물의신고및회수는대개관공서를통해이루어지고있으나, 최근에는인터넷을이용하여분실물을회수하는추세로바뀌고있는실정이다. 종래분실물을회수하기위한방법의하나로대한민국특허출원공개제10-2000-059252호에는통신망을통한분실물및습득물정보관리방법이안출된바있으나, 이는습득물정보데이터베이스, 분실물관련정보데이터베이스, 습득물관리서버, 분실물관리서버, 웹서버, 고객인터페이스및상기웹서버와고객인터페이스를연결하는통신망에의해분실물정보를습득자에게알려주는단순한검색기능만제공할뿐이다. 이와같은종래의방법에따르면, 시스템완비에과다한비용이소요될뿐아니라, 분실자와습득자가모두해당웹서버에접속하지않는이상분실물의검색이불가능하기때문에, 분실물의실질적인반환을기대하기는어려운한계가있다. 따라서이러한종래의한계를극복하고, 경제적으로분실물의실질적인반환이가능한분실물찾기서비스의개발이시급한실정이며, 이때문에아래와같이다양한기술들이특허출원된바있다. 1. 특허출원번호가제10-2003-0019068호이고발명의명칭이 " 인터넷지도서비스를이용한분실물위치추적시스템 " 인발명에서는 GPS 기능이내장된휴대폰과 GPS 위치추적서비스를제공하는통신회사, 휴대폰과연결된소형무선위치송출장치, 통신회사와연결되어 GPS 위치추적서비스를제공하는 web mapping site로구성되며, 분실위험이있는추적물에부착된무선송출기의신호를수신하는 GPS 기능이내장된휴대폰과통신회사의 GPS 위치추적시스템을이용하여인터넷상지도서비스 (web mapping service) 를통해인터넷상의지도로분실물의위치를휴대폰가입자가손쉽게분실물의위치를파악할수있는분실물위치추적시스템을개시하고있다. 2. 특허출원번호가제10-2004-0082591호이고발명의명칭이 " 무선통신망을기반으로하는분실물 / 실종자위치추적시스템 " 인발명에서는다음과같은기술을개시하고있다. 무선통신망에개설된전산유니트의일부에, 해당전산유니트에접속중인단말 ( 위치추적요청단말 ) 측으로부터전송되는위치추적요청이벤트에따라, 임의의단말 ( 위치추적응답단말 ) 측으로, < 분실물 / 실종자의위치를확인하기위한일련의위치추적실행 > 을요청하고, 추후, 이를수신한특정단말 ( 특정위치추적응답단말 ) 측으로부터그요청에대응되는위치추적데이터가전송되는경우, 해당위치추적데이터에맞추어, < 분실물 / 실종자의현재위치와관련된일련의위치추적응답정보 > 를생성한후, 생성완료된위치추적응답정보를단말 ( 위치추적요청단말 ) 측에비주얼한이미지맵형태로실시간자동보고할수있는모듈환경을체계적으로연동구축함과아울러, 무선통신망에접속중인임의의단말 ( 위치추적응답단말 ) 측의일부에, 앞의위치추적실행요청에 - 5 -
따라, < 분실물또는실종자의소지품일부에부착된태그 > 와교신하여, 해당태그에저장된정보를체크한후, 그체크결과에따라, 일련의위치추적데이터 ( 예컨대, 자가단말의위치정보, 자가단말의식별부호등 ) 를선택적으로대응전송할수있는모듈환경등을체계적으로연동구축하고, 이를통해, 분실자 ( 또는, 실종자관계인 ) 가별도의복잡한절차없이도, 분실물 / 실종자의정확한현재위치 ( 또는, 분실물 / 실종자주변에최근접한다른사용자의전화번호 ) 를최소한의시간내에실시간인지할수있도록가이드함으로써, 해당분실자 ( 또는실종자관계인 ) 가이동통신단말기를통화이외의용도, 예컨대, 분실물 / 실종자의추적용도로도폭넓게활용할수있도록유도하는데있다. 선행기술문헌 [0017] 특허문헌 ( 특허문헌 0001) 1. 특허출원번호제 10-2003-0019068 호, 발명의명칭 : " 인터넷지도서비스를이용한분실물 위치추적시스템 " ( 특허문헌 0002) 2. 특허출원번호제 10-2004-0082591 호, 발명의명칭 :" 무선통신망을기반으로하는분실물 / 실 종자위치추적시스템 " 발명의내용 [0018] 해결하려는과제본발명은기존의분실물추적방법과달리분실물정보를각지역의 CCTV를관리하는지역센터서버로전송하고지역센터서버에서는분실물영상정보와 CCTV에의하여촬영된영상상호비교한후동일내지유사한물품이검출되는경우이를분실물신고자의휴대단말기로통보할수있도록함으로써빠른시간내에분실물을찾을수있도록한영상기반분실및실종객체검출시스템을제공하는것을목적으로한다. [0019] [0020] [0021] [0022] [0023] [0024] [0025] 과제의해결수단본발명에서제안하는사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템은, 상기사용자가소지하는휴대단말기에의하여촬영된상기소정객체의제 1 영상정보와, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 2 영상정보를전송받아저장하는통합관리서버와, n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 3 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가상기휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실하였다는분실정보를상기통합관리서버로제공하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 2 영상정보를전송하고, 상기요청정보를전송받은상기분실지역센터서버는상기요청정보전송전까지저장해놓은상기제 3 영상정보에상기제 1 영상정보또는상기제 2 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로한다. 본발명에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역센터서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 3 영상정보에상기제 1 영상정보또는상기제 2 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송할수있다. 또한, 상기통합관리서버는상기탐색결과정보를상기휴대단말기로전송할수있다. 본발명의다른일예인사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템은, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 1 영상정보를전송받아저 - 6 -
장하는통합관리서버와, [0026] [0027] [0028] [0029] [0030] [0031] [0032] [0033] n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 2 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가상기휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실한경우분실정보와함께상기사용자가상기휴대단말기로인터넷망을통하여검색한상기소정객체로동일한제품의제 3 영상정보를상기통합관리서버로제공하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 3 영상정보를전송하고, 상기요청정보를전송받은상기분실지역센터서버는상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 3 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로한다. 본발명의다른일예에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역센터서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 3 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로한다. 본발명의또다른일예인사용자소유의소정객체가분실된경우분실된상기객체를탐색하여검출하기위한영상기반분실및실종객체검출시스템은, 상기소정객체를생산또는판매하는사업자가제공하는상기소정객체에대한제 1 영상정보를전송받아저장하는통합관리서버와, n개의소정지역마다설치되어있는적어도하나이상의영상촬영장치로부터전송되는제 2 영상정보를저장하며상기통합관리서버와통신네트워크를통하여연동되어있는 n개의지역센터서버를구비하며, 상기사용자가상기휴대단말기를통하여상기 n개의소정지역중어느하나의지역 ( 이하, 분실지역 ) 에서상기소정객체를분실하였다는분실정보를상기통합관리서버로제공하면, 상기통합관리서버는인터넷망을통하여상기소정객체에대응하는제 3 영상정보를수집하여상기휴대단말기로전송하고, 상기사용자가상기제 3 영상정보중에서자신이분실한상기소정객체와동일하다고판단한영상정보 ( 이하, 제 4 영상정보 ) 를선택한후상기통합관리서버로전송하면, 상기통합관리서버는상기 n개의지역센터서버중상기분실지역을관리하는지역센터서버 ( 이하, 분실지역관리서버 ) 로상기소정객체에대한탐색을요청하는요청정보와함께상기제 1 영상정보와상기제 4 영상정보를전송하고, 상기요청정보를전송받은상기분실지역센터서버는상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 4 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송하는것을특징으로한다. 본발명의또다른일예에있어서, 상기분실정보에분실시간에대한정보가포함되어있는경우, 상기분실지역센터서버는상기분실시간부터상기요청정보전송전까지저장해놓은상기제 2 영상정보에상기제 1 영상정보또는상기제 4 영상정보가포함되어있는지여부를탐색한후그탐색결과정보를상기통합관리서버로전송할수있다. [0034] 발명의효과본발명에따른영상기반분실및실종객체검출시스템을사용하는경우분실신고자가자신이소지하고있는휴대단말기로분실물영상정보 ( 예컨대사진이미지 ) 를통합관리서버로전송하면통합관리서버에서는분실된위치의 CCTV를관장하는지역센터서버로해당분실물의영상정보를전송하고지역센터서버에서는 CCTV에서촬영되어저장된영상정보중에해당분실물이존재하는지여부를객체인식프로그램을사용하여검출하고그결과를통합관리서버로전송하면통합관리서버에서는분실물신고자에게해당결과를전송하여확인할수있으므로신속하게분실물을추적할수있다는이점이있다. [0035] 도면의간단한설명 도 1 은본발명에따른영상기반분실및실종객체검출시스템을설명하기위한도면이다. 발명을실시하기위한구체적인내용 - 7 -
[0036] [0037] [0038] [0039] [0040] [0041] 이하, 도면을참조하여본발명에서제안하는영상기반분실및실종객체검출시스템에대하여설명하기로한다. 도 1은본발명에따른영상기반분실및실종객체검출시스템을설명하기위한도면이다. [ 영상기반분실및실종객체검출시스템의주요구성 ] 도 1에도시된바와같이, 본발명의영상기반분실및실종객체검출시스템은기본적으로서로독립된 2개의서버를구비한다. 설명의편의상, 2개의서버중하나는통합관리서버라부르고, 나머지하나는지역센터서버라부르기로한다. 통합관리서버는본발명에서제안하는분실객체시스템의메인서버로소정의앱이설치되어있는휴대단말기 ( 예를들어, 스마트폰 ) 와연동되어있는서버이다. 지역센터서버는백화점, 공항, 여객선터미널, 버스터미널, 지하철역, 기차역, 놀이동산등과같은특정관할지역을 CCTV로관리하고촬영된영상정보를독립적으로저장관리할수있는서버로서, 상기통합관리서버와연동되어있는서버를말한다. 따라서, 본발명의지역센터서버는적어도하나이상이될것이다. [0042] [0043] [0044] [0045] [0046] [0048] [0049] [0050] [0051] [0052] [ 사용자의정의및사용자휴대단말기와통합관리서버와의관계 ] [ 정의 ] 먼저, 본발명에서언급되는 " 사용자 " 란가방, 카메라, 모자등과같은소정의유체동산 ( 객체 ) 를점유하거나소지하거나소유하는사람을의미한다. 다음, 본발명에서는위와같은유체동산이사용자의부주의등으로분실된경우 " 분실객체 " 라고칭하기로한다. [ 휴대단말기와통합관리서버와의관계 ] 사용자는자신이점유등을하고있는다양한종류의유체동산 ( 객체 ) 각각을휴대단말기로다양한각도에서촬영한후그촬영영상들을무선네트워크망을통하여통합관리서버로전송한다. 통합관리서버에서는사용자의회원계정에사용자가전송한다양한종류의유체동산각각을품목별로분류하여저장한다. 한편, 전술한유체동산을생산판매하는사업자가자신의휴대단말기로자신이생산판매하는유체동산을다양한각도에서촬영하고그영상을통합관리서버에저장할수있다. 따라서 A라는특정물품에대하여통합관리서버에는해당물품의사용자가다양한각도에서촬영하여등록한영상 A11, A12, A13 등이저장될수있고, 해당물품을생산판매하는사업자가다양한각도에서촬영하여등록한영상 A21, A22, A23 등이저장되어있을수있다. [0053] [0054] [0055] [0056] [0057] [0058] [ 분실객체에대한검출과정 ] 사용자가점유등을하고있는물품인소정의유체동산이특정장소예컨대 X라는공항에서분실된경우를가정하고설명하기로한다. 사용자는자신이점유하고있던소정물품이 X 공항에서분실되었다는것을깨달은경우, 휴대단말기에설치된소정앱 ( 분실객체검출앱 ) 을활성화시켜통합관제서버로분실된장소와분실물신고를한다. 이때, 사용자는본인이추측하는분실시간을함께신고할수도있을것이다. 신고한분실물 ( 분실객체 ) 이예를들어 A 라고하면, 통합관제서버에는사용자가등록하여저장시켜놓은영상 (A11, A12, A13,..) 과사업자가등록하여저장시켜놓은영상 (A21, A22, A23,..) 을 X 공항을관할하는 X 지역센터서버로전송한다. 참고로, 통합관리서버에서지역센터서버로전송할때, 촬영된영상을직접전송할수도있지만, 네트워크의부하를감소시키기위하여통합관리서버에서는각영상 (A11, A12, A13,.., A21, A22, A23,..) 의일정한특징점 (HoG, LBP, Haar-like 등의영상처리특징점 + 상하의색상 + 키 + 모자착용등의생체특징과외형특징 ) 만을 - 8 -
전송할수도있다. [0059] [0060] [0061] [0062] [0063] [0064] [0065] [0067] [0069] [0070] [0072] [0073] [0074] [0076] [0077] 다음, X 공항에는다수의영상촬영장치 (CCTV 등 ) 가설치되어있고, X 지역센터서버는이들다수의영상촬영장치로부터촬영된영상정보를수집하여저장하고있을것이다. 본발며에따른 X 지역센터서버에는소정의 K라는비교영상 (K 영상 )) 이제공되면수집하여저장하고있는다수의영상정보와비교하여 K 영상과동일유사한영상정보를검출하는프로그램이설치되어있다. 이러한프로그램은영상이미지매칭프로그램에관한것으로이러한프로그램은다양한기술들이제안되고있음을영상인식기술분야에종사하는이들에게는공지의사실이고본발명의핵심적인사항은아니므로본명세서에서는구체적인설명은생략하기로한다. 이와같은영상이미지매칭프로그램이설치되어있는 X 지역센터서버로통합관제서버가위에서설명한소정의영상 (A11, A12, A13,.., A21, A22, A23,..) 전송하면서해당영상과동일유사한영상유무에관한정보를요청하면, 분실시간부터소정시간 ( 소정단위시간으로설정할수도있으나, 디폴트인경우요청시간 ) 까지 CCTV 를통하여저장된영상정보와분실객체에관한영상 (A11, A12, A13,.., A21, A22, A23,..) 을프레임별로개별적으로비교하여동일유사한특징을갖는지여부를탐색하는과정을수행한다. 탐색결과는 X 지역센터서버에서통합관제서버로전송된다. 여기서, 탐색결과정보는소정의영상정보를포함한다. 즉, 영상 (A11, A12, A13,.., A21, A22, A23,..) 중적어도어느하나와동일유사하다고판단된영상정보를의미한다. 통합관제서버에서는그탐색결과정보인영상정보를분실신고를한사용자의휴대단말기로전송할수있다. 따라서, 사용자는통합관제서버에서전송된탐색결과정보를검색한후자신이분실한물건과일치하는지여부를확인한후분실물을포함하는영상정보를선택한후통합관제서버로전송할수있다. 이경우통합관제서버에서 X 지역센터서버로그분실정보를전송하면 X 지연센터에서는자체조사내지경찰서등에신고하고그결과를통합관제서버로통지할수있을것이다. 한편, 위의경우는신고한분실물 ( 분실객체 ) 이예를들어 A 라고하면, 통합관제서버에는사용자가등록하여저장시켜놓은영상 (A11, A12, A13,..) 과사업자가등록하여저장시켜놓은영상 (A21, A22, A23,..) 을 X 공항을관할하는 X 지역센터서버로전송하는경우를설명하였으나, 사용자가자신의물건을사전에등록하지않은경우가있을것이다. 이러한경우에사용자의신고가접수되면통합과ㅈ제서버에서는사업자가등록하여저장시켜놓은영상 (A21, A22, A23,..) 만을 X 공항을관할하는 X 지역센터서버로전송할수있으며, 그이후의프로세스는전술한바와동일하다. 한편, 또다른실시예로사용자가휴대단말기를통하여소정지역 ( 분실지역 ) 에서자신이소지하였던소정의물건 ( 소정의객체 ) 를분실하였다는분실정보 ( 분실정보에는분실물에관한정보가포함됨 ) 를통합관리서버로제공하면, 통합관리서버는인터넷망을통하여소정객체에대응하는영상정보를수집하여휴대단말기로전송하고, 사용자가이들영상정보중에서자신이분실한소정객체와동일하다고판단한영상정보가있는경우이를선택한후통합관리서버로전송할수도있다. 이경우, 통합관리서버는사용자가신고한분실지역을관리하는지역센터서버로상기소정객체에대한탐색을요청하는요청정보와함께사용자가선택한영상정보를전송할수도있으며이후의프로세스는전술한바와같다. 한편, 본발명에서는사용자가소지한소정의물건을분실객체로설명하였으나, 본발명의분실객체에는이러한유체동산이외에도사람도포함할수도있다. 예컨대, 특정지역에서어린이또는치매환자을잃어버린경우이들을찾기위하여이들의영상정보를통합관제서버로전송하여실종자를찾을수도있을것이다. 예를들어, 놀이공원에서놀고있는있는어린이를부모가놀이공원현장에서휴대단말기등으로촬영을해두었는데어린이가실종된경우, 해당통합관리서버에실종신고를하면자동으로지역센터서버로실종상황이전달되고, 지역센터서버에서는어린이와유사한특징을가진어린이를실시간또는저장된영상에서검색하는것이가능할것이다. 이하에서는본발명의구체적인실시방법의예들에대하여설명하기로한다본발명의통합관리서버는통합관리서버에저장된객체 ( 분실물, 실종자 ( 미아, 치매환자등 )) 의영상 ( 사진또는 - 9 -
동영상 ) 을활용하여객체를자동으로검출할수있도록학습하고, 학습의결과물을원격지에있는지역센터서버 로전송한후지역센터서버에연결된카메라로부터입력받은소정의영상으로부터찾고자하는객체를자동으 로검출할수있도록한다. [0078] [0079] [0080] [0081] [0082] [0083] [0084] [0086] [0087] [0088] [0089] [0090] [0091] [0092] [0093] [0094] [0095] [0096] [0097] 한편, 본발명에서는사용자가통합관리서버에저장시킨특정객체의영상을활용하여객체검출및인식을위한기계학습시작명령을스마트폰등과같은휴대단말기를이용하여원격지에서제어할수있도록한다. 이를구체적으로설명하면다음과같다. 본발명에서는사용자가등록한객체관련사진이나정지영상또는동영상중에서특정객체를선택하여학습을할수있도록하였다. 또한, 통합관리서버의객체검출및인식을위한학습결과물의형식, 예컨대특정 XML 형식으로저장된영상분석특징파일은원격지의지역센터서버에서검출및인식하는데사용하는영상분석특징파일과같은형식을갖추어상호호환될수있도록하였다. 지역센터서버는사용자의제어에의하여전송받은영상분석특징파일을자동으로로드하여객체검출및인식을수행할수있도록할수있다. 이렇게하는이유는특정객체에대한검출및인식을위한기계학습은데이터량과정확한검출을위하여상당한학습시간과전용병렬처리프로세서등을활용하여야하기때문에검출및인식과학습시스템을분리하는것이효과적이기때문이다. 통합관리서버에서학습한결과물인소정객체의영상분석특징파일또는형식은지역센터서버에구축되는영상분석시스템에서실시간으로영상분석하는영상분석특징파일또는형식과일치화시켜표준화되도록하는것이바람직하다. 이하에서는사용자, 통합관리서버, 지역센터서버에구축되는영상분석시스템의각기능에대하여설명하기로한다. [ 사용자 ] 특정객체 ( 사람, 애완동물, 물건등 ) 에대한사진또는동영상을영상수집및분석시스템에등록한다. 사진또는동영상을등록할때, 특정태그등을이용하여객체의이름을부여할수있으며, 통합관리서버에구축되어있는영상수집및분석시스템의기능으로각각다른폴더또는디렉토리로분류저장할수있다. 통합관리서버의영상수집및분석시스템에저장된등록한사진또는동영상과검출및인식이허용된다른사람이등록한사진또는동영상을이용하여특정객체검출및인식을위하여지역센터서버에구축되어있는영상분석시스템의영상분석특징파일을만들기위한학습의시작을제어 ( 요청 ) 한다. 한편, 사용자는자신이사용할수있는컴퓨터또는휴대단말기등을활용하여지역센터서버에구축되어있는영상분석시스템의영상분석특징파일을직접제작하여통합관리서버에등록한다음, 지역센터서버의영상분석시스템으로전송하여객체검출및인식서비스를요청할수도있다. [ 통합관리서버 ] 통합관리서버는사용자들이등록하는사진과동영상을특정태그또는객체별폴더또는디렉토리로나누어관리하고, 특정객체에대하여검출및인식을위한기계학습요청에따라서객체에대한학습을자동으로수행한다. 지역센터서버의영상분석시스템의영상분석특징파일또는형식에맞도록결과물을산출한후지역센터서버의영상분석시스템으로전송한다. 통합관리서버의사용자들간에객체검출및인식을위하여사진또는동영상을상호교환할수있는기능을갖춘다.( 사용자들간의합의에의하여활용을허용함 ) 통합관리서버에등록된사진또는동영상으로특정객체검출및인식을위한학습뿐만아니라, 사용자의컴퓨터휴대단말기등을활용하여학습한영상분석특징파일또는형식을저장할수있으며, 이를지역센터서버로전송이가능하다. [ 지역센터서버의영상분석시스템 ] - 10 -
[0098] [0099] [0100] [0101] [0103] [0104] [0105] [0106] [0107] [0108] [0109] [0110] [0112] [0113] [0114] [0115] [0116] [0117] 영상분석특징파일또는형식을전송받아사용자의요청에따라서입력되는카메라영상에대하여영상분석특징파일또는형식에따라서특정객체검출및인식기능을수행한다. CCTV 등을통하여실시간으로입력되는카메라영상에대한특정객체검출및인식기능을수행한다. 녹화된영상에대하여특정객체검출및인식기능을수행한다. 특정객체검출또는인식이되면통합관리서버로특정객체검출결과를시간, 장소등의정보와함께전송한다. 다음, 태깅된사람또는사물 ( 객체 ) 에대한자동학습과학습데이터전송에대하여설명하기로한다. 자동학습및학습데이터전송과정은다음과같다. 1) 서비스사용자가태깅한사람또는사물을등록함 2) 서비스사용자가태깅한사람실종또는사물의분실신고를함 3) 통합관리서버에구축된영상수집및분석시스템에서실종또는분실신고대상에대하여기계학습을수행함 4) 기계학습한결과데이터를지역센터서버로전송하여실종자또는분실물을실시간또는녹화된영상에서분석검색함 5) 실시간또는녹화된영상에서검출된사람과사물정보를통합관리서버로전송 6) 통합관리서버에서서비스사용자에게전송함위와같은프로세스로이루어지는본발명의구체적인일예는다음과같을수있다. 1) 서비스사용자가등록한사람또는사물에대하여 CNN(convolutonal Neural Network) 로학습을 Caffe CNN 학습도구를활용하는경우, 여러장의얼굴을포함한영상으로학습하여 caffemodel 파일이생성된다. 즉 caffemodel 파일은특정사람에대하여학습한결과파일로써이를이용한 CNN 알고리즘으로특정사람을구분할수있도록한다. 2) 통합관리서버에서는저장된사용자의영상 ( 특정사람, 사물 ) 을 Caffe CNN 알고리즘으로학습하여, caffemode 파일을생성한다. 3) 통합관리서버는학습된결과인 caffemodel 파일을지역센터서버로전송하한다. 4) 지역센터서버에서는 caffemodel 파일을받은후, CCTV 등을통하여입력되는영상에대한실시간분석은물론지역센터서버에저장된영상에서실종자또는분실물검색작업을수행한다. 상술한본발명에따른영상기반분실및실종객체검출시스템을사용하는경우분실신고자가자신이소지하고있는휴대단말기로분실물영상정보 ( 예컨대사진이미지 ) 를통합관리서버로전송하면통합관리서버에서는분실된위치의 CCTV를관장하는지역센터서버로해당분실물의영상정보를전송하고지역센터서버에서는 CCTV에서촬영되어저장된영상정보중에해당분실물이존재하는지여부를객체인식프로그램을사용하여검출하고그결과를통합관리서버로전송하면통합관리서버에서는분실물신고자에게해당결과를전송하여확인할수있으므로신속하게분실물을추적할수있다는이점이있다. - 11 -
도면 도면 1 심사관직권보정사항 직권보정 1 보정항목 청구범위 보정세부항목 청구항 4, 6 변경전 상기휴대단말기 변경후 휴대단말기 직권보정 2 보정항목 청구범위 보정세부항목 청구항 1-2, 4-7 변경전 상기분실지역센터서버 변경후 상기분실지역관리서버 - 12 -