(19) 대한민국특허청 (KR) (12) 공개특허공보 (A) (11) 공개번호 10-2017-0001872 (43) 공개일자 2017년01월05일 (51) 국제특허분류 (Int. Cl.) G08B 13/196 (2006.01) G08B 3/10 (2006.01) G08B 5/36 (2006.01) (52) CPC 특허분류 G08B 13/19608 (2013.01) G08B 13/19602 (2013.01) (21) 출원번호 10-2015-0091217 (22) 출원일자 2015 년 06 월 26 일 심사청구일자 전체청구항수 : 총 7 항 2015 년 06 월 26 일 (71) 출원인 서울과학기술대학교산학협력단 서울특별시노원구공릉로 232 ( 공릉동, 서울과학기술대학교 ) 주식회사에보시스 서울특별시강남구선릉로 704, 1225 호 ( 청담동, 청담빌딩 12 층 ) (72) 발명자 박구만 서울시강남구학동로청담래미안아파트 405, 10 2 동 101 호 장지웅 서울특별시서초구신반포로 33 길 66 101 동 906 호 ( 잠원동, 청구아파트 ) ( 뒷면에계속 ) (74) 대리인 고광석 (54) 발명의명칭전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치및방법 (57) 요약 본발명에서는종래의 CCTV 감시시스템의경우에, 고정반경의지역감시만을수행하므로다수의카메라를설치해야하고, 감시지역의환경에따라사각지역이발생되는문제점과, CCTV 카메라들간의연동과동작스케줄에대한연산량이증가하여카메라가객체를추적하는동작이지연되는문제점과, 현장에서발생한상황알람정보 ( 뒷면에계속 ) 대표도 - 도 1-1 -
에따라각각에맞는자동경고방송을송출시키는기능이없어, 범죄행위를사전에예방시킬수없는문제점을 개선하고자, 스마트전방위카메라장치 (100), 데이터통신인터페이스부 (200), 스마트영상 통계분석서버 (300) 로 구성됨으로서, 하나의장소에복수개의 CCTV 가설치되는것을대신하여하나의카메라로객체를 360 도의도넛형 전방위이미지로생성시켜실시간감시할수있고, 원격지의스마트영상 통계분석서버를통해이상행동을하는 특정객체를실시간으로끊김없이연속적으로탐지, 추적할수있으며, 특정객체의이동궤적패턴을실시간누적시 켜이미지컬러맵과통계그래프중어느하나를선택하여통계분석보고서를장소별, 시간대별로표출시킬수있 고, 현장에서발생한특정객체의이벤트상황에따라자동경고방송을송출시키도록제어할수있으며, 기존시 스템에추가적으로프로그램만연동시킬수있어, 호환성이우수하고, 이웃하는또다른스마트통계분석장치와 유비쿼터스센서네트워크망 (USN) 으로연결되어, 실시간으로특정객체의위치를추적시킬수있어, 기존에비해지 능형영상분석기술기반의전방위보안효과를 80% 향상시킬수있는전방위카메라영상에서의이동궤적패턴분 석을이용한스마트통계분석장치및방법을제공하는데그목적이있다. (52) CPC 특허분류 G08B 13/1963 (2013.01) G08B 13/19654 (2013.01) G08B 13/19665 (2013.01) G08B 3/10 (2013.01) G08B 5/36 (2013.01) (72) 발명자 김영애 경기도수원시영통구센트럴파크로 60 광교래미안 6305 동 2803 호 정지상 인천광역시부평구일신로 39 번길 6-9 B 동 403 호 ( 일신동, 서광팰리스 ) 박종화 경기도용인시수지구이현로 91 상현그린힐 103 동 502 호 왕기석 인천광역시부평구부흥북로 95 번길 10-7 402 호 김경만 경기도안양시만안구연현로 79 번길 57, 304 동 402 호 ( 석수동, 석수엘지빌리지 ) 이발명을지원한국가연구개발사업 과제고유번호 C0214217 부처명 중소기업청 연구관리전문기관 ( 사 ) 한국산학연협회 연구사업명 첫걸음기술개발사업 연구과제명 스마트통계시스템구축을위한전방위카메라영상분석기반의히트맵 (heat map) 기술 개발 기여율 1/1 주관기관 서울과학기술대학교 연구기간 2014.08.01 ~ 2015.07.31-2 -
명세서청구범위청구항 1 식별ID가설정되어, 특정장소에위치되면서하나의카메라로특정객체를 360도전방위촬영시킨후, 촬영한도넛형전방위이미지를데이터통신인터페이스부를통해원격지의스마트영상 통계분석서버쪽으로송신시키고, 이에따른응답신호를수신받아특정객체의이벤트상황에따른경고방송을송출시키는스마트전방위카메라장치 (100) 와, 스마트전방위카메라장치와스마트영상 통계분석서버사이를유무선통신라인으로연결시켜, 양방향데이터통신망을형성시키는데이터통신인터페이스부 (200) 와, 데이터통신인터페이스부와연결되어, 스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신받아영상변환시켜특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키는스마트영상 통계분석서버 (300) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 2 제1항에있어서, 상기스마트전방위카메라장치 (100) 는길이방향의돔구조로형성되어, 각기기를외압으로부터보호하고지지하는본체 (110) 와, 본체의헤드부상에위치되어, 도넛형전방위이미지로생성시키는전방위카메라모듈 (120) 과, 본체의후단부일측에위치되어, 스마트영상 통계분석서버의제어신호에따라구동되면서, 특정객체의이벤트상황에따른경고방송을송출시키는스피커부 (130) 와, 본체의내부공간일측에위치되고, 데이터통신인터페이스부와연결되어, 전방위카메라모듈에서촬영한도넛형전방위이미지를송신시키는도넛형전방위이미지송신부 (140) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 3 제2항에있어서, 상기전방위카메라모듈 (120) 은 360도의시야범위로부터들어오는빛을파라볼릭반사판으로유입시키는렌즈부 (121) 와, 렌즈부에서유입된빛을 CCD 센서부로반사시키는파라볼릭 (parabolic) 반사판 (122) 과, 파라볼릭반사판에서반사된빛을포커스시켜도넛형파노라마이미지를생성시키는 CCD센서부 (123) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 4 제1항에있어서, 상기스마트영상 통계분석서버 (300) 는데이터통신인터페이스부와연결되어, 스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신받는도넛형전방위이미지수신부 (310) 와, 도넛형전방위이미지수신부에서수신받은도넛형전방위이미지를파노라마언롤링 (panorama unrolling) 시켜직 - 3 -
사각형의파노라마이미지로변환시키는직사각형파노라마이미지변환부 (320) 와, 직사각형파노라마이미지변환부의왜곡된이미지를보정하고, 화질을개선시키는이미지왜곡보정부 (330) 와, 이미지왜곡보정부를통해영상보정된이미지상에서특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키도록제어하는스마트제어부 (340) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 5 제4항에있어서, 상기직사각형파노라마이미지변환부 (320) 는도넛형전방위이미지를좌표변환식을사용하여 4채널로이루어진직사각형의파노라마이미지로변환시키는 4 채널이미지변환부 (321) 와, 도넛형전방위이미지데이터를 4개의영역으로나눈후, 그중하나의영역은좌표변환식을이용하여좌표를연산시키고, 나머지 3개의영역은대칭특성을이용하여동시에 3개의좌표값을연산시켜룩업테이블생성부에미리저장시키는좌표연산부 (322) 와, 도넛형전방위이미지데이터와직사각형의파노라마이미지사이의좌표값을미리연산하여룩업테이블화시켜저장시킨후, 현재입력된도넛형전방위이미지데이터값에맞는룩업테이블값을불러오는룩업테이블생성부 (323) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 6 제4항에있어서, 상기스마트제어부 (340) 는 HOG(Histogram of Gradient) 특징을이용하여영상내의객체를탐지하는 HOG형객체탐지부 (341) 와, HOG형객체탐지부에서탐지한객체중객체의배경을제거한후, 객체탐지의결과인이상행동, 사람, 차량에관한특정객체의반복적인이동궤적정보를분석하는객체이동궤적분석부 (342) 와, HOG형객체탐지부에서탐지한탐지의결과인 ROI(Region of Interest) 와, 객체이동궤적분석부의특정객체이동궤적정보로이루어진하이브리드방식으로커널기반 (Kernel Based) 객체를추적시키는스마트객체추적제어부 (343) 와, 스마트객체추적제어부 (153) 를통해추적한특정객체이동궤적정보를실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키도록제어하는통계분석제어부 (344) 와, 스마트객체추적제어부에서추적시킨특정객체의이벤트상황에따른맞춤형경고방송신호를현장의스마트전방위카메라장치쪽으로송출시키도록제어하는경고방송송출제어부 (345) 로구성되는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 청구항 7 스마트전방위카메라장치를통해하나의카메라로특정객체를 360도전방위촬영시키는단계 (S100) 와, 스마트전방위카메라장치에서촬영한도넛형전방위이미지를데이터통신인터페이스부를통해원격지의스마트영상 통계분석서버쪽으로송신시키는단계 (S200) 와, 스마트영상 통계분석서버에서스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신받아영상변환시켜특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키는단계 (S300) 와, 스마트영상 통계분석서버에서특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체 - 4 -
의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키는단계 (S400) 와, 스마트영상 통계분석서버의경고방송송출제어부에서특정객체의이벤트상황에따른맞춤형경고방송신호를현장의스마트전방위카메라장치쪽으로송출시키는단계 (S500) 와, 스마트전방위카메라장치에서스마트영상 통계분석서버의경고방송송출제어부로부터경고방송신호를수신받아특정객체의이벤트상황에따른경고방송을송출시키는단계 (S600) 로이루어지는것을특징으로하는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치. 발명의설명 [0001] 기술분야본발명에서는하나의장소에복수개의 CCTV가설치되는것을대신하여하나의카메라로객체를 360도의도넛형전방위이미지로생성시켜실시간감시할수있고, 원격지의스마트영상 통계분석서버를통해이상행동을하는특정객체를실시간으로끊김없이연속적으로탐지, 추적할수있으며, 특정객체의이동궤적패턴을실시간누적시켜이미지컬러맵과통계그래프중어느하나를선택하여통계분석보고서를장소별, 시간대별로표출시킬수있는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치및방법에관한것이다. [0002] [0003] [0004] [0005] [0006] [0007] [0008] [0009] [0010] 배경기술최근강력범죄의잦은발생으로사회적불안감이증가됨에따라개인이나공공안전에대한관심이증가되고있다. 이러한이유로범죄의사전예방과사후분석및신속한해결을위한영상감시시스템의개발및활용에대한중요성이증대되고있다. 영상감시시스템에서화질개선, 영상전송및저장기술은과거시스템에비해많이발전되었다. 또한, 인터넷과연결되는네트워크카메라를개발하여원격으로영상감시를수행할수있게되었다. 이러한시스템은주변기술과접목하여응용범위가광범위하게넓어지고있으며, 가격이비교적저렴해짐에따라효율적인영상감시시스템의폭넓은보급이가능해졌다. CCTV(Closed Circuit Television) 은광역카메라를이용하여공공장소나우범지역, 출입통제구역과같이보안을요구하는장소에설치하고, 화면영상을감시인력이직접모니터링하거나저장장치에녹화후사후영상분석을통해대처하는방식의감시를수행하게된다. 하지만, 종래의 CCTV 감시시스템은고정반경의지역감시만을수행하므로광범위한지역감시를위해서는다수의카메라를설치해야하며, 감시지역의환경에따라사각지역이발생되는문제점이있었다. 또한복수개의 CCTV 카메라가설치되더라도, CCTV 카메라들간의연동과동작스케줄에대한연산량이증가하여카메라가객체를추적하는동작이지연되는문제점이있었다. 그리고, 기존의 CCTV 카메라의경우에현장에서발생한상황알람정보에따라각각에맞는자동경고방송을송출시키는기능이없어, 범죄행위를사전에예방시킬수없는문제점이있었다. 선행기술문헌 [0011] 특허문헌 ( 특허문헌 0001) 국내등록특허공보제 10-1360246 호 발명의내용 - 5 -
[0012] 해결하려는과제상기의문제점을해결하고자, 본발명에서는하나의장소에복수개의 CCTV가설치되는것을대신하여하나의카메라로객체를 360도의도넛형전방위이미지로생성시켜실시간감시할수있고, 원격지의스마트영상 통계분석서버를통해이상행동을하는특정객체를실시간으로끊김없이연속적으로탐지, 추적할수있으며, 특정객체의이동궤적패턴을실시간누적시켜이미지컬러맵과통계그래프중어느하나를선택하여통계분석보고서를장소별, 시간대별로표출시킬수있는전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치및방법을제공하는데그목적이있다. [0013] [0014] [0015] [0016] 과제의해결수단상기의목적을달성하기위해본발명에따른전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치는식별ID가설정되어, 특정장소에위치되면서하나의카메라로특정객체를 360도전방위촬영시킨후, 촬영한도넛형전방위이미지를데이터통신인터페이스부를통해원격지의스마트영상 통계분석서버쪽으로송신시키고, 이에따른응답신호를수신받아특정객체의이벤트상황에따른경고방송을송출시키는스마트전방위카메라장치 (100) 와, 스마트전방위카메라장치와스마트영상 통계분석서버사이를유무선통신라인으로연결시켜, 양방향데이터통신망을형성시키는데이터통신인터페이스부 (200) 와, 데이터통신인터페이스부와연결되어, 스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신받아영상변환시켜특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키는스마트영상 통계분석서버 (300) 로구성됨으로서달성된다. [0017] [0018] [0019] [0020] [0021] [0022] 발명의효과이상에서설명한바와같이, 본발명에서는첫째, 하나의장소에복수개의 CCTV가설치되는것을대신하여하나의카메라로객체를 360도의도넛형전방위이미지로생성시켜실시간감시할수있어, 감시영역범위를기존에비해 70% 향상시킬수있고, 설치비용또한기존에비해 80% 감소시킬수있다. 둘째, 이미지왜곡보정부를통해직사각형파노라마이미지변환부의왜곡된이미지를보정하고, 화질을개선시킬수있어, 양질의이미지를제공할수있다. 셋째, 특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로이상객체의위치를추적시키고, 현장에서발생한특정객체의이벤트상황에따라자동경고방송을송출시키도록제어할수있어, 기존에비해범죄사고율을 70% 감소시킬수있다. 넷째, 기존시스템에추가적으로프로그램만연동시킬수있어, 호환성이우수하다. 다섯째, 특정객체의이동궤적패턴을실시간누적시켜이미지컬러맵과통계그래프중어느하나를선택하여통계분석보고서를장소별, 시간대별로표출시킬수있어, 기존에비해지능형영상분석기술기반의전방위보안효과를 80% 향상시킬수있다. [0023] 도면의간단한설명 도 1 은본발명에따른전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치 (1) 의구성 요소를도시한구성도, 도 2 는본발명에따른스마트전방위카메라장치의구성요소를도시한블럭도, - 6 -
도 3은본발명에따른렌즈부, 파라볼릭 (parabolic) 반사판로이루어진전방위카메라모듈의외형모습을도시한사시도, 도 4는본발명에따른전방위카메라모듈의구성요소를도시한블럭도, 도 5는본발명에따른스마트영상 통계분석서버의구성요소를도시한블럭도, 도 6은본발명에따른직사각형파노라마이미지변환부의구성요소를도시한블럭도, 도 7은본발명에따른 4채널이미지변환부의구성을도시한구성도, 도 8은본발명에따른 4채널이미지변환부를통해도넛형전방위이미지를좌표변환식을사용하여 4채널로이루어진직사각형의파노라마이미지로변환시키는것을도시한일실시예도, 도 9는본발명에따른 9-point 보간알고리즘엔진부에서좌표연산부를통해연산된총 9개의화소값들중에서가장가까운위치에있는화소값을매핑시키는것을도시한일실시예도, 도 10은본발명에따른스마트제어부의구성요소를도시한블럭도, 도 11은본발명에따른 HOG형객체탐지부를통해국소영역에대한밝기의분포방향을히스토그램으로표현하여특징벡터로사용하여형성시키는것을도시한일실시예도, 도 12는본발명에따른객체이동궤적분석부가가우시안혼합모델 (Gaussian Mixture Model) 을사용하여실시간입력영상에서객체를검출하여모폴로지연산을사용하여잡음을제거한전경영상을기준으로고유 ID가부여된영상결과화면을도시한일실시예도, 도 13은본발명에따른객체이동궤적분석부를이동궤적이누적되는것을도시한일실시예도, 도 14의 (a) 는본발명에따른객체이동궤적분석부를통해각각의픽셀의누적치를통해산출된이진영상에서의히트맵 (10분단위로산출한 ) 결과를도시한일실시예도, 도 14의 (b) 는본발명에따른객체이동궤적분석부를통해사용자에게보여주기위하여배경이미지에입혀서표현한히트맵결과를도시한일실시예도, 도 15는본발명에따른객체이동궤적분석부를통해사용자에게보여주기위하여분할영상의배경이미지에입혀서표현한영상분석시작으로부터 30분후의히트맵결과를도시한일실시예도, 도 16은본발명에따른객체이동궤적분석부를통해영상분석시작을기준으로 10분단위로산출한그래프결과값을도시한일실시예도, 도 17은본발명에따른통계분석제어부의구성요소를도시한블럭도, 도 18은본발명에따른이동궤적누적형성부의구성요소를도시한블럭도, 도 19는본발명에따른이동궤적누적형성부를통해특정객체의이동궤적을누적시키는일실시예도, 도 20은본발명에따른이동궤적누적형성부의제1 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도, 도 21은본발명에따른이동궤적누적형성부의제2 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도, 도 22는본발명에따른이동궤적누적형성부의제3 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도, 도 23은본발명에따른이동궤적누적형성부의제3 누적형성모드를통해실제로픽셀단위로어떠한방법으로누적되는지를보여주는일실시예도, 도 24는본발명에따른 JET 스펙트럼컬러분포부 (344a-4) 를통해 JET 스펙트럼에서각 RGB 채널이할당되어구성된것을도시한일실시예도, 도 25는본발명에따른이미지컬러맵형표출부 (344b) 를통해이미지상에컬러맵을표출시키는것을도시한일실시예도, 도 26은본발명에따른통계그래프형표출부를통해특정객체이동궤적정보를실시간누적시켜 RGB 통계그래프 - 7 -
로형성된제 2 통계분석보고서를도시한일실시예도, 도 27 은본발명에따른전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석방법을도시한 순서도. [0024] [0025] 발명을실시하기위한구체적인내용이하, 본발명에따른바람직한실시예를도면을첨부하여설명한다. 도 1은본발명에따른전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석장치 (1) 의구성요소를도시한구성도에관한것으로, 이는스마트전방위카메라장치 (100), 데이터통신인터페이스부 (200), 스마트영상 통계분석서버 (300) 로구성된다. [0026] [0027] [0028] 먼저, 본발명에따른스마트전방위카메라장치 (100) 에관해설명한다. 상기스마트전방위카메라장치 (100) 는식별ID가설정되어, 특정장소에위치되면서하나의카메라로특정객체를 360도전방위촬영시킨후, 촬영한도넛형전방위이미지를데이터통신인터페이스부를통해원격지의스마트영상 통계분석서버쪽으로송신시키고, 이에따른응답신호를수신받아특정객체의이벤트상황에따른경고방송을송출시키는역할을한다. 이는도 2에도시한바와같이, 본체 (110), 전방위카메라모듈 (120), 스피커부 (130), 도넛형전방위이미지송신부 (140) 로구성된다. [0029] [0030] 첫째, 본발명에따른본체 (110) 에관해설명한다. 상기본체 (110) 는길이방향의돔구조로형성되어, 각기기를외압으로부터보호하고지지하는역할을한다. [0031] [0032] [0033] 둘째, 본발명에따른전방위카메라모듈 (120) 에관해설명한다. 상기전방위카메라모듈 (120) 은본체의헤드부상에위치되어, 도넛형전방위이미지로생성시키는역할을한다. 이는도 3 및도 4에도시한바와같이, 렌즈부 (121), 파라볼릭 (parabolic) 반사판 (122), CCD센서부 (123) 로구성된다. [0034] [0035] [0036] 상기렌즈부 (121) 는 360도의시야범위로부터들어오는빛을파라볼릭반사판으로유입시키는역할을한다. 이는도 3에도시한바와같이, 길이방향의돔구조로형성된몸체의내부공간일측에광각촬영이가능한 1개의비구면단일광학렌즈로구성된다. 상기렌즈부 (121) 는면의라이우스와코팅지그를고려하여코팅설계를하도록구성된다. [0037] [0038] [0039] [0040] 상기파라볼릭 (parabolic) 반사판 (122) 은렌즈부에서유입된빛을 CCD 센서부로반사시키는역할을한다. 이는표면상에 AR코팅이형성된다. 여기서, AR코팅은빛의포화현상을막기위해적외선영역대를제거해주어, 렌즈의투과율을높여주는역할을한다. 이는빛의간섭성을이용하여파장보다작은두께의방막을장착하여원하는파장영역에서투과특성을향상시킨다. [0041] 상기 CCD 센서부 (123) 는파라볼릭반사판에서반사된빛을포커스시켜도넛형파노라마이미지를생성시키는역 할을한다. - 8 -
[0042] [0043] 이는빛을전기적신호로바꿔주는소자로서, 수광부에서발생된전하가일렬로연결된 MOS 캐패시터를거쳐순 차적으로이동하여소스팔로워에서전압으로변화되기때문에고전압전원을사용한다. 그리고, 수광부에별도의칩이포함되어구성된다. [0044] [0045] [0046] [0047] [0048] 본발명에따른 CCD센서부는과도한광량의입사로백화현상이나스미어 (Smear) 가심하게발생할수있다. 이를방지하기위해 650nm~1500nm 부근의적외선을차단하는필터를사용하게된다. 적외선차단필터로서, IR 컷필터 (Cut Filter) 와 IR 흡수필터 (Absorption Filter) 가구성된다. 상기 IR 컷필터는광학코팅방식으로이루어져입사각도에따라파장시프트 (Shift) 가발생시켜적외선을차단시키는역할을한다. 상기 IR 흡수필터 (Absorption Filter) 는적외선파장을흡수시키는역할을한다. [0049] [0050] [0051] 셋째, 본발명에따른스피커부 (130) 에관해설명한다. 상기스피커부 (130) 는스마트영상 통계분석서버의제어신호에따라구동되면서, 특정객체의이벤트상황에따른경고방송을송출시키는역할을한다. 이는특정객체의이벤트상황이, 도난및절도에관한이벤트일경우에, " 도둑이야 ~" 는음성멘트와함께, 경고음을주위에송출시키는제1 이벤트모드와, 특정객체이이벤트상황이, 외부인침입에관한이벤트일경우에, " 외부인이침입하였습니다 ~" 는음성멘트와함께, 경고음을주위에송출시키는제2 이벤트모드와, 특정객체의이벤트상황이, 성범죄에관한이벤트일경우에, " 치한이야 ~ 살려주세요 ~" 라는음성멘트와함께, 경고음을주위에송출시키는제3 이벤트모드중어느하나가선택되어송출된다. [0052] [0053] 넷째, 본발명에따른도넛형전방위이미지송신부 (140) 에관해설명한다. 상기도넛형전방위이미지송신부 (140) 는본체의내부공간일측에위치되고, 데이터통신인터페이스부와연결되 어, 전방위카메라모듈에서촬영한도넛형전방위이미지를송신시키는역할을한다. [0054] [0055] [0056] 다음으로, 본발명에따른데이터통신인터페이스부 (200) 에관해설명한다. 상기데이터통신인터페이스부 (200) 는스마트전방위카메라장치와스마트영상 통계분석서버사이를유무선통신라인으로연결시켜, 양방향데이터통신망을형성시키는역할을한다. 이는 WiFi통신인터페이스, RS 485 통신인터페이스, RS 232 통신인터페이스중어느하나가선택되어구성된다. [0057] [0058] [0059] 다음으로, 본발명에따른스마트영상 통계분석서버 (300) 에관해설명한다. 상기스마트영상 통계분석서버 (300) 는데이터통신인터페이스부와연결되어, 스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신받아영상변환시켜특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키는역할을한다. 이는도 5에도시한바와같이, 도넛형전방위이미지수신부 (310), 직사각형파노라마이미지변환부 (320), 이미지왜곡보정부 (330), 스마트제어부 (340) 로구성된다. [0060] [0061] 첫째, 본발명에따른도넛형전방위이미지수신부 (310) 에관해설명한다. 상기도넛형전방위이미지수신부 (310) 는데이터통신인터페이스부와연결되어, 스마트전방위카메라장치로부터 전송된도넛형전방위이미지를수신받는역할을한다. - 9 -
[0062] [0063] [0064] 둘째, 본발명에따른직사각형파노라마이미지변환부 (320) 에관해설명한다. 상기직사각형파노라마이미지변환부 (320) 는도넛형전방위이미지수신부에서수신받은도넛형전방위이미지를파노라마언롤링 (panorama unrolling) 시켜직사각형의파노라마이미지로변환시키는역할을한다. 이는도 6에도시한바와같이, 4채널이미지변환부 (321), 좌표연산부 (322), 룩업테이블생성부 (323) 로구성된다. [0065] [4 채널이미지변환부 (321)] [0066] [0067] [0068] [0069] [0070] 상기 4채널이미지변환부 (321) 는도넛형전방위이미지데이터를좌표변환식을사용하여 4채널로이루어진직사각형의파노라마이미지로변환시키는역할을한다. 이는도넛형전방위이미지의각픽셀들의동선 (concentric circle line) 을추적하여도넛형전방위이미지와직사각형의파노라마이미지사이의좌표매핑관계를형성시킨다. 즉, 도 7은본발명에따른 4채널이미지변환부의구성을도시한구성도에관한것으로, 여기서, R은내부원의반지름을나타내고, 2R은외부원의반지름을갖는도넛형전방위이미지를나타낸다. 그리고, 내부반지름 R과외부반지름 2R 사이의영역이실제이미지정보가있는부분을나타낸다. 도 8에서도시한바와같이, 도넛형전방위이미지는좌표변환식을사용하여 4채널로이루어진직사각형의파노라마이미지로변환시킨다. [0071] [0072] 도넛형전방위이미지와직사각형파노라마이미지사이의매핑관계는극좌표계에서직각좌표계로의변환관 계가존재한다. 두이미지사이의좌표변환관계는파라미터 (r i, θ i ) 와 (U i, V i ) 로나타낼수있고, 다음의수학식 1 과수학식 2 로나타낼수있다. 수학식 1 [0073] 수학식 2 [0074] [0075] 상기수학식 1 과수학식 2 를사용하여두이미지의좌표 (X i,y i ) 와 (U i,v i ) 사이의변환관계를수학식 3 과수학 식 4 로나타낼수있다. - 10 -
수학식 3 [0076] [0077] 수학식 4 [0078] [0079] [0080] [ 좌표연산부 (322)] [0081] [0082] [0083] [0084] [0085] [0086] [0087] [0088] 상기좌표연산부 (322) 는도넛형전방위이미지데이터를 4개의영역으로나눈후, 그중하나의영역은좌표변환식을이용하여좌표를연산시키고, 나머지 3개의영역은대칭특성을이용하여동시에 3개의좌표값을연산시켜룩업테이블생성부에미리저장시키는역할을한다. 이는도넛형전방위이미지의중심좌표값을결정하고, 도넛형전방위이미지를 4개의대칭영역으로나누고, 그에대응되는직사각형의파노라마이미지를 4개의영역으로나눈후, 4개의영역중하나의영역을계산영역으로결정하여좌표값을연산시키도록구성된다. 이는수학식 3과수학식 4를사용하여좌표값을구하게되면계산량이많아지고하드웨어복잡도또한매우커지게된다. 이때, 본발명에서는다음과같은과정을거쳐하드웨어복잡도를줄이고, 계산량을줄이면서, 실시간구현시킨다. 첫번째, 도넛형전방위이미지의중심좌표값을결정하고, 직사각형파노라마이미지의사이즈를결정한다. 두번째, 도넛형전방위이미지를 4개의대칭영역으로나누고, 그에대응하는직사각형의파노라마이미지를 4개의영역으로나눈다. 세번째, 4개의영역중하나의영역을계산영역으로결정하여수학식 3과수학식 4를이용하여좌표값을연산시킨다. 여기서, 연산된좌표값을다시사용하여나머지 3개의영역을대칭좌표법에의해연산시키고, 수학식 5와같이표현할수가있다. - 11 -
수학식 5 [0089] [0090] [0091] [0092] 본발명에따른좌표연산부를통해나머지세영역의좌표값을동시에연산시킬수있고계산식이매우간단하 기때문에좌표변환시, 빠르게변환가능하고, 룩업테이블 (look-up table) 에사용되는메모리의사이즈또한줄 일수가있다. [0093] [ 룩업테이블생성부 (323)] [0094] [0095] [0096] [0097] 상기룩업테이블생성부 (323) 는도넛형전방위이미지데이터와직사각형의파노라마이미지사이의좌표값을미리연산하여룩업테이블화시켜저장시킨후, 현재입력된도넛형전방위이미지데이터값에맞는룩업테이블값을불러오는역할을한다. 이는수학식 3과수학식 4에서 X에관련된값을저장하는 LUT_X와 Y에관련된값을저장하는 LUT_Y를생성시킨다. 상기룩업테이블생성부 (322) 는직사각형파노라마이미지를사용하고좌표변환시발생하는소수점값을저장하기위해 12bits, 24bits, 48bit 중어느하나로선택되어구성된다. 그리고, 도넛형전방위이미지의대칭특성을이용하여직사각형파노라마이미지사이즈의 1/4 만을저장하도록구성된다. [0098] [0099] [0100] [0101] [0102] [0103] [0104] 셋째, 본발명에따른이미지왜곡보정부 (330) 에관해설명한다. 상기이미지왜곡보정부 (330) 는직사각형파노라마이미지변환부의왜곡된이미지를보정하고, 화질을개선시키는역할을한다. 이는 9개의화소값을기준으로, 9개의화소값들중에서가장가까운위치에있는화소값으로매핑시키는 9- point 보간알고리즘엔진부가포함되어구성된다. 즉, 모든보간된화소값들은인접한실제화소값들의평균으로연산시킬수있다. 일예로, 보간된화소값 (i, j+0.5) 는실제화소값 (i,j) 와 (i,j+1) 의평균값으로나타낼수있다. 화소값 (i+0.5,j+0.5) 는실제화소값 (i,j),(i+1,j), (i,j+1), (i+1,j+1) 의평균값으로나타낼수있다. 보간된화소값은다음의수학식 6과같이표현된다. - 12 -
수학식 6 [0105] [0106] [0107] [0108] [0109] [0110] [0111] [0112] [0113] 본발명에따른좌표연산부 (220) 를통해연산된좌표값들은총 9개의화소값들중에서가장가까운위치에있는화소값을매핑된다. 도 9에서빨간색삼각형은가장가까운위치에있는 (i+0.5,j) 의값으로매핑된다. 본발명에따른 9-point 보간알고리즘엔진부는오직 2개의화소값또는 4개의화소값의평균값으로나타낼수있다. 이처럼, 9-point 보간알고리즘엔진부는변환된직사각형의파노라마이미지의심각한화질저하없이계산복잡도를줄일수있고, 실시간저비용하드웨어를구현함에있어서매우용이한특성을가진다. [0114] [0115] [0116] 넷째, 본발명에따른스마트제어부 (340) 에관해설명한다. 상기스마트제어부 (340) 는이미지왜곡보정부를통해영상보정된이미지상에서특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시키도록제어하는역할을한다. 이는도 10에도시한바와같이, HOG형객체탐지부 (341), 객체이동궤적분석부 (342), 스마트객체추적제어부 (343), 통계분석제어부 (344), 경고방송송출제어부 (345) 로구성된다. [0117] [HOG 형객체탐지부 (341)] [0118] [0119] [0120] [0121] 상기 HOG형객체탐지부 (341) 는 HOG(Histogram of Gradient) 특징을이용하여영상내의객체를탐지하는역할을한다. 이는도 11에도시한바와같이, 국소영역에대한밝기의분포방향을히스토그램으로표현하여특징벡터로사용하는것으로, 물체의모양을표현하는데적합한특성을가진다. HOG(Histogram of Gradient) 특징을구하기위해서는먼저기울기크기값과방향성값을연산할필요가있다. 각화소의밝기값을 f(i,j) 라고하면기울기크기 m(i,j) 및방향 θ(i,j) 은다음의수학식 7과같이표현된다. - 13 -
수학식 7 [0122] [0123] [0124] [0125] [0126] [0127] [0128] [0129] [0130] [0131] 기울기크기및방향성정보를알고있으면이를이용하여 8 8 화소영역으로이루어진셀 (cell) 영역의밝기변화에대한방향성히스토그램을연산할수있다. m(i,j) 를연산하기위해소벨 (Sobel) 연산자를사용하고, θ(i,j) 은기울기크기의방향성만을고려하면 0 ~180 를 20 간격으로나누어하나의셀당 9개의방향성히스토그램빈 (Bin) 을갖도록구성된다. 그리고각히스토그램빈에기울기크기값을누적하여분포도를연산시킨다. 또한한개의블록 (block) 은 3 3개의셀을포함하고있으며, 각블록은정규화하도록구성된다. 하나의셀에 9개의방향성히스토그램빈이존재하고하나의블록에는 9개의셀이존재하므로, 한블록의히스토그램빈의수는 81개이다. 그리고, 각블록에대한특징값은스캔방향에대하여한셀씩이동 (Sliding) 하면서연산된다. 각블록에대해특징 p는다음의수학식 8을이용하여정규화된다. 수학식 8 [0132] [0133] 여기서, k 는블록내의특징갯수이고, ε 은분모가 0 이되었을때계산불능을방지하기위한값으로 1 로설정 한다. [0134] [ 객체이동궤적분석부 (342)] [0135] [0136] [0137] 상기객체이동궤적분석부 (342) 는 HOG형객체탐지부에서탐지한객체중객체의배경을제거한후, 객체탐지의결과인이상행동, 사람, 차량에관한특정객체의반복적인이동궤적정보를분석하는역할을한다. 상기객체중이상행동, 사람, 차량에관한특정객체는영상안에서화면에서새로나타나기도하고사라지기도하며수많은위치이동이발생한다. 이에본발명에따른객체이동궤적분석부에서는이상행동, 사람, 차량에관한특정객체에대해라벨링을통해고유 ID를객체별로할당해야하며, 각객체를추적해야한다. - 14 -
[0138] [0139] [0140] 고유의 ID를보유한특정객체들은영상에서사라지거나추적에실패할경우고유 ID를잃게된다. 이때, 본발명에따른객체이동궤적분석부에서는동일한특정객체라도중간에추적이실패하게되면새로운특정객체로인식이되어새로운 ID를부여받게된다. 도 12는본발명에따른객체이동궤적분석부가가우시안혼합모델 (Gaussian Mixture Model) 을사용하여실시간입력영상에서객체를검출하여모폴로지연산을사용하여잡음을제거한전경영상을기준으로고유 ID가부여된영상결과화면을도시한일실시예도에관한것이다. [0141] [0142] [0143] [0144] [0145] [0146] [0147] [0148] 이어서, 특정객체의이동궤적을분석하기위해서사전에특정객체가위치하고있는공간을설정한다. 특정객체의위치는영상에서픽셀위치를의미한다. 본발명에따른객체이동궤적분석부는스마트객체추적제어부를통해수행되는특정객체의위치, 크기, 형태정보를이용하여추적을수행하고, 추적이실패할때까지궤적정보를저장한다. 도 13은본발명에따른객체이동궤적분석부를통해이동궤적이누적되는것을도시한일실시예도에관한것으로, 출입문을통해들어온객체 1번이 (a) 에서 (b) 번까지이동하면서전경을지속적으로누적을시킨결과로 (c) 와같이누적됨을보여준다. 연산된각각의프레임의블롭 (Blob) 중심블록을계속적으로연결한것이이동궤적이되며, (c) 와같은결과를통해서도전경부분의중심을연결함으로써객체의이동궤적을산출한다. 궤적은물체의중심좌표들간의연결이기때문에직선형태를보인다. 따라서, 본발명에서는이를곡선형태로근사화하는베지에곡선방법을적용하였다. 베지에곡선은 n 개의점으로부터얻어지는 n-1 차곡선으로부드러운곡선을생성하는데다음의수학식 9와같은 3차베지에곡선이사용된다. 수학식 9 [0149] [0150] [0151] [0152] [0153] [0154] [0155] [0156] [0157] 본발명에따른객체이동궤적분석부 (342) 는 3차베지에곡선을이용하여직선형태의궤적을부드러운형태의궤적으로만들어특정객체에대한궤적정보를누적하고, 누적된궤적을컬러맵으로표현함으로써히트맵을구성한다. 본발명에서는일예로, 최소 3Megapixel의전방위카메라모듈의영상크기와영상분석에필요한연산량을감안하여초당 1프레임의이진영상을누적하고최대 1시간을기준으로궤적의누적치를연산하였다. 일예로, 히트맵이 1초에 1번씩지속적으로누적된다고하면 1시간동안최대 3600이된다. 이를컬러맵이가지는값인 360으로나누게되면히트맵은 10단위로컬러맵값을가지게된다. 이를적용하여 10분단위로산출한히트맵은도 14에서와같다. 도 14의 (a) 는각각의픽셀의누적치를통해산출된이진영상에서의히트맵결과를도시한일실시예도에관한것이고, 도 14의 (b) 는사용자에게보여주기위하여배경이미지에입혀서표현한히트맵결과를도시한일실시예도에관한것이다. 도 15는사용자에게보여주기위하여분할영상의배경이미지에입혀서표현한영상분석시작으로부터 30분후 - 15 -
의히트맵결과를도시한일실시예도에관한것이다. [0158] [0159] [0160] [0161] [0162] [0163] 이처럼, 본발명에따른객체이동궤적분석부 (420) 를통해영상에서색지도로표현하게되면, 어떤위치에이동궤적이많았는지표현이가능하다. 하지만영상에색으로표현해주는히트맵으로는카메라가설치된장소에어떤시간대에특정객체가많았는지는파악하기가어렵다. 그래서색지도로표현하기어려운정보에대해서는그래프로표현해줌으로써어떤시간대에유동인구가많았는지분석자료에대한제공이가능하다. 도 16은본발명에따른객체이동궤적분석부를통해영상분석시작을기준으로 10분단위로산출한그래프결과값을도시한일실시예도에관한것으로, 그래프또한정수값들간의연결이기때문에직선형태를보인다. 따라서, 이를곡선형태로근사화하는베지에곡선방법을적용하였다. 베지에곡선을적용한그래프산출결과를보면분석시작후 10분동안유동인구가가장많았다는것을보여준다. [0164] [ 스마트객체추적제어부 (343)] [0165] [0166] [0167] 상기스마트객체추적제어부 (343) 는 HOG형객체탐지부에서탐지한탐지의결과인 ROI(Region of Interest) 와, 객체이동궤적분석부의특정객체이동궤적정보로이루어진하이브리드방식으로커널기반 (Kernel Based) 객체를추적시키는역할을한다. 이는특정객체를추적함에있어특정객체의추적형태에따라제약이없고, 컬러정보를사용함으로서다른추적방식에비해특정객체의기울어짐이나회전에강한특성을가진다. 다음의표1은본발명에따른스마트객체추적제어부를통한객체추적결과데이터및내용을기재한표이다. [0168] 구분전체 프레임수 정상 추적 추적 오류 추적 에러율 표 1 객체수 객체추적특정객체의콘텐츠내용 프레임수 프레임수 1 2,456 1,724 20 3.38% 3 도망치는특정객체및배회특정객체 2 2,645 1,578 5 0.09% 2 도망치는특정객체및쓰레기투기특정객체 3 2,341 2,689 405 13.68% 2 도망치는특정객체 4 2,254 1,360 3 0.07% 1 배회하는특정객체 5 4,246 3,268 3 0.03% 2 도망치는특정객체 6 3,233 1,889 0 0.00% 1 배회하는특정객체및쓰레기투기특정객체 7 2,678 1,934 6 0.03% 3 쓰레기투기특정객체 8 2,045 1,105 120 0.54% 2 쓰레기투기특정객체 9 2,684 2,689 1523 6.46% 1 모든상황의통합동영상 10 2.540 5,868 255 17.35% 2 정지후추적하다사라진후부터전부에러로 평가 11 1.396 2,110 855 10.62% 1 화면에서사라진후정지객체로오류인식 12 1,389 1,467 241 19.64% 2 객체의크기가최소크기이하로인하여에러 발생 [0169] [ 통계분석제어부 (344)] [0170] [0171] 상기통계분석제어부 (344) 는스마트객체추적제어부 (153) 를통해추적한특정객체이동궤적정보를실시간누적 시켜통계분석보고서를장소별, 시간대별로표출시키도록제어하는역할을한다. 이는도 17 에도시한바와같이, 이동궤적누적형성부 (344a), 이미지컬러맵형표출부 (344b), 통계그래프형표출부 - 16 -
(344c) 로구성된다. [0172] [0173] [0174] [0175] [0176] [0177] [0178] [0179] [0180] [0181] [0182] [0183] [0184] [0185] 상기이동궤적누적형성부 (344a) 는스마트객체추적제어부 (153) 를통해추적한특정객체이동궤적정보를실시간누적시키는역할을한다. 이는영상분석을위해특정객체의이동궤적을알기위해서특정객체의데이터를누적시킨다. 이러한특정객체의이동궤적정보를누적하기위해서전체영상에서객체가지나간부분픽셀에누적을해야시간단위및하루단위의누적데이터를표출하도록구성된다. 본발명에따른이동궤적누적형성부는도 18에도시한바와같이, 매칭블롭 (Blob) 방법에의한블롭 (Blob) 추적으로블롭전체픽셀에대하여픽셀을누적하는제1 누적형성모드 (344a-1) 와, 검출된모든객체의블롭중점부위에일정한블록을부여하여일정한블록단위를누적하는제2 누적형성모드 (344a-2) 와, 검출된객체의블롭의중심픽셀만누적하는제3 누적형성모드 (344a-3) 중어느하나가선택되어구성된다. 도 19는본발명에따른이동궤적누적형성부를통해특정객체의이동궤적을누적시키는일실시예도에관한것이고, 첫번째입력영상과두번째입력영상에서특정객체가움직인이동궤적에대하여도 20은제1 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도에관한것이며, 도 21은제2 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도에관한것이고, 도 22는제3 누적형성모드를통해픽셀을누적시키는것을도시한일실시예도에관한것이다. 또한, 도 23은본발명에따른제3 누적형성모드를통해실제로픽셀단위로어떠한방법으로누적되는지를보여주는일실시예도에관한것으로, 이는블록의중심부위의일정한블록이시간이지남에따라이동하여블록이있었던픽셀에 1씩누적시킨다. 최초에각각의픽셀에 0의값으로초기화하여주고블롭의중심블록이지나간픽셀에 1을누적해주는방식으로시간이지남에따라해당픽셀이블롭의중심블록이많이지나갈수록해당픽셀의누적치가늘어나게된다. 블롭전체를사용한다면블롭이지나간전체픽셀을기준으로 1씩누적시키고, 블롭의중점픽셀을사용한경우에는중점픽셀의이동궤적에따라지나간픽셀에 1씩누적치를적용해주도록구성된다. 이러한누적치는이동궤적의통계분석으로사용자에게색지도로표시해줄경우에각각의픽셀의누적치를환산하여컬러맵으로표현될때사용된다. 2차원공간상에이동궤적의누적데이터를나타낼때, 컬러매핑을이용하여더효과적인데이터로표현할수있다. 본발명에따른이동궤적누적형성부 (344a) 는컬러맵으로주로사용되는 JET 스펙트럼컬러분포부 (344a-4) 가포함되어구성된다. JET 스펙트럼컬러분포부 (344a-4) 의 JET 스펙트럼에서각 RGB 채널은도 24에서같이, 할당되어구성된다. 즉, JET 스펙트럼컬러분포부 (344a-4) 를사용하여이동궤적이많고적음을한눈에알아보기쉽게표현하도록구성된다. 특정객체의이동궤적이아예없는부분은색으로표현하지않고, 특정객체의이동궤적이존재하지만이동궤적이가장적은부분에대해서는블루채널만 127을가지는다크블루로표현하여주고, 누적된이동궤적이가장많은곳은다크레드로표현하여이동궤적을한눈에알아볼수있도록구성된다. [0186] [0187] [0188] 상기이미지컬러맵형표출부 (344b) 는스마트객체추적제어부 (153) 를통해추적한특정객체이동궤적정보를실시간누적시켜이미지상에컬러맵으로형성된제1 통계분석보고서를장소별, 시간대별로표출시키는역할을한다. 이는누적데이터베이스에서각각의픽셀의누적치값에임의의임계치를적용하여이임계치에미치지못하는값을제외하고제외된픽셀은아무런처리도하지않고, 최소값을갖는픽셀은다크블루로설정하고, 최대값을갖는픽셀은다크레드로설정한후, 최소값과최대값의차이를일정한범위로나누어설정하여 JET 스펙트럼컬러분포부에형성된 JET 스펙트럼의컬러로이미지상에컬러맵을겹쳐서표현되도록구성된다. 본발명에따른이미지컬러맵형표출부 (344b) 는 JET 스펙트럼컬러분포부에형성된 JET 스펙트럼의최소값에서 - 17 -
최대값을 360 으로나누어 0 부터 360 의값을할당하도록구성된다. [0189] [0190] 도 25는본발명에따른이미지컬러맵형표출부 (344b) 를통해이미지상에컬러맵을표출시키는것을도시한일실시예도에관한것으로, 이는 20 20 픽셀을가지는이미지가있다고가정하고각각의픽셀의누적치를 1~15로간소화하였다. 임계값을 5로설정하여서픽셀의값이 5인픽셀누적치에는아무색도부여하지않고, 6~15 까지의값을가지는픽셀에대항다크레드부터다크블루까지의색을부여하여각각의픽셀에컬러값을입력하여이미지상에컬러맵을표출시킨다. [0191] [0192] [0193] [0194] [0195] [0196] 상기통계그래프형표출부 (344c) 는스마트객체추적제어부 (153) 를통해추적한특정객체이동궤적정보를실시간누적시켜 RGB 통계그래프로형성된제2 통계분석보고서를장소별, 시간대별로표출시키는역할을한다. 이는시간단위로산출된 RGB 통계그래프를형성시켜어떠한시간대에이동궤적이많았는지를표출시키도록구성된다. RGB 통계그래프산출방식은실시간으로이동궤적분석을통해누적되는데이터의합을구하여그래프상에표시해줌으로써산출된다. 그리고, 해당공간에이동하는특정객체가하나도없을경우에는그래프의 Y축의값을 0으로설정시키고, 이동하는특정객체가많을경우에는 Y축의값을높게설정시킨다. 이때, 데이터의 Y축값을영상분석서버의시간을기준으로 1시간단위로더해줌으로써 1시간동안누적된누적치값을산출하여그래프로표현시킨다. 도 26은본발명에따른통계그래프형표출부를통해특정객체이동궤적정보를실시간누적시켜 RGB 통계그래프로형성된제2 통계분석보고서를도시한일실시예도에관한것이다. [0197] [ 경고방송송출제어부 (345)] [0198] [0199] 상기경고방송송출제어부 (345) 는스마트객체추적제어부에서추적시킨특정객체의이벤트상황에따른맞춤형경고방송신호를현장의스마트전방위카메라장치쪽으로송출시키도록제어하는역할을한다. 여기서, 1:1 맞춤형자동경고방송은도망치는특정객체인경우에, " 도둑잡아라 ~" 라는경고방송을송출시키고, 쓰레기투기특정객체인경우에, " 쓰레기를무단투기하지마세요 ~" 라는경고방송을송출시키며, 배회하는특정객체인경우에, " 이곳은보안감시시스템이동작되는곳이오니, 다른곳으로이동해주십시요 ~" 라는경고방송을송출시키도록구성된다. [0200] 이하, 본발명에따른전방위카메라영상에서의이동궤적패턴분석을이용한스마트통계분석방법의구체적인 동작과정에관해설명한다. [0201] 먼저, 도 27 에도시한바와같이, 스마트전방위카메라장치를통해하나의카메라로특정객체를 360 도전방위 촬영시킨다 (S100). [0202] 다음으로, 스마트전방위카메라장치에서촬영한도넛형전방위이미지를데이터통신인터페이스부를통해원격지 의스마트영상 통계분석서버쪽으로송신시킨다 (S200). [0203] 다음으로, 스마트영상 통계분석서버에서스마트전방위카메라장치로부터전송된도넛형전방위이미지를수신 받아영상변환시켜특정객체를탐지한후, 특정객체의이동궤적패턴을기준으로특정객체의위치를추적시킨다 - 18 -
(S300). [0204] 다음으로, 스마트영상 통계분석서버에서특정객체의이동궤적패턴을기준으로특정객체의위치를추적시키고, 특정객체의이동궤적패턴을실시간누적시켜통계분석보고서를장소별, 시간대별로표출시킨다 (S400). [0205] 다음으로, 스마트영상 통계분석서버의경고방송송출제어부에서특정객체의이벤트상황에따른맞춤형경고 방송신호를현장의스마트전방위카메라장치쪽으로송출시킨다 (S500). [0206] 끝으로, 스마트전방위카메라장치에서스마트영상 통계분석서버의경고방송송출제어부로부터경고방송신호를 수신받아특정객체의이벤트상황에따른경고방송을송출시킨다 (S600). [0207] 부호의설명 1: 스마트통계분석장치 100 : 스마트전방위카메라장치 110 : 본체 120 : 전방위카메라모듈 130 : 스피커부 140 : 도넛형전방위이미지송신부 200 : 데이터통신인터페이스부 300 : 스마트영상 통계분석서버 310 : 도넛형전방위이미지수신부 320 : 직사각형파노라마이미지변환부 330 : 이미지왜곡보정부 340 : 스마트제어부 도면 도면 1 도면 2-19 -
도면 3 도면 4 도면 5 도면 6-20 -
도면 7 도면 8 도면 9-21 -
도면 10 도면 11 도면 12-22 -
도면 13 도면 14-23 -
도면 15 도면 16-24 -
도면 17 도면 18 도면 19 도면 20-25 -
도면 21 도면 22-26 -
도면 23 도면 24-27 -
도면 25 도면 26-28 -
도면 27-29 -