(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (51) 국제특허분류 (Int. Cl.) G06T 5/00 (2006.01) G06T 7/00 (2006.01) H04N 9/67 (2006.01) (21) 출원번호 10-2012-0013080 (22) 출원일자 2012 년 02 월 09 일 심사청구일자 (56) 선행기술조사문헌 JP2005286577 A* KR1020060071893 A* KR1020110135537 A KR1020100056167 A 2012 년 05 월 29 일 * 는심사관에의하여인용된문헌 (45) 공고일자 2012 년 11 월 15 일 (11) 등록번호 10-1201767 (24) 등록일자 2012년11월09일 (73) 특허권자 삼성탈레스주식회사 경북구미시공단 2 동 259 (72) 발명자 박장한 경상북도구미시공단동 259 번지 (74) 대리인 남승희 전체청구항수 : 총 6 항심사관 : 신재철 (54) 발명의명칭파장대역별영상변환장치및그동작방법 (57) 요약 본발명은파장대역별영상변환장치및영상변환방법에관한것으로서, 특정대역의영상을다른대역의영상으로변환하는장치및영상변환방법이다. 본발명의실시형태는복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는카메라부와, 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는전처리부와, 상기표적영역에서특징파라미터를추출하는특징파라미터추출부와, 상기특징파라미터를정보화한형상화데이터를생성하는형상화데이터생성부와, 상기형상화데이터를이용하여사용자가원하는파장대역의영상인변환영상으로변환하는대역변환처리부와, 상기변환영상을디스플레이장치에전송하는변환영상전송부를포함한다. 대표도 - 도 8-1 -
특허청구의범위청구항 1 복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는카메라부 ; 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는전처리부 ; 상기표적영역에서특징파라미터를추출하는특징파라미터추출부 ; 상기특징파라미터를정보화한형상화데이터를생성하는형상화데이터생성부 ; 상기형상화데이터를사용자가원하는파장대역의영상에등록한후, 사용자가원하는파장대역의영상에등록된형상화데이터에특징파라미터를반영하여변환영상으로변환하는대역변환처리부 ; 상기변환영상을디스플레이장치에전송하는변환영상전송부 ; 를포함하는파장대역별영상변환장치. 청구항 2 청구항 1에있어서, 디스플레이장치의그래픽영상특성을반영하여상기변환영상을보정하는영상보정부를포함하며, 상기변환영상전송부는보정된변환영상을상기디스플레이장치에전송하는파장대역별영상변환장치. 청구항 3 청구항 2에있어서, 상기영상보정부는, 변환영상의밝기값을상기디스플레이장치의그래픽영상의밝기값으로보정시키는파장대역별영상변환장치. 청구항 4 복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는과정 ; 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는과정 ; 상기표적영역에서특징파라미터를추출하는과정 ; 상기특징파라미터를이용하여사용자가원하는파장대역의영상인변환영상으로변환하는과정 ; 상기변환영상을디스플레이장치에전송하는과정 ; 을포함하며, 상기변환영상으로변환하는과정은, 표적영역형상을사용자가원하는파장대역의영상에등록하는과정 ; 사용자가원하는파장대역의영상에특징파라미터를반영하여변환영상을생성하는과정 ; 을포함하는파장대역별영상변환방법. 청구항 5 청구항 4에있어서, 상기특징파라미터는, 표적영역의위치, 속도, 가속도, 밝기값, 형태 (shape) 또는형상, 코너점, 기하학적구조 (geometry), 움직임, 주벡터방향성중적어도하나이상인파장대역별영상변환방법. 청구항 6 삭제청구항 7 청구항 4에있어서, 상기변환영상을디스플레이장치에전송하기전에, 디스플레이장치의그래픽영상특 - 2 -
성을반영하여상기변환영상을보정하는과정을포함하는파장대역별영상변환방법. 명세서 [0001] 기술분야 본발명은파장대역별영상변환장치및영상변환방법에관한것으로서, 특정대역의영상을다른대역의영 상으로변환하는장치및영상변환방법이다. [0002] [0003] [0004] [0005] 배경기술서로다른파장대역의센서정보는주야간으로물체인식및추적을가능하게하는기술로서영상처리및융합시스템의핵심이되는기술분야이다. 최근다중센서를이용한영상처리및융합시스템에서이를활용한응용분야의연구가활발히진행되고있으며, 민간산업중에는 CT, MRI, PET 등의상호보완적인영상정보들을융합하여보다더정밀하고정확한진단을내릴수있는도구로써이용하고있다. 나아가국방산업에서도가시광 (Charge Coupled-Device, CCD) 센서와적외선 (Imaging InfraRed, IIR) 센서등서로다른파장대역의센서정보를융합하여물체인식및추적시스템등의신뢰성및정확성을높이는데이용하는경우가있다. 그외에도자동화감시시스템및로봇등실생활의많은응용분야에서도해당연구가활발히진행되고있다. 일반적으로 2차원 (2 dimension) 영상들은각각의해당픽셀좌표계상에서독립적으로표현이되어있기때문에서로다른환경 ( 시점, 시야각등 ) 에서획득된영상들은상대적으로위치관계가어긋나있게되고영상표현이다르다. 따라서하나의좌표계로정렬시켜주는정합과정과해당파장대역장치에대한영상표현이필요하다. 또한다중센서로획득된영상들의경우, 센서고유의특성차이로인해영상픽셀의밝기값정보나영상표현이현저히차이가나기때문에특별한주의가필요하다. 영상을정합하는방법은, 센서로부터획득된영상을다른파장대역으로변환하는방법보다는동일한센서에서획득된영상을정합하는방법이일반적으로많이알려져있다. 이와같이정합방법론관점에서단일센서기반으로두영상을정합하는방법은크게두가지로분류될수있다. 하나는특징기반정합기법이고다른하나는영상기반정합기법이다. 특징기반정합기법은정합하고자하는두영상의특징량을추출하고, 추출된특징량간의대응관계를설정하여두영상을정렬시키는반면, 영상기반정합기법은영상전체픽셀의밝기값의분포를이용하는방법으로써최적화기법을통해사전에정의된유사성척도가최대, 또는최소가되는수렴포인트를찾는방법이다. 그런데, 종래의기술은, 센서로부터획득된영상을다른파장대역으로변환하는방법이존재하지않는다. 두번째로, 다중대역으로영상을획득하는장치는존재하지만, 같은파장대역에서서로다른센서 ( 예를들어, 냉각형원적외선과비냉각형원적외선센서 ) 로영상을획득한경우에는센서고유의특성차이로인해영상픽셀의밝기값정보나영상표현이현저히차이가발생하는데, 이를영상보정및보완해야한다. 선행기술문헌 [0006] 특허문헌 ( 특허문헌 0001) 한국특허공개번호 10-2010-0059361 발명의내용 [0007] 해결하려는과제본발명의기술적과제는특정파장대역의획득영상정보로부터다른파장대역으로영상변환하는장치및방법을제공하는데있다. 또한서로다른파장대역에서획득한영상을하나의파장대역의영상으로변환하는장치및방법을제공하는데있다. 또한본발명의기술적과제는사용자들이특정파장대역의센서로부터획득된영상을다른파장대역의센서로획득된영상과비교하여표적을탐지 / 추적 / 인지 / 융합등의알고리즘적용을하는데있다. - 3 -
[0008] [0009] [0010] [0011] [0012] [0013] [0014] 과제의해결수단본발명의실시형태는복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는카메라부와, 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는전처리부와, 상기표적영역에서특징파라미터를추출하는특징파라미터추출부와, 상기특징파라미터를정보화한형상화데이터를생성하는형상화데이터생성부와, 상기형상화데이터를이용하여사용자가원하는파장대역의영상인변환영상으로변환하는대역변환처리부와, 상기변환영상을디스플레이장치에전송하는변환영상전송부를포함한다. 또한디스플레이장치의그래픽영상특성을반영하여상기변환영상을보정하는영상보정부를포함하며, 상기변환영상전송부는보정된변환영상을상기디스플레이장치에전송한다. 또한영상보정부는, 변환영상의밝기값을상기디스플레이장치의그래픽영상의밝기값으로보정시킨다. 또한상기변환영상의밝기값과디스플레이장치의그래픽영상의밝기값의차이가임계치이상벗어난경우상기보정을다시수행하도록하는영상비교부를포함한다. 본발명의실시형태는복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는과정과, 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는과정과, 상기표적영역에서특징파라미터를추출하는과정과, 상기특징파라미터를이용하여사용자가원하는파장대역의영상인변환영상으로변환하는과정과, 상기변환영상을디스플레이장치에전송하는과정을포함한다. 또한, 특징파라미터및정보화데이터는, 표적영역의위치, 속도, 가속도, 밝기값, 형태 (shape) 또는형상, 코너점, 기하학적구조 (geometry), 움직임, 주벡터방향성중적어도하나이상을포함한다. 또한변환영상의밝기값을상기디스플레이장치의그래픽영상의밝기값으로보정한다. 또한디스플레이장치의그래픽영상의전체영역밝기값평균, 전체영역중에서추출된다수의지역밝기값평균, 가중치를합산한밝기값으로보정한다. 또한변환영상의밝기값과디스플레이장치의그래픽영상의밝기값의차이가임계치이상벗어난경우상기보정을다시수행한다. 또한 H(A) 는변환영상의블록 A에대한확률, H(B) 는디스플레이장치의그래픽영상의블록 B에대한확률, H(A,B) 는블록A와블록B의중첩될확률, H(O) 는두영역의편차에대한확률이라할때, 변환영상의블록 A 및그래픽영상의블록 B의유사성확률인 I N (A,B) 는, 이상벗어난경우상기보정을다시수행한다. 에의해산출되며, I N (A,B) 가상기임계치 [0015] 발명의효과본발명의실시형태에따르면서로다른파장대역의획득영상정보로부터주야간으로표적포착, 인식및추적을가능하도록할수있다. 특정파장대역의센서로부터획득된영상을다른파장대역의센서로획득된영상과비교하여표적을탐지 / 추적 / 인지 / 융합등의알고리즘적용을함으로써, 높은신뢰성을부여할수있다. [0016] 도면의간단한설명 도 1 은본발명의실시예에따른파장대역별영상변환장치를도시한블록도이다. 도 2는본발명의실시예에따른연결강도를나타낸그림이다. 도 3은본발명의실시예에따른입력표적에대한표적근사화방안이다. 도 4는본발명의실시예에따라카메라부가중적외선파장대역이며최종전시될적외선영상이원적외선파장대역인경우의영상예를도시한그림이다. 도 5는본발명의실시예에따른대역변환처리부에서원하는파장대역의영상으로변환시키는연상변환 (associative conversion) 신호처리된예를도시한그림이다. 도 6은본발명의실시예에따라영상밝기를변환하여보정하는예시를도시한그림이다. - 4 -
도 7 은본발명의실시예에따라 N N 크기영역 5 군데지역밝기값은표적후보군을위주로가능성이높은 5 개지역을선정예를도시한그림이다. 도 8 은본발명의실시예에따른파장대역별영상변환과정을도시한플로차트이다. [0017] [0018] [0019] [0020] [0021] [0022] [0023] [0024] [0025] 발명을실시하기위한구체적인내용이하, 첨부된도면을참조하여본발명의실시예를더욱상세히설명하기로한다. 그러나본발명은이하에서개시되는실시예에한정되는것이아니라서로다른다양한형태로구현될것이며, 단지본실시예들은본발명의개시가완전하도록하며, 통상의지식을가진자에게발명의범주를완전하게알려주기위해제공되는것이다. 도면상에서동일부호는동일한요소를지칭한다. 도 1은본발명의실시예에따른파장대역별영상변환장치를도시한블록도이다. 파장대역별영상변환장치는카메라부 (200), 전처리부 (300), 특징파라미터추출부 (400), 형상화데이터생성부 (500), 대역변환처리부 (600), 변환영상전송부 (900) 를포함한다. 이외에카메라초기화부 (100), 영상보정부 (700), 영상비교부 (800) 를더포함한다. 카메라부 (200) 는복수개의파장대역중적어도하나이상의파장대역의영상 ( 이하, ' 카메라영상 ') 을획득한다. 카메라부는특정파장대역의영상을획득하는다수의카메라를구비하여, 적어도하나이상의파장대역의영상 ( 카메라영상 ) 을획득한다. 카메라부는가시광카메라 (CCD 또는 CMOS 탑재 ) 카메라 (210), 근적외선카메라 (220), 중적외선카메라 (230), 원적외선카메라 (240) 중하나의카메라또는다수의카메라의탑재가가능하고, 사용자의선정에의해특정파장대역의카메라 (250) 를탑재할수있다. 각각의카메라는해당파장대역의영상을획득할수있는데, 예를들어, 가시광카메라는가시광대역 (visible wavelength, 0.3~0.7 μm ) 의영상을획득하며, 근적외선카메라는근적외선대역 (near-wavelength infrared, 1.0~3.0μm ) 의영상을획득할수있다. 마찬가지로중적외선카메라는중적외선대역 (mid-wavelength infrared, 3.0~5.0μm ) 의영상을획득하며, 원적외선영상은원적외선대역 (long-wavelength infrared, 8.0~12.0μm ) 의영상을획득할수있다. 카메라초기화부 (100) 는카메라부 (200) 를통해획득할카메라영상의파장대역을선택한다. 즉, 카메라부에구비된다수의카메라중에서원하는특정대역의영상을획득할수있는카메라를선택하여구동시킨다. 예를들어카메라부에탑재된카메라가가시광카메라 (CCD 또는 CMOS 탑재 ) 카메라, 근적외선카메라, 중적외선카메라, 원적외선카메라, 사용자정의카메라로서최대 5종일때, 가시광대역영상과근적외선대역영상을획득하고자하는경우, 가시광카메라와근적외선카메라를구동시켜해당대역의영상을각각획득한다. 전처리부 (300) 는각카메라로부터획득한카메라영상으로부터배경영역을제거하여표적영역을획득한다. 즉, 카메라영상에서표적영역만을획득하기위하여배경영역을제거하는것이다. 배경영역제거는다양한방식으로이루어질수있는데, 표적의테두리를검출하여테두리안쪽의표적영역을획득하거나, 또는인공신경망학습이론을적용하여표적영역을획득한다. 본발명의실시예는연결강도 (W) 를이용하는인공신경망학습이론을적용하여표적영역을추출하는예를설명한다. 인공신경망학습이론을적용한전처리부는사전에획득된 N N 표적데이터로부터인공신경망학습알고리즘을적용하여특정임계값이상추출된특징값을이용하여배경을제거한다. 상술하면, 카메라부를통해입력된영상에서배경을제거하기위해서, 우선, 사용자는입력되어디스플레이된영상을본후연결강도 (w) 를적용한다. 여기에서연결강도 (w) 는요구된표적의형상관련도를나타내는값이다. 도 2에도시한바와같이미리정의된표적형상이전차, 경장갑, 건물, 전투기, 미사일등이라면, 입력된영상과가장크게관련되어있다고판단되는형상에연결강도를가장크게두고반면에가장낮게관련되어있다고판단되는형상에연결강도를가장낮게둔다. 예컨대, 각각순서대로초기연결강도를적용한다면전차의연결강도 (w) 를 0.4로적용하고, 경장갑의연결강도 (w) 를 0.3으로적용하고, 건물의연결강도 (w) 를 0.2 로적용하고, 전투기의연결강도 (w) 를 0.1로적용하고, 미사일의연결강도 (w) 를 0.1로적용한다. 일반적으로연결강도의표현은식 (1) 과같고, 하나의유닛 m i 에서다른유닛 m 0 으로입력을받으면두유닛이 모두활성화된상태이며, 유닛 m 0 에서 m i 로의연결강도 w io 는더욱더강해진다. - 5 -
[0026] [ 수식 1] [0027] [0028] 여기에서 는학습율을의미하는상수이다. 만약, 연결강도 를시간축으로학습을시킨다면, 학습의 양은유닛활성화량과목표입력과의차에비례하기때문에수식 2 와같이표현할수있다. O io 는편차의보정 값이다. [0029] [ 수식 2] [0030] [0031] 출력연결강도 T y 는가중치의특정임계값으로서, 여러개를입력받아여러개의연결강도벡터값들과곱해 특정한전이함수 (transfer function) 로부터출력이발생된다. 유닛의노드는내부적특정임계값이나편차 θ, 목표입력에대한편차 O i, 비선형함수의형태로서수식 3 과같이표현할수있다. [0032] [ 수식 3] [0033] [0034] [0035] 표적영역후보군추출은 N N 크기보다작은표적을사전에획득하여근사화된표적추출특징값과현재영상에서추출된특징값을비교하여벡터길이가가장짧은것을선정한다. 여기에서 N은 5, 7, 9, 11 값중에서선정할수있다. 도 3은입력표적에대한표적근사화방안이며, P는표적근사화경계값이다. P 값을이용하여표적에대해분리층을생성한다. 여기에서 P의최소값은 '0.0' 이며, 최대합계값은 '1' 이다. 만약 P 값이 '1' 이면, 이것은입력영상을의미한다. [0036] 특징파라미터추출부 (400) 는표적영역에서특징파라미터를추출한다. 특징파라미터추출부는가시광 (CCD 또는 CMOS 탑재 ) 카메라, 근적외선카메라, 중적외선카메라, 원적외선카메라에서획득한표적영역을특정파장대역의영상으로변환하기위해필요한특징파라미터를추출하는과정이다. 특징파라미터는위치, 속도, 가속도, 밝기값, 형태 (shape) 또는형상, 코너점, 기하학적구조 (geometry), 움직임, 주벡터방향성분등이다. 위치 M c 는표적의중앙픽셀좌표 (x,y), 속도 M s 는이전픽셀좌표와현재픽셀좌표간의변위량 (Δx t, Δy t ), 가속도 M a 는속도의변위량 (Δd x, Δd y ), 밝기값 M i 는 0부터 255까지의상수값, 형태 M s 는표적 M c 의 8방향값, 코너점 M p 는형태 M s 의 8방향끝점에서모서리값, 기하학적구조 M g 는 M c 에서 M p 까지찌그려진좌표값을표현하며, 예를들어원래는좌표 (x, y) 가 (10, 10) 이어야하는데, (3, 8) 이라면 x축으로 7만큼, y축으로 2만큼변이값이생성된것이다. 움직임 M m 는 M c 에서새로운위치값의표현, 주벡터방향성분 M v 는 M c 에서새로운위치값으로이동되었을때, 주축성분의표현이다. [0037] 형상화데이터생성부 (500) 는특징점파라미터를정보화한형상화데이터를생성한다. 형상화데이터생성부 (105) 는파장대역별특징파라미터추출부 (104) 에서추출된값들을이용해표적에대해표현할수있는정보 를묶어형상화시키는것으로형상화데이터 (C d ) 라고한다. 가시광카메라의형상화데이터는표적에대한 윤곽선이뚜렷하게나타나고, 적외선카메라는열에의한밝기정보및검출기의민감도에따라다르므로영 - 6 -
상표현이가시광카메라에비해상대적으로표적이블러링화된영상으로표현된다. 형상화데이터구성은 2종정보이상을포함하며, 예를들어위치, 속도, 가속도, 밝기와형태, 또는밝기, 형태, 기하학적구조등으로구성된다. 수식 4와같이표현할수있다. 여기에서 M c 는위치, M s 는속도, M a 는가속도, M i 는밝기값, M s 는형상정보, M p 는코너점, M g 는기하학적구조, M m 는움직임, M v 는주벡터방향이다. [0038] [ 수식 4] [0039] [0040] [0041] [0042] [0043] [0044] 대역변환처리부 (600) 는, 상기형상화데이터를이용하여사용자가원하는파장대역의영상인변환영상으로변환한다. 즉, 사용자가원하는파장대역의영상에상기형상화데이터를입혀서표적을형상화하는것으로서, 배경및표적에대한형상화데이터로부터생성된정보를기반으로최종전시할영상의패턴과유사하도록변환하는것이다. 만약표적이전차라고했을때, 카메라부가중적외선파장대역이고, 최종전시될적외선영상이원적외선파장대역인경우의예는도 4와같다. 도 4(a) 는냉각형검출기가탑재된중적외선파장대역영상이며, 도 4(b) 는냉각형검출기가탑재된원적외선파장대역영상이며, 만약, 도 4(b) 가비냉각형검출기가탑재된원적외선파장대역영상이라면영상품질이많이낮다. 이것은비냉각형검출기가거리당분해능이떨어짐과환경적인영향에서발생할수있다. 도 4에서전차의특성을보면, 궤도의뒤바퀴부분에서로다른열 ( 에너지 ) 의분포를볼수있으며, 중적외선파장대역에서좀더많은열 ( 에너지 ) 의분포가존재하는것을볼수있다. 따라서중적외선파장대역의정보를원적외선파장대역의영상으로적절하게변환해야최종표적에대한탐지 / 추적 / 인식 / 융합신호처리알고리즘을적용하더라도문제가발생하지않는다. 따라서대역변환처리부는도 4의예와같이특정파장대역을다른파장대역으로변환시키는신호처리 ( 이하, ' 연상변환신호처리 ' 라함 ) 의동작을수행한다. 도 5는대역변환처리부에서원하는파장대역의영상으로변환시키는연상변환 (associative conversion) 신호처리된예를도시한그림이다. 카메라부에서입력된영상의표적이전차라서, 전처리부에서표적이전차로판정된경우, 대역변환처리부는미리등록되어있는전차형상을사용자가선택한파장대역의영상에등록한다. 그후, 이를바탕으로전차의위치, 속도, 가속도, 밝기값, 형상, 코너점, 기하학적구조, 움직임, 벡터방향등이포함된형상화데이터를상기전차형상에적용시켜변환된파장대역의영상 ( 이하, ' 변환영상 ') 을출력한다. 변환영상전송부 (900) 는, 상기변환영상을디스플레이장치에전송한다. 변환영상전송부는메모리를구비하여변환영상을메모리에저장하며, 아울러변환영상을디스플레이될실제장비로전송한다. 또한변환영상전송부는메모리에최종변환영상뿐만아니라, 파장대역별특징파라미터추출값, 형상화데이터생성정보, 연상변환신호처리정보를함께저장할수있다. 상기와같이원하는파장대역의영상으로최종생성된변환영상은, 표적탐지 / 추적 / 인식 / 융합등의알고리즘을적용하기위한초기데이터로사용될수있다. [0045] [0046] 한편, 상기변환영상이디스플레이될장치의그래픽영상특성을반영하여변환영상을보정하는영상보정부 (700) 를추가로구비할수있다. 즉, 상기영상보정부 (700) 는변환영상에대해서밝기값 ( 검출기에서반응된에너지 ) 조절, 노이즈제거등을통해최종출력될장비의영상과유사하게출력되도록배경과표적에대해신호처리한다. 이러한보정은상기디스플레이장치의그래픽영상의밝기값을변환영상의밝기값에반영하여보정할수있다. 예컨대, 도 6은영상밝기를변환하는방안이다. 디스플레이장치의그래픽영상의전역 ( 전체영역 ) 밝기값평균, N N 크기영역 5군데지역밝기값평균, 가중치값을합산하여변환영상에반영한다. 여기에서 N은 5, 7, 9, 11이다. 또한도 6에서패치밝기값이란사용자가선택한영역의밝기값의평균을말한다. 참고로, 도 7은 N N 크기영역 5군데지역밝기값은표적후보군을위주로가능성이높은 5 개지역을선정예를도시한그림이다. 여기에서블록A는사용자가임의의지역을선택할수있다. 한편, 영상보정부 (700) 는변환영상에대해서밝기값보정하는데, 이러한밝기값보정이이루어진변환영상이라하더라도디스플레이장치의그래픽영상의특성과완전히일치하지않을수있다. 따라서이러한카메 - 7 -
라영상과변환영상간의밝기값차이가미리설정한임계치이상벗어난경우, 다시변환영상에대해서밝 기값보정시켜밝기값차이가임계치이내에있게해야한다. 이를위하여영상비교부를구비한다. [0047] [0048] 영상비교부 (800) 는변환영상의밝기값과디스플레이장치의그래픽영상의밝기값의차이 ( 편차 ) 가미리설정한임계치이상벗어났는지를비교하고, 만약밝기값차이가임계치이상벗어난경우상기밝기값보정을다시수행한다. 상술하면, 영상비교부 (800) 는변환영상이최종출력될장비의디스플레이장치의그래픽영상과영상밝기값, 배경및표적의유사성등을비교하는데이를위해수식 5의상호정보를이용한다. 즉, 두영상의중첩되는영역에대하여계산하기때문에이를보완하기위해상호정보를사용한다. 수식 5에서H(A) 는변환영상의블록 A에대한확률, H(B) 는디스플레이장치의그래픽영상의블록 B에대한확률, H(A,B) 는블록A와블록B의중첩될확률, H(O) 는두영역의편차에대한확률이다. 변환영상의블록 A 및그래픽영상의블록 B의유사성확률인 I N (A,B) 는, 수식 5에의해산출되며, I N (A,B) 가상기임계치이상벗어난경우상기보정을다 시수행한다. [0049] [ 수식 5] [0050] [0051] 만약영상밝기값, 배경및표적의유사성이떨어지면영상보정부를통해재처리한다. 또한영상전송부로 저장된영상을보낸다. 탑재장비의실제그래픽영상과변환된영상의전체밝기값을비교하여임계치 (T h ) 범위내인지판단한다. 임계치 (T h ) 는실험적으로값을구해야한다. [0052] [ 수식 6] [0053] [0054] [0055] [0056] [0057] [0058] 도 8은본발명의실시예에따른파장대역별영상변환과정을도시한플로차트이다. 우선, 복수개의파장대역중적어도하나이상의파장대역의영상인카메라영상을획득하는과정을가진다 (S810). 특정파장대역의영상을획득하는다수의카메라를구비하여, 적어도하나이상의파장대역의영상 ( 카메라영상 ) 을획득한다. 가시광카메라 (CCD 또는 CMOS 탑재 ) 카메라, 근적외선카메라, 중적외선카메라, 원적외선카메라중하나의카메라또는다수의카메라가하나의카메라에탑재가가능하고, 사용자의선정에의해특정파장대역의카메라를탑재할수있다. 각각의카메라는해당파장대역의영상을획득할수있는데, 예를들어, 가시광카메라는가시광대역 (visible wavelength, 0.3~0.7μm ) 의영상을획득하며, 근적외선카메라는근적외선대역 (near-wavelength infrared, 1.0~3.0μm ) 의영상을획득할수있다. 마찬가지로중적외선카메라는중적외선대역 (mid-wavelength infrared, 3.0~5.0μm ) 의영상을획득하며, 원적외선영상은원적외선대역 (long-wavelength infrared, 8.0~12.0μm ) 의영상을획득할수있다. 상기카메라영상으로부터배경영역을제거하여표적영역을추출하는과정을가진다 (S820). 배경영역제거는다양한방식으로이루어질수있는데, 예컨대, 표적의테두리를검출하여테두리안쪽의표적영역을획득하거나, 또는인공신경망학습이론을적용하여표적영역을획득한다. 참고로, 표적영역의테두리검출은밝기값이급격하게변화하는영역의테두리를표적영역의테두리로판단할수있는등다양한방법이있을수있다. 본발명의실시예는연결강도 (W) 를이용하는인공신경망학습이론을적용하여표적영역을추출하는예를설명한다. 인공신경망학습이론을적용한전처리부는사전에획득된 N N 표적데이터로부터인공신경망학습알고리즘을적용하여특정임계값이상추출된특징값을이용하여배경을제거한다. 이러한인공신경망학습이론에대한설명은상기에서설명하였으므로여기에서는생략한다. 표적영역에서특징파라미터를추출하는과정을가진다 (S830). 특징파라미터는위치, 속도, 가속도, 밝기 - 8 -
값, 형태 (shape) 또는형상, 코너점, 기하학적구조 (geometry), 움직임, 주벡터방향성분등이다. 위치 M c 는표적의중앙픽셀좌표 (x,y), 속도 M s 는이전픽셀좌표와현재픽셀좌표간의변위량 (Δx t, Δy t ), 가속도 M a 는속도의변위량 (Δd x, Δd y ), 밝기값 M i 는 0부터 255까지의상수값, 형태 M s 는표적 M c 의 8방향값, 코너점 M p 는형태 M s 의 8방향끝점에서모서리값, 기하학적구조 M g 는 M c 에서 M p 까지찌그려진좌표값을표현하며, 예를들어원래는좌표 (x, y) 가 (10, 10) 이어야하는데, (3, 8) 이라면 x축으로 7만큼, y축으로 2만큼변이값이생성된것이다. 움직임 M m 는 M c 에서새로운위치값의표현, 주벡터방향성분 M v 는 M c 에서새로운위치값으로이동되었을때, 주축성분의표현이다. [0059] 이러한특징파라미터는형상화데이터로생성될수있다. 파장대역별추출된특징파라미터값들을이용해 표적에대해표현할수있는정보를묶어형상화시키는것으로형상화데이터 (C d ) 라고한다. 가시광카메라 의형상화데이터는표적에대한윤곽선이뚜렷하게나타나고, 적외선카메라는열에의한밝기정보및검출기의민감도에따라다르므로영상표현이가시광카메라에비해상대적으로표적이블러링화된영상으로표현된다. 형상화데이터구성은 2종정보이상을포함하며, 예를들어위치, 속도, 가속도, 밝기와형태, 또는밝기, 형태, 기하학적구조등으로구성된다. 수식 4와같이표현할수있다. 여기에서 M c 는위치, M s 는속도, M a 는가속도, M i 는밝기값, M s 는형상정보, M p 는코너점, M g 는기하학적구조, M m 는움직임, M v 는주벡터방향이다. [0060] 상기특징파라미터를이용하여사용자가원하는파장대역의영상인변환영상으로변환하는과정을가진다 (S840). 즉, 특징파라미터를기반으로한형상화데이터를이용하여사용자가선택한파장대역의영상으로변환한다. 변환영상으로변환하는과정은, 표적영역형상을사용자가원하는파장대역의영상에등록하는과정과, 상기파장대역의영상에특징파라미터를반영한변환영상을생성하는과정을포함한다. 카메라에서입력된영상의표적이전차라서, 전처리부에서표적이전차로판정된경우, 미리등록되어있는전차형상을사용자가선택한파장대역의영상에등록한다. 그후, 이를바탕으로전차의위치, 속도, 가속도, 밝기값, 형상, 코너점, 기하학적구조, 움직임, 벡터방향등이포함된형상화데이터를상기전차형상에적용시켜변환된파장대역의영상인변환영상을출력한다. [0061] [0062] 변환영상을디스플레이장치에전송하기전에, 디스플레이장치의그래픽영상특성을반영하여상기변환영상을보정하는과정을가질수있다 (S850). 변환영상에대해서밝기값 ( 검출기에서반응된에너지 ) 조절, 노이즈제거등을통해최종출력될장비의영상과유사하게출력되도록배경과표적에대해신호처리한다. 이러한보정은상기디스플레이장치의그래픽영상의밝기값을변환영상의밝기값에반영하여보정할수있다. 예컨대, 도 6은영상밝기를변환하는방안이다. 디스플레이장치의그래픽영상의전역 ( 전체영역 ) 밝기값평균, N N 크기영역 5군데지역밝기값평균, 가중치값을합산하여변환영상에반영한다. 여기에서 N 은 5, 7, 9, 11이다. 또한도 6에서패치밝기값이란사용자가선택한영역의밝기값의평균을말한다. 도 7 은 N N 크기영역 5군데지역밝기값은표적후보군을위주로가능성이높은 5개지역을선정한다. 여기에서블록A는사용자가임의의지역을선택할수있다. 영상보정이있은후, 보정된변환영상의밝기값과디스플레이장치의그래픽영상의밝기값을비교하여 (S860), 그차이가임계치이상벗어난경우밝기값보정을다시수행한다 (S850). 변환영상이최종출력될장비의디스플레이장치의그래픽영상과영상밝기값, 배경및표적의유사성등을비교하는데이를위해상기수식 5의상호정보를이용한다. 즉, 두영상의중첩되는영역에대하여계산하기때문에이를보완하기위해상호정보를사용한다. 수식 5에서 H(A) 는변환영상의블록 A에대한확률, H(B) 는디스플레이장치의그래픽영상의블록 B에대한확률, H(A,B) 는블록A와블록B의중첩될확률, H(O) 는두영역의편차에대한확률이다. 변환영상의블록 A 및그래픽영상의블록 B의유사성확률인 I N (A,B) 는, 수식 5에의해 산출되며, I N (A,B) 가상기임계치이상벗어난경우상기보정을다시수행한다. [0063] [0064] 그후, 상기변환영상을디스플레이장치에전송하는과정을가진다 (S870). 영상비교되어보정된영상을전시하며아울러카메라영상을전시한다. 본발명을첨부도면과전술된바람직한실시예를참조하여설명하였으나, 본발명은그에한정되지않으며, 후술되는특허청구범위에의해한정된다. 따라서, 본기술분야의통상의지식을가진자라면후술되는특허청 - 9 -
구범위의기술적사상에서벗어나지않는범위내에서본발명을다양하게변형및수정할수있다. [0065] 부호의설명 100: 카메라초기화부 200: 카메라부 300: 전처리부 400: 특징파라미터추출부 500: 형상화데이터생성부 600: 대역변환처리부 700: 영상보정부 800: 영상비교부 900: 변환영상전송부 도면 도면 1 도면 2-10 -
도면 3 도면 4-11 -
도면 5 도면 6-12 -
도면 7 도면 8-13 -