(19) 대한민국특허청 (KR) (12) 등록특허공보 (B1) (51) 국제특허분류 (Int. Cl.) G06T 17/00 (2006.01) G01C 11/00 (2006.01) (21) 출원번호 10-2011-0052212 (22) 출원일자 2011 년 05 월 31 일 심사청구일자 2011 년 05 월 31 일 (65) 공개번호 10-2011-0132278 (43) 공개일자 2011 년 12 월 07 일 (30) 우선권주장 1020100051170 2010 년 05 월 31 일대한민국 (KR) (56) 선행기술조사문헌 JP2009014629 A (45) 공고일자 2013년04월01일 (11) 등록번호 10-1249369 (24) 등록일자 2013년03월26일 (73) 특허권자 서울시립대학교산학협력단 서울특별시동대문구서울시립대로 163 ( 전농동, 서울시립대학교 ) (72) 발명자 이임평 서울특별시동대문구서울시립대로 163, 21 세기관 602 호 ( 전농동, 서울시립대학교 ) 오태완 서울특별시동대문구서울시립대로 163, 21 세기관 602 호 ( 전농동, 서울시립대학교 ) 최경아 서울특별시동대문구서울시립대로 163, 21 세기관 602 호 ( 전농동, 서울시립대학교 ) (74) 대리인 특허법인우인전체청구항수 : 총 14 항심사관 : 문남두 (54) 발명의명칭전방위영상광속조정장치및방법 (57) 요약 본발명은전방위카메라와 GPS/INS 가통합된지상모바일매핑시스템을통해획득된전방위영상과초기외부표정요소를이용하여공액점을통한지상값및외부표정요소를광속조정법을이용하여추정한다. 본발명은전방위영상의공액점좌표와전방위카메라의외부표정요소를입력값으로갖고외부표정요소및지상점좌표의조정계산된값을출력값으로하며, 새로운관측방정식수립, 확률제한조건식수립, 외부표정요소와지상점추정등 3 단계로구성된다. 본발명은연속된전방위카메라영상을이용하여지상점과외부표정요소를수월하게추정할수있으며, 지상점좌표의정확도를향상시킬수있다. 대표도 - 도 1-1 -
이발명을지원한국가연구개발사업 과제고유번호 PA100060 부처명 서울특별시 연구사업명 2010년도서울시산학연협력사업특허기술상품화기술개발지원사업 연구과제명 3D 입체전방위 (Omni-directional) 카메라시스템개발 주관기관 서울시립대학교 연구기간 2010.10.01 ~ 2012.09.30-2 -
특허청구의범위청구항 1 연속되는전방위영상들중에서선택된공액점에대하여공선조건식을이용하여관측방정식모델을정립하는관측방정식모델정립부 ; 상기관측방정식모델에미리정해진제약조건을부가하여제약조건식모델들을생성하는제약조건식모델생성부 ; 및생성된제약조건식모델들과정립된관측방정식모델을이용하여상기전방위영상을광속조정 (bundle adjustment) 하는광속조정부를포함하는것을특징으로하는전방위영상광속조정장치. 청구항 2 제 1 항에있어서, 상기광속조정부는상기광속조정을통해상기전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정하는것을특징으로하는전방위영상광속조정장치. 청구항 3 제 1 항에있어서, 상기제약조건식모델생성부는상기제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용하는것을특징으로하는전방위영상광속조정장치. 청구항 4 제 3 항에있어서, 위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여상기외부표정요소로상기전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득하는위치 / 자세정보획득부 ; 및상기위성항법장치또는광파기를이용하여상기지상기준점을획득하는지상기준점획득부 ; 를포함하고, 상기위치 / 자세정보획득부는, 상기전방위영상을획득하는전방위영상획득부를포함하는것을특징으로하는전방위영상광속조정장치. 청구항 5 제 1 항에있어서, 상기관측방정식모델정립부는상기전방위영상과관련된영상좌표계의영상점좌표, 지상좌표계상에위치하는지상점좌표, 상기영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및상기지상좌표계와상기영상좌표계간좌표변환계수를이용하여상기관측방정식모델을정립하는것을특징으로하는전방위영상광속조정장치. 청구항 6 제 5 항에있어서, 상기관측방정식모델정립부는, 테일러급수를이용하여상기영상점좌표, 상기지상점좌표, 상기측정오차, 및상기좌표변환계수에의한연산식을선형화시키는선형화부 ; 선형화된연산식을야코비행렬형태로치환시키는치환부 ; - 3 -
치환된연산식을미리정해진각성분에대하여미분시키는미분부 ; 및상기지상좌표계와상기영상좌표계간변환을위한회전행렬로서상기전방위영상각축의회전각에의한상기회전행렬을이용하여상기미분부에의해미분된연산식들로상기관측방정식모델을정립하는정립부를포함하는것을특징으로하는전방위영상광속조정장치. 청구항 7 제 2 항에있어서, 상기관측방정식모델정립부는상기전방위영상의공액점좌표를입력될상기관측데이터로하고상기지상점과상기외부표정요소를출력될미지변수로하는관측방정식모델을정립하는것을특징으로하는전방위영상광속조정장치. 청구항 8 연속되는전방위영상들중에서선택된공액점에대하여공선조건식을이용하여관측방정식모델을정립하는관측방정식모델정립단계 ; 상기관측방정식모델에미리정해진제약조건을부가하여제약조건식모델들을생성하는제약조건식모델생성단계 ; 및생성된제약조건식모델들과정립된관측방정식모델을이용하여상기전방위영상을광속조정 (bundle adjustment) 하는광속조정단계를포함하는것을특징으로하는전방위영상광속조정방법. 청구항 9 제 8 항에있어서, 상기광속조정단계는상기광속조정을통해상기전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정하는것을특징으로하는전방위영상광속조정방법. 청구항 10 제 8 항에있어서, 상기제약조건식모델생성단계는상기제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용하는것을특징으로하는전방위영상광속조정방법. 청구항 11 제 10 항에있어서, 위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여상기외부표정요소로상기전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득하는위치 / 자세정보획득단계 ; 상기위성항법장치또는광파기를이용하여상기지상기준점을획득하는지상기준점획득단계 ; 및지상사진측량시스템 (MMS) 을이용하여관측데이터를획득하는관측데이터획득단계를더욱더포함하는것을특징으로하는전방위영상광속조정방법. 청구항 12 제 8 항에있어서, 상기관측방정식모델정립단계는상기전방위영상과관련된영상좌표계의영상점좌표, 지상좌표계상에위치하는지상점좌표, 상기영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및상기지상좌표계와상기영상좌표계간좌표변환계수를이용하여상기관측방정식모델을정립하는것을특징으로하는전방위영상광속조정방법. - 4 -
청구항 13 제 12 항에있어서, 상기관측방정식모델정립단계는, 테일러급수를이용하여상기영상점좌표, 상기지상점좌표, 상기측정오차, 및상기좌표변환계수에의한연산식을선형화시키는선형화단계 ; 선형화된연산식을야코비행렬형태로치환시키는치환단계 ; 치환된연산식을미리정해진각성분에대하여미분시키는미분단계 ; 및상기지상좌표계와상기영상좌표계간변환을위한회전행렬로서상기전방위영상각축의회전각에의한상기회전행렬을이용하여상기미분단계에의해미분된연산식들로상기관측방정식모델을정립하는정립단계를포함하는것을특징으로하는전방위영상광속조정방법. 청구항 14 제 9 항에있어서, 상기관측방정식모델정립단계는상기전방위영상의공액점좌표를입력될상기관측데이터로하고상기지상점과상기외부표정요소를출력될미지변수로하는관측방정식모델을정립하는것을특징으로하는전방위영상광속조정방법. 명세서 [0001] 기술분야 본발명은전방위영상으로부터절대좌표를결정하는장치및방법에관한것이다. 보다상세하게는, 광속조 정을통해전방위영상으로부터절대좌표를결정하는장치및방법에관한것이다. [0002] [0003] [0004] 배경기술최근에는모바일매핑시스템 (MMS; Mobile Mapping System) 에전방위카메라 (omni-directional camera) 를탑재하여공간정보를획득하려는시도가활발하게이루어지고있다. 전방위카메라란시야각 (FOV; Filed Of View) 이 360 이기때문에촬영지점을기준으로모든방향의영상정보취득이가능한카메라를말한다. 종래기술의한가지예로서, 전방위카메라영상을통해 3차원절대좌표를결정하는기술이있다. 이기술은전방위카메라를통해 3차원절대좌표결정에대한수식및그가능성에대해서언급하고있다. 이기술은기존의프레임카메라를사용하는방식에비해기선이길어져높은정확도를갖는결과물을생성하는것이가능하다. 그러나, 이기술은광속조정법에비해절대좌표값의정확도가떨어지기때문에디지털영상을이용하는수치사진측량에적합하지않다. 종래기술의다른예로서, 전방위카메라영상을이용하여객체의위치를추적하고탐지하는기술이있다. 이기술은연속된전방위영상을이용하여영상내의객체들을매칭하고이를탐지한다. 그러나, 이기술은공액점을추출하기않기때문에지상좌표계와카메라좌표계간매칭이정확하지않다. 발명의내용 [0005] 해결하려는과제본발명은상기한문제점을해결하기위해안출된것으로서, 전방위카메라와 GPS/INS(Global Positioning System/Inertial Navigation System) 가통합된모바일매핑시스템 (MMS) 을이용하여전방위영상을광속조정하는전방위영상광속조정장치및방법을제안함을목적으로한다. [0006] 과제의해결수단 본발명은상기한목적을달성하기위해안출된것으로서, 연속되는전방위영상들중에서선택된공액점에대 - 5 -
하여공선조건식을이용하여관측방정식모델을정립하는관측방정식모델정립부 ; 미리정해진제약조건을반영및미반영하여상기관측방정식모델에부가하여제약조건식모델들을생성하는제약조건식모델생성부 ; 및생성된제약조건식모델들과정립된관측방정식모델을이용하여상기전방위영상을광속조정 (bundle adjustment) 하는광속조정부를포함하는것을특징으로하는전방위영상광속조정장치를제안한다. [0007] [0008] [0009] [0010] [0011] [0012] [0013] 바람직하게는, 상기광속조정부는상기광속조정을통해상기전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정한다. 더욱바람직하게는, 상기관측방정식모델정립부는상기전방위영상의공액점좌표를입력될상기관측데이터로하고상기지상점과상기외부표정요소를출력될미지변수로하는관측방정식모델을정립한다. 바람직하게는, 상기제약조건식모델생성부는상기제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용한다. 더욱바람직하게는, 상기전방위영상광속조정장치는위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여상기외부표정요소로상기전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득하는위치 / 자세정보획득부 ; 또는상기위성항법장치또는광파기를이용하여상기지상기준점을획득하는지상기준점획득부를더욱포함하며, 상기위치 / 자세정보획득부를구비하는것으로서, 상기전방위영상을획득하는전방위영상획득부를더욱더포함할수있다. 바람직하게는, 상기관측방정식모델정립부는상기전방위영상과관련된영상좌표계의영상점좌표, 지상좌표계상에위치하는지상점좌표, 상기영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및상기지상좌표계와상기영상좌표계간좌표변환계수를이용하여상기관측방정식모델을정립한다. 더욱바람직하게는, 상기관측방정식모델정립부는, 테일러급수를이용하여상기영상점좌표, 상기지상점좌표, 상기측정오차, 및상기좌표변환계수에의한연산식을선형화시키는선형화부 ; 선형화된연산식을야코비행렬형태로치환시키는치환부 ; 치환된연산식을미리정해진각성분에대하여미분시키는미분부 ; 및상기지상좌표계와상기영상좌표계간변환을위한회전행렬로서상기전방위영상각축의회전각에의한상기회전행렬을이용하여상기미분부에의해미분된연산식들로상기관측방정식모델을정립하는정립부를포함한다. 또한, 본발명은연속되는전방위영상들중에서선택된공액점에대하여공선조건식을이용하여관측방정식모델을정립하는관측방정식모델정립단계 ; 미리정해진제약조건을반영및미반영하여상기관측방정식모델에부가하여제약조건식모델들을생성하는제약조건식모델생성단계 ; 및생성된제약조건식모델들과정립된관측방정식모델을이용하여상기전방위영상을광속조정 (bundle adjustment) 하는광속조정단계를포함하는것을특징으로하는전방위영상광속조정방법을제안한다. 바람직하게는, 상기광속조정단계는상기광속조정을통해상기전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정한다. 더욱바람직하게는, 상기관측방정식모델정립단계는상기전방위영상의공액점좌표를입력될상기관측데이터로하고상기지상점과상기외부표정요소를출력될미지변수로하는관측방정식모델을정립한다. 바람직하게는, 상기제약조건식모델생성단계는상기제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용한다. 더욱바람직하게는, 상기전방위영상광속조정방법은위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여상기외부표정요소로상기전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득하는위치 / 자세정보획득단계 ; 또는상기위성항법장치또는광파기를이용하여상기지상기준점을획득하는지상기준점획득단계를더욱포함하며, 지상사진측량시스템 (MMS) 을이용하여상기관측데이터를획득하는관측데이터획득단계를더욱더포함할수있다. 바람직하게는, 상기관측방정식모델정립단계는상기전방위영상과관련된영상좌표계의영상점좌표, 지상좌표계상에위치하는지상점좌표, 상기영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및상기지상좌표계와상기영상좌표계간좌표변환계수를이용하여상기관측방정식모델을정립한다. 더욱바람직하게는, 상기관측방정식모델정립단계는, 테일러급수를이용하여상기영상점좌표, 상기지상점좌표, 상기측정오차, 및상기좌표변환계수에의한연산식을선형화시키는선형화단계 ; 선형화된연산식을야코비행렬형태로치환시키는치환단계 ; 치환된연산식을미리정해진각성분에대하여미분시키는미분단계 ; 및상기지상좌표계와상기영상좌표계간변환을위한회전행렬로서상기전방위영상각축의회전각에의한상기회전행렬을이용하여상기미분단계에의해미분된연산식들로상기관측방정식모델을정립하는정립단계를포함한다. - 6 -
[0014] 발명의효과본발명은전방위카메라와 GPS/INS가통합된모바일매핑시스템을이용하여전방위영상을광속조정함으로써다음효과를얻을수있다. 첫째, 전방위영상에적합한공선방정식과이방정식에의한관측방정식을수립함으로써, 연속된전방위카메라영상을이용하여지상점과외부표정요소를수월하게추정할수있다. 둘째, GPS/INS로부터획득된외부표정요소, 정지 GPS, 토탈스테이션등을통해획득된지상기준점을이용하여다양한타입의확률제약조건식을수립검증함으로써, 지상점좌표의정확도를향상시킬수있다. [0015] 도면의간단한설명 도 1 은본발명의바람직한실시예에따른전방위영상광속조정장치의내부구성을개략적으로도시한블록 도이다. 도 2는본발명의바람직한실시예에따른전방위영상광속조정장치의내부구성을세부적으로도시한블록도이다. 도 3은본실시예에따른방법론의개요도이다. 도 4는중심투영원리에의한지상점과영상점간의관계를도시한도면이다. 도 5는본실시예에따른방법론을설명하기위한참고도이다. 도 6 내지도 13은본실시예에대한실험을설명하기위한참고도이다. 도 14는본발명의바람직한실시예에따른전방위영상광속조정방법을설명한흐름도이다. [0016] [0017] [0018] [0019] [0020] 발명을실시하기위한구체적인내용이하, 본발명의바람직한실시예를첨부된도면들을참조하여상세히설명한다. 우선각도면의구성요소들에참조부호를부가함에있어서, 동일한구성요소들에대해서는비록다른도면상에표시되더라도가능한한동일한부호를가지도록하고있음에유의해야한다. 또한, 본발명을설명함에있어, 관련된공지구성또는기능에대한구체적인설명이본발명의요지를흐릴수있다고판단되는경우에는그상세한설명은생략한다. 또한, 이하에서본발명의바람직한실시예를설명할것이나, 본발명의기술적사상은이에한정하거나제한되지않고당업자에의해변형되어다양하게실시될수있음은물론이다. 도 1은본발명의바람직한실시예에따른전방위영상광속조정장치의내부구성을개략적으로도시한블록도이다. 도 2는본발명의바람직한실시예에따른전방위영상광속조정장치의내부구성을세부적으로도시한블록도이다. 이하설명은도 1과도 2를참조한다. 도 1에따르면, 전방위영상광속조정장치 (100) 는관측방정식모델정립부 (110), 제약조건식모델생성부 (120), 광속조정부 (130), 전원부 (140) 및주제어부 (150) 를포함한다. 관측방정식모델정립부 (110) 는연속되는전방위영상들중에서선택된공액점에대하여공선조건식 (collinearity equation) 을이용하여관측방정식모델을정립하는기능을수행한다. 공선조건을기반으로하는관측방정식은두개이상의전방위영상으로부터얻어진공액점의영상좌표값으로세워질수있다. 관측방정식모델정립부 (110) 는전방위영상의공액점좌표를입력될관측데이터로하고지상점과외부표정요소를출력될미지변수로하는관측방정식모델을정립한다. 관측방정식은관측치, 미지수, 그리고관측치와미지수간의수학적모델로구성된다. 관측치는영상좌표계에서획득한영상좌표값과관측오차를의미한다. 미지수는지상좌표계로표현된지상점과카메라의외부표정요소를의미한다. 수학적모델은공선조건과좌표변환으로구성된다. 관측방정식모델은공선방정식, 관측치및관측오차, 미지수등을이용하여구성된다. 공선방정식은좌표변환계수 ( 지상좌표계상의지상점이영상좌표계상의지상점으로 ), 지상점이영상으로투영되는공선조건등으로세워질수있다. 좌표변환계수에는회전변환계수와원점이동변환계수등두가지성분이있다. 이때, 관측방정식모델정립부 (110) 는전방위영상과관련된영상좌표계 ( 카메라좌표계 ) 의영상점좌표, 지상좌표계상에위치하는지상점좌표, 영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및지상좌표계와영상좌표계간좌표변환계수를이용하여관측방정식모델을정립한다. 이점을고려할때관측방정식모델정립부 (110) 는도 2의 (b) 에도시된바와같이선형화부 (111), 치환부 (112), 미분부 (113) 및정립부 (114) - 7 -
를포함할수있다. [0021] [0022] [0023] [0024] [0025] [0026] [0027] [0028] [0029] [0030] 선형화부 (111) 는테일러급수를이용하여영상점좌표, 지상점좌표, 측정오차, 및좌표변환계수에의한연산식을선형화시키는기능을수행한다. 치환부 (112) 는선형화된연산식을야코비행렬형태로치환시키는기능을수행한다. 미분부 (113) 는치환된연산식을미리정해진각성분에대하여미분시키는기능을수행한다. 미분부 (113) 는미리정해진성분으로미지변수를이용한다. 본실시예에서미지변수에는외부표정요소와지상점좌표가있으며, 특히외부표정요소에는위치요소와자세요소가있다. 정립부 (114) 는지상좌표계와영상좌표계간변환을위한회전행렬로서전방위영상각축의회전각에의한회전행렬을이용하여미분부에의해미분된연산식들로관측방정식모델을정립하는기능을수행한다. 제약조건식모델생성부 (120) 는미리정해진제약조건을반영및미반영하여관측방정식모델에부가하여제약조건식모델들을생성하는기능을수행한다. 제약조건식모델생성부 (120) 는제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용할수있다. 이점을고려할때, 전방위영상광속조정장치 (100) 는도 2의 (a) 에도시된바와같이위치 / 자세정보획득부 (210), 지상기준점획득부 (220) 및전방위영상획득부 (230) 중적어도하나의구성부를더욱포함할수있다. 위치 / 자세정보획득부 (210) 는위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여외부표정요소로전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득하는기능을수행한다. 지상기준점획득부 (220) 는 GPS/INS, 광파기등을이용하여지상기준점을획득하는기능을수행한다. 전방위영상획득부 (230) 는위치 / 자세정보획득부 (210) 를구비하는것으로서, 전방위영상을획득하는기능을수행한다. 광속조정부 (130) 는생성된제약조건식모델들과정립된관측방정식모델을이용하여전방위영상을광속조정 (bundle adjustment) 하는기능을수행한다. 광속조정부 (130) 는광속조정을통해전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정한다. 전원부 (140) 는전방위영상광속조정장치 (100) 를구성하는각부에전원을공급하는기능을수행한다. 주제어부 (150) 는전방위영상광속조정장치 (100) 를구성하는각부의전체작동을제어하는기능을수행한다. 다음으로, 전방위영상광속조정장치 (100) 를일실시예를들어설명한다. 이하실시예에서는전방위카메라와 GPS/INS가통합된지상모바일매핑시스템을통해획득된전방위영상과초기외부표정요소를이용하여공액점을통한지상값및외부표정요소를광속조정법을이용하여추정하는방법론을소개한다. 본실시예에서제안하는방법인전방위영상을이용한광속조정법은전방위영상의공액점좌표와전방위카메라의외부표정요소를입력값으로갖고외부표정요소및지상점좌표의조정계산된값을출력값으로한다. 도 3은전방위영상을이용한본방법론의개요를도시한다. 도 3에서보는바와같이제안된방법은크게새로운관측방정식수립, 확률제한조건식 (stochastic constraint) 수립, 외부표정요소와지상점추정등 3단계로구성되어있다. 첫번째단계는전방위영상에적합한공선조건식을이용하여새로운관측방정식모델을수립하는단계이다. 본실시예에서이단계는도 1의관측방정식모델정립부가수행할수있다. 중심투영원리에의해카메라투영의중심과지상점을잇는직선이카메라투영중심을중심으로갖는구와한점에서만나게되며이를이용하여새로운공선조건식을수립한다. 그리고, 공액점과외부표정요소를관측값으로가지며외부표정요소와지상점좌표를미지수로갖는관측방정식을수립한다. 아래수학식 1은관측방정식을보여주고있다. 이때 Y 는전방위영상상의공액점좌표값이고, 차를의미한다. 는각각외부표정요소와지상점좌표미지수이며, e y 는오 수학식 1 [0031] [0032] 다음단계는지상 MMS 에탑재되어있는 GPS/INS 로부터획득되는카메라의외부표정요소및정지 GPS 와토탈 스테이션을통해획득된지상기준점을제약조건으로갖는확률제약조건 (stochastic constraints) 식을수립 - 8 -
한다. 본실시예에서이단계는도 1의제약조건식모델생성부가수행할수있다. 수학식 2와수학식 3은각각외부표정요소와지상기준점에대한확률제약조건식이다. Z 1 과 Z 2 는각각외부표정요소및지상기준점에대한관측벡터를의미한다. 이단계에서는이전단계에서추정한미지수들및두종류의확률제약조건적용유무를조합하여총 8가지의수학적모델을완성한다. 수학식 2 [0033] 수학식 3 [0034] [0035] [0036] [0037] [0038] [0039] 마지막단계는지상 MMS을통해획득된실데이터를앞서제안한다양한수학적모델에따른광속조정법에적용하여영상의외부표정요소및지상점좌표를조정하고결과를분석하는단계이다. 본실시예에서이단계는도 1의광속조정부가수행할수있다. 정확도검증은정지 GPS 및토탈스테이션을통해측정한검사점과제안된방법론을통해추정된지상점과의오차를통해확인한다. 이하, 각단계에대해서좀더구체적으로설명한다. 가. 관측방정식수립일반프레임카메라에서는 3차원공간상에있는지상점이렌즈의중심인주점을지나 2차원의초점면과만나는점에영상점이생성된다. 하지만전방위카메라의경우는 2차원초점면에아닌 3차원구의표면에영상점이생성된다. 프레임카메라와전방위카메라간의차이로인해전방위영상에적합한공선조건식을수립하였다. 수학식 4는지상좌표계상에서의지상점벡터를카메라좌표상에서의지상점벡터로변환하는식이다. C P는카 메라좌표계상에서의지상점벡터이고 G P 는지상점좌표계상에서의지상점벡터이다. C GR 은지상좌표계와카 메라좌표계간의회전변환식이며, G O C 는지상좌표계상에서의카메라좌표계의중심좌표를의미한다. 수학식 4 [0040] [0041] 카메라좌표계의원점은카메라의투영중심 ( G O C ) 에해당되고, 영상점 (ρ) 은카메라투영중심을중심으로갖는 구면상에존재한다. 중심투영원리에의해투영의중심, 영상점, 지상점 ( C P) 은도 4 와같이하나의직선상에 존재한다. 영상점은극좌표계의수평각 α 와수직각 β 로표현이가능하며이는 로수학식 5 와같이 표현이가능하다. C P x, C P y, C P z 는 C P 의좌표를의미한다. - 9 -
수학식 5 [0042] [0043] 수학식 4 와수학식 5 를이용하여전방위영상에서의영상점과지상점간의관계를표현할수있으며전방위영 상에적합한공선방정식을유도할수있다. 이러한공선방정식을이용하여전방위영상에적합한관측방정식 을수학식 6 과같이수립할수있다. 여기서 σ 0 2 은영상점측정시발생할수있는측정오차를의미하며 I2 는 2 2 의단위행렬이다. 수학식 6 은지상점좌표인 C P x, C P y, C P z 와투영의중심좌표인 X C, Y C, Z C 그리고지상점좌 표계와카메라좌표계간의회전변환을나타내는 ω, φ, κ 로총 9 개의계수를포함하고있다. 수학식 6 [0044] [0045] 수학식 6 을테일러급수를이용하면수학식 7 과같은선형화가가능하다. 는앞서언급한 9 개의계수에대한 미지수이고은의초기근사값이며 f 는공선조건식의함수이다. 수학식 7 [0046] [0047] 수학식 8 은수학식 7 을야코비행렬 (Jacobian Matrix) 로표현한결과이다. t 1, t 2 는수학식 9 와같이치환되었 다. 수학식 8 [0048] 수학식 9 [0049] - 10 -
[0050] 수학식 8 을각각수학식 10, 수학식 11, 수학식 12 등과같이성분별로나누어미분을수행한다. 수학식 10 [0051] 수학식 11 [0052] 수학식 12 [0053] [0054] 수학식 12 는 C P 을에대해미분한수식이고수학식 13 은각미지수별성분을보여주고있다. 는외부표 정요소중위치요소, 는외부표정요소중자세요소, 는지상점의 3 차원좌표를의미한다. 수학식 13 [0055] [0056] C P 의및에대한미분값은비교적단순한형태로각각수학식 14 와수학식 15 처럼표현된다. 수학식 14 [0057] - 11 -
수학식 15 [0058] [0059] 마찬가지로 C P 의 에대한미분값은수학식 16 과같으며, C GR 는각축의회전각을곱한회전행렬로서수학식 17 과수학식 18 로표현할수있다. 수학식 17 은수학식 14 내지수학식 16 의 C GR 을정의하는것이다. C GR 은카메 라좌표계에서지상좌표계로변환할때쓰이는회전행렬이다. 수학식 18 은수학식 17 에서정의하고있는 R x (ω), R y (φ), R z (κ) 를정의하는식이다. 여기서, ω, φ, κ 는각각 X, Y, Z 축의회전각이다. 수학식 16 [0060] 수학식 17 [0061] 수학식 18 [0062] [0063] 이리하여 C GR 의 ω, φ, κ 에대한미분값은각각수학식 19, 수학식 20, 수학식 21 처럼표현된다. 수학식 19 [0064] 수학식 20 [0065] - 12 -
수학식 21 [0066] [0067] 이상설명한수학식 14 내지수학식 21 은관측방정식을푼것으로후술하는수학식 22 에서 y=a e A p ξ e +e y 에해당 한다. [0068] [0069] 나. 타입별제약조건식수립 수학식 22 는외부표정요소및지상기준점을제약조건으로사용한관측방정식을보여주고있다. ξ e 는외부 표정요소에대한미지수, ξ p 는지상기준점에대한미지수이다. y는공액점의관측값이고 A e, A p 는외부표정요소의미지수인 ξ e 와지상기준점의미지수 ξ p 에대해미분을시행한공선조건식으로부터유도된디자인매트리스이다. z 1 은 GPS/INS로부터측정된외부표정요소의관측값벡터이고, z 2 는정지 GPS 및토탈스테이션으로부터측정된지상기준점에대한관측값벡터이다. K 1, K 2 는외부표정요소및지상기준점제약조건에대한 2 디자인매트리스이다. e y, e z1, e z2 등은 y, z1, z2 등관측벡터와관련된에러벡터를의미한다. σ 0 은미지수 -1-1 들의분산성분이며, P y 는 ey 에대한코팩터매트리스를의미한다. P z1 는 GPS/INS의정밀도를의미하는 ez1 의 -1 코팩터매트리스이며, P z2 는지상기준점의정밀도를의미하는 ez2 의코팩터매트리스를의미한다. 수학식 22 [0070] [0071] [0072] [0073] [0074] [0075] 본발명에서는적용되는제약조건에따라총 4개의타입을정의하고각타입에따른정확도결과를분석하였다. 타입 1에서는제약조건을사용하지않고 GPS/INS로부터획득된초기외부표정요소를이용하여지상점을추정한다. 타입 2와타입 3에서는각각외부표정요소및지상기준점을제약조건식에적용하였다. 타입 4에서는외부표정요소와지상기준점모두를제약조건식에적용하였다. 도 5의 (a) 는각타입별로사용한요소및제약조건을보여주고있으며, 도 5의 (b) 는각타입별사용된수학적모델식을보여주고있다. 다. 실험결과및분석본발명에대한실험에서사용한전방위영상및위치 / 자세데이터는전방위카메라및 GPS/INS를탑재한지상 MMS을통해획득하였다. 전방위카메라는 Point Grey Research 사의 Ladybug3 모델로서 6개의개별 CCD를통해획득된영상을하나의영상으로통합하여전방위영상을생성하며가로방향 360도, 세로방향 180도의촬영범위 (Field of View) 를갖는다. 도 6의 (a) 는 Ladybug3의사양을보여주고있으며도 6의 (b) 는그외관을보여주고있다. 본전방위카메라가 6개의개별적인영상을취득하여최종적으로통합된하나의영상을생성하는과정은도 7의 (a) 와같다. 도 7의 (a) 는전방위카메라영상의생성과정 (Point Grey Research, 2008) 을도시한것이다. 첫단계에서는개별 CCD를통해획득된 Bayer-tiled Raw 영상을 JPEG 타입으로영상압축을한후컴퓨터로전송을한다. 컴퓨터에서는영상의압축을푼후 RGB 컬러영상으로변환하여그래픽카드로전송을한다. 여기서각종왜곡등을제거하는보정 (Rectification) 과정과영상텍스쳐의좌표계를변환하는투영 (Projection) 과정및영상을서로연결하는블랜딩 (Blending) 과정을거쳐최종영상 (Stitched Image) 을생성한다. 전방위영상이획득되는순간의외부표정요소를취득하기위해지상 MMS에 GPS/INS를탑재하였다. 탑재된시 - 13 -
스템은 Applanix 사의 POSLV 420PP 모델로서모바일매핑시스템등의이동형시스템에적합한센서이다 (Applanix, 2009). 3축방향으로가속도를측정하는가속도계 (accelerometer) 와 3개의회전축의각속도를측정하는자이로스코프 (gyroscope) 가내장된관성관측장치 (IMU) 로구성되어있다. GPS는 3차원절대좌표의위치를측정할뿐만아니라 2개의 GPS 안테나를이용하여 INS의오차를보정하는 GAMS(GNSS Azimuth Measurement Subsystem) 을사용한다. 이것은 GPS의반송파를이용해 2개의 GPS 안테나사이의상대적위치벡터를측정하는시스템으로연속적으로 INS의오차를보정한다. 도 7의 (b) 는탑재된 GPS/INS 시스템의정확도를보여주고있다. [0076] [0077] [0078] [0079] [0080] [0081] [0082] [0083] 도 8의 (a) 는본실험에서사용된지상 MMS의외관을보여주고있다. 시스템의상단부에는전방위카메라가탑재되어있고그아래로는 IMU, GPS 안테나, 수신기등이탑재되어있다. 본실험에서는오산시청주변의도로를촬영한연속된 24장의전방위영상을이용하였다. 첫영상과마지막영상간의거리는약 100m 정도이며연속된두영상간의간격은약 4m이다. 도 8의 (b) 는본실험데이터를획득한장소즉, 실험대상지를보여주고있다. 그림의중간을가로지르는노란색점선은차량의이동방향을나타낸다. 노란색으로표기된수치들은정지 GPS와토탈스테이션을통해획득한지상점으로서이중몇개의지상점은기준점으로사용되었으며나머지지상점은검사점으로사용되었다. 도 9의 (a) 는지상기준점및검사점의위치를도시한것으로서, 앞서설명한지상점들의위치및색인을보여주고있다. 붉은색색인은이지상점이기준점으로활용된것을의미하며검은색색인은검사점으로사용된것을의미한다. 그리고연속된영상을서로연결해주기위해공액점을추가적으로선정하였다. 도 9의 (b) 는공액점들중한쌍의위치를보여주고있는예시이다. 본실험에서사용한모든공액점과관련되어있는지상점의개수는총 28개이다. 각지상점은최소 4장의영상에서최대 11장의영상까지촬영되었다. 연속된두장에동시에포함되어있는지상점의평균개수는 7.9장으로서상호표정시최소로필요한공액점의개수인 5장보다많은개수이다. 실험에서사용한영상및지상점에대한정보는도 10의 (b) 에설명되어있다. 도 10의 (b) 는실험데이터정보를도시한것이다. 각각의영상에포함되어있는지상점은도 10의 (a) 를통해확인할수있다. 도 10의 (a) 는영상과지상점사이의관계를도시한것이다. 행은지상점의색인을나타내며, 열은영상의색인을나타낸다. 해당영상에해당지상점이있을경우붉은색, 아닌경우흰색으로표시된다. 예를들어, 1번지상점은 1번영상에포함되지만 2번영상에는포함되지않는다. 그리고, 전방위영상을통해공액점을측정할시의측정오차는 ±1 로설정하였다. 지상기준점및 GPS의측정오차는 ±5cm이고 INS의오차는 ±0.05 이다. 실험은실제로실험지역에서획득한전방위영상및 GPS/INS 데이터와정지 GPS 및토탈스테이션으로측정한지상기준점 / 검사점을이용하여진행하였다. 앞서제안한 8가지의수학적모델에기반하였으며그결과는도 11 의 (a) 를통해확인할수있다. 도 11의 (a) 는타입 1~2에대해추정된지상점오차를도시한것이다. 도 11에서외부표정요소를확률제약조건으로적용한타입 B의 RMSE와확률제약조건을전혀적용하지않은타입 A 의 RMSE 차이가매우적음을알수있다. 이는타입 B에서확률제약조건으로적용하였던추정된외부표정요소가지상 MMS의 GPS/INS로부터획득된초기외부표정요소와거의같음을의미한다. 이는전방위영상에서공액점을측정할때의측정오차가 GPS/INS 측정오차에비해크기때문에생기는결과이다. 그러므로연속되는영상들을이어주는공액점을통해수행되는상호표정과정은외부표정요소의정확도를향상시킬수없다. 도 11의 (b) 는타입 3과타입 4를통해추정된지상점의오차를보여주고있다. 타입 3에서는확률제한조건식에 4개의지상기준점 (1, 4, 8, 10번 ) 만을적용하였다. RMSE를다른타입과비교해보면그오차값이매우낮음을알수있다. 이를통해적은수의지상기준점을이용하여 ±5cm 정도의정확도로지상점추정이가능함을알수있었다. 하지만타입 3을이용하기위해서는높은정확도를갖는지상기준점의측정이선행되어야한다. 타입 4에서는 4개의지상기준점과외부표정요소를모두확률제한조건식에적용한결과이다. 타입 1, 2에비해서는 RMSE가향상되었지만타입 3에비해서는좋은결과를보여주지못했다. 도 12의 (a) 는측정된영상점좌표와조정계산된영상점좌표간의잔차를각타입별로보여주고있다. 잔차가크다는것은측정된영상점좌표와조정계산된영상점좌표간의차이가크며외부표정요소와지상점좌표의추정결과가좋지않음을의미한다. 각타입별잔차의양은도 12의 (a) 와같으며그통계량은도 12의 (b) 를통해확인할수있다. 도 12의 (a) ~ (b) 를통해타입 3은다른타입에비해잔차가매우낮음을알수있으며이는수학적모델의정확도가매우높음을의미한다. - 14 -
[0084] [0085] [0086] [0087] [0088] [0089] [0090] [0091] [0092] [0093] 도 13은추정된지상점, 외부표정요소및확률제약조건에사용되었던지상기준점과정확도비교를위해사용되었던검사점을보여주고있다. 파란색점은추정된지상점, 붉은색점은추정된외부표정요소이다. 붉은색원은지상기준점이고녹색원은검사점이다. 다음으로, 도 1의전방위영상광속조정장치에의한조정방법에대해서설명한다. 도 14는본발명의바람직한실시예에따른전방위영상광속조정방법을설명한흐름도이다. 이하설명은도 14를참조한다. 먼저, 연속되는전방위영상들중에서선택된공액점에대하여공선조건식을이용하여관측방정식모델을정립한다 ( 관측방정식모델정립단계, S10). 관측방정식모델정립단계 (S10) 에서는전방위영상과관련된영상좌표계의영상점좌표, 지상좌표계상에위치하는지상점좌표, 영상좌표계상에위치하는것으로서지상점에대응하는영상점을측정할때에발생되는측정오차, 및지상좌표계와영상좌표계간좌표변환계수를이용하여관측방정식모델을정립할수있다. 이점을고려할때, 관측방정식모델정립단계 (S10) 는선형화단계, 치환단계, 미분단계및정립단계를포함할수있다. 선형화단계는테일러급수를이용하여영상점좌표, 지상점좌표, 측정오차, 및좌표변환계수에의한연산식을선형화시키는단계를의미한다. 치환단계는선형화된연산식을야코비행렬형태로치환시키는단계를의미한다. 미분단계는치환된연산식을미리정해진각성분에대하여미분시키는단계를의미한다. 정립단계는지상좌표계와영상좌표계간변환을위한회전행렬로서전방위영상각축의회전각에의한회전행렬을이용하여미분단계에의해미분된연산식들로관측방정식모델을정립하는단계를의미한다. 관측방정식모델정립단계 (S10) 에서는전방위영상의공액점좌표를입력될관측데이터로하고지상점과외부표정요소를출력될미지변수로하는관측방정식모델을정립할수있다. 관측방정식모델정립단계 (S10) 이후, 미리정해진제약조건을반영및미반영하여관측방정식모델에부가하여제약조건식모델들을생성한다 ( 제약조건식모델생성단계, S20). 제약조건식모델생성단계 (S20) 에서는제약조건으로미리저장된외부표정요소와지상좌표계상에위치하는지상기준점을이용할수있다. 이점을고려할때, 본실시예에따른전방위영상광속조정방법은위치 / 자세정보획득단계, 지상기준점획득단계, 및관측데이터획득단계중적어도하나의단계를더욱수행할수있다. 위치 / 자세정보획득단계에서는위성항법장치 (GPS) 또는관성항법장치 (INS) 를이용하여외부표정요소로전방위영상을획득하는전방위영상획득장치의위치정보와자세정보를획득한다. 지상기준점획득단계에서는위성항법장치또는광파기를이용하여지상기준점을획득한다. 위치 / 자세정보획득단계와지상기준점획득단계는관측방정식모델정립단계 (S10) 와제약조건식모델생성단계 (S20) 사이에수행된다. 그러나, 반드시이에한정되는것은아니며, 관측방정식모델정립단계 (S10) 이전에수행되는것도가능하다. 관측데이터획득단계에서는지상사진측량시스템 (MMS) 을이용하여관측데이터를획득한다. 관측데이터는 GPS/INS를이용한영상획득장치의위치 / 자세정보, 지상기준점, 전방위영상등을의미한다. 본실시예에서관측데이터획득단계에서는전방위영상만을획득하는것도가능하다. 관측데이터획득단계는제약조건식모델생성단계 (S20) 와광속조정단계 (S30) 사이에수행된다. 그러나, 반드시이에한정되는것은아니며, 관측방정식모델정립단계 (S10) 와제약조건식모델생성단계 (S20) 사이에수행되거나, 관측방정식모델정립단계 (S10) 이전에수행되는것도가능하다. 제약조건식모델생성단계 (S20) 이후, 생성된제약조건식모델들과정립된관측방정식모델을이용하여전방위영상을광속조정 (bundle adjustment) 한다 ( 광속조정단계, S30). 광속조정단계 (S30) 에서는광속조정을통해전방위영상과관련된것으로서객체의 3차원모델을추출하기위한지상점과외부표정요소를추정할수있다. 이상의설명은본발명의기술사상을예시적으로설명한것에불과한것으로서, 본발명이속하는기술분야에서통상의지식을가진자라면본발명의본질적인특성에서벗어나지않는범위내에서다양한수정, 변경및치환이가능할것이다. 따라서, 본발명에개시된실시예및첨부된도면들은본발명의기술사상을한정하기위한것이아니라설명하기위한것이고, 이러한실시예및첨부된도면에의하여본발명의기술사상의범위가한정되는것은아니다. 본발명의보호범위는아래의청구범위에의하여해석되어야하며, 그와동등한범위내에있는모든기술사상은본발명의권리범위에포함되는것으로해석되어야할것이다. 산업상이용가능성 - 15 -
[0094] 본발명에서연속된전방위카메라영상을이용하여지상점및외부표정요소의추정이가능함을알수있었다. 이를위해전방위영상에적합한공선방정식을새로이수립하였고이를이용하여관측방정식도수립하였다. 또한, GPS/INS로부터획득된외부표정요소및정지 GPS와토탈스테이션을통해획득된지상기준점을이용한확률제약조건식을수립하여 4가지타입별정확도를검증하였다. 본발명을통해높은정확도를갖는지상기준점이있다면 5cm 내외의정확도를갖는지상점추출이가능함을알수있었다. 이는정밀한 3차원도시모델링등의분야에서널리활용될수있음을의미한다. 본발명은실시간공중자료획득시스템분야에도적용가능하다. [0095] 부호의설명 100 : 전방위영상광속조정장치 110 : 관측방정식모델정립부 111 : 선형화부 112 : 치환부 113 : 미분부 114 : 정립부 120 : 제약조건식모델생성부 130 : 광속조정부 210 : 위치 / 자세정보획득부 220 : 지상기준점획득부 230 : 전방위영상획득부 240 : 공선조건식설정부 241 : 변환부 242 : 계산부 243 : 설정부 도면 도면 1-16 -
도면 2 도면 3 도면 4-17 -
도면 5-18 -
도면 6-19 -
도면 7-20 -
도면 8 도면 9-21 -
도면 10 도면 11-22 -
도면 12 도면 13-23 -
도면 14-24 -