한국산학기술학회논문지 Vol. 10, No. 7, pp. 1503-1508, 2009 열적외선이미지를이용한영상처리 정병조 1*, 장성환 1 1 원광대학교전기공학과 Image Processing using Thermal Infrared Image Jeong Byoung-Jo 1* and Jang Sung-Whan 1 1 Department of Electrical Engineering, Wonkwang University 요약본논문은열적외선카메라이미지를영상처리기법을활용하여실시간으로구현하는데그목적이있다. 열적외선영상데이터는온도의변화에따라 Hot Mapping, Cool Mapping, Rainbow Mapping을하였으며, 열적외선이미지의명암대비기능을알아보기위해히스토그램영상처리기법을사용하였고, 물체의구분을위해서열적외선이미지의에지부분을추출하였다. 또한이미지에서온도를추출해내기위해이미지정보프로그램을만들어온도를측정할수있었다. Abstract This study applied image processing techniques, constructed to real-time, to thermal infrared camera image. Thermal infrared image data was utilized for hot mapping, cool mapping, and rainbow mapping according to changing temperature. It was histogram image processing techniques so that detected shade contrast function of the thermal infrared image, and the thermal infrared image's edge was extracted to classification of object. Moreover, extraction of temperature from image was measured by using the image information program. Key Words : Thermal Infrared Camera, Infrared Sensor, Image Processing, Long-wavelength, Mapping, 1. 서론 열적외선카메라는외부로부터빛의공급이없이도물체가방사하는복사에너지를모아적절한변환을통해가시화하여쉽게인식할수있도록만들어주는장비이다. 가시광선의유무나반사되는빛의세기차이로관측하는기존의영상장비와는다르다. 물체의단위면적당, 단위시간당방출되는복사에너지즉, 복사에미턴스 (Radiantemittance 또는 Exitance) 의차이를영상화하므로빛이전혀없는야간이라할지라도관측이가능하다. 더욱이시계가불량한대기조건에서도비교적양호한표적탐지능력을갖기때문에군사용장비로개발되기시작하였다. 개발초기에는적외선검출기의응답시간지연으로실시간열영상구현이불가능했지만 1950년대초반에검출재질의개발과냉각방식의도입으로짧은시정수를갖는소자가제작되었고, 1970년대중반이후본격적으로군 사용의야간관측이나사격통제장비로이용되기시작하였다.[1] 센서의경우 70년대중반이후미국의병렬주사방식을필두로하여, 70년대말직렬주사방식, 그리고 80년대중반이후에영국, 프랑스의직병렬주사방식에이르기까지여러형태의 1세대센서들이개발되었다. 한편, 80년대중반이후부터는분해능및탐지성능이보다우수하고신뢰성이강화된 2세대및 3세대센서의연구가시작되었다. 1세대센서의경우검출소자제작의어려움으로소자수가 10 200여개까지로제한되어충분한영상의분해능을확보하기어려웠다. 이에비해 2세대및 3 세대 (2세대는고밀도의수직배열검출소자를이용하여수평방향으로주사하므로서영상을구현하는방식을말하며 3세대는완전한 2차원배열의검출기를이용하여영상을구현하는방식을의미 ) 로불리는초점면배열검출 (IRFPA: InfraRed Focal Plane Array) 방식센서는기존에비해열분해능이우수하고화소수가수천 수십만 본눈문은 2008 년도원광대학교교내연구비의지원으로수행되었음. * 교신저자 : 정병조 (imati@hanmail.net) 접수일 09 년 04 월 07 일수정일 09 년 04 월 23 일게재확정일 09 년 07 월 23 일 1503
한국산학기술학회논문지제 10 권제 7 호, 2009 개로대폭증가되어광학적분해능도향상되었다.[2] 센서방식과검출재질의개발로인해다양한분야에적용하기위해연구가지속되었고, 국내에서도광학계설계및센서부분에대해연구가진행되었다. 본논문에서는이런열적외선센서가부착된카메라를이용하여사물을촬영하고그촬영된이미지를다양한영상처리기법을사용하여영상처리를하였다. 2. 본론 을가진다. 적외선과온도와의관계를이해하려면흑체의적외선방사현상을이해해야한다. 이물리현상은 1900 년대초여러물리학자들에의해연구되었으며, Planck라는과학자에의해체계적으로정립되었다. 흑체란색깔이검다는것을의미하는것이아니다. 빛이흑체내부로들어가게되면다시밖으로나오지않아결국흑체내부에서완전히흡수됨을뜻한다. 즉, 흑체에열을가하면이열은모두흑체에흡수되며, 열은적외선이라는형태로손실없이나온다는것을의미한다. 흑체와온도관계는그림 2와같다. 2.1 파장사람의눈이빛을느끼기위해서는 0.38 0.77μm파장영역내에서충분한세기의전자파가눈에들어와야하며그외의파장영역의빛은아무리충분한세기로들어와도감지하지못한다. 일반적인상온정도 (300K=27 ) 의물체가발하는에너지영역은가시광선의스펙트럼영역과는거의독립적이기때문에눈에보이지않는다. 적외선은 0.77 1,000μm파장대역으로가시광선과레이더 / 라디오파장영역사이에존재하는전자파이다. 그림 1에가시광선및적외선스펙트럼의분포를나타내었다.[1] [ 그림 2] 특정온도를갖는흑체의분광복사에미턴스그림 2에서가로축은파장, 세로축은적외선복사량을나타낸다. 즉, 온도가상승하면적외선이방출파장의최대값은단파장쪽으로이동하고온도가낮을수록파장의최대값은장파장쪽으로이동함을의미한다. 그리고 300K인상온에서는파장의최대값이 10μm근처이며, 500K의온도에서는 5μm근처에서최대값을가진다.[1] [ 그림 1] 가시광선및적외선스펙트럼분포모든물체는절대온도 0도 (-273 ) 이상에서물질을이루고있는기본단위인원자들이미소한진동을하고있다. 이러한원자들의진동에너지가적외선영역의에너지와동일하기때문에모든물체는적외선을방출하고있다. 그리고온도가높으면높을수록더많은양의적외선이발산하게되는데이러한이유에서적외선을열선이라부른다. 그러나모든물체에서동일한적외선이나오는것이아니며, 적외선의많고적음을방사율이라한다. 방사율은 0 1까지의값을가지는것으로, 이상적인물체의경우방사율은 1이된다. 이러한물체를흑체 (Blackbody) 라한다. 세라믹계열의재료들의방사율은대부분 0.9이상의값을가지며, 금속계통은 0.5이하의값 2.2 열적외선카메라열적외선카메라의구성은사용하는파장, 요구되는성능, 검출기, 적외선검출방법등에따라서달라진다. 기본적으로열적외선카메라는광학렌즈부분, 적외선감지센서부분 (µ-bolometer/ ROIC), 이미지구현부분으로구성되어있으며, 그림 3은열적외선카메라의구성도를나타낸다.[9] [ 그림 3] 열적외선카메라의구성도 1504
열적외선이미지를이용한영상처리 그림 4는열적외선카메라의구성부분들이요구하는기술과요소들을나타내고있다. [ 그림 4] 열적외선카메라의구성과요소 열적외선카메라의특징은우선, 미세입자에대한투과율이높아원거리감시용, 인명구조, 추적장치에유리하다. 두번째, 별도의광원을필요로하지않아야간시야확보가가능하여보안및군사분야활용에적합하다. 세번째, 미세한온도를식별이가능하여의료용체열진단이가능하고제조생산산업현장의모니터링에적합하다. 그림 5는열적외선카메라의특징을나타내었다. [ 그림 6] 열적외선카메라의원리 2.3 열적외선카메라센서근적외선의경우, 가시광선 (0.4 0.7μm) 영역에서벗어나사람의육안으로볼수없는광선이다. 근적외선카메라의경우미소의광원이필요하며, 일상에서도쉽게접할수있다. 원적외선의경우, 장파장대역으로물체가방사하는복사에너지를감지하며, 육안으로는식별이불가능하다. 따라서장파장을인식하는특수한광학계와센서를이용해야만식별할수있다. 그림 7은파장에따라이용되는센서의분류를나타내며, 열적외선카메라는 8 14μm파장대역을감지하는센서인 µ-bolometer를사용한다. [ 그림 5] 열적외선카메라특징 열적외선카메라는주로열상신호감지기능만을구현해왔다. 특수분야인체열영상의료장비및군사용장비에주로사용되어왔으나, 최근광학적해상도가크게증가되고응용범위또한일반산업분야및전자제품으로확대되고있어생활주변활용도가크게증가하고있는추세이다. 열적외선카메라는태양및대기의복사열과피사체자체에서발생하는복사에너지를렌즈에서집광하고센서에서감지하여신호를발생한다. 발생된신호는 S/W 를통해이미지화되며, 모니터등디스플레이장치를통해영상을보게된다. 그림 6은열적외선카메라의원리를나타낸다. [ 그림 7] 파장에따른센서의분류열적외선카메라에사용되는센서는물체에서발생하는적외선복사열을감지함으로써빛이없는곳에서도물체를인식하는특징을갖는다. 이를위해피사체가방사하는복사열을정밀하게감지할수있는광학계와센서의제작기술이요구된다. 2.4 열적외선영상신호처리기술열상장비의신호처리부는적외선검출기에서나오는전기적영상정보를재현장치에가시광선으로재구성하는역할을한다. 일반적으로적외선검출기에서나오는신호정보는수μV 수mV정도로매우미약하므로영상재현에필요한전압레벨로바꾸어주는증폭기, 동시에몇개의검출소자로부터나오는병렬신호를비디오영상재 1505
한국산학기술학회논문지제 10 권제 7 호, 2009 현에적절하게직렬신호로변환하는 Multiplexer, 비디오복합영산신호를구현하고화면조정기능을수행하는영상처리기및주사장치와재현장치의동기를일정하게맞추어주는동기신호발생기가신호처리부의기본구성이된다. 이밖에도각전자회로부분에전원을공급하여주는전원공급기가있으며, 수평및수직주사거울을구동하기위한모터구동및제어회로도필요하다. 열영상을화면에재현하여실시간으로관측하기위해서는화면을 1초에 25 30번정도재현하여야하므로단일검출소자로영상을구현하는경우주사속도가대단히빨라지고요구되는신호대역폭이커서출력은그에상응하는많은잡음을가지게된다. 따라서단일소자검출기를이용하는열상장비는그성능이제한되어점차여러개의검출기로구성된동일특성의배열검출기가실용화되었다.[1] 검출소자로부터열상을얻는방식에는그림 8에서볼수있듯이라인스캐닝방식에의한것과초점면배열또는스타링방식이있다. 라인스캐닝방식은한라인또는몇개의라인형태로검출소자를배열하여신호를얻어내는것이다. 이런방식의센서는열상의프레임에서라인수를목적에맞게늘리거나줄임으로써해상도의조정이가능하지만정밀한광학메카니즘과신호처리가요구된다. 초점면배열방식은프레임의해상도가고정되어있으며, 각픽셀이 2차원배열로결정된위치를가지고있다. 각픽셀이외부로신호를출력할시에는각픽셀에서모아진복사에너지를취득회로에서전기신호로변환, 증폭하여출력시킴으로써영상신호를발생시켜준다. 이때, 광학부에적외선렌즈를부착하고, 센서유닛과접속하여비디오신호를입력받아처리하면열상프레임을구성할수있어열상시스템의구조가아주단순해질수있다.[8] 3. 실험방법 3.1 실험장치 적외선카메라와 CCD 카메라를케이스로고정하고카메라의수평방향운동을지지하는 Arm에부착하여컴퓨터, 프린터등의전체시스템과연결하여하드웨어를구성하였다. 적외선이미지와 CCD 이미지의 Fusion 기능으로불분명한적외선이미지의형체를보다확실히식별가능하고원하는온도범위내의부분만볼수있다. 그림 9는실제제작된열적외선카메라와 CCD 카메라를나타낸다. 그림 10은컴퓨터와연결된영상장치사진을나타낸다. [ 그림 9] 제작된열적외선카메라 [ 그림 10] 컴퓨터와연결된열적외선카메라 0 C~40 C 영역의온도를 0.1 C 이하의감도로측정이가능한첨단 uncooled focal plane array를이용한이미징시스템을이용하여실시간으로영상을처리하는적외선촬영시스템을구축하였다. 기존의 thermogram과달리신체의상대적인온도분포뿐만아니라절대온도를측정함으로써데이터의객관성을높여 local inflammation을실시간으로빠르게진단할수있는 user- friendly 한소프트웨어를개발하였다. [ 그림 8] 적외선센싱방식 3.2 열적외선이미지및영상처리그림 11에서그림 13은 CCD 카메라이미지와열적외선카메라를이용하여촬영한열영상이미지이다. 그림 11과그림 12에서열영상이미지중온도가높은부분일수록검은색으로나타내었으며, 그림 13의열영상이미 1506
열적외선이미지를이용한영상처리 지는온도가높을수록하얀색으로이미지를영상처리하였다. [ 그림 16] Hot, Cool, RainBow Mapping3 [ 그림 11] CCD 이미지와열적외선이미지 1 적외선이미지의명암값프로파일을보여주기위해사용되는도구인히스토그램을사용하였다.[3] 이히스토그램을이용하면영상의정보를알수있고, 히스토그램을조작하면영상의질도높일수있으므로유용하게사용될수있다. [ 그림 12] CCD 이미지와열적외선이미지 2 [ 그림 17] Histogram 출력 1 [ 그림 18] Histogram 출력 2 [ 그림 13] CCD 이미지와열적외선이미지 3 위의열영상이미지를영상처리기법을활용하여높은온도에서는 Hot Mapping을낮은온도에서는 Cool Mapping을온도의대비를확인하기위해서 Rainbow Mapping을사용하여영상처리를하였다. [ 그림 19] Histogram 출력 3 사람들은밝기변화가있는에지로인하여무의식적으로물체의구분이가능하다.[3] 특별히열적외선이미지의에지부분의이미지를따로출력해보았다. 그림 20에서그림 22와같은결과를얻을수있었다. [ 그림 14] Hot, Cool, RainBow Mapping1 [ 그림 15] Hot, Cool, RainBow Mapping2 [ 그림 20] 에지출력 1 [ 그림 21] 에지출력 2 1507
한국산학기술학회논문지제 10 권제 7 호, 2009 [ 그림 22] 에지출력 2 영상정보출력에서위치값을지정하여적외선이미지의밝기값에따라온도를측정할수있다. 그림 23에서손바닥부분의온도를측정해본결과 34.723 를나타내었고, 그림 24에서는얼굴부분을측정해보았더니 38.45 1 를나타내었다. 그림 2] 에서얼굴부분의온도를측정해보았더니 36.611 를나타내었다. 열적외선카메라에온도센서가내장되어있기때문에온도측정을할수있다. [2] 홍석민, 송인섭, 김창우, 유위경, 김현숙, 320x240 적외선검출기를이용한열상센서설계, 한국광학회지제15권, 제5호, 2004. 10. [3] 정성환, 이문호, 오픈소스 Cxlmage를이용한 Visual C++ 디지털영상처리, 홍릉과학출판사, 2006. [4] Warren J smith, Modern Lens Design: A Resource Manual, The McGraw-Hill Professional Companies, New York, 1992. [5] Rudolf Hartmann/Warren J. Smith, Infrared Optical Design and Fabrication: Proceeding of a Conference held 2-3 April, Society of Photo Optical, Olando, Florida, 1991. [6] J. M. Loyd, Thermal Imaging Systems, Plenum Press, New York, pp. 212-368, 1975. [7] G, Gaussorgues, Infrared Thermography, Chapman & Hall, London, pp. 1-60, 1994. [8] H. S. Kim, C. W. Kim, and S. M. Hong, Compact midwavelength infrared zoom camera with 20:1 zoom range and automatic athermaliztion, Optical Engineering, vol. 41(7), pp, 1661-1667, 2002. [ 그림 23] 온도측정1 [ 그림 24] 온도측정2 [ 그림 25] 온도측정3 4. 결론 본논문의영상처리방법을이용하면운동전후또는운동트레이너의처방전후의인체온도분포 ( 혈액순환 ) 를측정하기위한헬스케어분야에적용할수있다. 또한산업시설및장비등의예방과예보적인진단, 상태모니터링, 구조적보전검사, 품질관린, 공정관리및연구와개발등으로발전소, 변전소, 전자, 제철, 에너지관리열분석등에활용가능하다. 참고문헌 [1] 홍석민, 송인섭, 열상장비개요, 물리학과첨단기술, 1998. 정병조 (Jeong Byoung-Jo) [ 정회원 ] < 관심분야 > 자동제어, 영상처리 2004 년 2 월 : 원광대학교대학원전기공학과 ( 공학석사 ) 2004 년 3 월 ~ 현재 : 원광대학교대학원전기공학과 ( 박사과정 ) 2006 년 12 월 ~ 2008 년 7 월 : ( 주 ) 삼성기전책임연구원 2008 년 12 월 ~ 현재 : ( 주 )KNWALLDEX 책임연구원 장성환 (Jang Sung-Whan) [ 정회원 ] 1982년 2월 : 연세대학교대학원전기공학과 ( 공학박사 ) 1985년 3월 ~ 1986년 2월 : Northwestern University 전기및컴퓨터학과방문교수 2005년 1월 ~ 2006년 1월 : Mississippi State University 컴퓨터사이언스공학과교환교수 1980년 3월 ~ 현재 : 원광대학교전기정보통신공학부교수 < 관심분야 > 자동제어, 지능제어및응용 1508