Journal of the Korea Institute of Information and Communication Engineering FTP 를이용한이중파장법에의한 3 차원형상측정 구자명 1 조태훈 2* A 3D measurement system based on a double frequency method using Fourier transform profilometry Ja-myoung Koo 1 Tai-hoon Cho 2* 1 Department of Computer Engineering, Korea University of Technology and Education, Cheonan Korea 2* Department of Computer Engineering, Korea University of Technology and Education, Cheonan, Korea 요약 본논문은프린지패턴투영법으로 3 차원형상측정에서의 FTP(Fourier Transform Profilometry) 를이용한이중파장법을제안한다. 프린지패턴투영방법은프린지패턴을측정대상물체에투영한후변형된프린지패턴을분석하여측정대상물체의높이를측정한다. PMP(Phase Measuring Profilometry) 기반의프린지투영방법은측정대상의반사율과배경의영향에강건하면서측정분해능이높다. 하지만, 2π 모호성으로측정범위가작다는문제점이있다. 이를극복하기위한방법중에주기가다른이중파장을사용하는방법은측정분해능을유지하면서측정범위를높일수있지만, 2 배의영상수획득으로측정시간이두배정도더소요된다. 본논문에서제안하는 FTP 를이용한이중파장법은 2π 모호성을해결하기위해한장만의영상을추가적으로획득하여 FTP 를이용함으로써기존의이중파장법과동일한정밀도를유지하면서측정에소요되는시간을효과적으로단축시킨다. ABSTRACT This paper proposes a double frequency method using FTP(Fourier Transform Profilometry) in fringe projection techniques for 3D measurement systems. In fringe projection techniques, fringe pattern images are projected and captured, and then object is measured by analysing phase. PMP(Phase Measuring Profilometry) for analysing phase provides high-resolution and is robust to object's reflection and background intensities. However, the measurement range is narrow due to 2π ambiguity. In order to overcome this problem, a double frequency method is often used. This method can widen the range of measurement while maintaining the high-resolution, but the measurement time is taken about twice due to grab 2 times number of images. The proposed double frequency method using FTP requires an additional image for resolving 2π ambiguity. The proposed method effectively reduces the measurement time while maintaining the same accuracy. 키워드 : 3 차원형상측정, 프린지패턴투영법, PMP, FTP, 이중파장법 Key word : 3D Measurement System, Fringe Projection Techniques, PMP, FTP, Double Frequency Method Received 11 March 2015, Revised 02 April 2015, Accepted 15 April 2015 * Corresponding Author Tai-hoon Cho(thcho@kut.ac.kr, Tel:+82-41-560-1351) Department of Computer Engineering, Korea University of Technology and Education, Cheonan, Korea Open Access http://dx.doi.org/10.6109/jkiice.2015.19.6.1485 print ISSN: 2234-4772 online ISSN: 2288-4165 This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/li-censes/ by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. Copyright C The Korea Institute of Information and Communication Engineering.
Ⅰ. 서론 최근몇년간각종센서, 카메라, 컴퓨터연산속도의발전으로대량의데이터를획득하고고속으로처리가가능해졌다. 이에따라 3차원형상측정기술은반도체, 리버스- 엔지니어링, 주형주물등산업환경뿐만아니라의학, 영화산업, 의류디자인, 가상현실등다양한분야에적용되고있다. 측정대상도반도체분야에서의 BGA, Solder Paste 등초소형에서부터인체, MES 부품 (2.5m x 4.5m) 등대형까지다양해지고있다 [1-3]. 광학을이용한 3차원형상측정방법은편리성과측정대상에손상을입히지않고, 복잡한형상의경우에도측정이용이하여활발히연구되어산업화되고있다. 광학을이용한방법중 PMP(Phase Measuring Profilometry)[4] 는측정범위가제한적이지만, 대상물체의반사율과배경에강건하고조밀한 3차원데이터를정밀하게얻을수있어서검사시스템에많이사용되고있다. PMP의낮은측정범위를극복하기위한방법으로주기가다른이중파장법 [5] 이많이사용되고있다. 이중파장법은측정분해능을유지하면서측정범위를높일수있지만, 프린지패턴영상을 2배로획득해야하므로측정시간이두배정도더소요된다. 본논문에서는푸리에변환으로위상을계산하는 FTP(Fourier Transform Profilometry)[6] 를이용한이중파장법을제안한다. 제안하는 FTP를이용한이중파장법은기존이중파장법과동일한측정분해능을유지하면서소요시간을효과적으로단축한다. 본논문의구성은다음과같다. 2장에서배경지식인 PMP, FTP원리와 2π모호성, 이중파장법에대해서설명하고, 3장에서 FTP를이용한이중파장법을제안한다. 4장에서는 BLU의 3차원형상을측정하여제안하는이중파장법의성능평가를하고, 5장에서결론및기대효과를논한다. Ⅱ. 배경지식 2.1. PMP 원리 PMP를이용한 3차원형상측정의기하학은그림 1 처럼프린지패턴을투영하는프로젝터와투영된영상을획득하는카메라그리고대상물체로구성되어있다. 그림 1. 3 차원측정시스템의기하학 Fig. 1 Optical geometry of 3D measurement system 정현파프린지패턴이투영된영상은식 (1) 처럼표현된다. 는배경 (background intensity), 는프린지변조 (fringe modulation) 이다. 는위상값으로대상물체의높이정보에해당한다. cos (1) PMP에서위상계산방법은정현파프린지패턴의위상이등간격으로이동된여러장을이용한다. 2π/N 만큼위상이이동된정현파프린지패턴 N개를투영하고이때획득된영상이 I1, I2,..., IN이면, 위상은식 (2) 처럼계산된다. tan sin cos (2) 기준면과대상물체에대해서식 (2) 를이용하여위상을계산하고, 식 (3) 처럼기준면과대상물체의위상차를계산한다. 는기준면의위상분포를, 는대상물체의위상분포를나타낸다. (3) 위상차는식 (4) 를이용하여대상물체의높이로변환된다. 는대상물체의높이분포, 는정현파프린지패턴이투영된주기, 는정현파프린지패턴이투영된각도를나타낸다. 1486
FTP 를이용한이중파장법에의한 3 차원형상측정 (4) 2.2. FTP 원리정현파프린지패턴이투영된영상을나타내는식 (1) 은식 (5) 와같이표현될수있으며, 는반송주파수 (carrier frequency) 이다. 그림 2. 3 정현파프린지패턴의푸리에스펙트럼 Fig. 2 Fourier spectrum of sinusoidal fringe pattern cos (5) (5) 를오일러공식을이용하면식 (6) 과같이표현된다. * 는복소켤레 (complex conjugate) 이다. if (6) 식 (6) 을 x방향에대해서 1-D FFT(Fast Fourier Transform) 알고리즘을이용하여푸리에변환을하면식 (7) 과같다. 대문자는푸리에스펙트럼 (Fourier spectrum) 을나타내며 는 x방향으로의공간주파수를나타낸다. 2.3. 2π 모호성 (2π ambiguity) 프린지패턴투영법을이용한 3차원형상측정법의단점은 2π 모호성 이라불리는요인때문에측정범위가제한적이다. 측정되는위상은불연속적으로측정되어 2π 모호성이발생한다. 그림 3은 2π 모호성을보여주며, S1, S2, S3는대상물체를나타내고, C1, C2, C3는 A지점에서카메라가바라보는대상물체에위치를나타낸다. C1, C2, C3의위치에서기준면과위상차,, 은 arctangent의범위로인하여 -π ~ π사이의위상값을가진다. C1, C2, C3에해당하는대상물체의높이는서로다르지만위상,, 은서로같게계산되어정확한높이를측정할수없게된다. (7) 식 (5) 에서,, 는반송주파수 에비해천천히변하고이는그림 2와같은특성을나타낸다. 배경정보는제거하고위상정보를포함하는 를얻기위해 만을선택하도록필터링하여역푸리에변환 (inverse FFT) 을한다. 역푸리에변환결과를이용하여식 (8) 처럼위상은계산할수있다., 는각각 의허수와실수를나타낸다. tan (8) 위의방법대로기준면과대상물체의위상을각각계산한다. 그이후에는 PMP와동일하게식 (3) 을이용해위상차를계산하고, 식 (4) 를통해대상물체의높이분포를계산한다. 그림 3. 2π 모호성 Fig. 3 2π ambiguity 2.4. 이중파장법측정대상의형상이급격하게변하거나불연속적인경우 2π 모호성을제거하는것은매우어려운문제이다. 단일파장이나단일측정방법으로는거의불가능하며이를극복하기위해주기가다른이중파장을이용하는방법이있다. 이중파장법은디지털프로젝터를사용하는시스템에서큰변경없이간단한방법으로측정분해능을유지하면서 2π 모호성을정확히제거할수있다. 1487
주기가작은프린지패턴은측정분해능은높지만, 측정범위가작고, 주기가큰프린지패턴은측정범위가넓지만, 측정분해능이떨어진다. 이러한특징을이용한이중파장법은작은주기의높은측정분해능을유지하면서, 큰주기의넓은측정범위를이용하여 2π 모호성을해결한다. 그림 4는큰주기가작은주기의 2배일경우에서로위상의관계를보여준다. 주기가 2배커지면, 위상의변화율이 2배낮아지기때문에 A위치에서주기가 인경우위상이 이라면, 주기가 인경우에는위상이 의값을가진다. 그림 4. 주기가다른위상의관계 Fig. 4 Phase relationship to different period 두프린지패턴의주기가각각, 이고, < 이면두프린지패턴의위상차는식 (9) 와같은관계를가진다. 식 (9) 를만족하는정수 을찾고, 이를이용하여 2π 모호성이제거된실제위상차는식 (10) 처럼계산한다. 그림 5. FTP 를이용한이중파장법의순서도 Fig. 5 Flow chart of double frequency using FTP 본논문에서는큰주기의정현파프린지패턴여러장을투영하여 PMP방법으로위상을계산하는이중파장법대신, 그림 5처럼추가적으로한장의영상을투영하고획득하여 FTP로위상을계산하는이중파장법을제안한다. 기존이중파장법은 N-Bucket 알고리즘시, 2π 모호성을해결하기위해추가적으로 N개의영상을투영하고획득해야한다. 이로인해측정이시간이약 2배정도증가하게된다. 본논문에서제안하는 FTP를이용한이중파장법에서는 2π 모호성을해결하기위해추가적으로단 1장의영상만을투영하고획득한다. 즉 2N의영상을투영하고촬상하는시간이 N+1 로감소된다. Ⅳ. 실험환경 (9) (10) Ⅲ. FTP 를이용한이중파장법 PMP에서이중파장법은반복정밀도및정확도를유지하면서 2π 모호성을제거할수있지만, 정현파프린지패턴을투영하는시간과카메라로영상을획득하는시간이단일파장보다두배소요되는단점이있다. FTP는급격하게바뀌는구간에서측정이힘들고, 측정분해능이낮지만, 한장의영상으로대상물체의위상을계산할수있어측정시간이빠르다. 4.1. 3차원형상측정시스템구성실험을하기위한 3D 형상측정시스템은그림 6와같고, CCD 카메라, 피코프로젝터, 기준면으로구성되어있다. 시스템에사용된자세한사양은표 1과같다. 피코프로젝터의광축과기준면과의각도는 70도정도이다. 카메라의 FOV(Field of View) 는 23mm x 17mm, 피코프로젝터의투사면적 (projection area) 은카메라의 FOV보다 3배정도더큰면적으로 75mm x 50~60mm 이다. 피코프로젝터의가장짧은투사거리 (projection distance) 는 0.2m로투사면적을더작게하기위해투사거리를좁히면, 초점이흐려져정확한정현파프린지패턴영상의투영이어렵다. 기준면은 FOTOWAND 사의화이트보드 (white board) 를이용하였다. 시스템캘리브레이션을위해 Mitutoyo사의게이지블록 (gauge block) Grade 0(±0.12um) 를사용하였다. 1488
FTP 를이용한이중파장법에의한 3 차원형상측정 Ⅴ. 실험결과 5.1. BLU(Back Light Unit) 의 3차원형상측정 FTP를이용한이중파장법을검증하기위하여그림 7과같은 BLU를 3차원형상측정하였다. 그림 6. 구현된 3D 형상측정시스템 Fig. 6 Implemented 3D measurement system 표 1. 3D 형상측정시스템의사양 Table. 1 Specifications of 3D measurement system Component Model Specification Camera Frame Grabber Lens Projector teli cs8420 Meteor2- MC/4 Computar Optoma PK301 Resolution Mode Resolution 768x582 RS-170A 640x480 Focal Length 25mm Aperture F1.4 Extension Ring 7mm Output Resolution Input Resolution Projection Distance 640x480/ 854x480 640x480~ 1280x800 0.2m~5m 그림 7. 측정대상인 BLU Fig. 7 BLU for measurement BLU에정현파프린지패턴을투영하여카메라로획득된영상은그림 8과같다. 정현파프린지패턴의투영된작은주기는 0.8mm, 큰주기는 1.5mm이며, 측정범위는 3.5mm정도이다. 실험에사용된위상이동횟수는 π/2씩 5번을이동시켜계산하는 4-Bucket + 1 알고리즘 [8] 을사용하였고식 (12) 와같다. 또한, 배경의간섭을최소화하면서첫번째컴포넌트를선택하기위해대각선으로큰주기의정현파프린지패턴을투영하였다 [9]. 4.2. 시스템캘리브레이션 2장에서설명한정현파프린지패턴이투영되는각도, 주기는시스템의비선형적인요소로인하여, 실험적인방법을통해시스템파라미터 (system parameter) 를계산한다. 게이지블록을기준면아래에놓아알고있는높이,,..., 만큼기준면을이동하여이때의위상차,,..., 를측정한다. 측정된위상차들을이용하여 Guo[7] 방법으로시스템파라미터, 를계산한다. 본논문에서는 1, 1.5, 2, 2.5, 3(mm) 의게이지블록을사용하였다. 최종적으로위상과높이의관계는식 (11) 과같다. (11) tan (a) (b) (12) 그림 8. (a) 작은주기의패턴이투영된영상 (b) 큰주기의패턴이투영된영상 Fig. 8 (a) captured images of short period pattern (b) captured image of long period pattern FTP방법으로위상을측정하기위해그림 8(b) 의영상을푸리에변환하여공간영역을주파수영역으로변 1489
환하였고, 그결과는그림 9(a) 와같다. 가운데영역은배경이고, 대각선은첫번째컴포넌트 (first component) 로위상의데이터를가지고있는영역이다. 그림 9(b) 는버터워스대역통과필터 (Butterworth band-pass filter) 를이용하여첫번째컴포넌트만통과된결과이다. 그림 11(a) 는작은주기의프린지패턴영상을 PMP 방법으로위상을계산하여기준면과의위상차에대한결과이다. 그림 11(b) 는큰주기의프린지패턴영상을 FTP방법으로위상을계산하여기준면과의위상차에대한결과이다. 그림 11(a) 는세밀하게측정되었지만, 2 π모호성이발생하여 BLU Bar의높이변화가없는것처럼측정되었다. 그림 11(b) 는 2π모호성은없지만, 전체적인형태정도만측정된것을확인할수있다. FTP방법으로계산된위상차로식 (9), (10) 을이용하여 2π 모호성이제거된위상차의결과는그림 12과같다. (a) 그림 9. (a) 푸리에변환결과영상 (b) 첫번째컴포넌트만통과된영상 Fig. 9 (a) Result image of Fourier transform (b) Result image of Butterworth band-pass filter (b) 주파수영역에서필터링된결과를다시역푸리에변환하여식 (7) 처럼위상을계산할수있다. 그림 10은역푸리에결과영상으로정현파에대한영역만선택되고배경부분은제거된것을확인할수있다. 그림 12. FTP 를이용한이중파장법결과위상차 Fig. 12 Phase difference by double frequency method using FTP 최종적으로 FTP를이용한이중파장법으로계산된위상차를식 (11) 를이용하여높이로변환한결과는그림 13와같다. 그림 10. 역푸리에변환결과영상 Fig. 10 Result image of inverse Fourier transform 그림 13. BLU 의 3D 형상측정결과 Fig. 13 3D measurement result of BLU (a) 그림 11. (a) PMP 를이용하여계산한위상차 (b) FTP 를이용하여계산한위상차 Fig. 11 (a) Phase difference by PMP (b) Phase difference by FTP (b) 5.2. 성능비교측정정밀도의성능을비교하기기준면을 1.5mm로올려각각의방법으로측정하였다. 이때작은주기의패턴영상은동일하고큰주기의패턴영상만이서로다르다. 표 2는그결과이고성능이동일한것을확인할수있다. 또한, 기존이중파장법을사용하여 BLU를측 1490
FTP 를이용한이중파장법에의한 3 차원형상측정 정하였다. 그림 14(a) 는큰주기의프린지패턴이투영된영상이다. 그림 14(b) 는최종적으로기존이중파장법으로측정된 BLU이다. FTP를이용한이중파장법과동일하게측정된것을확인할수있다. 표 2. 측정정밀도비교 ( 단위 : mm) Table. 2 Comparison of accuracy & repeatability(unit: mm) Method Mean Stand Deviation Conventional double frequency 1.5043 0.0041 Ⅵ. 결론본논문에서 FTP를이용한이중파장법을제안하고실험을통해성능을검증하였다. 여러장의영상을추가적으로획득하여이용하는기존의이중파장법에서한장의영상만을추가적으로획득하여이용하는 FTP 를이용한이중파장법은측정소요시간을단축하면서같은성능을보였다. 실시간으로정밀한 3D 형상측정에서활용가능할것으로보인다. Double frequency using FTP 1.5043 0.0041 REFERENCES (a) 그림 14. (a) 큰주기의패턴이투영된영상 (b) 기존이중파장법으로측정된결과 Fig. 14 (a) Captured images of long period pattern (b) 3D measurement result by typical double frequency method 표 3는기존이중파장법과 FTP를이용한이중파장법의측정시간을나타낸다. 촬상시간에서기존이중파장법은 10장의영상을 FTP를이용한이중파장법은 6장의영상을촬상한시간이다. 계산시간에서 CPU는 Intel i7을사용하였고, 푸리에변환시 FFTW[10] 라이브러리를사용하였다. 총측정시간이 FTP를이용한이중파장법이약 1.8배정도빠른것을확인할수있다. 표 3. 측정시간비교 ( 단위 : ms) Table. 3 Comparison of measurement time(unit : ms) Method Bucket Grab Calculation Total Conventional 5 750 12 762 double frequency 6 900 13 913 Double frequency using FTP (b) 5 450 20 470 6 525 21 546 [ 1 ] S.S. Gorthi and P. Rastogi, Fringe projection techniques: Whither we are?, Optics and lasers in engineering, vol. 48, no. 2, pp. 133-140, 2010. [ 2 ] L. Chen, c. Huang, "Miniaturized 3D surface profilometer using digital fringe projection," Measurement Science and Technology, Vol. 16, No. 5, pp. 1061-1068, 2005. [ 3 ] J. Burke, T. Bothe, W. Osten, C. Hess, "Reverse engineering by fringe projection," International Symposium on Optical Science and Technology, Vol. 4778, pp. 312-324, 2002. [ 4 ] V. Srinivasan, H. C. Liu, M. Halioua, Automated phase-measuring profilometry of 3-D diffuse objects, Applied optics, vol. 23, no. 18, pp. 3105-3108, 1984. [ 5 ] H. Zhao, W. Chen, Y. Tan, "Phase-unwrapping algorithm for the measurement of three-dimensional object shapes," Applied optics, vol. 33, no. 20, pp. 4497 4500, 1994. [ 6 ] M. Takeda, H. Ina, and S. Kobayashi, Fourier-transform method of fringe-pattern analysis for computer-based topography and interferometry, Journal of the Optical Society of America, vol. 72, no. 1, pp. 156, 1982. [ 7 ] H. Guo, M. Chen, P. Zheng, "Least-squares fitting of carrier phase distribution by using a rational function in profi lometry fringe projection," Optics letters, Vol. 31, No. 24, pp. 3588-3590, 2006. [ 8 ] P. Hariharan, B. F. Oreb, and T. Eiju, Digital phaseshifting interferometry: A simple error-compensating phase calculation algorithm, Applied optics, vol. 26, pp. 2504-2506, 1987. [ 9 ] L.C. Chen, H.W. Ho,. Shu, X.L. Nguyen. "High-speed 3-D Machine Vision Employing Fourier Transform Profilometry with Digital Tilting-Fringe Projection," Proceedings of IEEE Workshop on Advanced Robotics and its Social 1491
Impact, pp. 23-25, 2008. [10] Frigo, Matteo, and Steven G. Johnson, A C subroutine library for computing the discrete Fourier transform (FFTW) Available http://www.fftw.org/ 구자명 (Ja-myoung Koo) 한국기술교육대학교컴퓨터공학과학사한국기술교육대학교대학원전기전자공학과석사 관심분야 : 영상처리, 컴퓨터비전, 3D 형상측정 조태훈 (Tai-hoon Cho) 서울대학교전자공학과학사한국과학기술원전기및전자공학과석사 Virginia Polytechnic Institute & State University 박사 LG 산전연구소수석연구원한국기술교육대학교컴퓨터공학부교수 관심분야 : 영상처리, 컴퓨터비전, 3D 형상측정 1492