한국정밀공학회지제 32 권 2 호 pp. 191-198 J. Korean Soc. Precis. Eng., Vol. 32, No. 2, pp. 191-198 ISSN 1225-9071(Print), ISSN 2287-8769(Online) February 2015 / 191 http://dx.doi.org/10.7736/kspe.2015.32.2.191 스테레오비전을이용한 6 자유도머니퓰레이터변위측정 Six-degree-of-freedom Manipulator Displacement Measurement using Stereo Vision 이동혁 1, 백소영 2, 조남규 3, Dong-Hyeok Lee 1, So Young Baek 2, and Nahm Gyoo Cho 3, 1 한양대학교일반대학원기계설계 메카트로닉스공학부 (Department of Mechanical Design and Machatronics, Hanyang University) 2 한양대학교일반대학원기계설계공학과 (Department of Mechanical Design Engineering, Hanyang University) 3 한양대학교기계공학과 (Department of Mechanical Engineering, Hanyang University) Corresponding author: ngcho@hanyang.ac.kr, Tel: +82-31-400-5286 Manuscript received: 2014.9.25 / Revised: 2014.12.5 / Accepted: 2015.1.5 In this paper, six-degree-of-freedom (DoF). Displacement measurement technique using a compact stereo-vision system is proposed. The measuring system consists of a camera, an optical prism, two plane mirrors, and a planar marker on a target. The target was attached on an object so that its six-dof displacement can be calculated using a proposed coordinates estimating algorithm and stereo images of the marker. A prototype was designed and fabricated for performance test. From the test results, it can be confirmed that the proposed measuring technique can be applied to monitoring and control of various manipulators. Key Words: Displacement measurement ( 변위측정 ), Stereo vision ( 스테레오비전 ), Vision-based system ( 비전기반시스템 ), Planar marker ( 평면마커 ), Six degree of freedom (6 자유도 ) 1. 서론 길이측정기술은강체의이동변위측정은물론탄성체의변형률또는힘 / 토크측정등에응용되며, 정밀부품검사, 산업용로봇이나의료용로봇에적용되는다양한머니퓰레이터제어에이르기까지널리사용되고있는측정기술이다. 최근에는정밀기계및로봇등의다기능제품들이급격히증가함에따라다자유도변위측정기술의중요성이증대되고있으며, 소형화, 저가화, 고분해능화등의추가적인요구에대응할수있도록다양한기술들이연구되고있다. 1 다빈치로봇과같은의료용로봇의경우, 수술시머니퓰레이터의움직임이자유 롭고, 머니퓰레이터의끝단위치를정확하고정밀하게측정할필요가있다. 그러므로, 가격경쟁력을위한저가화노력은물론, 의료용로봇의끝단에부착하여측정할수있도록소형화기술, 측정결과의고신뢰성을위한고정밀화와다자유도화기술등의확보를위한다양한연구 / 개발이진행되고있다. 2 변위를측정하기위한센서의종류는크게스트레인게이지, 광학식, 정전용량변위센서, 와전류변위센서, 초음파센서, 비전카메라등으로분류할수있다. 스트레인게이지를이용하여변위를측정하는경우, 탄성체의변형률및변위를정밀하게측정할수있지만, 머니퓰레이터의구동범위를측 Copyright C The Korean Society for Precision Engineering This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 192 정하기에는무리가있다. 1 광학식타입은레이저를이용한변위측정으로투명물체를제외한모든물체의변위를넓은측정범위로측정할수있다. 그러나, 레이저발광부와수광부를필요로하고, 다자유도변위측정하기위해서는구성광학부품이많이필요하여소형화가어려운단점을가진다. 3,4 정전용량변위센서와와전류변위센서의경우다른센서에비해상대적으로정밀하게변위를측정할수있지만, 그측정범위가작고, 다자유도변위측정을하기위해서는여러개의센서를필요로한다. 5 초음파센서는넓은측정범위를가지고있지만, 역시다자유도변위측정을하기위해서는여러개의센서를필요로한다. 6 그에비해, 비전방식의변위측정은카메라를이용하기때문에대부분의물체를용이하게검출할수있고, 렌즈배율에따라측정범위도자유롭게결정할수있다. 이미지센서의해상도에의해측정성능이제한되지만, 이제까지의이미지센서발달추이를보면더욱향상될것으로보인다. 게다가카메라를통해타겟을관찰하기때문에다자유도측정이용이하고넓은측정범위를가진다. 7 따라서, 토목구조물및교량의기울기, 휨정도를관찰하는등의연구에적용되었다. 7,8 그밖에최근에는현미경을이용한힘측정에관한연구까지진행되는등, 그적용범위가넓어지고있다. 9 그러나현재비전카메라를이용한다자유도변위측정연구에서는많은경우측정대상물의정확한좌표계일치를위해정해진레퍼런스마커를사용하고있으며, 단일카메라를이용하기때문에깊이방향 Z축분해능이떨어지는단점이있다. 10 본논문에서는프리즘, 거울과하나의카메라를이용한스테레오비전방식의 6자유도변위측정알고리즘을개발하고, 시작품을구축하였다. 그리고임의의 3점마커를사용해도변위산출이가능하도록하여그적용성을넓혔다. 또한, 구축된변위측정시스템에대한성능평가실험을실시하였다. 2. 스테레오비전을이용한 6 자유도변위측정알고리즘개발및시스템구축 2.1 6 자유도변위측정알고리즘개발프리즘, 거울과하나의카메라를이용한스테레오비전방식의 6 자유도변위측정시스템의개략을 Fig. 1(a) 에보인다. 임의의 3 점이인쇄된마커는좌 / 우의평면거울과광학프리즘에반사되어카메 (a) Proposed 6-DoF displacement measuring system (b) Acquired single image with binocular parallax Fig. 1 A schematic of 6-DoF displacement measuring system using stereo vision 라의이미지센서에그상이맺힌다. 즉, Fig. 1(b) 와같이, 거울과프리즘을통해양안시차를가진 2 개의상이하나의이미지센서를통해획득된다. 이양안시차를이용하여타겟의 3 차원위치와자세가산출된다. 그리고, 카메라의촬영속도에따라획득되는연속된이미지 2 장을이용하여타켓의위치및자세의변화량을계산하면, 피측정물의 6 자유도변위를획득할수있다. 제안된 6 자유도변위측정시스템은 Fig. 2 와같은좌표계구성으로표현할수있다. 타겟좌표계 {Ta}, 거울좌표계 {M 1L }, {M 2L }, {M 1R }, {M 2R } 카메라좌표계 {C L }, {C R }, 이미지평면의좌표계 {I L }, {I R } 로나타낼수있으며타겟의점 P Ta 는좌 / 우의평면거울과광학프리즘을거쳐좌 / 우이미지평면위의점 P IL, P IR 로맺힌다. 좌표계사이의변환관계는식 (1), (2) 와같은식으로나타낼수있다. 여기서, T 는좌표계변환행렬이다. 변환행렬 T 의아래첨자는변환이전의좌표계를나타내며, 위첨자는
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 193 Fig. 2 Transformation relationships of the coordinate systems Fig. 3 Target point positions calculation by triangulartion principle 변환하고자하는좌표계를나타낸다. 따라서, Fig. 2 와식 (1), (2) 는공간상의임의의한점이제안된측정시스템을통과하여이미지센서에투영되는과정을나타내었다. (1) 따라서, 제안된 6 자유도변위측정시스템은단일카메라를사용함에도불구하고스테레오비전과동일한광경로를갖는다. 타겟점의 3 차원공간위치는양안시차를이용한삼각측량방법을통해산출될수있다. Fig. 3 에보이는것과같이, 베이스라인 b 와타겟까지수직거리 Z 일때, 사인법칙과삼각형법칙을이용하면식 (3) 과같이수직거리 Z 를알수있다. 그리고식 (4), (5) 에보이는것과같이, 산출된 Z 값과 θ x, θ y 를이용하여 X, Y 좌표를산출할수있다. 따라서, 이미지센서에맺힌두점 P IL 과 P IR 을이용하여 P Ta 의 3 차원공간상의좌표 (X, Y, Z) 를산출할수있다. 1 2 2 2 2 a + c b Z = 2 2 X Z θ x (2) (3) = tan(tan ) (4) Fig. 4 Estimation to target coordinate Y Z θ y = tan(tan ) (5) Fig. 1에보인타겟위의임의의 3점이이미지센서에투영된좌표를식 (3)-(5) 에적용하면, 임의의 3점의 3차원공간위치 (X 1, Y 1, Z 1 ), (X 2, Y 2, Z 2 ), (X 3, Y 3, Z 3 ) 를각각산출할수있다. 그리고그점들을각각 P 1, P 2, P 3 라고하였다. Fig. 4와같이, 타겟좌표계는직교좌표계를사용하고있으므로, 원 점 P 2 에서 P 3 를연결하는방향의벡터 P P 2 3 을 X축이라고가정하고, Y축방향의단위벡터는점 P 1, P 2, P 3 를포함하는평면상에서 X축방향의단위벡터에수직한벡터이다. 그리고 Z축방향의단위벡터는두단위벡터 Ux, Uy의외적으로구할수있다. 11 따라서, 타겟좌표계의단위벡터는식 (6)-(8) 로나타낼수있다. 이방법은세점의위치에대한특별한구속조건을필요로하지않으므로, 임의의 3 점에대해서적용이가능한장점을가진다.
한국정밀공학회지 제 32 권 2 호 pp. 191-198 February 2015 / 194 Fig. 5 Calculation on rotation of target pose (6) (7) uz = ux u y (8) 카메라의 촬영속도에 따라 획득되는 연속된 두 장의 이미지에 타겟 좌표계 추정방법을 적용하여 6자유도 변위를 산출한다. 이전 이미지에서 추정 된 타겟 좌표계의 원점을 OG(xG, yg, zg)라고 하고, 다음 이미지에서 추정된 타겟 좌표계의 원점을 O G (x G, y G, z G) 이라고 하였다. 식(9)-(11)과 같이, 두 좌표계 원점의 변화량을 타겟의 병진이동량으 로 산출하였다. Δx = x ' G xg (9) Δy = y ' G yg (10) Δz = z ' G zg (11) 회전이동량 θx, θy, θz 은 산출된 병진이동량을 이용하여 두 좌표계의 원점을 일치시킨 후 두 좌 표계의 단위벡터의 정사영을 이용하여 계산할 수 있다. Fig. 5에 보이는 것과 같이, 두 번째 이미지를 통해 추정된 타겟 좌표계의 단위벡터 중 하나인 가 첫 번째 이미지를 통해 추정된 타겟 좌표계 u 'z,, 의 XY, YZ, ZX 평면으로 투영된 직선 으로부터 회전이동량 θz, θy, θx를 산출할 수 Fig. 6 A preparatory experiment setup for proposed displacement measuring algorithm 있다. 이를 이용한 산출식을 식(12)-(14)로 나타내 었다. u 'z u 'z _ yz θ x = cos u 'z u 'z _ yz (12) u 'z u 'z _ xz θ y = cos u 'z u 'z _ xz (13) u 'z u 'z _ xy θ z = cos u 'z u 'z _ xy (14) 2.2 6 자유도 변위측정 시스템 구축 제안된 6자유도 변위측정 알고리즘을 기반으로 구축된 6자유도 변위측정 예비실험 구성을 Fig. 6 에 보인다. 광학프리즘과 2개의 거울과 5 Megapixels 카메라(ALLIED Vision Technologies, Guppy PRO F503)를 이용하였다. 타겟은 레이저프린터를 이용하 여 인쇄하였다. 이 변위측정 시스템을 이용하여 이미지처리, 좌표계 산출 등의 소프트웨어를 구축 하였다. Fig. 1(b)와 같이 획득된 이미지에서 각 점
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 195 Table 1 Technical needs for the applications in the medical machine field Surgery Ophthalmic Brain Minimally Microvascular Invasive Motion Cutting, Holding, Screwing, Puncturing, pushing fitting, cutting cutting and fitting cutting D.O.F. 4 5 6 6 Workspace 10 ~ 300 ~ 200 ~ 40 ~ 1000 µm 2000 µm 5000 µm 2000 µm Accuracy 15~ 20~ 30~ 25~ 30 µm 40 µm 600 µm 50 µm 의중심위치를산출하기위해서몇단계의이미지처리방법을적용하였다. 우선, 타겟점들이외의다른이미지를제거하기위해서, 저역통과필터를적용하고이미지를이진화시켰다. 그리고이미지의크기를이용하여좌 / 우이미지로분할하였다. 마지막으로분할된이미지와타겟을인쇄하기위해사용된점을템플릿으로하여 2 차원상호상관함수를계산한다. 상호상관계수가최대값인 3 점의위치를출력할수있도록하였다. 좌 / 우이미지에서출력된각각의 3 점의위치를제안된 6 자유도변위측정알고리즘에적용할수있도록구축하였다. 이예비실험장치를통해데이터처리부를구성하고동작여부를확인하였다. 그러나, 본연구에서는 6 자유도변위측정이가능한소형 / 정밀시스템구축이주된목표이므로의료용로봇머니퓰레이터에적용가능성을추가로확인하였다. 기존의료용로봇의기술적요구조건을 Table 1 에보인다. 의료용로봇의적용가능한수술은안구수술 (Ophthalmic surgery), 뇌수술 (Brain surgery), 최소침습수술 (Minimally invasive surgery), 미세혈관수술 (Microvascular surgery) 로크게분류할수있다. 수술을위한의료용로봇의측정자유도는절단 (Cutting), 찌르기 (Pushing), 잡기 (Holding) 등의움직임을구현하기위해 4 자유도이상의다자유도움직임이가능해야한다. 따라서, 다자유도변위측정이가능하고수 µm 측정분해능과수 mm 의측정범위를가진변위측정시스템이요구되고있다. 본연구에서는측정범위는약 5 mm, 측정분해능은약 5 µm 이내의성능을갖는 6 자유도변위측정시스템을구축하는것을목표로하였다. 그리고로봇에용이하게적용할수있도록소형화를고려하여 Fig. 7 과같은소형변위측정시스템의시작품을구축하였다. 거울, 프리즘과타겟을 Fig. 7 Prototype of the miniaturized 6-DoF displacement measuring system Fig. 8 Performance test setup for the miniaturized 6- DoF displacement measuring system 포함한주요부품들로구성된모듈의크기가 90 x 90 x 50 mm 이고, 고정지그는 3D 프린터를이용하여제작하였다. 3. 성능실험및고찰 구축된 6 자유도변위측정시스템의성능을평가하기위해 6 자유도정밀구동스테이지를엔드이펙터 (End effector) 에부착하여의료용로봇의움직임과같이 6 자유도구동이가능하도록하였다. 성능실험을위한실험장치를 Fig. 8 에보인다. 구축된변위측정시스템의측정선형성을확인하기위해, 병진이동은각축으로 5 µm 씩움직이며이미지를획득하였고, 회전이동은각축으로
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 196 (a) X-axis translation (b) Y-axis translation (c) Z-axis translation (d) X-axis rotation (e) Y-axis rotation (f) Z-axis rotation Fig. 9 Sensitivity results of the proposed displacement measuring system 0.25 씩회전하며이미지를획득하였다. 획득된이미지와개발된 6자유도변위산출알고리즘을적용하여계산된결과를 Fig. 9에보인다. 병진이동의경우 x, y축의입 / 출력비의계수가 0.9793, 0.9861으로 1에가까운값이출력되는것을확인하였다. 그에비해 Z축방향의병진이동은입 / 출력비의계수가 1.1035로다른축에비해증폭되어출력되었다. 따라서, 스테레오비전방법이적용되어 Z축방향의병진이동에대해서도 X, Y축방향의병진이동과유사한분해능으로변위측정이가능함을확인하였다. 그리고정밀도를통계적으로추정하기위해회귀직선의결정계수 R 2 를산출하였다. 이는두변량사이에존재하는상관관계를나타내는값으로, 0.81 이상의값을가지면강한선형성을보인다고볼수있으며, 1에가까울수록더욱강한상관관계를나타낸다. 12 측정데이터를기초로하여계산된결정계수 R 2 이 0.98 이상으로나와변위측 정시스템이좋은선형성을나타냄을확인하였다. 회전이동에대해서도유사한결과를얻을수있었다. 측정시스템의반복성을확인하기위해반복측정실험을하였다. 각축에따라각각 10 회씩반복측정한결과, 이미지센서에맺히는타겟의위치가 X, Y 방향으로 ±1 pixel 내로안정된결과를나타내었다. 즉, 사용된카메라의해상도로환산하면약 ±2 µm 이다. 이결과를기반으로반복정밀도를표준편차로나타내면, 병진이동의경우, x 축의표준편차는 ±0.4 µm, y 축의표준편차는 ±0.4 µm, z 축의표준편차는 ±0.5 µm 로나왔다. 회전이동의경우, x 축의표준편차는 ±0.07, y 축의표준편차는 ±0.07, z 축의표준편차는 ±0.04 로나왔다. 또한, 대구동이가능한매뉴얼스테이지를이용하여엔드이펙터를구동하여측정범위를확인하는실험을하였다. 현재의측정시스템에서측정
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 197 가능한병진범위는 X 축은 6 mm, Y 축은 14 mm, Z 축은 5 mm 이다. 그리고회전범위는 X, Y 축은 8 이내로, Z 축은 360 이내로확인되었다. 따라서, Table 1 의의료용로봇머니퓰레이터의작업공간과정밀도를비교했을때, 제안된 6 자유도변위측정시스템이의료용로봇머니퓰레이터의변위측정에적용가능할것으로생각된다. 또한, 대면적이미지센서를적용하면측정범위를손쉽게넓힐수있어서제안된측정시스템의활용성이높은것으로사료된다. X 축과 Y 축의병진이동측정범위가절반이상차이가나는이유는광학시스템을이용하여한대의카메라로스테레오이미지를얻고그이미지를반으로나누어좌 / 우이미지를얻었기때문에 X 축의측정범위가절반으로줄어든다. 따라서, 가로로넓은와이드이미지센서를이용하면이런문제를쉽게해결할수있을것으로생각된다. 측정실험을통하여측정시스템의병진측정범위는이론적측정범위와유사함을확인할수있었다. 물론, 의료용이나산업용로봇에적용되기위해서는더욱세밀한성능평가및분석, 불확도분석을통한신뢰성평가등의연구가추가로진행되어야할것이다. 4. 결론 의료용로봇을비롯한다양한머니퓰레이터의구동상태측정이가능하도록, 스테레오비전을이용한 6 자유도변위측정 을수행하고, 그실용가능성을검토한본연구의주요연구결과는다음과같다. 스테레오비전시스템으로부터획득되는타겟의이미지로부터타겟시스템의좌표계를추정할수있도록타겟의형태와조건을제시하고, 이의적용을이용한측정대상물의 6 자유도변위측정알고리즘을제안하였다. 스테레오비전시스템의소형화를위해, 한대의카메라와 2 개의평면거울및 1 개의광학프리즘을이용하여스테레오비전획득장치를고안하고그시작품을설계 / 구축하였다. 스테레오비전기반의 6 자유도변위측정시스템의측정범위는병진이동의경우, x- 축방향 6 mm, y- 축방향 14 mm, z- 축방향 5 mm 이고, 회전이동의경우, x- 축방향 45, y- 축방향 45, z- 축방향 360 이다. 그리고측정시스템의측정분해능은병진이동 5 µm, 회전이동 0.1 로미세수술용로봇매니 퓰레이터에적용가능함을확인하였다. 후기 본논문은 2013 년정부 ( 교육부 ) 의재원으로한국연구재단의지원을받아수행된연구임 (NRF- 2013R1A1A2013139). REFERENCES 1. Lee, D. H., Kim, M. G., and Cho, N. G., Development of Multi-Degree of Freedom Carbon Fiber Plate Force/Torque Sensor, J. Korean Soc. Precis. Eng., Vol. 29, No. 2, pp. 170-177, 2012. 2. Kwon, D.-S., Woo, K. Y., Song, S. K., Kim, W. S., and Cho, H. S., Microsurgical Telerobot System, Proc. IEEE/RSJ International Conference on Intelligent Robots and Systems, Vol. 2, 1998. 3. Kim, M. G., Lee, D. H., and Cho, N. G., A Force Sensor with Five Degrees of Freedom using Optical Intensity Modulation for Usage in a Magnetic Resonance Field, Measurement Science and Technology, Vol. 24, No. 4, Paper No. 045101, 2013. 4. Jeon, H., Bang, Y., and Hyun, M., A Paired Visual Servoing System for 6-DOF Displacement Measurement of Structures, Smart Materials and Structures, Vol. 20, No. 4, Paper No. 045019, 2011. 5. Park, J. J. and Cho, N. G., Development of a Precision Indentation and Scratching System with a Tool Force and Displacement Control Module, Review of scientific instruments, Vol. 78, No. 4, Paper No. 045102, 2007. 6. Borenstein, J. and Koren, Y., Obstacle Avoidance with Ultrasonic Sensors, IEEE Journal of Robotics and Automation, Vol. 4, No. 2, pp. 213-218, 1988. 7. Lee, J. J. and Shinozuka, M., A Vision-Based System for Remote Sensing of Bridge Displacement, NDT & E International, Vol. 39, No. 5, pp. 425-431, 2006. 8. Cigada, A., Mazzoleni, P., Tarabini, M., and Zappa, E., Static and Dynamic Monitoring of Bridges by Means of Vision-Based Measuring System, in Topics in dynamics of bridges, Vol. 3, pp. 83-92, Springer, 2013. 9. Greminger, M. A. and Nelson, B. J., Vision-based
한국정밀공학회지제 32 권 2 호 pp. 191-198 February 2015 / 198 Force Measurement, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 26, No. 3, pp. 290-298, 2004. 10. Lee, D., Jeon, H., and Myung, H., Vision-based 6- dof Displacement Measurement of Structures with a Planar Marker, in SPIE Smart Structures and Materials+ Nondestructive Evaluation and Health Monitoring, International Society for Optics and Photonics, Paper No. 834528, 2012. 11. Lee, M., Park, J. J., and Cho, N. G., Positioning Error Correction using Virtual Coordinate System for mmts, Journal of Mechanical Science and Technology, Vol. 27, No. 12, pp. 3861-3868, 2013. 12. Milton, J. S. and Arnold, J. C., Introduction to Probability and Statistics: Principles and Applications for Engineering and the Computing Sciences, McGraw-Hill, pp. 424-426, 2003.