74 대한기계학회논문집 A 권, 제 3 권제 3 호, pp. 74~79, 008 < 학술논문 > DOI:0.3795/KSME-A.008.3.3.74 머신비젼을이용한실시간링클측정시스템개발 신동근 토호앙밍 * 고성림 ** (007 년 0 월 9 일접수, 008 년 월 3 일심사완료 ) Deelopmet of O-le Wrkle Measuremet System Usg Mache Vso Dog Keu Sh, Hoag Mh To ad Sug Lm Ko Key Words : Roll to Roll( 롤투롤 ), Wrkle Measuremet( 링클측정 ) Abstract Roll to roll (RR) maufacturg process, also kow as 'web processg', has bee tred for producg electroc deces o a flexble plastc or metal fol. To crease the performace ad productty the RR process, effecte cotrol ad o-le superso for web qualty becomes ery mportat. Wrkle s oe of the defects, whch s curred due to compresse stresses. A system for o-le measuremet of wrkle s deeloped usg area sca camera ad mache so laser. The D mage, obtaed by area sca camera, s produced by Gaussa regresso method to characterze the wrkle o a trasparet web. The expermet proes that 0.3mm wrkle heght ca be measured successfully wth 74fps.. 서론 RFID, Flexble dsplay 와같이세계적으로이슈가되고있는분야에있어서문제가되고있는부분중하나가바로비용적측면이다. 그런데이와같은전자부품의생산에있어서, RR 공정을사용하게되면생산단가를크게낮출수있다. 그러나현재의 RR 생산공정이기술적으로만족할수준이되지못하기때문에, 전자부품생산에어려움이있을수있다. RR 생산공정의정밀도와생산성을더욱높이기위한방법으로웹의컨트롤에디지털이미지를이용하는방법이연구되고있다. 이미많은비젼시스템이개발되어있지만, 대부분웹표면의결함이나먼지등의측정에한정되어있고, 링클이나웹의진동과같은영역의측정에는연구 개발이미진한실정이다. 링클 (Fg. ) 은수많은이유로인해발생하는복잡한현상이고, 또한같은이유로예방하기매우어려운부분이다. () 그러므로 RR 공정에서링클을컨트롤하기위해서는링클의형상정보를수집할수있는효과적인측정방법이필요하다. 투명한 ( 본연구의경우 80% 정도의투명도 ) 웹에서발생하는링클을측정하는데에는큰어려움이있다. 레이저삼각법을이용하는경우에는대부분의레이저빔이웹을통과하여측정에어려움이있고, RR 공정은웹의속도가매우빠르기때문에 (00~ 000 mpm) 이방법의적용이극히제한적이다. 책임저자, 회원, 건국대학교기계설계학과 E-mal : fateful99@aer.com TEL : (0)0-378 FAX : (0)447-5886 * 건국대학교기계설계학과 ** 건국대학교기계설계학과 Fg. Wrkle o a web roller
머신비젼을이용한실시간링클측정시스템개발 75 라인스캔카메라와 frot 조명방식을이용한방법에서는링클의발생은감지할수있었다. 그러나실제링클의형상정보와는차이가있고, 링클의높이와같은정보는측정이불가능하였다. 본논문의목적은새로운링클측정방법을소개하는데있다. 장에서는측정소프트웨어를포함한측정시스템을설명한다. 3 장에서는이미지처리에대해서설명하고, 4 장에서는새로운시스템을실험적으로테스트하였다.. 링클측정시스템개발. The Expermetal Set-up Fg. 는측정시스템의구성을보여주고있다. 카메라는 659 x 494 의해상도와 0 μm 의픽셀사이즈를갖는 Basler Scout sc3640-74gm 가사용되었다. 카메라는최대해상도에서초당 79 프레임레이트를가지고, 기가이더넷을통해컴퓨터와연결된다. 레이저는점이아닌선의형태로빔을쏘아낸다. 레이저빔은웹과만나면웹의표면에빛의띠를형성하게된다. 물론많은양의레이저가투명한웹을통과하여지나가지만, 웹에맺히는레이저의양이충분해측정이가능하게된다. 웹상의빛의띠는링클이없을때는직선으로나타나고, 링클이발생하면링클의단면을따라나타나게된다 (Fg. 3). 투명한웹의배경부분에는커버를만들어링클의측정에필요없는정보를차단하여이미지처리에유리하게하였다.. System Calbrato 보통좌표보정과정은카메라와프로젝터모델의각개의장치에따라나누어진행된다. 그러나본시스템의경우카메라와레이저빔은하나의세계좌표에고정되어있기때문에 DePero 등 () 이제안한 oe step procedure를이용해서보정할수있다. 이방법은 z f(u,) 모델이사용되는데, 이것은이미지좌표 (u, ) 로부터높이 z를구하는모델이다. 그리고 f 는실험을통해얻는보정데이터이다. 예를들어, f가 차이면, z는식 () 에의해계산된다. 이와비슷한모델 g 는 y 좌표를계산하는데사용된다. 참고문헌 [] 에서는많은보정모델들의포착속도와영역정밀도에따른상세한연구내용이보고되어있다. 본시스템에서는 f는 차이고 g는 차이다. 이것은식 () 과 () 에나타나있다. [ u u u ] M z [ ] N y () u () 변수 M 과 N 은교정장치의 z, u, 의요소들을측정하여구성한연립방정식에의해정의된다. 식 (3) 에주어진모델의보정과정이 Fg. 4 에나타나있다. 교정지그는그모서리가세계좌표의중심이되고윗면이 xy 평면으로정의되는플랫폼과몇개의정밀한판으로구성된다. Fg. Layout of the wrkle measuremet system Fg. 3 Image of a laser strpe o the rollg web
76 신동근 토호앙밍 고성림 Fg. 5 The measuremet software Fg. 4 Calbrato of measured heght by a seres of horzotal plates z.. z.. z u.. u u u u u u u u m.. m 6 (3) Fg. 6 Sgle thread processg 판들은그림과같이층계를이루고있어서각각다른높이 z 를가지고있다. 카메라가찍은이미지로부터 (u, ) 에따른 z 를얻을수있고, 식 (3) 으로부터 M 을계산할수있다. y g(u,) 모델의보정역시비슷한방법으로할수있는데, 플랫폼에슬롯을만들어판들을끼워놓고보정을진행하면된다. 단 y 의세계좌표는 3 차원좌표측정장비 (coordate measurg mache CMM) 에의해이미측정되어있어야한다. M 과 N 을구한후에는이미지의 (u, ) 값에식 (,) 를적용해 y 와 z 좌표를구할수있다. 이두요소는롤러의인코더로부터얻는웹의진행방향 x 의좌표와더해져측정위치의 3D 좌표를형성하게된다..3 The Measuremet Software 측정소프트웨어 (Fg. 5) 는 Vsual C++ 와 Pylo (the Basler s camera terface wrapper) 을이용하여만들어졌다. 시스템성능에전반적으로영향을끼치는데이터수집과이미지처리과정에대해간단하게설명하도록하겠다. Fg. 7 Acqusto mssg of sgle thread 카메라회사에서기본적으로제공하는소프트웨어는싱글쓰레드로작동하였다. 싱글쓰레드란캡춰한이미지를처리하고디스플레이하는데, Fg. 6 과같이 Capture( 데이터수집 ) Process( 이미지처리 ) Dsplay( 디스플레이 ) 를순서대로진행하게된다. 이러한싱글쓰레드를사용하게되면, 캡춰한이미지를처리하고디스플레이하는동안에는다음프레임을캡춰하지못하는단점이발생한다. 즉카메라의최대프레임레이트를사용하지못하게된다는것이다 (Fg. 7). 그래서본프로그램은데이터수집 (Capture) 과이미지처리에서오버랩모드의멀티쓰레드로작동하도록하였다. 데이터수집쓰레드는카메라버퍼를이용연속적으로이루어진다. 카메라버퍼에이미지가차게되면데이터수집쓰레드는
머신비젼을이용한실시간링클측정시스템개발 77 Fg. 9 The mage before ad after beg appled the Sobel operator Fg. 8 Mult thread processg 데이터를이미지버퍼에복사하고이미지처리를시작한후다시데이터를수집하기시작한다 (Fg. 8). 이때이미지처리쓰레드는이미지버퍼에있는데이터를처리한후소프트웨어인터페이스에처리된데이터의디스플레이를요청한다. 이미지처리쓰레드가다음이미지를기다리고있는동안윈도우의 message hadlg fucto 은요청된데이터를출력한다. 쓰레드사이에공유된버퍼들의정보의일치는 Eet 와 Crtcal Secto objects 에의해보장된다. 이러한메커니즘에의해구동되는이미지처리와디스플레이는두개의연속적인이미지사이의작업시간을최소화한다. 3. 데이터처리 3. Image Processg edge 감지를위한이미지처리는장치를설치할때웹의배경을차단하였기때문에매우간단하다. 본연구에서는분리가능한 3x3 행렬의 Sobel 연산자를적용하였다. f ( x, y) 0 0 0 0 [ ] g( x) h( y) (4) 이미지는이미지처리후, 더밝고선명해져서 hstogram-based threshold 으로이미지를데이터화하기유리하다. 결과이미지는 Fg. 9 에나타나있다. 3. Profle Flterg 추출된단면의형상은웹의장력에따라그형태가구분된다. 장력이높을때는웹의표면은평면과같고, 그단면은직선의형태로간주할수있다 ( 물론링클의 peak 와 alley 는제외한다 ). 이때는단면의기준선을직선으로정의하고, 링클의높이는기준선에서부터 peak 까지의거리로측정할수있다. 일반적으로링클의단면형상은디지털이미지의정밀도한계때문에부드럽지못한커브를그리고있다. 일반적으로이러한경우에곡률을보상하기위한방법으로 λ c ( 작은곡률 ) 와 λ f ( 큰곡률 ) 를 cutoff 값으로하는 Gaussa flter(iso 56) (5) 를 번적용한다. 그러나이필터는가장자리에서뒤틀림을유발한다. 처음과마지막 cutoff 길이의절반이넘는양이가장자리효과로인해왜곡이일어난다. 30mm 의단면형상에서 λ f 를 8mm 로했을때, 각각의가장자리에서 5mm 의손실이일어난다. 그러므로최종얻게되는기준선의길이는 0mm 로줄게된다. (3~5) 이문제를극복하기위해본연구에서는 Brkma 등 (7) 이제안한 Gaussa regresso flter(iso/tr 660-0:000(E)) (6) 를적용하였다. 가장자리효과를없애기위한방법은, Gaussa bell cure 아래를둘러싼영역이항상 이되도록필터의 weghtg fucto 을증가시키는것이다. cooluto 은두개의 차원행렬 g(x) 와 h(y) 로나뉘어더빠르게수행된다. 레이저라인이지나가는부분, 즉 AOI(Area of Iterest) 에서만 cooluto 을진행하면계산을줄일수있다. 선명하지못한레이저라인을가지고있던기본 s r ( p ) Δy 0 s( p ) s( p ) (5)
78 신동근 토호앙밍 고성림 여기서, s( p ) ( p ) Δy exp 0.5 παλ f αλ f (6) 또한, α π. (l / ), λ f 는필터의 cutoff 파 장, 은커브를이루고있는점 (pxel) 의수, p 는커브를이루고있는점들의색인 ( 위치정보 ), 는 weghtg fucto 의위치색인을나타낸다. 기준선 w(p) 는모든단면을 cooluto 해서계산한다. w p ( ) z( ) sr ( p ) Δy (7) 0 더짧은파장요소는 ( 링클포함 ) 다음공식에의해얻는다. r(p) z(p) - w(p) (8) 여기서, r(p) 는링클곡선, z(p) 는단면곡선, w(p) 는기준곡선을나타낸다. 그러나, 이필터를 ISO 가이드에따라모두실행하는것은실시간감시에적용하기에는너무느릴수있다. 식 (5, 6, 7) 로부터 점의기준선을얻기위해서는각이미지마다 번의지수함수를풀어야한다. 그러므로카메라가초당 m 번의이미지를전송한다고한다면 m 번이된다. 그러나사실 weghtg fucto은이전의 cooluto으로부터계산할수있다. 값대신 - 값을 weghtg fucto에적용하고식 (6) 값들을글로벌배열로채운다. 이값들은각단면의 Co. 함수실행식 (5, 7, 8) 에사용된다. 또한 s 의대칭조건을적용하여지수함수의계산시간을줄일수있다. 그러나본연구의경우가우스는프로그램이실행될때딱한번불러오는것이기때문에이방법은필요치않다. 간단히말하면, 모든단면들에대해 - 번의지수함수의계산만이필요할뿐이다. 이것은 cooluto algorthm 속도를매우빠르게할것이다. Fg. 0 은단면에필터링을적용한예를보여주고있다.λ c.5mm와 λ f 6mm를사용하였는데, 작은 cutoff λ c.5mm는시각화의향상을위해단면을부드럽게하는역할을한다. 단면의길이가가장자리뒤틀림없이유지되고있는것을볼수있다. Fg. 0 A profle before ad after fltered by the Gaussa regresso method 3.3 Wrkle characterzato 링클의형상을특정짓기위해몇가지변수들을다음과같이제안하였다. 링클의높이 : 기준선으로부터 peak 까지의거리 Wz 링클의위치 : Wy 링클의밀도 : peak 의수 : Wd 링클의경사도 : h/w Ws 실제링클의측정과분석결과가 Fg. 에나타나있다. 실험결과총 5 개의링클이감지되었고, 각링클의정보는 Table 에나타나있다. 4. 시스템테스트 측정시스템에서는 Petum IV.4GHz, GB RAM wth 8MB graphcs card 의컴퓨터가사용되었다. 실험은카메라의최대정밀도에서초당프레임을측정하는방법으로진행되었다. 프로그램을싱글쓰레드 ( 데이터수집, 이미지처리그리고디스플레이를순서대로 ) 로실행했을때는초당프레임이 44fps( 프레임생산속도 ms) 로줄었다. 그러나프로그램을더블쓰레드 ( 데이터수집과이미지처리를동시에 ) 로실행했을때는초당최대프레임인 74fps 에도달하였다. 이것은이미지처리시간이최대프레임생산속도.7ms 보다빠른 6ms 이어서프레임속도에영향을끼치지않기때문이다. 또한 AOI 를이용해카메라의해상도를반으로줄일경우초당프레임은 86fps 까지도달하였고, 모든경우에 CPU 점유율은 50% 를넘지않았다. 이것은앞으로측정시스템이더욱발전하더라도측정에아무런문제가없을것을의미한다. 예를
머신비젼을이용한실시간링클측정시스템개발 79 Number of Wrkles Fg. A typcal measuremet. Table Results of a typcal measuremet Locato (Wy) Heght (Wz) Sharpess (Ws) Wrkle 9.5 4.80 3.6 Wrkle.3 4.74 3.38 Wrkle 3 4.9 3.68.45 Wrkle 4 8.0.3.78 Wrkle 5 0.7.09.3 들어여러카메라를이용한링클의분류나 3D 측정같은발전가능성을제공한다. 5. 결론 전자소자를인쇄하기위한 RR 공정에서웹에발생하는링클은치명적인결함이다. 따라서효과적인링클의제어를위해서는정확한링클의측정이필요하다. 본논문에서는링클형상측정을위한레이저를이용한머신비젼시스템에대해설명하였다. 이장비는웹공정에서많이이용되고있는라인스캔카메라시스템에비해매우간단하고적은비용으로구축이가능하다. 이방법의또다른이점은링클의높이까지측정이가능하다는점이다. 링클의높이는 RR 머신이웹을제어하는데매우유용한정보가될것이다. 측정소프트웨어는링클의실시간감지에사용될수있도록이미지프로세싱과필터링알고리즘을동시에하는멀티쓰레딩기법을사용하여만 들어졌다. 실험결과는소프트웨어가카메라의최대정밀도와프레임레이트에서아무런문제없이작동함을보여준다. 본연구에서제작한링클측정시스템은고속이송의 RR 공정에적용이가능한장점이있다. 500m/m 의공정에적용한다면, 약 0.5 Cm 마다링클데이터를수집할수있다. 본시스템은앞으로도많은발전가능성이있다. 향후계획중하나는어느정도의시간동안측정된단면들을연결하여 3D 로나타내는것이다. 이렇게하게되면, 웹의속도와장력등의변화에따른링클형상의변화와흐름을분석하는데더욱유용하게사용할수있을것으로기대한다. 후기 본연구는 ' 서울시산학연협력사업 ' 의지원을받아수행되었습니다. 참고문헌 () Duae Smth, R., 995, The Wdg Commttee of the Fshg ad Coertg Dso, Roll ad Web Defect Termology. () De Pero, F.W., Tred, M.T.,996, 3-D Computer Vso usg Structured Lght : Desg, Calbrato ad Implemetato Issues, Adaces Computers 43, pp. 43~78. (3) Krystek, M., 996, A Fast Gauss Flterg Algorthm for Roughess Measuremets, Precso Egeerg 9, pp. 98~00. (4) Raja, J., Muralkrsha, B., Fu, S., 00, Recet Adaces Separato of Roughess, Waess ad Form, Precso Egeerg 6, pp. ~35. (5) ISO 56, 996, Profle Method Metrologcal Characterstcs of Phase Correct Flters, Geometrcal Product Specfcato (GPS) Surface Texture: Iteratoal Orgazato for Stadardzato. (6) ISO/TR 660, 000, Part 0. Robust ad Sple Flterg, Geometrcal Product Specfcato (GPS) Fltrato. (7) Brkma, S., Boshwa, H., Lemke, H.W., 00, Accessg Roughess Three- Dmesos Usg Gaussa Regresso Flterg, It. J. Mache Tools ad Maufacture 4, pp. 53~6.