연구논문 Hankook Kwanghak Hoeji, Volume 19, Number 2, April 2008 DOI: 10.3807/HKH.2008.19.2.095 가변형패럴랙스배리어를이용한무안경디스플레이시스템 위성민 광운대학교전자재료공학과우 139-701 서울노원구월계동 447-1 이승현 광운대학교대학원정보디스플레이학과우 139-701 서울노원구월계동 447-1 (2008년 2월 18 일받음, 2008년 3월 10 일수정본받음) 패럴랙스배리어의장점은 2D와 3D 콘텐츠를자동적으로스위칭하여디스플레이할수있다는것이다. 그러나관찰자가움직일경우배리어를통과하는영상이바뀌게되며, 수평으로어느범위이상을움직이게되면영상이역전되어다른영상을보게된다. 이러한제한점을해결하고자시점추적이나시점을증가시키는것과같은무안경스테레오디스플레이가소개되고있다. 본논문에서는일정한위치에서만관찰할수있는고정식패럴랙스배리어의단점을보완할수있는가변형패럴랙스배리어방식을제안하였으며, 가변형배리어의제작을위하여 640 라인 FPC 로구성된새로운교차커넥터를설계하였다. 또한, 일반적으로사용되는웹카메라를이용하여시점추적시스템을구현하였고실험결과를보였다. 주제어: 패럴랙스배리어, 무안경스테레오디스플레이, 가변형배리어, 시점추적시스템 I. 서론 입체영상을보기위해특별한안경을쓴다는것은귀찮은일이다. 특수한안경을사용하지않는입체디스플레이를만드는것은입체에관한연구를하는사람들의꿈이었으며, 일반적으로좌우시차영상을분리하여두눈으로볼수있도록패럴랙스배리어(parallax barrier) 나렌티큘러스크린등의광학판을디스플레이화면의앞, 또는뒤에설치하는방식을사용한다. [1-3] 이들방식은일반적으로유효시야가상당히좁고, 한사람밖에이용하지못했지만최근여러명의관찰자도함께시청할수있는다시점입체디스플레이가발표되는등차세대디스플레이로써주목을받고있다. [4] 패럴랙스배리어(parallax barrier) 의경우는 2D/3D 겸용으로사용할수있는장점으로개인이주로사용하는핸드폰, 노트북등과같은소형디스플레이에그응용이활발히진행되고있다. [5,6] 그러나위치고정적이란고질적인단점을가지고있어사용자들이 3D 영상을관찰하기위해서는시점을좌우영상에맞추어야하는단점을가지고있다. 즉, 사용자가수평으로움직일경우좌우영상이역전되는현상이발생하게되어시점의증가나시점추적과같은해결책이요구된다. [7,8] 일반적인패럴랙스배리어(parallax barrier) 방식을적용한 3D 디스플레이시스템의원리는관찰자의좌안에는좌영상이, 우안에는우영상이보여지게되어입체를느낄수있게되는데, 관찰자가좌 우로이동하면좌안에우영상이, 우안에좌영상이보이게되며이러한경우입체감을느낄수없 95 고어지럼증을유발시키는단점이있다. 이러한문제점을해결하기위하여고안된방안이시점추적형알고리즘을적용한패럴랙스배리어(parallax barrier) 디스플레이시스템이다. 시점을추적하여디스플레이하는방식으로는관찰자의움직임에따른 x-y-z 좌표를추출해서디스플레이장치에표시되는좌영상과우영상을각위치에맞도록서로교차시키는방법이있고, 관찰자의시점을추적하여관찰자의위치에맞게패럴랙스배리어(parallax barrier) 를스위칭하는방법이있다. 본논문에서는이문제점에대한보완책으로시점추적시스템에서활용할수있는가변형패럴랙스배리어 (parallax barrier) 패널을제안하였다. 가변형배리어의제작을위하여 640 라인 FPC 로구성된새로운교차커넥터를설계하였고, 일반적으로사용되는웹카메라를이용하여시점추적시스템을구현하였다. 1. 패럴랙스배리어(parallax barrier) 를이용한 2점 L과 R의 E-mail: shlee@kw.ac.kr 분리.
96 한국광학회지제19권제2 호, 2008년 4월 II. 패럴랙스배리어디스플레이 패럴랙스배리어(parallax barrier) 방식이라고부르는것은 1에서와같이슬릿상의광학적인배리어에의해좌우영상을분리하는방법이다. 1에서는작은구멍혹은배리어를사이에놓고 2 점좌안영상(L) 과우안영상(R) 을들여다보는경우를나타내고있다. 양안의위치에서보면우안에서는점 R만을좌안에서는점 L 만을볼수있다. 또배리어의크기를제한하여우안에서는점 L을볼수없도록한것은에서쉽게이해할수있다. 점 L, R을좌우영상의한화소라고가정하고이위치에액정등의평면디스플레이를사용하며슬릿도한개가아니고등간격의다수의슬릿을가지는패널을놓는것으로무안경입체디스플레이를만들수있다. 1903년에미국의 F.E.Ives 가패럴랙스스테레오그램(stereo- gram) 으로불리는입체영상을보는방법을제안하였다. 이방법은 2 에서볼수있듯이패럴랙스배리어(parallax barrier) 로불리는가느다란슬릿상의개구부(aperture) 뒤쪽에적당한간격을두고좌우2안에대한2개의영상을교대로배치하여특정한시점에서이개구부를통해보았을때정확하게분리해서볼수있는방식이다. 단, 좌우 2안에대한영상밖에표시하고있지않기때문에시점을이동해서자유롭게볼수는없다. 3은 2 안식패럴랙스배리어(parallax barrier) 의원리를보여주며, 관찰점의중심선으로부터 L과 R 픽셀쌍의중심에픽셀과배리어가위치함을알수있다. 패럴랙스배리어 (parallax barrier) 피치 b의설계를위해기하학적인구조를이용하면 3 으로부터식 (1) 을얻을수있고, 식 (1) 을정리하면식 (2) 를얻는다. = = (2) (1) 식 (2) 로부터 2안식디스플레이의배리어피치는디스플레이픽셀피치의 2배보다작음을알수있다. 이와같이픽셀과배리어피치간의작은차이가눈과디스플레이를통과하는픽셀사이의시청각도변화를결정하게되며, 이를시점조절이라고부른다. 3으로부터최적의시청거리 z 는식 (3) 으로표시할수있고, 이로부터식(4) 를얻을수있다. = (3) = (4) 2. 패럴랙스배리어(parallax barrier) 를이용한 3D 디스플레이. 여기서, 두눈사이의간격 e = 65 mm, 픽셀피치 i는디스플레이제조사에서결정된값, 디스플레이와배리어사이의간격 g는 LCD 전면물질들의두께로결정된다. 에를들 3. 패럴랙스배리어(parallax barrier) 의원리.
연구논문 가변형패럴랙스배리어를이용한무안경디스플레이시스템 위성민ㆍ이승현 97 면, 픽셀의간격 i = 0.1 mm 정도, LCD 전면의물질과편광판을포함하는간격 g=1.15mm 이다. 결과적으로시청거리를조절할수있는여유는거의없으며, 상용 LCD의두께를고려할때일반적인패럴랙스배리어(parallax barrier) 의최적시청거리 z = 750 mm 이다. 최근출시되고있는 2D 디스플레이의두께가 0.4-0.63 mm 이고, 편광판의두께가 0.2 mm인경우는시청거리를 z=390mm 정도로줄일수있다. 이는 2D 디스플레이의시청거리가 300-350 mm인것과비교될수있으며, 시청거리가짧아짐에따라시청각도가증가하는원리를생각하면 3D 디스플레이의제작에가장자리부분에대한손실을고려해야한다. III. 가변형패럴랙스배리어 패럴랙스배리어(parallax barrier) 방식은일정한위치에서만관찰된다는단점을가지고있는데, 본논문에서는이러한단점을보완할수있는가변형패럴랙스배리어 (parallax barrier) 방식을제안한다. 3에서보는바와같이일반적인패럴랙스배리어(parallax barrier) 는배리어와개구부의일정한간격을가지고있는구조이며배리어사이에있는개구부로영상이투과되어사용자가입체를볼수있게해준다. 이러한방법을이용하여디스플레이장치를구성하게되면정확한위치에서만영상의시청이가능해진다. 즉, 사용자가수평으로움직일경우좌우영상이역전되는현상이발생하게되며, 이를해결하기위한방법으로시점추적을이용하는시스템이소개되고있다. [7] 패럴랙스배리어(parallax barrier) 를사용하는시점추적시스템의경우, 카메라의시점추적결과에따라좌우눈의위치가바뀌게되면소프트웨어적으로좌우영상을절환하여주게되는데, 최적시점이아니어도좌우눈의위치가경계를 넘지않는다면그대로영상을유지하게된다. 즉, 수평으로어느범위내에서는좌우영상이바뀌지않았어도 3D 영상을관찰할수있으며, 이에따라최적시점이제한되는단점을지니게된다. 이를해결하는방법으로가변형패럴랙스배리어(parallax barrier) 를구성할수있다. 가변형패럴랙스배리어(parallax barrier) 를이용한시점추적시스템에서는미세한시점의이동에따라배리어가이동하여줌으로써항상최적의좌우시점을유지할수있게된다. 즉, 최적의 3D 관찰시점이많아짐에따라항상자연스러운 3D 영상을시청할수있다. 본논문에서는가변형패럴랙스배리어(parallax barrier) 를사용함으로써제한된최적시점수에대한문제를해결할수있었고, 미세한시점의움직임에대해최적의 3D 시청시점을제공하여자연스러운스테레오영상을관찰자에게제공할수가있었다. 4 는일반적인패럴랙스배리어(parallax barrier) 의구조이며, 5는본논문에서구성한가변형패럴랙스배리어(parallax barrier) 패널을보여준다. 5에서는배리어와슬릿을각각 4 개의작은라인으로구성하였고, 사용자의이동에따라배리어를이동하게되면어느위치에서든최적의 3D 영상을시청할수있게된다. 일반적으로사용되는한개의배리어를몇개의서브배리어로분리할것인가에대해서는실험을통해확인하였다. 배리어간의간격이너무좁을경우에는공정상의문제뿐만아니라 TN패널로제작을할경우두라인간에합선현상이발생하게되어가변형패럴랙스배리어(parallax barrier) 가정상적으로작동되지않는다. 본실험에서는각라인사이의간격이 3D 디스플레이에미치는영향을알아보기위하여우선필름으로제작하여테스트하였다. 각각의서브라인사이간격을 5 μm, 10 μm, 15 μm, 20 μm 단위로설계하여 3D 디스플레이를테스트하였다. 실험결과각서브라인의간격을 10 μm 이상으로제작을하였을경우라인사이로빛이통과하여올바른패럴랙스배리어(parallax barrier) 의기능을수행하지못했다.5μm 이하가제일효과가좋았지만현재 TN패널의제조공정에서제작가능한최소간격이 8 μm라는점을고려하여서브배리어사이의간격을 8 μm 로하였다. 6에서와같이각서브라인사이의간격을 8 μm로제작하여패널의수명에영향을미치지않을정도의전압을 4. 일반적인패럴랙스배리어(parallax barrier). 5. 가변형패럴랙스배리어(parallax barrier). 6. 가변형패럴랙스베리어의설계[mm].
98 한국광학회지제19권제2 호, 2008년 4월 ITO ITO Electric Connection Electric Connection <<Segments>> FPC COM2 COM1 <<Segments>> FPC COM2 Input Voltage <= 3.3V/80Hz Input Voltage <= 3.3V/80Hz 7. 가변형패럴랙스배리어(parallax barrier) 패널의구동원리. 8. 가변형패럴랙스배리어(parallax barrier) 패널의도선연결. 걸어주면, 서브라인사이의슬릿으로빛이새지않을정도로라인사이의번짐현상이발생하며각라인간의합선현상은발생하지않는다. 이와같이설계된가변형패럴랙스배리어(parallax barrier) 의전기적접속은 8개를 1조로하여구성되며, 배리어 1 번, 9 번, 17 번 이전기적으로서로연결된다. 같은방식으로 2번배리어는 10 번, 18 번 째배리어와전기적으로연결되어동작하게된다. 7 은가변형패럴랙스배리어(parallax barrier) 의원리를보여준다. 7의왼쪽에서와같이처음에 1, 2, 3, 4 번라인이구동되어배리어가형성되었는데, 관찰자가오른쪽에서와같이우측으로이동하게되면 3, 4, 5, 6번라인이구동이되어마치패럴랙스배리어(parallax barrier) 가이동을하는것과같은효과를주게된다. 마찬가지로관찰자가좌측으로이동하게되면상기의경우와반대로작동을하게된다. 이러한방법을이용하여관찰자의위치를추적하여각각의위치에맞게패럴랙스배리어(parallax barrier) 가이동되도록한다. 7과같은가변형패럴랙스배리어 (parallax barrier) 를구동하기위한구동 ITO 라인은 8과같이구성되어야한다. 패널설계에있어서패럴랙스배리어(parallax barrier) 의각서브라인은가격이저렴한 TN-LCD기술을이용하여구성 9. 교차커넥터를사용하기위한가변형패럴랙스배리어 (parallax barrier) 패널. 한다. 8과같은구동라인을 TN 패널에적용하여구성할경우에는고가의 TFT의정밀한기술력이사용되어야한다. 또한, 패널을만들때마다그패널에맞는새로운구동라인을구성해야하기때문에단가상승의요인이되고이러한구성은매우비효율적인생산구조를갖게된다. 이와같은문제를해결하기위하여본논문에서는 640 라인을 1개의묶음으로하는정밀도가높은일반 TN 패널을이용한교차커넥터(crossing connector) 를제작하였다. 이교차커넥터는 TFT 라인을사용하지않고, 모든패널에적용할수있는장점을제공한다. IV. 실험및결과고찰 4.1. 교차커넥터를사용한가변형패럴랙스배리어 본실험에서는현재상용화되고있는노트북에가변형패럴랙스배리어(parallax barrier) 를적용하여실험을하였다. 사용된노트북은 Asus 사제품으로 15.4'' 의 TFT-LCD를내장하고있으며, LCD의해상도는 1280 800 이다. 9에서와같이 640 라인을 1개의묶음으로하여 TN 패널을제작하였
연구논문 가변형패럴랙스배리어를이용한무안경디스플레이시스템 위성민ㆍ이승현 99 10. 교차커넥터. 11. 교차커넥터도면. 고, 교차커넥터는 10과같이제작하여 8라인씩구동이가능하게구성하였다. 가변형패럴랙스배리어(parallax barrier) 패널은각라인의구동을위해 8에서와같이 640라인씩위아래로제작하였다. 한묶음의각라인에교차커넥터 1개씩을부착하여 640라인이 8 라인으로구동이되도록설계하였으며, 본실험에서사용된노트북에는 8 개의교차커넥터가사용되었다. 9에서 640라인의 FPCB로제작된교차커넥터위쪽의넓은부분은 11 과같이패널에연결하도록하였다. 아래좁은부분은 1~8번의구동을위한 8개의라인과 COM 신호가전달되는 1개의라인으로구성되어총9라인으로제작되었으며, 컨트롤신호를전달할수있도록제어보드와연결된 다. 본실험에서는신호의정확한전달과라인사이에서발생할수있는간섭현상등을고려하여11과같이 16개의구동신호를전달하는라인과, 2개의 COM 라인, 2개의 Dumy라인으로총 20라인의기존에시판되고있는 FPC를이용하여제작하였다. 제작된교차커넥터를 12 와같이패널에연결하였고, 연결방식은일반적으로 LCD와 FPC를연결하는방식인 ACF 테입을이용하여패널과교차커넥터를결합하였다. 제작된패널은 13 과같이구동보드에연결된다. 본실험에서제작된 TN 패널의구동사진이 14(a) 이며 14(b) 는한개의교차커넥터에대한확대사진이다. 12. 교차커넥터와패널의연결. 13. 패널과제어보드의연결. 14. 패널의구동사진.
100 한국광학회지제19권제2 호, 2008년 4월 Reference Pattern 1D-FFT (3 Line) correlation Face region No Preprocessing Start Reference processing Get Face reference 3 Line 1D-FFT (3 Line) Swap Value No Search left eye (xl,yl) Correct eyes Search right eye (xr,yr) Main processing Pattern Save Controler (RS-232c) End. Parallax barrier display. 15. 시점추적흐름도. 4.2. 시점추적 본논문에서는시점추적형알고리즘을가변형패럴랙스배리어(parallax barrier) 에적용하여 3D 디스플레이를제작하여실험하였다. 본논문에서는시점추적시스템의구현을위하여관찰자의위치로부터이동된거리를측정하는실험을하기위하여노트북에내장되어있는웹카메라를사용하여구현하였다. 웹카메라를이용하여배경과관찰자의얼굴윤곽을실시간으로추출하고정확한눈의위치를컴퓨터에알려줌으로써, 눈의위치에맞는패럴랙스배리어(parallax barrier) 를형성시켜자연스러운입체영상을관찰할수있도록하였다. 일반적으로시점추적에사용되는방법으로는색상정보를이용하여안면영역을추출한후템플릿매칭 (template matching) 방법을이용하여추적하게된다. 영상획득으로일반카메라를사용할경우 15에서보는바와같이전처리과정의계산량이많아실시간처리가약간지연되는데, 전처리과정으로는빛의변화에의해왜곡된안면의조도를히스토그램평활화(histogram equalization) 하고칼라영역변환(RGB HSIorRGB YCrCv) 으로안면영역을추출하는과정이다. 일반적인웹카메라를이용할경우사용자프로그램으로초당 15 프레임이상의영상캡쳐가어렵고, 히스토그램등전처리의연산량이많아실제적인시점추적은초당 10 프레임정도이다. Main processing은 14에서보는바와같이전처리결과로부터템플릿매칭방법으로눈영역을분리하여좌표화하는과정이다. 본논문에서는상대적으로계산이많은전처리과정에 FFT 알고리즘을적용하였다. 전제조건으로관람자의영상은카메라의중앙위치에서 x축 3-line을한번만추출해 FFT 패턴을만들고이정보는 3D 입체영상을관람하는사람의영상에서 3-line 1차원 FFT로상관(correlation) 하면관람자의이동을간단히추적할수있다. 본실험에서는실내환경에서모니터의상단중앙위치에고정된고정형웹카메라를이용하여이동하는관찰자의상관최대값을추적하는전처리알고리즘을적용하였다.FFT 알고리즘을이용하면기존전처리부에서처리되는많은 2차원배열알고리즘을적은계산으로도유사성및이동불변성에대하여강한특성을가지고있다. Main processing부는전처리에서찾은상관최대값영역으로부터좌우두눈의좌표를템플릿매칭방법을이용하여산출해내어나란히있는두눈의후보영역내에관찰자의두눈이위치해있으면관찰자와모니터와의위치좌표(x position) 에의해형성될가변형패럴랙스배리어(parallax barrier) 의배열을결정하게된다. 실험에서사용된컴퓨터는 3D영상을출력하는동시에가변형패럴랙스배리어(parallax barrier) 의재배열정보를시리얼통신(RS-232) 을이용하여변환하고이렇게변환된신호
연구논문 가변형패럴랙스배리어를이용한무안경디스플레이시스템 위성민ㆍ이승현 101 16. 가변형패럴랙스배리어(parallax barrier) 를이용한시점추적형 3D 디스플레이시스템의구현. 를이용하여가변형패럴랙스배리어(parallax barrier) 가포함된 3D 디스플레이를제어한다. 따라서일반패럴랙스배리어 (parallax barrier) 방식에서문제가되었던관찰자의좌 우이동에따른영상이반전되는현상을시점추적알고리즘과가변형패럴랙스배리어(parallax barrier) 를이용하여문제점을해결함으로써관찰자가편안하게입체영상을관찰할수있도록하였다. 본논문에서제안한방법의구현을위해웹카메라가내장된 ASUS F3J series 노트북컴퓨터에가변형패럴랙스배리어(parallax barrier) 패널을적용하여구현하였다. 실험에사용된노트북의 CPU는 Intel 계열의 Core 2 Duo Processor T7200 Mobile 프로세서이다. 프로그램은 Visual C++6.0을이용하였으며 16의우측하단에보이는응용소프트웨어를개발하여사용하였다. 입력영상은 320 240 16 bit 해상도를사용하였다. V. 결론 패럴랙스배리어(parallax barrier) 는 2D/3D 겸용으로사용할수있는장점으로개인형 3D 디스플레이에많이응용되고있다. 그러나위치고정적이란근본적인문제를지니고있어사용자들이 3D 영상을관찰하기위해서는시점을좌우영상에맞추어야하는단점이있다. 본논문에서는이문제점에대한보완책으로시점추적시스템에서활용할수있는가변형패럴랙스배리어(parallax barrier) 패널을제안하였다. 가변형패럴랙스배리어(parallax barrier) 의제작을위해서는고가의 TFT 의정밀한기술력이사용되어야하며, 패널을만들때마다그패널에맞는새로운구동라인을구성해야하기때문에단가상승의요인이된다. 본논문에서는 640 라인을 1개의묶음으로하는일반 TN 패널을이용한교차커넥터를제안하였다. 이교차커넥터는 TFT 라인을사용하지않고, 모든패널에적용할수있는경제적, 호환적인장점을제공한다. 본논문에서구현한가변형패럴랙스배리어 (parallax barrier) 는일반적인패럴랙스배리어(parallax barrier) 를 4등분하여사용하게되므로, 눈의움직임에따라보다빠르고자연스러운입체영상을획득할수있는가능성을제시해주었다. 일반적인시스템과의성능비교를위한수치적인혹은주관적인평가는추후진행되어야할과제이다. 감사의글 The present Research has been conducted by the Research Grant of Kwangwoon University in 2006. 참고문헌 [1] S. H. Kaplan, Theory of Parallax Barriers, J. SMPTE vol. 59, pp. 11-21, 1952. [2] D. J. Sandin, E. Sandor, W. Cunnally, M. Resch, T. DeFanti, and M. Brown, Computer- generated barrier-stripe autostereography, Proc. SPIE, vol. 1083, pp. 65-75, 1989. [3] H. Isono, M. Yasuda, and H. Sasazawa, Autostereoscopic 3D LCD Display using LCD-generated Parallax Barrier, 12th Int. Display Research Conf., Japan, Display 92, pp. 303-306, 1992. [4] 김은수, 이승현 3 차원영상의기초, 기다리& 오옴사, pp. 129-173, 1998. [5] A. Jacobs, J. Mather, R. Winlow, D. Montgomery, G. Jones, M.Willis,M.Tillin,L.Hill,M.Khazova,H.Stevenson, and G. Bourhill, 2D/3D switchable display, Sharp, Technical Journal, no. 4, Apr. 2003. [6]D.S.Kim,S.D.Se,K.H.Cha,andJ.P.Ku, 2D/3D Compatible display by autostereoscopy, Proc. K-IDS Three- Dimensional Display Workshop, pp. 17-22, 2006. [7] Markus Andiel, Siegbert Hentschke, Thorster Elle, and Eduard Fuchs, Eye-tracking for autostereoscopic displays using web cams, Proc. SPIE, vol. 4660, pp. 200-206, 2002. [8]O.H.Willemsen,S.T.deZwart,M.G.H.Hiddink,D. K.G.deBoer,M.P.C.M.Krijin, Multi-view3DDisplay, Society for Information Display 2007 International Symposium Digest of Technical Paper, pp. 1154-1157, 2007.
102 한국광학회지제19권제2 호, 2008년 4월 Autostereoscopic Display System Using a Variable Parallax Barrier Sung-Min Wi Dept. of Electronic Materials Eng., KwangWoon University 447-1 Wolge-Dong, Nowon-Gu, Seoul 139-701, Korea Seung-Hyun Lee Dept. of Information Display, KwangWoon University Graduate School 447-1 Wolge-Dong, Nowon-Gu, Seoul 139-701, Korea E-mail: shlee@kw.ac.kr (Received February 18, 2008, Revised manuscript March 10, 2008) An advantage of parallax barrier displays is that they can also display 2D and 3D contents and can be automatically switched between the two types. But, as the viewer changes position, different views of the scene will be directed by the barrier to the visual system. Moving horizontally beyond a certain point will produce image flipping of the different views of the scene. These limitations make unavoidable the use of another autostereoscopic display solutions like eye tracking or increasing the number of views. In this paper, a method of the moving parallax barrier design is introduced to supplement a disadvantage of the fixed parallax barrier that provides observation at specific locations. For making the moving parallax barrier, the cross connector with 640 lines FPC is designed. A commercially available web camera is utilized to implement eye-tracking system and shows the experimental result. OCIS code: 100.6890, 150.6910, 110.6880.