Insight Report 2017-06 기술경제연구본부기술경제연구그룹 전황수
본보고서의내용은필자의개인적인견해이며, 한국전자통신연구원의공식 견해가아님을알려드립니다. 본문서에서음영처리된부분은 ( ) 정보공개법제9조의비공개대상정보와저작권법및그밖의다른법령에서보호하고있는제3자의권리가포함된저작물로공개대상에서제외되었습니다. 본저작물은공공누리제 4 유형 : 출처표시 + 상업적이용 금지 + 변경금지조건에따라이용할수있습니다.
CONTENTS Insight Report 2017-06 요약 1 Ⅰ. 개관 2 Ⅱ. Light Field 카메라 3 1. 개요 3 2. LF 영상획득방법 3 3. 응용분야 5 4. 국내개발동향 7 5. 해외개발동향 9 Ⅲ. Light Field 디스플레이 19 1. LF 디스플레이 19 2. LF 3D 디스플레이 25 3. 국내개발동향 29 4. 해외개발동향 33 Ⅳ. 정책적시사점 45 참고문헌 47
요 약 Light Filed는 3차원공간상에서피사체로부터반사되는빛의세기와방향을표현하기위한장 (field) 으로서, LF 영상획득및재현기술은카메라를통해 LF를획득한후디스플레이를통해그대로재현하여시각적으로왜곡이없는완전입체의실감영상을시청하게하는기술 Light Filed 카메라는메인렌즈의초점면에여러개의마이크로렌즈를사용하고, 이미지센서는마이크로렌즈보다약간뒤쪽에위치해이미지들을사용해포커스가맞지않은부분들을분석하고심도에대한정보를얻을수있음 - LF 영상획득방법은수평및수직어레이로구성된다중카메라통해획득하는방법과마이크로렌즈어레이기반카메라로획득하는방법 - 응용분야는스마트폰, CCTV 및영상카메라, VR 서비스등에활용 Light Field 디스플레이는 LF를관측자공간으로재현하는디스플레이기술로양안시차에의존하는 3D 디스플레이기술과는달리모든깊이인지요인을일관성있게전달하는이상적디스플레이로서가능 - 1 프로젝트어레이, 2 렌즈어레이와디스플레이패널, 3 디스플레이패널적층방식이있음 - 1 초다시점에서의입체영상점의흐려짐, 2 초다시점에서의단안조절정보노이즈의발생, 3 초다시점시점수의구현등문제해결돼야 홀로그래픽등 LF 3D 디스플레이개발이필요현실공간에 LF를표현해실제사물과가장비슷한자연스러운 3D 영상을구현하여 MIT 미디어랩, Apple, Ms, NHK 등이신제품을출시우리도대학, 연구소와기업들이기존 3D 디스플레이연구뿐만아니라홀로그래픽등 LF 3D 디스플레이개발이필요 1
Ⅰ 개관 Light Filed는 3차원공간상에서피사체로부터반사되는빛의세기와방향을표현하기위한장 (field) 으로서, LF 영상획득및재현기술은카메라를통해 LF를획득한후디스플레이를통해그대로재현하여시각적으로왜곡이없는완전입체의실감영상을시청하게하는기술 Light-Field(LF) 기술은자연스러운완전입체영상을재현하면서도홀로그램에앞서실현가능한기술로기술개발이국내외에서활발히진행 - 카메라로빛의세기와방향정보를획득후디스플레이로그대로재현함으로써시각적으로왜곡이없는완전입체의실감영상을시청 - 조밀한시점영상, 깊이영상의제공으로 3D 단말분야뿐만아니라, 초점조절기능을통해다양한 2D 응용기술로활용 LF 영상을획득하기위해서는고해상도의공간및방향성분을가지는광선을획득해야하며, 수평및수직시차를동시에고해상도로획득가능한영상획득소자나고정밀깊이정보획득하기위해센서가필요 1) 완전입체영상을위한 LG 영상획득및재현개념 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월 p.52 1) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제 31 권 3 호, 2016 년 6 월, pp.51-52. 2
ETRI 미래전략연구소 Ⅱ Light Field 카메라 메인렌즈의초점면에여러개의마이크로렌즈를사용하고, 이미지센서는마이크로렌즈보다약간뒤쪽에위치해이미지들을사용해포커스가맞지않은부분들을분석하고심도에대한정보를얻을수있음 - 수많은작은이미지들을분석한후그것들을조작및배합할수있는 SW를사용해하나의이미지로만들어매우깊이있는심도를표현 - LF카메라로잡아낸이미지는초점면이나심도를변화시켜다른느낌을가진사진으로변형시킬수있다는있음 사용자는 Light Field 이미지를사용해전경에초점을맞출수도, 아니면중간이나후경에있는물체에초점을맞출수도있고, 모든물체에초점이맞춰진사진을찍을수도있음단점은최종결과물의해상도가낮은데, 하나의마이크로렌즈가빛이향하는하나의방향만을잡아내므로이미지픽셀의수가많아질수록마이크로렌즈의수도마찬가지로증가 - 피사계심도는마이크로렌즈의수에, 그리고해상도는마이크로렌즈당픽셀의수에의해결정돼주어진센서에마이크로렌즈의수를늘리면해상도는떨어지지만심도는증가 LF 영상획득방법은수평및수직어레이로구성된다중카메라통해획득하는방법과마이크로렌즈어레이기반카메라로획득하는방법있음 3
마이크로렌즈어레이기반 LF 카메라는획득이용이하고카메라정렬 (calibration) 및보정 (rectification) 등처리가쉬워 LF 영상획득이용이하나, 획득가능한광선의각도가작고획득가능한깊이범위가얇음 마이크로어레이기반 LF 카메라개념 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, p.53 다중카메라기반의 8 8 LF 카메라 ( 일본동경대 ) 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, p.53 4
ETRI 미래전략연구소 다중카메라기반의 LF 카메라는시야각이넓고획득가능한깊이범위가깊 으며, 시점영상당해상도가 CCD 의해상도와동일하게유지할수있으나, 카 메라정렬및보정이어렵고설치가난해하여보급에장애 2) LF 카메라로획득된영상은수평 / 수직시차시점영상, 깊이영상등의실감영상포맷을지원하기때문에다양한응용분야에적용이가능 스마트폰에적용될경우초점가변및깊이정보추출기능을이용하여한번촬영한영상의배경을바꿀수있음 - 전경인물은그대로두면서배경을바다, 산, 강등다양하게바꾸는앱에활용하는것을보여주고있고, 획득된시점영상및깊이정보를이용하여 3D 모델링된영상을생성 - 스마트폰제조사들이화소경쟁을넘어카메라모듈두개를탑재한 듀얼카메라 로승부수를띄우고있는데, 디지털방식으로줌을할경우인위적으로장면을확보함에따라깨지거나흐린결과물이나오지만듀얼카메라는망각과광각을모두탑재하면서깨지지않는줌가능 - 듀얼카메라는넓은각도로사진을촬영할수있는데다빛이적을때도비교적또렷한사진을얻을수있는등이점이많아 2016년 9월공개한애플아이폰7 플러스에듀얼카메라를채택 - 시장조사업체카운터포인트에따르면 2017년듀얼카메라를채용한스마트폰판매량은 3억대로, 전년대비 400% 이상증가할것으로전망 LF 카메라는넓은피사체심도를제공하기때문에, 피사체와카메라와의거 2) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제 31 권 3 호, 2016 년 6 월, pp.53-54. 5
리에덜민감하게초점을맞추고이를통해인식률을높일수있으므로, 방 범용 CCTV 카메라또는영상인식카메라로이용가능 스마트폰및방법용 CCTV 서비스응용 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, p.57 VR 서비스활성화를위해서는개인용단말인 HMD 및투시형디스플레이를사용자친화적으로개선하는것이절실한데, 경량으로시각피로가없이몰입감을극대화할수있는기능의구현이필요 - 국내외에서 LF 기술을 VR에접목하는시도가기초연구차원에서진행되어오다가최근에시제품까지제작 3) VR 서비스응용 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, p.58 3) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, pp.50-58. 6
ETRI 미래전략연구소 미래창조과학부기가코리아사업의일환으로 2015년 9월부터모바일용 LF 단말을개발 - 초점조절을포함하는 4가지입체요인을모바일단말에구현하여사용자로하여금완전입체의영상을볼수있게하는것으로동공내 2개이상의조밀한시점영상재현을통해구현할예정이며, 시청거리, 시청각및시점해상도를만족하기위해서해결해야할기술적이슈가존재 - 45cm 시청거리에서 20도의시야각을형성하려면시청폭은약 10cm정도이고, 여기에 3mm의시점간격을유지하려면 35개시점영상필요 - 8K해상도의디스플레이패널을사용한다면시점영상의수평해상도는 220 픽셀정도로서, HD급의시점해상도에매우부족 - 디스플레이의패널해상도를 10K 정도까지증대시키면서, 시간다중화및공간다중화의효과를동시에적용하기위한능동형마이크로렌즈어레이및방향성백라이트를개발중 4) 삼성전기듀얼카메라모듈성능 자료 : www.semstory.com, 진격의듀얼카매라모듈, 2016.10.26. 4) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제 31 권 3 호, 2016 년 6 월, pp.56-57. 7
차기프리미엄스마트폰인갤럭시S8의후면에듀얼카메라탑재될전망 - 듀얼카메라모듈은 1200만화소, 1300만화소로구성될전망 국내에서는 LG전자가유일하게 V10 G5 등에듀얼카메라를탑재 - G5의후면에있는 800만화소광각카메라 ( 화각 135도 ) 와 1600만화소카메라 ( 화각 78도 ) 중상황에따라선택해사진을찍을수있음 LG 전자의듀얼카메라장착스마트폰 V10 G5 자료 : www.lge.co.kr 삼성전자벤더로듀얼카메라통한다초점또는 3D 구현연구축적 2015년인텔에시험용으로제공한시험용 3D 리얼센스모듈이 2016년태블릿PC 등에탑재되기시작했고, 적용범위도확대 - 리얼센스로불리는 3D 인뎁스센서모듈제작해인텔에시험모델제공 - 리얼센스에탑재된 HP 노트북과태블릿PC가출시됐고에이서, 레노버등노트PC 업체들도인텔리얼센스탑재노트PC 출시하거나예정 5) 5) 이데일리, 나무가, 인텔 3D 리얼센스모듈매출본격화, 2016.6.22. 8
ETRI 미래전략연구소 독일업체로다중초점면 (multi-focus plane) 기법을사용하고있는데, 서로다른초점거리를가지는다중초점마이크로렌즈어레이를사용하여단일초점마이크로렌즈어레이방식보다 DOF를증대시킬수있고, 신호처리를통해유효공간해상도를 CCD 센서해상도의 1/4로유지 - 4K 해상도의 CCD를사용하면깊이정보와더불어다중의 Full HD 시점영상을획득 Raytrix사의주요판매제품은생산라인에서제작되는부품중에서불량품을체크하는관측카메라용 6) 다초점마이크로어레이를이용한공간해상도증대 자료 : 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월 2006년실리콘벨리에서설립되어, 기존카메라와다른카메라제작 - 사진한장을찍으면렌즈로들어오는 4천만개정보를기록, 입체적인이미지를저장한다 는 라이트필드 (Light-field) 기술을응용해서일룸카메라의원조격인 1세대라이트로카메라 를 2012년개발 - 처음선보인라이트로카메라는한손에잡힐정도의크기에렌즈가카메 6) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 2016 년 6 월, p.54. 9
라몸통과같이붙어있는립스틱케이스처럼생겼고, 앞뒤초점이다맞는기능을갖고있었으나맥킨토시로만편집이가능소비자용의 LF 카메라를출시하고있으며, 베이스라인폭이작다는단점을보완하기위해 LF 카메라가좌우로이동가능한스테레오 LF 영상획득시제품을제작 - 현재는테스트용으로시도되었지만향후 Virtual Reality(VR) 서비스를위해성능확장을시도 - 몰입형 VR서비스에필요한전방위 LF 영상을획득하기위해, 일련의 LF 센서들이 5층적층형구조로장착되어있는 Lytro Immerge 개발공개 - 색상별로용량이다른데, 8G면약 350장의사진을담을수있음 - 운영체제의특성을타지않고, Mac이나 Windows 어디에서나디스플레이호환가능 - 스마트폰, 아이패드와같은모바일기기에서도소프트웨어설치없이촬영물의감상이가능한데, 우선 Lytro.com에업로딩한다음, 페이스북, 트위터에서의공유가가능 Lytro 사의 LF 카메라 자료 : www.lytro.com 10
ETRI 미래전략연구소 LYTRO ILLUM 카메라 - 찰나의시간을기록하여언제든지볼수있도록해주는카메라로조리개심도와상관없이앞뒤초점이다맞음 - 사진한장을찍는데속도가느리지만앞과뒤피사체의초점을모두정확한초점과풍부한계조로촬영해조리개가없는대신, 촬영이끝난후에조리개를 2.8부터 16까지마음대로조절 - 초점이이동하는사진을보려면라이트로홈페이지 (www.lytro.com) 를들어가서사진등록하고 HTML 문서편집이가능한곳에사진의임베드코드를복사해가져와다른사이트나모바일화면으로보는것가능 - 가장큰발전가능성은촬영된사진한장안에서마우스를이리저리움직여보면사진감상자시선을따라초점이이동된다는것에서출발 - 3D 표시방식인레드-시안 (Red-Cyan) 방식의 JPG 파일로출력가능 - 2014년봄출시되어야외촬영, 아기사진, 패션모델화보등에활용 - 감상자가초점을손으로이동해가면서사진을볼수있는태블릿 pc나모바일로사진을놀이하듯이리저리터치해가며보는것 Lytro 사의 Illum 카메라 자료 : IT 동아, 사진대신공간을찍는카메라라이트로일룸, 2015.4.13. 11
- 국내에서는 2015년 4월말출시되었고, 169만원에판매 7) - 사진한장만찍어도여러장의사진을찍어편집한듯한콘텐츠만들수있고, 동영상으로제작하면카메라나캠코더로표현하기어려운장면도간편이제작해웨딩사진등특별해야하는사진이나광고에유용 - 결과물의해상도가일반적인디지털카메라와비교해너무낮은데, 이미지파일로출력할경우최대해상도는 2,450 x 1,634에불과 - 연사속도나노이즈억제등고화질사진위해필요한고급기능부족 8) 표 1 Lytro Illum 카메라사양 구분 사양 출처 : 조선일보, 2015.4.2 7) IT 동아, 사진대신공간을찍는카메라라이트로일룸, 2015.4.13. 8) 조선일보, 찰나의시간을기록하여언제든지볼수있도록해주는 LYTRO ILLUM, 2015.4.2. 12
ETRI 미래전략연구소 2015년이스라엘다중조리개알고리즘업체 LinX Computational Imaging 을인수해듀얼카메라소프트웨어기술을확보 - 스마트폰과태블릿에특화된모바일기기용다초점카메라장치를개발하고있으며, 2014년컬러이미지보정과고정밀기능을통해 SLR 수준의고품질이미지를촬영할수있는모바일용카메라를선보임 - 링스카메라는리트로카메라처럼촬영후초점을변경할수있으며어두운곳에서도플래시를사용하지않고선명한영상을촬영 9) - 듀얼카메라는아이폰7 플러스에적용 링스 Light Field alc 애플아이폰 7 플러스 링스 (LINX) 의 DSLR Quality and Light Field 애플아이폰 7 플러스 자료 : www.apple.com 광각렌즈와망원렌즈로구성된아이폰 7 플러스듀얼카메라 자료 : www.apple.com 9) 아이뉴스 24 뉴스, 애플 2 천만달러에카메라기술업체인수, 2015.4.15. 13
집적영상의 virtual mode 이용해마이크로렌즈어레이가이미지확대용광 학렌즈를대체하고초점조절기능부여하는 HMD 시제품시연 Nvidia 의 Near-Eye LF Display 자료 : www.nvidia.com 마이크로프로젝트와마이크로렌즈어레이를이용해초점조절이가능한투시형디스플레이시제품시연 - 마이크로렌즈어레이에의한공간해상도의열화개선, 조절가능한초점범위향상, 6 자유도 (degrees of freedom) 제공을위한운동시차 (motion parallax) 부여등기술개발필요 - Lytro Lytro Immerge 카메라와같이전방위 LF 영상을고품질공간해상도와방향해상도로획득가능한전방위 LF 카메라개발병행돼야 마이크로프로젝트와마이크로렌즈어레이를이용해초점조절가능한투시 MIT 미디어랩의카메라컬처그룹 (Camera Culture Group) 연구진이개발한 Foci` 시스템은 20메카픽셀감지기의단일노출로부터완전한 20메가픽셀다시점 3D 영상을만들수있음 - 독특한체크판패턴이인쇄된작은사각형플라스틱필름에의존하는데, 14
ETRI 미래전략연구소 플라스틱필름은보통의 DSLR 카메라렌즈밑에삽입되며, 나머지일은소프트웨어가처리라메쉬라스카 (Ramesh Raskar) 교수는미쓰비시전자연구소와함께패턴이인쇄되어있는플라스틱필름과알고리즘기술을이용해매우작은렌즈들의배열을사용한카메라의해상도와일치하는해상도를가진광학장카메라를만들수있는것을입증했고, 상용장치에채택 - Foci는정사각형조각들로이루어진격자로광학장을표현하고, 각각의조각은 5 5 격자블록들로이루어져있으며, 각각의블록은광학장의 121픽셀조각위로서로다른시각을나타내, 모두 25개시각찍음 - 3D 영화에사용되는것과같은전통적인 3D 시스템들은단두개의시각만을찍는데, 다시점시스템에서는관찰각도를바꾸면실제세상에서처럼물체의새로운특징들이드러남 MIT Media Lab Foci 시스템 자료 : www.media.mit.lab 2010년설립된 VR AR 분야에서혁신적인기술을보유한기업 - 구글, 퀄컴, KKR 등은매직리프에 2014년 5억 4,200만달러, 2016년 2월알리바바와워너브라더스, 피델리티, JP모건등이 7억 9,350만달러투자 15
보유한핵심기술인 포토닉스라이트필드 (Photonics Light Field) 는단말기에탑재된초소형프로젝터로사용자의눈에직접고해상도 3D 영상을투사해인공객체를현실처럼구현 - 아직제품을출시하지않았지만, 동종업계중가장앞선기술을보유 10) 매직리프의 Photonics Light Field 자료 : www.magicleap.com 스마트폰 P9 과 Honor 6 Plus 공개하면서듀얼카메라부각 CES 2017 에서스마트폰아너 (Honor) 6X 신제품을발표 - 듀얼카메라적용했는데, 1200만화소와 200만화소의카메라가들어가며, 200만화소카메라를보조센서로활용 - 직접활용시나리오는조리개심도효과로 6X 카메라에는조리개모드가있는데두개의카메라를이용해서다초점사진을찍는것 10) 이투데이, 삼성, 매직리프와 AR 협력초읽기, 2016.12.23. 16
ETRI 미래전략연구소 - 두개카메라로여러장의사진을빠르게찍고피사체들거리를입체적으로파악하면초점이맞은부분은또렷하게, 그렇지않은부분은뿌옇게처리하는데, SW로조합해극단적인피사계심도효과를만들어냄 MWC 2017 에서 P10과 P10 플러스출시 - P10 시리즈는독일카메라업체라이카와공동개발한듀얼카메라탑재 - 후면듀얼카메라 1200만 2000만화소, 전면카메라 800만화소지원 11) 화웨이의듀얼카메라적용스마트폰 아너 6X P10 시리즈 자료 : www.huawei.com MWC 2017 에서 5배듀얼카메라줌기술을공개했는데, 카메라모듈은두께가 5.7mm로스마트폰안에망원렌즈넣어 5배줌촬영가능 2016년 2월스마트폰 Axon 시리즈에듀얼카메라채용하고, MWC 2017 에서액슨7 맥스를공개했는데, 후면에장착된 1,300만화소듀얼카메라통해 3D 사진촬영가능, 별도안경사용치않고 3D 감상 12) 11) 동아사이언스, 성능은더블, 가격은 249 달러? 아너 6X, 달라진스마트폰시장, 2017.1.6. 12) http://www.semstory.com, 진격의듀얼카메라모듈, 2016.10.26. 17
오포와 ZTE 의듀얼카메라적용스마트폰 오포 N3 ZTE Axon 7 Max 자료 : www.google.com NHK는 2013년 6월피사체움직임에따라동적멀티시점영상촬영할수있는로봇카메라시스템 (multi-view point robot camera system) 개발 - 하나의중요한사진기에 8개의서브카메라움직임 ( 팬, 틸트, 줌 ) 을ㅇ녀동시키는것으로모든카메라의주시점이일치하도록촬영방향을제어할수있는방법을사용하여격렬한움직임의스포츠중계의결정적인순간을다 ( 多 ) 관점영상을촬영할수있음 NHK 의다초점로봇카메라시스템 자료 : www.nhk.or.jp 18
ETRI 미래전략연구소 Ⅲ Light Field 디스플레이 LF(Light field) 는공간상에존재하는광선들분포를의미하고, LF 디스플레이는 LF를관측자공간으로재현하는디스플레이기술특정한면 (LF 디스플레이의스크린면 ) 으로부터관측자방향으로 LF를재현하면실제물체가있었을때와동일한광선들을보게되므로 LF가재현범위내에서물체의 3차원영상을관측 LF 디스플레이기술은양안시차에의존하는 3차원디스플레이기술과는달리 3차원물체에해당하는 LF를재현해전달하므로, 모든깊이인지요인을일관성있게전달하는이상적디스플레이로서가능 LF 디스플레이개념 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.24 현재연구되고있는 LF 디스플레이는 1 프로젝트어레이, 2 렌즈어레이 와디스플레이패널, 3 디스플레이패널적층방식이있음 19
LF 디스플레이의구현원리 (a) 프로젝트어레이, (b) 렌즈어레이와디스플레이패널, 디시플레이패널적층 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.25 다수프로젝터를일렬로배열하여수평시차 LF 디스플레이를제작프로젝터의수에따라영사의화질을높일수있어보통 100개이상의프로젝터들이사용되며수평시차만을제공하기는하지만, 영상의화질과깊이감은상당한수준으로구현이가능국내에서는 KIST, 삼성전자, 서울대, 경북대, 해외에서는일본의 NICT, 도쿄농공대등에서연구되고있으며, 헝가리의 Holografika사는상용화 프로젝트어레이기반디스플레이 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.26 20
ETRI 미래전략연구소 다수의프로젝터를사용하는대신하나의고속프로젝터를사용하여 LF 디스플레이를구현하는것도가능 - 하나의고속프로젝터에서투사된빛을빠른속도로회전하는거울이사용자공간으로반사시키고, 거울의각도에따라올바른영상을프로젝터가투사하면수평방향으로넓은영역에서 LF 재현이가능남가주대 (USC) 에서고속프로제터방식으로 LF 디스플레이구현 고속프로젝트이용기법 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.27 Integral imaging Integral Imaging 원리 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.27 21
- 디스플레이패널앞에 2차원렌즈어레이를위치시켜렌즈어레이면에서의 LF를재현하고, 기초영상집합을표시하면기초영상집합으로부터빛들이재생하고자하는 3D 영상점에수렴하여 3D 영상표시 - 서울대, 경희대, 일본 NHK, NICT, 미국의코네티킷대등에서연구 - integral imaging를이용한 see-through LF 디스플레이구현연구에관심 Integral Imaging 기반 See-through Display 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.28 Grating array 기반 LF 디스플레이 - 일반액정디스플레이패널뒤에서로다른방향으로도광판내의빛을회절시키는 grating array를배치하고도광판한쪽끝에있는광원에서방출된빛이 grating에의해특정방향으로회절되면그앞에있는디스플레이패널의해당픽셀이그광선의밝기를변조하는방식 Granting array 기반 LF 디스플레이 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.29 22
ETRI 미래전략연구소 적층패널을이용한 LF 디스플레이기술은 integral imaging이나 grating array를이용한기술들의일반화된방식 - 투과율을가변할수있는디스플레이패널로광학판을대체해재현하고자는 3차원영상콘텐츠에보다최적화된 LF의재현을가능 13) 적층패널 LF 디스플레이의영상생성원리 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.30 헤드마운트디스플레이 (HMD) - 웨어러블디스플레이와 VR, AR의대두와더불어 HMD의응용이활발 - HMD는광학계를사용해관측자의눈에매우가까이위치한디스플레이패널의허상을관측자가편안히볼수있는편안히볼수있는거리에형성하고관측자가이허상을보도록함 - 관측자의양안에별개의디스플레이패널사용하거나동일디스플레이패널의분리된영역을사용해양안시차에기반한 3차원 HMD 구현 - HMD에 LF 디스플레이를 HMD에적용하면관측자의각눈의초점거리도디스플레이패널의허상면이아니라실제표시하는영상거리가되므로올바른 accommodation 깊이인지요인을관측자가받아장시간관측에서도피로감없이자연스러운 3차원영상의표시가가능 13) 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, pp.24-30 23
LF 디스플레이의 HMD 적용사례 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.32 시력보정디스플레이 - 시력이나쁜사용자가안경을착용하지않고도디스플레이에서영상을또렷하게볼수있도록하는디스플레이로안경의기능을포함시킴 - 시력보정성능은 LF 디스플레이가재현하는광선들이각도간격에매우의존적이며또관측자눈의위치에따라다른디스플레이데이터를계산 / 표시해야하는것이제한요인이나최근활발한연구개발로상당부분곧해소될것으로예상 14) 시력보정디스플레이 자료 : 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.32 14) 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 2015 년 8 월, p.32 24
ETRI 미래전략연구소 가상의공간에 LF를형성하는컴퓨터그래픽분야와달리현실공간에 LF 를표현하고자하며, 이러한특성을가질때시각인지요소들도실제사물과가장비슷한자연스러운 3차원영상에도달대표적으로집적영상방식, 부피표현방식, 홀로그래픽등이있음 공간에점을렌즈어레이와기초영상통해집적시켜 LF 형성시키는방법무안경식이라는장점뿐만아니라연속적인시차를제공해 3차원영상의재생에자연스럽고수령과수직방향모두의시차를제공 - 기초영상을재생시키는디스플레이가재현할수있는모든색을구현올바른 3차원영상을관찰할수있는시야각이제한되어있으며깊이의표현을제한한다는단점이있음 - 시야각을넓히는방법으로기초영상의영역확대, 마스크를이용해주변렌즈의효과를차단하는렌즈스위칭기술, 곡선의렌즈어레이사용 15) 집적영상방식 3D 디스플레이원리 자료 : 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.66 15) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, pp.66-68. 25
넓은 LF 3D 디스플레이의분류방식중가장넓은범주를포함 - 대표적부피표현방식의 3차원디스플레이는 2차원의스크린을적층하여표현하고자하는 LF를적층스크린에산란시키는방식이있음기본적으로공간상에직접점을찍는형태의디스플레이라초점-수렴거리불일치등과같은시각인지요소는문제가되지않음최근에고속구동을보완하기위해영상정보에깊이지도를편광의형태로싣고편광선택적산란의특성을가지는다층필름을통과시켜 3차원영상을재생하는다층깊이융합디스플레이가있음 - 공간광변조기를이용해깊이지도를편광형태로실어주기만하면되기때문에시분할구동에따른해상도의제한등을해결 - 그러나 3차원영상의재생품질이편광선택적필름의성능에좌우되기때문에필름의특성분석과성능개선이과제로남아있음 회전하는스크린을이용한부피표현방식 3 차원디스플레이 자료 : 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.68 26
ETRI 미래전략연구소 다층깊이융합디스플레이 자료 : 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.68 홀로그래피는 1947년헝가리계영국물리학자데니스가보르가처음고안했는데, 홀로그래피연구로 1971년노벨물리학상을수상 - 전자현미경해상도를높이는연구과정에서발견한의외의결과 - 빛의파동적인특성에의한간섭효과이용해 LF를만드는방식으로 2가지간섭성광을이용해한광원은물체에비추어회절무늬기록 - 영상의재생은영상을기록했던단색광원을다시비추어재생홀로그래피는빛이가질수있는파동적인모든특징, 세기뿐만아니라위상정보를모두담고있어 3차원디스플레이에서가장진전된형태 - 양안시차방식을이용하는기존안경형과무안경방식 3D 기술의최대단점인두통과어지러움문제가없어 3D 대중화를이끌핵심으로기대재생특성상간섭을이용하기때문에단파장재생만이가능하고총천연색영상을재생할수없으며처리해야할영상정보량이방대해현재데이터처리기술로는제대로구현되기어려움 27
- 높은밀도광학계필요하며기술발전미흡해가까운미래상업화곤란홀로그래피를이용해 3차원형상이미지홀로그램을만들어내는데, 빛의간섭과회절현상이용해스마트폰을이용해간단히홀로그램을구현 - 아날로그홀로그램은홀로그램필름을기반으로실제영상정보를필름상에기록하고, 이를사진처럼재현하는기술 - 디지털홀로그램은필름대신카메라같은이미지센서소자로얻거나컴퓨터로생성한홀로그램정보를디지털로가공, 전송하는기술 홀로그래피의기록과재생 자료 : 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.69 홀로그램디스플레이의연구방향 - 상용화되고있는스테레오또는다시점 3D 디스플레이와같이수평방향의시차 (Parallex) 만을제공하고수직시차는포기하는것으로 1990년대후반 MIT 미디어랩에서개발한홀로그래픽디스플레이 - 다중화또는병렬화등을통해유효픽셀크기를줄이거나, 시야각을늘려영상크기를확대하는것으로도쿄농공대다카키교수랩의 DMD 및 Calvano-mirror를사용한홀로그래픽디스플레이, 서울대 curved SLM 어레이기반디스플레이, 영국 QinetiQ사 tiled SLM 기반디스플레이등 - 넓은시야각을포기하고한사람의눈동자에해당하는영역 (6mm 6mm ) 에서보기에필요한정보만을재현하는것으로 MIT, 영 QinetiQ, 독일의 SeeReal, 한국의 ETRI 등에서개발 16) 28
ETRI 미래전략연구소 3. 국내개발동향 ETRI 는 2015 년 12 월 360 도 3D 컬러홀로그램을개발했는데, 빛의회절현 상을이용해입체영상을구현하는진정한홀로그램재현기술 - 3D 디지털홀로그래픽디스플레이는빛의회절과간섭을이용해보는시 점에따라다른면영상을볼수있는완전한 3 차원입체영상재현 - 2013 년부터시작된기가코리아사업의 ' 디지털홀로그래픽테이블톱형단 말기술개발 ' 과제를통해개발, 고려대등 16 개기관참여 - 테이블톱홀로그래픽디스플레이기술은기존방식의기술적한계를극복 하는시도로홀로그래픽방송이나가상현실가능성을진전시킴 - 앞으로 2021 년까지영상화질개선과크기확대및시스템소형화기술을 개발하고, 실사영상홀로그램을 5G 네트워크로송수신하는기술도개발해 실용화할계획 17) ETRI 실감디스플레이연구그룹은 2017 년 2 월상전이 ( 相轉移 ) 물질을이용해 초고해상도픽셀구현할수있는차세대홀로그램개발에성공해홀로그램 동영상재생이가능한디스플레이패널구현이가능할전망 - 1 μm픽셀에가로세로 3cm 크기홀로그램영상을상전이물질을이용해 구현한기술이 Scientific Reports 2017 년 1 월 24 일자게재 - 반도체메모리소자로연구되었던상전이물질 (GST) 을이용했는데, 상전이 물질은비정질상태와결정질상태를가질수있으며이에따라서투과율 과굴절률이변하는물질 - μm수준이하의픽셀크기로만들수있으면서빛의위상조절이가능해홀 로그램영상을만들수있는데, 기존액정이용한방법보다 1/4 픽셀을작 게만들수있게되면서빛의파장에가까운픽셀크기구현 - 별도의컬러필터공정없이박막두께를조절함으로써투명전극층의두 께에따라다양한색상의홀로그램이미지생성을가능토록제작 18) 16) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.69. 17) 아주경제, 평면스크린서 3D 바로본다 ETRI, 세계최초 360 도컬러홀로그램디스플레이개발, 2015.12.3. 29
ETRI 의 360 도 3D 컬러홀로그램및차세대홀로그램디스플레이기술 자료 : 아주경제, 2015.12.3./ 아주경제, 2017.2.3. 2017년 1월 CES 2017 에서로봇미디어연구소의영상미디어연구단이개발한 무안경 3D 디스플레이기술 을공개 - KIST는 15.6인치모바일 3D 디스플레이에서부터 100인치급타일형 3D 디스플레이까지다양한크기의무안경 3D 디스플레이들을전시 KIST 김성규박사팀이개발한 3D 무안경디스플레이기술은기존에 3D 영상을보기위해필요했던입체안경없이도, 광학적노이즈최소화및 3D 시청영역확대개발기술을활용해 3D 영상을제공하는고밀도다시점 3D 디스플레이와초다시점 3D 디스플레이를개발입체안경을착용하지않고도홀로그램처럼자연스럽고사실스러운 3D 영상을보여주는초다시점 3D 디스플레이의핵심원천기술개발 - 자연스러운 3D 영상을볼수있는무안경 3D 디스플레이상용화 19) KIST 의 3D 디스플레이 자료 : 전자신문, 2017.2.3 18) 아주경제, ETRI, 차세대홀로그램기술개발성공, 2017.2.3. 19) 전자신문, 끊임없는노력과인내가기술도약원동력, 2017.2.3. 30
ETRI 미래전략연구소 2015년 12월삼성전자는홀로그래피 3D 프린팅기술핵심특허취득 - 3년이넘는기간동안공들여온이기술은빛의파장을이용해사물의형상을 3D 홀로그램형태로저장하는혁신기술 삼성전자의프로젝트어레이를이용한 LF 디스플레이 자료 : 삼성전자, 2015.12 KAIST 물리학과박용근교수팀은 2017년 1월빛의방향을조절해 3차원홀로그램을만드는광학제어장치성능을수천배높여 3차원영상의크기를배이상, 시청가능각도를 10배이상확대하는데성공 - 3차원홀로그램은실제기술로구현하는데는한계가많아산업계는 2차원영상두개로착시효과를활용하는 VR과 AR에집중 - 3D 안경등특수장비없이볼수있는 3차원홀로그램을만들려면빛이퍼져나가는방향을정밀하게조절하는광학제어장치인공간광파면조절기로빛의방향을변경해야 - 공간광파면조절기만사용하는대신간유리를추가로활용해빛을무작위로산란시키고산란된빛을적절히제어하는기술로영상의크기와시청가능각도를크게확대 31
- 가로, 세로, 높이가각각 2cm, 시청가능각도가약 35도인 3차원홀로그램을제작하는데성공했는데, 기존기술보다공간대역폭 ( 홀로그램크기 시청가능각도 ) 이 2,600배이상향상 - 기존공간광파면조절기에간유리만추가해제작할수있어일반디스플레이장치와결합해상용화가가능할것으로기대되어특수안경없이볼수있는실용적인디스플레이의기반이될것으로전망 20) KAIST 의 3D 홀로그래픽디스플레이모식도 자료 : 전자신문, 2017.1.24 공간광변조기를원통형어레이로배열해홀로그램복원시시야각확장기술개발전기정보공학부이병호교수연구팀은 2016년 7월홀로그래픽광학소자를이용하여기존디스플레이의구조적한계를극복한투명 3차원다층디스플레이를개발 - 다층디스플레이는차세대디스플레이기술로서, 실제빛의분포를재현하여특수안경을별도로쓰지않아도가상으로표현된물체를 3차원으로인지할수있게함 - 그러나이는여러층으로쌓아진액정을통해구현되므로낮은투과율, 회절문제등구조적한계를보유 20) 전자신문, KAIST, 특수안경없이볼수있는 3D 홀로그래픽디스플레이개발, 2017.1.24. 32
ETRI 미래전략연구소 - 연구팀은홀로그래픽광학소자를다층디스플레이에응용한투명 3차원다층디스플레이를개발했는데, 홀로그래픽광학소자는특정방향으로입사한빛만산란혹은투과시키는선택적산란스크린구현이가능하기때문에, 기존다층디스플레이의구조적한계로여겨진낮은투과율및회절문제등을크게개선 21) 서울대이병호교수팀의투명 3D 다중디스플레이 자료 : YTN, 2016.7.29 4. 해외개발동향 홀로그래피는완벽한 3D 입체영상을구현하는기술로, 이를디지털화해완벽한 3D 입체동영상을구현하는연구가세계적으로진행되고있으나, 기술적한계로아직상용화단계에는이르지못하고있음 22) - MIT나일본 NICT 연구진도 20여도이내의제한된시청각도에서만관찰할수있는홀로그램시연에성공한바있음 21) YTN, 빛투과율높인 3D 투명디스플레이개발, 2016.7.29. 22) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.69. 33
홀로그램데이터처리기술, 햅틱을이용한홀로그램인터랙션등디지털홀로그램관련기초연구수행 1990년대초 MIT 미디어랩의스페셜이미징그룹 (Spatial Imaging Group) 에서는 25 25 25mm3영상사이즈, 초당 20프레임의속도로디스플레이하는실시간홀로그램영상생성시스템을개발 MIT 의실시간홀로그램영상생성시스템 자료 : web.mit.edu AOM(Accuto-Optic Modulator) 와액정표시장치등을이용해홀로그램동영상재생시스템인 홀로비디오 (Holovideo) 를개발 - 다채널광학변조기와 LCD 이용 5인치급디지털홀로그램동영상재생시스 템 23) MIT 미디어랩의 Holovideo 자료 : www.media.mit.edu 23) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.69. 34
ETRI 미래전략연구소 MIT 미디어랩연구소는 2013 년 6 월 10 달러의저비용컬러홀로그램프로젝 터를개발했으며, 2014 년 5 월에는무안경 3D 프로젝터를개발 - 홀로그래픽디스플레이는 3x2cm 크기로평면 20 도내외서 3D 구현 24) MIT 미디어랩의컬러홀로그램프로젝터와무안경 3D 프로젝터 컬러홀로그램프로젝터 무안경 3D 프로젝터 자료 : www.media.mit.edu LightSpace Depth cube 는부피표현방식의대표적인방식으로 2차원스크린이적층되어부피스크린을만들고원하는위치에 LF를형성할수있게산란시킴 - PDLC 스크린여러장을적층하여회로를통해시분할방식으로스크린을구동하고원하는깊이에맞는영상을프로젝터를이용해스크린에동기화 - 그러나시분할로 2차원스크린의각층을표현하기때문에상당히스크린과영상의고속구동이필요하다는단점보유 25) LightSpace 사의 3D 디스플레이 Depth Cube 자료 : www.lightillusion.com 24) CCTV 뉴스, 3D 홀로그램기술개발산업동향, 2015.10.19. 25) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.68. 35
USC 남가주대 (USC) 는 2015년 8월 SIGGRAPH 2015 에 Automatic Projector Array for Interactive Digital Human 기술을발표실제사람크기의무안경다시점디스플레이를 216개프로젝터를활용해 135 수준의디스플레이시야각을구현하고대화형휴먼소개 26) Automotive Projector Array for Interactive Digital Human 자료 : www.usc.edu HP HP는 64 시점 3차원동영상까지구현되어의학용트레이닝또는게임등모바일폰에서응용할수있는기술개발 - 미터거리까지도가시거리로 180 의시야각영역에서고해상도의전체패럴렉스 3D 이미지렌더링을허용하는다방향, 회절백라이트기술투명박막평면의광가이드에서방사되어광각이넓고다시점의컬러로구현되는영상을생성하는발광다이오드에기초한유도파장조명기술 - 64 시점백라이트에의한초당 30 프레임의능동및수동변조를구현하기위해공간해상도로 3D 이미지를생성하는간단한잉크마스크또는고해상도상용액정표시장치를사용하고, 인치당 88화소의공간분해능과 90 뷰존에서완전운동시차를갖는 3차원이미지를생성 - 인치당 127 픽셀의해상도로최대 6개의 200 시야에대한이미지까지애니메이션시퀀스를시연하여몇가지투명휴대용프로토타입적용 26) USC, Automatic Projector Array for Interactive Digital Human, SIGGRAPH 2015, 2015.8. 36
ETRI 미래전략연구소 HP 의 64 시점 3D 백라이트디스플레이기술 자료 : www8.hp.com Light Blue Optics 홀로그램원리를사용한동영상디스플레이를재현하고상용화하는홀로그래픽레이저프로젝터를개발 - 알고리즘에의해원하는이미지는홀로그램으로변환되고, Red, Green, Blue의레이저광원의빛이순차적으로위상모듈레이팅된 LCOS 표면에서회절된패턴이광학렌즈 L1과 L2를거치면서 100 광각으로투사 - 출시된제품으로는터치용프로젝터인 Light-Touch Pico 프로젝터 와자동차의나이트비전용홀로그래픽레이저 HUD 가있음 - 아직까지는데이터트래픽의영향으로원하는위치의 2차원표면에터치용이미지를맺히게하거나 2차원허상을허공에맺히게하는정도 LBO 사의홀로그램피코프로젝터 자료 : www.likedin.com Ostendo Technologies 37
3D 안경없이 3D 홀로그램영상을공중에투사해주는 Quantum Photonic Imager(QPI) 칩을사용한초소형프로젝터를개발스마트폰이인치당 326 픽셀초고해상도 3D 이미지보여주는데, Ostendo는최대 5,000 픽셀초고해상도 3D 이미지보여줌 - QPI는발광하기전에매우좁은각도로빛을평행하게집광한후, 서로다른방향으로서로다른이미지를방출할수있어서 3차원이미지는 2,500 관점에서볼수있음작은칩으로 100만화소의각각은적색, 녹색및청색마이크로 LED 층으로구성되며, 함께조립된작은실리콘이미지프로세서로작동 - 픽셀은 5-10 마이크로미터수준으로각층에대해전력을변조함으로서각각의픽셀은얇고초점이맺히는색상의빛을보낼수있음 - 여러개수직도파관들은각층에서부터빛을보내방향을변조하여마이크로렌즈어레이가빔을한번더초점을조절하고빛의방향유도 - 각픽셀에대해이미지프로세서는전력을절약하고적은면적안에서조밀하게위치한픽셀들에게많은빛을발생 Ostendo 사의 LF 디스플레이스마트폰적용홀로그램 자료 : http://ostendo.com Aplle 애플도 2014년부터홀로그래피관련기술에투자를가속화 - 애플은레이저, 마이크로렌즈, 센서를이용해 3D 홀로그래피이미지를생성할수있는디스플레이기술에대한특허를확보 38
ETRI 미래전략연구소 ' 인터랙티브홀로그래픽디스플레이 ' 로명명한이기술은최종적으로는스마 트폰, 태블릿 PC 등모바일기기에서홀로그램을활용하는것을목표 애플의 3D 아이폰홀로그래피 자료 : www.apple.com Microsoft 2015년 1월홀로그램컴퓨팅기기인 ' 홀로렌즈 ' 를공개 - 헬멧형태의기기로이를통해실사위에특정한이미지를겹쳐보여주는방식으로작동하고, 다양한센서와고성능칩, 윈도10이결합한일종의 PC로, 폰이나별도전원선없이독립적으로작동 2016년 6월대만에서개최된컴퓨텍스에서 VR 플랫폼인 홀로렌즈 를개방해외부업체가이를탑재한단말기를개발하게하는계획을발표 - 인텔, AMD, 퀄컴, 에이서, 에이수스, 델, HP, 레노버, MSI 등다수의 ICT, 기업이마이크로소프트와제휴 - 운영체제로는윈도10을탑재해스마트폰이나 PC 등외부기기와연결하지않고무선으로사용 - VR뿐만아니라 AR 기능까지결합했는데, VR 기기를착용한상태로손을사용해가상의물체를조작하고실제물체를 3D 이미지로스캔해작업 39
2016년 3월더욱발전된형태의증강현실기술 홀로포테이션 공개 - 상상속순간이동을현실세계에서가능하게해주며, 원거리에있는상대를 3D 스캔후홀로그램으로눈앞에등장해, 시공간의제약없이공동작업이용이해짐은물론멀리떨어진가족과의실시간으로대면 MS 의홀로그래피기술 홀로렌즈 홀로포테이션 자료 : www.microsoft.com 독일의 3D 디스플레이전문업체로독일드레데센공대 (Technical University of Dresden) 의 LCD 기술기반 3D 디스플레이의산업용버전을개발하던과학자그룹이독립해 2002년설립핵심영역만을홀로그램영상으로생성함으로서영상정보의양을줄이는서브홀로그램 (Sub-hologram) 기술개발 - SeeReal 솔루션은시판되고있는평판패널디스플레이의픽셀디멘션을기반으로설계해대다수 2D 콘텐츠의스테레오애플리케이션용의고품질 3D 변환이가능 - 게임, 동영상, 전문적인애플리케이션용으로풍부한오리지널의 3D 콘텐츠가준비되어있음 - SeeReal 어프로치의장점은독자적인앤코딩을사용해모든콘텐츠를자동적으로리얼타임 3D 홀로그래피로변환할수있어홀로그래픽 3D 디스플레이가기존의평판패널컴퓨터디스플레이를대체할전망 40
ETRI 미래전략연구소 - SeeReal의혁신적인새로운기술에의거한홀로그래피 3D 디스플레이는 TV 및 PC용디스플레이분야에서커다란위치를점할가능성있음 - 시각전체내의방향성조명을원활히할수있는액티브한광선트래킹기능을구비한광학시스템을사용 - 일정방향의조명에의한홀로그램에서는각각의 3D 신포인트에대해실시간으로작용해야만스벡링그현상을피할수있음세계최초로 20인치급홀로그래피프로토타입 3D 디스플레이인 비지오 20(VISIO20) 을개발 27) 독일 Seereal 의홀로그패픽 3D 디스플레이 VISIO 20 자료 : www.seereal.com 영국의고해상도 (HD; High Definition) 비디오홀로그램프로젝터전문업체로 DLP 프로젝터와투명막을사용한세계최초의유사홀로그램기술개발 (Peppers Ghost 기술을이용 ) - 플로팅방식홀로그램의원형 - single camera shoot만필요하고, 3D 안경등불필요구성 - 비디오프로젝터 (1289 1024 화소, 5000+ 루멘 ) - 고품질 TFT 플라즈마혹은 LCD 스크린사용 27) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, p.69. 41
- 하드디스크플레이어 (1920 1080i HD 그래픽카드 ), 애플이나 PC 비디오서버, DVD 플레이어 - Musion Eyeliner 스크린 + 3D set/drapes enclosing 3 sides - lighting & audio - show controller(on site or remote) 가수마돈나공연, 영화고질라, 모디인도총리선거유세등에사용 Musion Eyeliner 의유사홀ㄹ그램기술 자료 : www.eyeliner3d.com Dimenco 디멘코의 3D 무안경디스플레이및 3D 플레이어 자료 : www.dimenco.eu 42
ETRI 미래전략연구소 네덜란드의 3D 디스플레이전문업체로상용화수준의다시점 3D 무안경디스플레이 (8시점 64인치 ) 및 3D 플레이어를개발 - 2+Depth, Side-by-Side 영상입력받아 8시점영상콘텐츠제시 Holografika 헝가리의 3D 디스플레이전문업체로 3D LF 모니터 Holovizio 를출시하여전시및광고형다시점단말의표준을제시 - 다른 3D 스크린과비슷해보이지만픽셀대신복셀 (voxel) 3D 화소를사용해 3차원적디스플레이방식을완전히바꿈 - 각각의복셀은명암과색깔의다중광선을여러각도에서동시투명 - 모니터주변에서있으면고글스나다른입체영상장비가없더라도다양한관점에서물체를볼수있음 - 홀로비지오는시청자들이마치실제로사물을보는것처럼스크린으로 3D 이미지를볼수있는 3D 시각화의표준이됨초고화질 12인치세로형무안경 3D 디스플레이를개발해공급 - 3D 디스플레이는 8안방식렌티큘러렌즈를사용함으로써, 고화질의입체효과를어지러움증상없이즐길수있으며, 초고화질풀HD 레티나 LCD 를적용해작은글자까지도선명하게볼수있음 홀로그래피카 3D LF 디스플레이 자료 : www.holografica.com 43
- 가로형과세로형콘텐츠를모두구동할수있는 360도렌즈가사용됐다는장점을갖췄고, 360도렌즈기술을적용하기위해이분야에서최고의기술을보유한필립스의기술및특허를활용 53인치급, 시야각50도단말기로시판되고있는프로젝션타입의다시점단말기이나크로스토크및화질, 등보완해야할사항들이많아아직은 UHD급디스플레이에는못미치나입체감, 물체의표현력은상당한수준으로해소된다면새로운 3D 디스플레이사장을견인할것으로전망 NHK NHK는 2012년픽셀피치가 1μm이하초고해상도홀로그램장비개발 - 2020년도쿄올림픽을위해 8K 초고해상도 (SHV) 기술을개발하고있는데, 2015년 6월 8K 초고해상도 (Super Hi-Vision) 기술을공개했고, 2018년부터 8K SHV TV 방송을개시할예정 28) NHK는무안경홀로그래픽디스플레이 3D TV를개발중 - HD급공간광변조기를이용한고해상도홀로그래픽디스플레이개발 - 현재다중의 8K 패널기반으로확장가능한집적영상방식의 3D 카메라및 Integral 3DTV(3D 픽셀수 : 10만픽셀 ) 관련장비개발을진행중에있으며, 2022년 IntegralTV(HoloTV) 방송을계획 29) NHK 의 Integral 3DTV 와홀로그래픽디스플레이 3D 이미지 자료 : www.nhk.or.jp 28) NHK 技硏 R&D, 多時点映像技術の槪要, No.144, 2014.3. 29) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제 31 권 3 호, 2016 년 6 월, p.56. 44
ETRI 미래전략연구소 Ⅳ 정책적시사점 Light Field의진전 Light Field 기술은이미대용량 Light Field 영상을고효율로압축하기위한논의가 MPEG 국제표준화에서진행 - 모바일 LF 카메라및단말기가국책사업을통해개발되고있어향후 LF 기술은차세대실감미디어서비스를위한기반기술이될전망 30) LF(Light Field) 기술은대형디스플레이에서시작돼모바일단말, 등으로적용이확산되고있음 HMD - 국내에서는앞으로현재듀얼카메라를적용하고있는스마트폰뿐아니라 CCTV, HMD, 영상카메라등에적용이확대해야 LF카메라의 VR 서비스활성화 - HMD 및투시형디스플레이를사용자친화적으로개선필요 - 경량으로시각피로가없이몰입감을극대화할수있는기능의구현 - LF기술 VR에접목시도가기초연구차원에서진행되다시제품제작 Light Field 디스플레이 Light Field 디스플레이는시점영상들을시청자의양안에투사하는기존의 3D 디스플레이기술들과는달리 3차원물체로부터시청자공간으로오는광선들의위시및각도분포를재현함으로서 3D 영상을표현 - accommodation 등모든깊이인지요인을일관되게시청자에게제공하여, 기존 3D 디스플레이가갖고있던피로감, 불연속적인운동시차등의문제를해결하고자연스럽고편안한 3D 영상의표현을가능 - Light Field를재현함으로써시청자의초점조절 (accommodation) 반응을이끌어낼수있다는점에서 Light Field 디스플레이는매우매력적이며, 증강현실 (AR) 등이응용에필수적인기술로발전할가능성 30) 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제 31 권 3 호, 2016 년 6 월, p.58. 45
- Light Field 디스플레이기술에대한지속적인연구개발을통해현재의여러문제점들이해결되어많은사람들이편안하고현실감있게콘텐츠를즐길수있는높은차원의디스플레이가실현돼야 31) Light Field 3D 디스플레이는기존에없는완전히새로운 3차원디스플레이가아니라, light field가실제공간에서구현되어시각인지적인요소에문제가있는가장자연스러운디스플레이범주에속함 - 시중에출시된 3D 디스플레이가상당한진전을이룩했지만시청자들의인지적인요소에서한계를노정 - Light Field 3D 디스플레이는현재의안경식 3D 디스플레이가가지는양안시차뿐만아니라시각인지적인요소도자연스럽게보완해줄수있기때문에앞으로 3D 디스플레이를이끌어갈수있을것으로전망 32) Light Field 3D 디스플레이의광학적문제해결초다시점에서의입체영상점의흐려짐 (Crosstalk), 초다시점에서의단안조절정보노이즈의발생 (Crosstalk 및시역형성용 Beam shape에따른문제 ), 초다시점시점수의구현 ( 모바일초다시점구현, 대형초다시점구현 ) 등의문제가해결돼야 33) 홀로그래픽등 KF 3D 디스프레이의개발이필요현실공간에 LF를표현해실제사물과가장비슷한자연스러운 3D 영상을구현해 MIT 미디어랩, Apple, Microsoft, NHK 등이신제품을잇따라출시우리도대학, 연구소와기업들이기존 3D 디스플레이연구뿐만아니라홀로그래픽등 LF 3D 디스플레이개발이필요리얼-3D 입체영상산업은디지털홀로그래피생성기술과디지털홀로그래픽콘텐츠처리기술이적용된실감영상미디어시대를촉진하게될것 - 세계최고수준의국내디지털콘텐츠기술력을적극활용함으로써글로벌시장창출에큰역할을담당할시기가도래 31) 박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 제 16 권 4 호, 2015 년 8 월, p.33. 32) 민성욱, Light Field 3D Display, TTA Journal, 140 호, 2012 년 3 월, pp.69-70. 33) 김성규, 초다시점단말기술, 한국과학기술원, 2014.6.24, p.15. 46
ETRI 미래전략연구소 참고문헌 김성규, 반응형무안경방식 3D 디스플레이기술, 인포매이션디스플레이, 제 14권 3호, 2013년 6월김성규, 초다시점단말기술, 한국과학기술원, 2014.6.24. 동아사이언스, 성능은더블, 가격은 249달러? 아너 6X, 달라진스마트폰시장, 2017.1.6. 민성욱, Light Field 3D Display, TTA Journal, 140호, 2012년 3월박재형, Light Field 디스플레이기술, 인포매이션디스플레이, 제16권 4호, 2015년 8월박재형, 3차원디스플레이기술, 컴퓨터정보통신연구, 제20권 2호, 2012.10. 이광순외, Light-Field 영상획득및재현기술동향, 전자통신동향분석, 제31권 3호, 2016년 6월호요성, 다시점카메라와깊이카메라를이용한 3차원실감방송콘텐츠제작, 전자공학회지, 재38권 2호, 2011년, 2월호요성, 다시점 3차원영상의획득및기술, 전자공학회지, 제40권 3호, 2013 년 3월 KISTI 미리안, 간단한다시점 3D 사진술, 글로벌동향브리핑, 2013.7.4. 아시아경제, 홀로그래피영상으로뇌질환연구, 2016.8.18. 아이뉴스24뉴스, 애플 2천만달러에카메라기술업체인수, 2015.4.15. 아주경제, 평면스크린서 3D 바로본다 ETRI, 세계최초 360도컬러홀로그램디스플레이개발, 2015.12.3. 연합뉴스, 3차원홀로그래피디스플레이성능수천배향상기술개발, 2017.10.24. 이데일리, 나무가인텔 3D 리얼센스모듈매출본격화, 2016.6.26. 이투데이, 삼성, 매직리프와 AR 협력초읽기, 2015.4.2. 47
조선일보, 찰나의시간을기록하여언제든지볼수있도록해주는 LYTRO ILLUM, 2015.4.2. CCTV뉴스, 3D 홀로그램기술개발산업동향, 2015.10.19. CIO, 기대화현실의간극리트로카메라써보니, 2012.3.30. Designpot, 촬영은즉각적으로초점은나중에맞추는 Lytro Light Field 카메라, 2011.10.21. EBM, 두개의눈듀얼카메라매력에빠진스마트폰, 2016.9.1. IT동아, 사진대신공간을찍는카메라라이트로일룸, 2015.4.13. IT World, 애플이스마트글래스를만들수밖에없는이유, 2017.1.24. http://www.semstory.com, 진격의듀얼카메라모듈, 2016.10.26. NHK 技硏 R&D, 多時点映像技術の槪要, No.144, 2014.3. Evan Ackerman, 4-D Light Field Displays Are Exactly What Virtual Reality Needs, August 14, 2015. Ryan Damm, What is a light field camera, and what isn t? An in-depth,look, https://uploadvr.com, November 4, 2015 Steve Cooper, What is Light Field?, 2015. Light Field Science, November USC, Automatic Projector Array for Interactive Digital Human, SIGGRAPH 2015, August 2015. http://graphics.stanford.edu/projects/lightfield, Light fields and computational photography http://hci-lightfield.iwr.uni-heidelberg.de, 4 Light Field Database(HCI; Heidelberg Collaboratory for Image) Processing http://web.media.mit.edu, Synthetic Light Field Archives http://www.fxguide.com, Light fields the future of VR-AR-MR(By Mike Seymour, May 26, 2015 http://www.wikepedia.org, Light Field 48
저자소개 전황수 ETRI 미래전략연구소기술경제연구본부기술경제연구그룹책임연구원 e-mail: chun21@etri.re.kr Tel. 042-860-5115 다초점 Light Field 기술동향분석 발행인 : 한성수 발행처 : 한국전자통신연구원미래전략연구소기술경제연구본부 발행일 : 2017 년 12 월 한국전자통신연구원미래전략연구소 34129 대전광역시유성구가정로 218 전화 : (042) 860-5115, 팩스 : (042) 860-6504 * 주의 : 본서의일부또는전부를무단으로전제하거나복사하는것은저작권및출판권을침해하게되오니유의하시기바랍니다. 49