IT 융합분과 스테레오영상을이용한 3D 얼굴복원및출력서비스기술( 예시) Ⅰ. 제안기술개요 기술의내용기술의동향기술의제품화및시장전망 - 스테레오영상으로부터 3D로얼굴및외형을복원하고, 얼굴의고유모델을생성하여표정과같은애니메이션을적용함으로써개인에특화된 3D 아바타를생성할수있는기술 - 온라인아바타서비스, 3D 아바타출력등다양한엔터테인먼트에활용이가능한기술임 Ⅱ. Ⅲ. 상용화단계 핵심키워드 [ 국내동향] - 패턴광방식의얼굴스캐너제품 을개발하여의료용으로사용하거 나 3D 정확도가떨어지는 2D 사 진기반캐릭터생성 S/W 개발 [ 해외동향] - 미국을 중심으로 고가의 캐릭터 생성및출력시스템을개발로테 마파크에시범적으로운용시작 - 3D 프린팅시스템의확산을위해 2D 사진한장기반의캐릭터생 성및출력시스템제품개발완 료. 정확도는미흡 일반 1아이디어 2연구단계 3개발단계 4개발완료( 시제품) ➎제품화단계 의약바이오 1 라이센싱 2 개발단계 3 제품화단계 한글 3D 얼굴복원, 3D 아바타, 3D 프린트 영문 기술개발자정보 3D facial reconstruction, 3D avatar, 3D print - 국내연구소및학계에서는미국, 영국등선진국과함께 3D 원천기술을개발하고있으며, 산업계에서는이를활용한실용화연구를진행 - 세계 3D 시장규모는 2013 년기준, 약 770 억달러, 연평균 65% 대의성장률을기록하고있음 - 3D 콘텐츠제작솔루션의세계시장은 10년 185 억불에서 20년에는 1,974억불규모로연평균 26.7% 성장전망, 국내시장은 10년 1.2조원에서 20년에는 14.8조원으로연평균 28.7% 성장예상 기관명한국전자통신연구원부서 SW 콘텐츠연구소 성명구본기직급책임연구원 전화/ 핸드폰 042-860-5033 / 010-8808-9195 이메일 bkkoo@etri.re.kr 수행과제정보 지원기관명지식경제부연구사업명산업융합원천기술개발사업 Ⅳ. 연구과제명방통융합형 Full 3D 복원기술개발수행기간 2011. 8-2012. 7 주관기관한국전자통신연구원공동연구기관 지재권정보 특허권현황 사업화대상기술관련지식재산권총 3 건 한양대학교, 넥스트비쥬얼스튜디오, 드림티엔에스, 클로버추얼패션, 스튜디오다르다 상세현황 구분상태등록일자특허번호특허명 대상기술 출원 등록 2012.12.14 관련기술 출원 등록 2013.01.18 관련기술 출원 등록 2014.03.04 2012-014 6287 2013-000 5703 2014-002 5530 자판기형태의 3D 개인아바타출력서비스 이기종센서를이용한 3D 얼굴복원및 3D 몽타주모 델생성방법및장치 3D 프린팅에적합한자동 3D 개인피규어생성방법 및장치
1. 기술성분석 1. 기술의내용및특징 스테레오영상으로부터 3D 얼굴외형을복원하고, 얼굴고유모델을생성한후다 양한캐릭터바디와결합하여개인에특화된 3D 엔터테인먼트서비스및시스템에활용할수있는기술 개인아바타를생성하여다양한 3D 얼굴복원및전이, 3D 애니메이션기술을기반으로개인에특화된 3D 아바 타를생성하고이를적용함으로써다양한서비스를개발가능 주요기술 스테레오기반 3D 얼굴복원기술 : 저가의 CMOS 웹캠을사용한스테레오영상 에서고해상도, 고품질의 3D 얼굴외형을빠른시간내에복원 얼굴고유모델생성기술 : 스테레오복원과정에서복원되지않은옆/ 뒷부분 도자연스럽게 3D 프린팅이가능한형태로복원할수있으며, 색조일치기술을 적용함으로써실사질감과유사한질감생성 3D 개인아바타기반출력기술 : 촬영 복원 전이 아바타생성 출력 까지한번 에 One Stop 서비스가가능하며, 3D 애니메이션, 2D/ 렌티큘러사진, 3D 피규어 등다양한형태의출력데이터포맷을지원 < 3D 개인아바타생성및출력과정 > - 1 -
1. 기술성분석 ( 계속) 2. 기술의수준 스테레오기반 3D 얼굴복원기술 저가의 CMOS 웹캠사용 : 해상도 1920x1080/1600x1200 고해상도, 고품질의 3D 얼굴외형복원 : 100K이상 Vertex, 15초이내 온라인자동 3D 고유얼굴생성기술 얼굴특징점자동추출, 얼굴형태자동변형, 얼굴질감매핑및색조일치자동 화기술확보 사용자의개입없이얼굴복원부터 3D 아바타생성까지전과정을완전자동화함 3D 으로써상용화가능성극대화 개인아바타자동생성기술 촬영부터애니메이션동영상, 3D 피규어출력데이터, 홀로그램출력데이터생성 과정자동화 3. 기술의필요성 3D 게임, 영화및애니메이션등다양한 3D 콘텐츠기술분야로활용이확대됨에 따라이로인한수요증가 특히개인화된콘텐츠는최근 나 또는 개인 중심의문화기조와맞물려관련제 품및서비스시장에서그수요가증대되고있음 사업화추진필요성 3D 콘텐츠제작솔루션세계시장은 2010년 185억불에서 2020년에 1,974억불 규모로연평균 26.7% 의고성장이전망됨 국내시장또한, 2010년 1.2조원에서 2020년에는 14.8조원으로연평균 28.7% 성장할것으로전망되고있음 < 3D 콘텐츠제작솔루션시장현황및전망 > - 2 -
1. 기술성분석 ( 계속) 4. 기술의차별성 기존제품, 서비스들과의특징및차별성 2대이상의카메라로동시에촬영된다시점영상에서실물과동일한 3D 디지 털얼굴형태( 기하구조), 질감색상( 텍스처) 복원 ( 장비구성) 별도의특수센서, 장비가없이범용카메라( 모듈캠, DSLR, 웹캠, 디지털카메라등) 를이용 SW처리로가격경쟁력확보 수동센서인카메라만을사용함으로다양한형태의획득시스템구성가능 다양한카메라지원 거치형/ 박스형부스형포터블형 ( 고속 3D 복원) 평균복원속도 10~15초로고속복원속도로영국 Dimension al Imaging사의 DI3D(30 초) 대비약 2.5~3배이상빠른복원속도와품질향상 및 1/10 이하의가격경쟁력보유(DI3D 2억원대비 1/10~1/100 가격) 영상해상도에따른다양한 3D얼굴복원결과제공으로유연한서비스가능 단계복원영상해상도 Vertex 수 복원시간 1 1600 1200 평균 160K 평균 12초 2 800 600 평균 42K 평균 3.5초 3 400 300 평균 11K 평균 1초 저가센서사용에도불구하고 DSLR 카메라사용시고가의 3D 스캐너에근접 하는정확도를가짐( 고가상용스캐너는산업용으로약 0.001mm를가지나엔 터테인먼트용으로는오버스펙임 ) - 3 -
1. 기술성분석 ( 계속) 촬영-복원- 아바타생성( 결합, 질감생성, 색조일치)- 서비스( 애니메이션생성, 3D 프린터파일변환) 전공정의자동화실현 ( 쉬운보정기술) One-Stop 카메라보정이가능한보정판및기술제공으로초 기셋업시간절감 얼굴에대한 3D 모델생성솔루션과데이터호환을지원함으로최근각광받은 3 D 프린터의다양한응용사업모델발굴및진입장벽최소화 - 4 -
2. 특허성분석 1. 국내외특허동향 1) 국내외특허동향 해외의특허출원은연평균 11.17% 의성장률을보이고있으며, 2003년도이후 특허출원이급격히증가하고있는것으로나타남 한국은스테레오영상 3D 분야에서후발연구개발국가이지만, 연평균 28.9% 의 고성장률을보이고있으며, 2003년이후지속적인특허출원이이루어지고있는 것으로나타남 스테레오영상 3D 분야의국가별점유율을살펴보면, 미국이 40.4% 로가장 많은출원율을보이고있으며, 다음으로일본, 한국, 유럽순의점유율을보이고 있음 < 국내외특허동향 > * 출처 : 윕스, 경영전략연구소 2) 주요연구그룹( 연구자) 현황 출원건수에따른주요출원인을살펴보면, 삼성전자와엘지디스플레이등의한국 기업과 Toshiba 社, Sony 社, Panasonic 社, Canon 社, Sharp社 중심으로연구개발이이루어지고있음을알수있음 < 다출원인출원인별특허건수 > 1위삼성전자( 한국) 전체 226 건출원 2위 Toshiba( 일본) 전체 207건출원 3위 Sony( 일본) 전체 193건출원 4위 Panasonic( 일본) 전체 137건출원 5위 LG 디스플레이( 한국) 전체 97건출원 * 출처 : 윕스경영전략연구소 등일본기업을 - 5 -
2. 특허성분석 ( 계속) 3) 주요 Key Player 역량분석 미국등록특허를기준으로분석한결과, 상위 5위다등록출원인으로는미국의 Microsoft 社, General Electric 社와한국의삼성전자, 일본의 Toshiba 社, 독일의 Siemens 社등으로구성됨 상위에랭크된다등록출원인중기술의질적인수준(CPP) 이가장높은출원인 으로는다등록 1위에랭크된미국의 Microsoft 社가차지하였으며, 시장력(PFS) 이높은출원인으로는다등록 troncis N.V. 社가차지함 6위에랭크된네덜란드의 Koninklijke Philips Elec < 다등록출원인의기술수준비교분석 > No 주요출원인등록건수( 순위) CPP( 순위) PFS( 순위) 1 Microsoft Corporation(US) 43(1) 19.6(160) 3.4(344) 2 삼성전자 (KR) 33(2) 3.3(456) 4.6(277) 3 General Electric Company(US) 28(3) 11.2(264) 3.9(332) 4 Toshiba Corporation(JP) 27(4) 10.3(280) 5.2(245) 5 Siemens(DE) 25(5) 4.5(431) 3.4(343) 6 Koninklijke Philips Electroncis N.V.(NL) 23(6) 4.2(432) 6.4(198) 7 Sony Corporation(JP) 22(7) 8.9(324) 6.1(201) * 출처 : 윕스경영전략연구소 국가별기술수준을살펴본결과, 스테레오영상 3D 분야에서기술의질적수준 (CPP) 과시장력(PFS) 가모두높은국가는미국과독일, 프랑스, 스웨덴으로 나타났으며, 이탈리아의기술은질적수준은평균을상회하나, 시장력은평균에 미치지못하는것으로나타남 < 국가별기술수준비교분석 > * 출처 : 윕스경영전략연구소 - 6 -
2. 특허성분석 ( 계속) 2. 선행특허분석 일본공개특허 미국공개특허 일본공개특허 한국등록특허 특허번호 제2002-099926호 제2012-0050482호 제2000-321532호 제1004629호 (2002.04.05) (2012.03.01) (2000.11.24) (2010.12.22) METHOD AND SYSTEM FOR 특허명 화상처리장치, 수신 장치및그방법 UTILIZING IMAGE SENSOR PIPELINE (ISP) FOR SCALING 3D IMAGES BASED ON 입체화상표시장치 비강압적 3차원얼굴 데이터획득시스템및 그방법 Z-DEPTH INFORMATION 출원인 SONY CORP( 일본) Broadcom Corporation( 미국) KOYA YOSHITO( 일본) 연세대학교 산학협력단( 한국) 화상처리장치에관한깊이정보에기반한 3D 입체화상표시장치에 3차원얼굴데이터획 기술요약 것으로, 서로다른해상화상을생성하는장치 도를갖는복수의화상 하고, 텍스쳐매핑처리각각획득하고이를동여입체합성화상을 로 3차원화상신호를 에관한것으로, 컬러 2 신호를입력받아동기화 D 영상과깊이영상을 기화하여 생성하는것을특징으로현하는것을특징으로로함 관한것으로, 복수의카 메라로부터화상을획 득하고, 이를동기화하 득시스템에관한것으 로, 복수의카메라로부 터화상을입력받고동 기화과정을통해 3차 3D 화상을구생성하는것을특징으원화상을취득하는것 을특징으로함 함 함 관련도 분석 A A A A * 관련도 : X - 관련높음, Y - 관련있음, A - 관련은없으나참고할자료 * X, Y - 주요참증에해당, A - 참고참증에해당 본연구과제의제안기술은다중카메라를이용하여삼차원얼굴을복원하는장치에관한것으로, 조사결과 이와관련한선행특허문헌조사결과, [ 일본공개특허 2002-099926 ], [ 미국공개특허 2012-0050482], [ 일본공개특허 2000-321532], [ 한국등록특허 1004629] 가선행특허문헌으로조사됨 - 7 -
3. 사업성및시장성분석 1. 사업화제품화 3D 얼굴의복원및전이, 3D 애니메이션기술을기반으로, 개인에특화된 3D 아 바타를생성하고이를적용함으로써 할수있음 3D 개인아바타기반의다양한서비스에적용 기존고가의 3D 스캔기술을탈피한, 저가카메라를이용한고품질, 고해상도 3D 얼굴복원기술제시 2. 사업화방법및성공요인 매년성장하고있는 3D 프린팅서비스사업과연계한다면, 초기성장동력확보에 유리할것으로판단됨 국내 3D 콘텐츠시장은 2009년 400억원규모에서연평균 90% 성장하여 2015년 까지 2조 5천억원의시장을형성할것으로전망하고있음 3D 콘텐츠산업은글로벌 육성이필요함 3D 산업강국을견인할새로운성장동력으로써전략적 문화체육관광부는 2015년글로벌시장 Top5 3D 콘텐츠강국실현을위해 3D 콘텐츠산업육성계획 을발표하고추진중에있음(2010.05.19.) 3. 1) 국내외시장전망 국내외시장규모및동향 전세계 3D 콘텐츠시장은 3D 디스플레이의급성장에따라 2009년 3억달러에서 연평균 122% 성장하여, 2015년에는 390억달러로성장할것으로예상됨 3D 영화의급속한제작및보급과함께 3D 동화, 3D 의학교육등 E-Learning 분야도함께급부상하고있음 국내 3D 산업의시장규모는연평균 90% 성장하여 2015년까지 2조 5천억원의 시장을형성할것으로전망하고있음 2) 시장의구조, 경쟁강도및진입장벽 시장경쟁강도 영화 아바타, 트랜스포머 등으로인해촉발된 3D 영상혁명은미국, 일본, 유럽 등영상선진국중심으로미래영상시장의선점을위한치열한경쟁이예상됨 - 8 -
3. 사업성및시장성분석 4. 1) 국내의경우 IT 인프라와디스플레이는세계적인경쟁력이있으나, 3D 콘텐츠 를제작할수있는인력 기술 투자등의기초인프라가매우취약하여개발사 입장에서는지속적인아이디어창출이필요한상황임 더불어 3D 산업발전전략을뒷받침하는정부의체계적인 3D콘텐츠육성계획마 련및이를통한집중지원이필요함 시장진입장벽 3D 콘텐츠제작을위한인력수요는급증하고있으나영화촬영감독, 카메라기 술자, 스트레오그래퍼등전문인력부족으로해외에상당부분의존하는경향이 있음 2D 3D 컨버팅기술은강점을가지고있으나, 실사촬영등 3D 제작관련기술 은선진국과 3년이상격차가남 높은투자리스크에비해비즈니스모델이없어 3D 콘텐츠에대한민간의투자 회피현상이지속되고있음 사업화성공가이드 사업화후보기업요건 3D 3D 3D 프린팅기술보유업체 게임개발업체 아바타및피규어제작업체등 2) 사업화투자비용 3D 캐릭터및배경등서비스를위한테마제작비용 H/W 제작및마케팅등상품화개발투자비용 3) 법적검토사항 기술이전및실시권계약범위 수익성배분협의등 / 라이센싱및공동연구범위협의 4) 희망파트너쉽 1 기술이전 ( ) 2 라이센싱 ( ) 3 공동연구 ( ) 4 기술출자 ( ) 5 기타 ( ) - 9 -