Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 회전대칭형의광각렌즈를이용하여 전방위영상을얻는방법및장치 2016. 5. 나노포토닉스 34832 대전광역시중구목척1길 21, 210호 ( 은행동, OK벤처타운 ) : 042-936-8664 C.P.: 010-2411-8664 Fax: 042-285-8664 E-mail: kweon@nanophotonics.kr Home: www.pcam.kr www.fisheyelens.kr
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 전방위 ( 파노라마 ) 카메라 전방위영상시스템 (Panoramic imaging system) 은 360 모든방향혹은 180 를한번에주시할수있는영상시스템을지칭함. 자동차용전 후방카메라, 보안카메라, 로봇용시각센서, 엔터테인먼트등많은분야에서전방위카메라에대한수요가존재함. 다양한방식의전방위카메라가존재하였지만가격이비쌀뿐만아니라, 영상이자연스럽지못하거나동영상을제공하지못하는단점이있었음.
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! Stitching 방식의전방위카메라 전방위영상을얻기위하여여러방향의사진을찍은뒤, 특별하게고안된소프트웨어로영상들을부드럽게연결할수있음. Stitching 을이용한전방위영상은이음매가표시가나며, 완벽한전방위투사방식을만족하지못함. 또한이러한영상시스템은크기가크고, 고가임.
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 영상처리기반의전방위카메라 당사는오랜연구를통하여어안렌즈의영상에정확한영상처리알고리즘을적용하여육안으로보기에가장자연스럽고, 수학적으로정확한전방위영상을얻을수있는원천기술을개발하였음. 특허등록 ( 제 0882011 호 ) 된당사의영상처리알고리즘은오류나근사가없는수학적인정답으로더이상의개선이있을수없는완성된기술임. 기술보증기금의기술가치평가 ( 평가기술 : 광각렌즈를이용한전방위영상구현장치, 평가서번호 : 240143-2009111) 결과 7 억 7 백만원의가치가있는것으로평가되었으며, 담당자는 이기술을삼성과같은기업이가지고있다면수천억원의가치가있을것 이라고말하였음. 등록상표제 40-0780455 호
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 특허제 0882011 호의요지 등록특허제 0882011 호 ( 회전대칭형의광각렌즈를이용하여전방위영상을얻는방법및장치 ) 는카메라의방향에상관없이모두보정하여완벽한전방위영상을얻을수있는수학적으로정확한영상처리방법 ( 알고리즘 ) 을제공함. 카메라방향 수평면에평행 상하로기울음 좌우로기울음 상하좌우로모두기울음 응용예 어안영상 전방위영상
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 전방위카메라시제품 2009 년에자체개발한어안렌즈 (FEED802) 와 CMOS image sensor 및 TI DSP chip 을사용하여영상처리기반의전방위카메라시제품 (pcam909) 을세계최초로개발하였음.
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 대통령상수상 당사는 2009 년대한민국발명특허대전에서대상 ( 대통령상 ) 을수상하였음. 7
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 전방위카메라상용화, 수상및인증 화각 180 의 D1 급 (720 480) 전방위카메라 ( 모델명 : pcam4101) 상용화에성공하였음. 개발된전방위카메라 (pcam4101) 는 2013 년 10 월일산 Kintex 에서개최된한국전자전 (Korea Electronics Show) 에서혁신상 (2013 KES Innovation Award: Best Content 부문 ) 을수상하였음. 당사의전방위카메라는국가산업융합지원센터에서선정하는 2013 년 산업융합품목 45 개에포함되었으며, 2015 년에도재선정되었음. pcamm4101 pcam4101 8
Image-processing-based Panoramic Cameras from NANOPHOTONICS protected by fundamental Patents! 전방위영상기술의적용 전방위영상처리기술이적용된보안카메라 (CCTV, IP 카메라 ) 로감시의사각지대를제거할수있음. 전방위카메라는비디오도어폰, 자동차용전 후방카메라, 로봇용시각센서, 엘리베이터용카메라, 현금지급기 (ATM) 용카메라등실내 외의좁은영역을사각지대없이모니터링하는분야에서거의완전하게시장을장악할수있다고기대됨. 전방위영상처리기술은디지털카메라의 Bundle SW 로사용될수있고, 가상현실 (VR: Virtual Reality) 분야에서도사용될수있음.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 회전대칭형의광각렌즈를이용하여전방위영상및 직선수차보정영상을얻는방법및그영상시스템 2016. 5. 나노포토닉스 34832 대전광역시중구목척1길 21, 210호 ( 은행동, OK벤처타운 ) : 042-936-8664 C.P.: 010-2411-8664 Fax: 042-285-8664 E-mail: kweon@nanophotonics.kr Home: www.pcam.kr www.fisheyelens.kr
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. Digital Pan/Tilt/Zoom 기술 기계식팬 틸트 줌 (mechanical Pan Tilt Zoom) 카메라는줌기능이있는렌즈를장착한카메라를팬 틸트스테이지에장착한것으로 Pan 은가로방향의회전작용을, Tilt 는세로방향의회전작용을지칭함. 특허제 0898824 호 ( 회전대칭형의광각렌즈를이용하여전방위영상및직선수차보정영상을얻는방법및그영상시스템 ) 는디지털팬 틸트 줌 슬라이드 (digital Pan Tilt Zoom Slide) 기술을제공함. 디지털팬 틸트 줌카메라는움직이는부분이없으므로크기가작고, 생산비가적게들뿐만아니라, 고장이없고, 팬 틸트속도에제한이없는추가적인장점이있음.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. Digital Slide 기술 디지털슬라이드기술은렌즈에대하여필름을움직일수있는대형카메라 (Large Format Camera) 의기능을당사가세계최초로구현한것임. 디지털슬라이드기술을팬이나틸트기술과같이이용하면회전각도가 90 가되더라도영상이없는검은부분을없앨수있음. 슬라이드기능 카메라효과어안영상영상 無 ( ) 有 ( )
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 전방위영상과직선수차보정영상을선택적으로제공 특허제 0898824 호의발명을이용하면하나의영상에서전방위영상이나왜곡이없는광각영상 ( 즉, 직선수차보정영상 ) 을선택적으로제공할수있음.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 다시점파노라마영상기술 특허제 0898824 호의발명을이용하면여러개의카메라를이용하여전방위영상을제공하는 Stitching 방식의전방위카메라와유사한전방위영상을생성할수있음. 그런데이기술은정확한수학적알고리즘을이용하므로 Stiching 방식의카메라에서보이는영상의부정합과해상도의저하가없이완벽한영상을제공함, Sony 는다시점파노라마영상이나오는자동차용카메라를발표하였으나당사의특허등록이후에생산을중단한것으로추정됨.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 한대의카메라로여러대의카메라효과를 특허제 0898824 호의발명을이용하면한대의카메라로마치여러대의카메라를구비한것과동일한효과를구현할수있음. 예를들어자동차의주행상태 ( 직진, 후진, 좌회전, 우회전등 ) 에따라서그에가장적합한영상을생성하여운전자에게보여줄수있음.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 기술의적용 : 자동차용전 후방카메라 미국시장조사업체스트래티지애널리틱스 (SA) 에따르면자동차전장부품시장은 2015 년 2390 억달러 ( 약 282 조 3307 억원 ) 규모에서 2020 년 3033 억달러 ( 약 358 조 2820 억원 ) 까지급성장할전망임 (2015 년 12 월 11 일조선일보 ). 특허제 0898824 호의발명을이용한자동차용전 후방카메라는감시의사각지대를제거하여사고위험을크게줄일수있으며, 자동차의운행상태에따른맞춤형영상 ( 전방위영상, 디지털팬 틸트영상등 ) 을제공하여운전자가쉽게운전할수있음. 자동차에서사이드미러를제거하면연비가 2% 정도늘어나며, 자동차에서사이드미러를제거하는것을허용하는법률까지통과되었음. 당사의특허기술은사이드미러를대체하는최적의발명임.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 기술의적용 : 보안카메라 IR LED 를장착한전세계보안카메라시장은 2015 년 $1.75 billion(17.5 억달러 ) 에서 2020 년 $2.68 billion 으로성장할것으로전망되며, 연평균 8.8% 성장할것으로전망됨 (Security Sales Integration). 당사의전방위영상처리기술개발이후에전세계적으로수십개의모방업체가생겨났으나, 법적대응을우려하여적극적으로영업을하지못하거나포기하고있음. 당사의특허기술을도입하여급성장중인보안카메라분야에서경쟁자와차별이가능함.
The only company on Earth which provides genuine Panoramic/Wide-angle and Digital Pan Tilt Cameras. 기술의적용 : 가상항해 (Virtual Navigation) 시장조사업체인트랜드포스에따르면 2020 년 VR 기기는연간 3800 만대가팔려 200 억달러 ( 약 24 조 6700 억원 ) 시장규모를이룰것으로예측되며, VR 콘텐츠시장은이보다큰 500 억달러 ( 약 61 조 6600 억원 ) 에이를전망임 (2016 년 4 월 22 일조선일보 ). 디지털팬 틸트기술은가상현실의한세부분야인가상항해 (Virtual Navigation) 의핵심기술임. 당사의전방위영상처리기술과디지털팬 틸트기술을이용하는가상항해서비스는고객들의특정스마트폰제조사또는통신사에대한선호도를높이는유인이될수있으며, 가상현실 SW 자체로도큰시장을만들수있음.
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 회전대칭형의광각렌즈를이용하여복합영상을얻는방법과 그영상시스템및하드웨어적으로영상처리를하는이미지센서 2016. 5. 나노포토닉스 34832 대전광역시중구목척1길 21, 210호 ( 은행동, OK벤처타운 ) : 042-936-8664 C.P.: 010-2411-8664 Fax: 042-285-8664 E-mail: kweon@nanophotonics.kr Home: www.pcam.kr www.fisheyelens.kr
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 특허제 0988872 호의영상처리 SW 부분요지 제 0988872 호 ( 회전대칭형의광각렌즈를이용하여복합영상을얻는방법과그영상시스템및하드웨어적으로영상처리를하는이미지센서 ). 이특허를이용하면광각영상, 전방위영상및전방위영상보다더일반화된복합영상을얻을수있음. 디지털팬 틸트영상이아닌가상카메라의시점이고정된영상중실제적으로의미있는모든영상을구현할수있음.
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! CMOS Image Sensor(CIS) 개요 카메라모듈은 PCB, 하우징, 렌즈, Image Sensor, ISP(Image Signal Processor) 로구성됨. Image Sensor 는광학적상을디지털신호로변환하는소자로크게 CCD(Charge Coupled Device) 와 CMOS(Complementary Metal Oxide Semiconductor) 의두종류로분류함. 일반적인 CMOS 이미지센서는바둑판모양으로배열된다수의픽셀 (pixel), 수직시프트레지스터 (vertical shift resister) 및수평시프트레지스터 (horizontal shift register) 로구성됨. 각픽셀은수광된빛의세기를전하의양으로변환하는광전소자 (photodiode) 및전하의양을전압으로나타내는전하검출용증폭기 (amplifier) 를구비함. 어느한픽셀에포착된빛은픽셀단위에서전압으로변환된뒤, 수평시프트레지스터와수직시프트레지스터를통하여신호선 (signal line) 으로출력됨.
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 360 전방위카메라용영상처리알고리즘 전방위렌즈 (panoramic lens) 를장착한카메라로얻은영상에서간단한삼각함수변환만으로도그럴듯한 360 전방위영상을얻을수있음. 전방위렌즈를수학적으로정확하게설계하면간단한삼각함수변환만으로도완벽한 360 전방위영상을얻는것이가능함. W ω = θ 2 π ν V R R 2 1 = 2 ( R r)
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! OMNIVIEWS: Omni-directional Visual System Giulio Sandini(University of Genova) 교수는이미지센서내의픽셀들을동심원으로배치함으로써영상처리없이 360 전방위영상이얻어진다는것을실증하였으며, 미국특허 (US 7,009,645) 로도등록되었음. 이와같이픽셀이바둑판처럼규칙적으로배치되지않고이미지센서내의위치에따라서배치형태가달라지는이미지센서를 Space-Variant Image Sensor 라고함. 360 전방위영상용이미지센서는고안하기가비교적용이함.
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 다른형태의 Space-Variant Image Sensor 그동안다양한형태의 space-variant image sensor 가연구된바있으나, 상업적으로가치있는구조는제안된적이없음.
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! Micron 과 Motorola 의광각카메라용이미지센서특허 왜곡 (distortion) 이없는직선수차보정 (rectilinear) 렌즈는풍경을원근법에맞게포착함. 바늘구멍사진기가원리적으로정확한직선수차보정렌즈이지만, 바늘구멍사진기로포착한영상이너무어두워서 (F- 수가너무큼 ) 실용성이없음. 보안카메라등많은분야에서화각 (Field of View) 이넓고 ( 광각 ), 왜곡이없는 ( 직선수차보정 ) 렌즈혹은카메라를필요로함. 광각의직선수차보정렌즈는설계하기가어려우며, 가격도비싸고, 작게만들기도어려움. Micron(WO 2008/130882) 과 Motorola(US 5,489,940) 는광각카메라의왜곡보정을위한이미지센서특허를출원내지등록한바있으나, 그기술로는어안렌즈를포함한광각렌즈의왜곡을보정하지못함. 7
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 특허제 0988872 호의이미지센서부분요지 등록특허제 0988872 호 ( 회전대칭형의광각렌즈를이용하여복합영상을얻는방법과그영상시스템및하드웨어적으로영상처리를하는이미지센서 ) 의이미지센서부분발명을이용하면직선수차보정카메라용이미지센서, 전방위카메라용이미지, 다시점카메라용이미지센서들을제작할수있으며강력한청구항으로등록되어회피가불가능함. 카메라형태 어안영상 (simulation) 픽셀배치 CIS 출력 (simulation) 어안영상 ( 실제 ) CIS 출력 ( 실제 ) 직선수차보정 전방위 다시점 8
New paradigm for making panoramic and wide-angle cameras which will change the industry forever! 전세계이미지센서시장규모및예상매출액 이미지센서는스마트폰, 자동차, 보안카메라, 로봇, 드론등수많은전자장치에사용되는핵심부품이며, 2015 년 8 월 31 일자조선일보는글로벌시장분석기관 가트너 의자료를인용하였는데, 이에따르면디지털기기에들어가는이미지센서시장이 2014 년 88 억달러에서 2019 년 150 억달러규모로커질것으로전망된다고함. 전체카메라시장에서광각 / 전방위카메라시장은 10% 이상으로짐작되며, 그중절반이전방위카메라시장이라고추정하면전방위카메라에사용되는이미지센서시장규모는 2019 년에 7.5 억달러의시장규모를형성함. 이시장에서 50% 의시장점유율을차지한다고가정하면, 예상매출액은 3.75 억달러 (4,415 억원 ) 임.
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 회전대칭형의광각렌즈를이용하여디지털팬 틸트 영상을얻는방법및그영상시스템 2016. 5. 나노포토닉스 34832 대전광역시중구목척1길 21, 210호 ( 은행동, OK벤처타운 ) : 042-936-8664 C.P.: 010-2411-8664 Fax: 042-285-8664 E-mail: kweon@nanophotonics.kr Home: www.pcam.kr www.fisheyelens.kr
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 팬 (Pan) 틸트 (Tilt) 카메라 기계식팬 틸트 줌 (mechanical Pan Tilt Zoom) 카메라는줌기능이있는렌즈를장착한카메라를팬 틸트스테이지에장착한것으로 Pan 은가로방향의회전작용을, Tilt 는세로방향의회전작용을지칭함.
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 군사및항공분야에서의기술수요 험한산악지형을주행하면서어느방향에서나타날지모르는적을상대해야하는탱크를포함하는군사분야, 착륙을하기위해선회비행을하느라기체가앞뒤와좌우로모두기울게되는헬기를포함하는항공분야에서는가장복잡한디지털팬 틸트 줌 슬라이드기술이요구됨. 임의의방향으로기울어있는카메라에장착된어안영상에서또다른임의의방향의왜곡이없는광각영상을추출하면서도수직선이수직선으로보이게하기위해서는 4 개의회전스테이지 (rotation stage) 와 3 개의직선이동스테이지 (translation stage) 가필요함.
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 궁극의디지털팬 틸트기술 특허제 1233948 호 ( 회전대칭형의광각렌즈를이용하여디지털팬 틸트영상을얻는방법및그영상시스템 ) 의발명을이용하면카메라가임의의방향을향하고있을때에도수직선이항상수직선으로보이는디지털팬 틸트 줌영상을얻을수있으며, 이보다더복잡한경우는없음.
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 기술의적용 : 드론용디지털팬 틸트카메라 시장조사메를린러브 3D 로보틱스영업채널전략이사에따르면 2015 년소비자드론시장규모는 20 억달러, 한화 2 조 3,000 억원대. 하지만이시장은연평균 35% 에달하는성장률을보이며오는 2024 년에는 154 조원대에달할전망임 (techholic.co.kr). HD 카메라를팬 틸트스테이지에장착한고급형드론은크기가크고무거울수밖에없으며, 팬 틸트가되지않은고정카메라를장착한드론은보고싶은영상을얻는데제약이있음. 개발된 7 차원디지털팬 틸트기술을이용하면어안렌즈를장착한고정카메라만으로기계식팬 틸트카메라보다뛰어난효과를가져올수있으므로커다란시장을창출할수있음.
Ultimate 7-dimensional Digital Pan Tilt Cameras from NANOPHOTONICS. 회사개요 2009 년대한민국발명특허대전대상 ( 대통령상 ) 수상기업. 기업명 한글 ( 주 ) 나노포토닉스법인등록번호 135111-0061899 영문 NANOPHOTONICS CO., LTD. 사업자등록번호 123-81-80849 대표자성명 권경일 소재지 대전광역시중구목척1길 21, 210호 ( 은행동, OK벤처타운 ) 설립일자 2002. 08. 06. 기업형태 비상장기업 전화번호 042-936-8664 FAX 042-285-8664 홈페이지 www.pcam.kr 업종 제조 주요제품 / 서비스 전방위카메라 (Panoramic camera), 어안렌즈