IT 융합분과 스포츠동작자동분석시스템 Ⅰ. 제안기술개요 기술의내용기술의동향기술의제품화및시장전망 - 뎁스정보를활용한동작인식기 [ 국내동향 ] - 가상스포츠국내시장은 `13년 1조 술을골프스윙동작분석에적 - 국내가상스포츠시장은 14년기준 5천억원에서 17년 5조원규모로확 용하여자동으로스윙구간을분 성장률 58.5% 로, 관련시장이빠 대될전망이며세계시장의연평균 할하고중요한자세에서의오류 르게확대되어기술투자역시활 성장률은 6.5% 에달함 를분석하여사용자에게전달할 발함 - 국내의스포츠시뮬레이션관련기 수있는기술 [ 해외동향 ] 술은세계시장을견인하는주요역 - 고속/ 대화각뎁스센싱기술과스 윙자세에특화된실시간동작인 - 동작인식기술의세계시장은연평균 43% 성장률을기록하고있어활발 할을수행하고있어, 동작인식기술 의접목으로추가적생산유발효과를 식기술을포함 상용화단계 핵심키워드 한연구가진행되고있음 일반 1아이디어 2연구단계 3개발단계 4개발완료( 시제품) ➎제품화단계 의약바이오 1 라이센싱 2 개발단계 3 제품화단계 한글동작인식, 뎁스카메라, 스윙분석 영문 Gesture recognition, Depth camera, Swing analysis 발생시킬수있을것으로전망됨 Ⅱ. 기술개발자정보 기관명한국전자통신연구원부서차세대콘텐츠연구본부 성명박지영외 7명직급선임연구원 전화/ 핸드폰 042-860-1552/010-9257-0091 이메일 jiyp@etri.re.kr Ⅲ. 수행과제정보 지원지관명미래부연구사업명첨단융복합콘텐츠기술개발사업 연구과제명 인터랙티브콘텐츠와상호작용을위한 고정밀모바일및파노라믹 360도다수 사용자동작인식기술개발 수행기간 주관기관한국전자통신연구원공동연구기관 Ⅳ. 특허정보 특허현황사업화대상기술관련특허총 3 건 구분상태출원 ( 등록 ) 일자특허번호특허명 상세현황 대상기술 출원 등록 2014.11.24 10-2014 -0164767 관련기술 출원 등록 2013.11.27 2013-014 5691 관련기술 출원 등록 2013.12.13 2013-015 5717 고속의사용자동작을안정적으로분석하는장 치및방법 3 차원사용자자세추정방법및장치 사용자동작인식기반의햅틱피드백제공장 치및그동작방법
1. 기술성분석 1. 기술의내용및특징 뎁스정보를활용한동작인식기술을골프스윙동작분석에적용하여자동으로 스윙구간을분할하고, 중요한자세(eg, 백스윙탑, 임팩트, 피니쉬등 7 자세) 를검 출하며, 각각의자세에서의오류를분석하여사용자에게전달할수있는기술 3차원정보를활용하므로정면에위치한하나의뎁스카메라의사용으로여러대 의카메라를사용한효과를가질수있음 본기술은크게 2가지구성요소로나눌수있음 고속의스윙동작분석을위한뎁스카메라고속화기술과움직임이큰스윙동작 시사용자의전신을협소한공간에서도볼수있도록하는대화각뎁스카메라제 작기술 - < 화각증가효과의예시 ( 적용전/ 후) > 화각증가로인해근접위치촬영이가능 - < 카메라고속화예시 ( 적용전/ 후) > 초당더많은프레임취득이가능하므로골프스윙과같은고속동작촬영에유리 < 뎁스/ 컬러영상의싱크일치예시 > - 뎁스/ 컬러영상의정밀한싱크일치로고속동작분석에장점
1. 기술성분석 ( 계속) 동작중신체의일부가다른부분을가리는 Self-occlusion 현상이심한스윙동 작에서도정확한관절위치를추정하는기술 A. Kinect 결과를활용한자동 DB 구축 < 관절추정을위한 DB 구축기술 > B. 마우스입력을통한수동 DB 구축 ( 범용뎁스카메라에특화가능) C. 컴퓨터그래픽스를활용한대규모학습 DB 구축 < 관절위치추정의예시 > A. 주요동작결정 5 관절추출, 3.2GHz CPU, 10ms/frame B. 자세분석 14 관절추출, 37ms/frame 2. 기술의수준 비접촉식및자동으로고속스포츠자세분석이가능한세계유일기술임 기존비접촉식스윙분석시스템의경우사용자의스윙을촬영한후강사가수동으로피드백을줌 기존의자동화된스윙분석시스템의경우사용자의신체에특정한장치나마커를부착한채로동작을진행해야함 동작인식관련세계최고기술로는근거리전용손동작인식카메라인 Leap Motion 과 Microsoft XBox Kinect가있음
1. 기술성분석 ( 계속) 현재기술로는느린촬영속도와좁은화각문제, 여고속의스포츠자세분석이어려움 자세추정특성화의부재로인하 촬영속도 Z-CUBE EAGLE Leap Motion Kinect 120 fps 200 fps 30 fps ( 근거리전용) 분석대상 전신동작 손동작 전신동작 뎁스센싱거리 1-4 m 0.5-1.2m 1-4m 뎁스센싱화각 82 x 70 135 ( 수평) 57 x 43 [ 뎁스카메라-Z-CUBE EAGLE, 기존기술과의성능비교] [ 동작인식기술-SWAN, 기존기술과의성능비교] 3. 기술의필요성 뎁스카메라및동작인식기술은스포츠동작분석뿐만이아니라게임등의엔 터테인먼트산업, 헬스케어, 영상감시, 지능로봇등매우다양한분야에적용이 가능함에따라서기술에대한수요가점차증가하고있음 본기술은기존동작인식센서들이반응속도및시야각의한계로골프스윙과같이빠르고큰동작을포착하지못했던문제점들을원천기술고도화를통해극복하여빠른동작도정확하게포착하고분석함 이러한형태의가상스포츠서비스시스템은새로운체험형디스플레이시장을 창출할수있을것으로예상되며, 더욱이야구, 테니스와같은다른스포츠분야에 도쉽게접목이가능하여그시장성이높을것으로예상 < 다양한가상스포츠로의적용가능성>
1. 기술성분석 ( 계속) 4. 기술의차별성 핵심기술측면의차별성 사용자동작을촬영하는뎁스카메라고속화 ( 초당 120 회, 기존최고기술대비 4 배향상) 사용자전신(2m) 촬영가능최소거리축소를위한화각확장 ( 기존최고기술대 비약 1.43 배향상) 스포츠자세에특화된고정밀자세추정/ 동작인식원천기술확보 응용기술측면의차별성 골프스윙분석의경우다양한스포츠중에서도상당히활성화된, 시장성이검증된 분야이기는하나비접촉식단일카메라로동작하며, 자동으로스윙을분석하여사용 자에게피드백을주는요소는기존기술과의큰차별성임 비단골프스윙분석뿐만이아니라다양한스포츠에도이러한종류의시스템이사 용될수있을것으로예상되며, 따라서그시장잠재성이매우높다고판단됨 본고속스윙분석기술을통해그러한잠재시장을선도할수있는좋은기회라고 보여짐
2. 특허성분석 1. 국내외특허동향 골프자세교정에관련된 42개의국내외관련특허가조사되었으며 2006년부터 다양한특허들이출원/ 등록되었으며국내를제외하고는일본에서많은특허를 출원하고있는상황. ( 총 42개관련특허중일본특허 17 개, 국내특허 25 개) 다 수의기술특허를보유하고있는회사가뚜렷하게조사되지않으며국내특허중 에서는다양한연구기관( 한국과학기술원외다섯기관) 에서출원한특허들이다 수임 골프자세교정관련기술특허수 17 25 국내특허 국외특허 조사된특허들은크게특정장비( 센서) 를착용/ 부착하여자세를분석하는기술과 영상기술을활용하여자세를분석하는기술로분류됨 특정장비( 센서) 를착용/ 부착하여자세를분석하는기술들은사용자신체나골프 채에센서를부착하고스윙시, 이로부터스윙관련정보( 속도, 가속도, 위치변화 등) 을추출하여정보를분석하는기술이며, 대부분자동으로추출된센서정보가 컴퓨터로무선연결된다는특징을포함하고있다. 이러한방법으로의기술은사 용자가골프스윙을분석하기위해서는항상특정장비( 센서) 를착용/ 부착해야 한다는번거로움이있어시장성이다소떨어짐 골프채끝에센서를부착하여장력을측정하는 기술에대한특허: [JP2013066541A 대표도- 스윙 동작을수반하는운동에있어서장력측정이메징 장치 ] 사용자의각관절과골프채에부착하여정보를습득하는기술에대한특허 : [KR20100080336A 대표도- 골프스윙의자세분석시스템]
2. 특허성분석( 계속) 영상기술을활용하여자세를분석하는기술은또다시특수마커를착용/ 부착해야 스윙촬영및분석이가능한기술과특수마커없이도가능한기술두가지로분류 됨 특수마커를착용/ 부착하여골프스윙영상을분석하는특허들은앞서설명한센서 를몸에착용/ 부착하는특허들이가지고있는단점을그대로가지고있기때문에 시장성이떨어지는특징이있음 특수마커착용/ 부착없이촬영해서분석하는특허들은영상촬영후사용자의그 리기입력을받아자세의움직임등을분석하는방법과영상분석을통한자동분 석방법등이있으나현재고속으로수행되는골프스윙을촬영해서자동분석을 제공하는데필요한핵심기술에대한특허는존재하지않는상황임 골프자세교정관련특허 ( 총 42 개) 특허번호 특허명칭 KR20080036592A 가상 스튜디오자세교정장치 {Virtual Studio Posture Correction Machine} JP2004313479A 골프스윙의진단시스템 KR20110072650A 골프스윙자세분석시스템및그운용방법 {SYSTEM AND METHOD FOR ANALISING SWING OF GOLF} KR20100069859A 골프시뮬레이션시스템및그제어방법 {GOLF SIMULATION SYSTEM AND METHOD OF CONTROLLING THE SAME} KR20067021821A 골프스윙의동작특성을결정하는시스템 {SYSTEM FOR DETERMINING PERFORMANCE CHARACTERISTICS OF A GOLF SWING} KR20050037915A 골프스윙자세분석시스템및그운용방법 {GOLF SWING MOTION ANALYSIS SYSTEM AND OPERATION METHOD THEREOF} JP2005237494A 실기분석시스템및프로그램 KR20070111566A 인공지능형캐디를이용한골퍼자세교정시스템및이를이용한골퍼자세교정방법 {System and method for a correcting pose of golfer using an artificial intelligence caddy} 골프스윙동작의동영상분석이가능한개인휴대단말기및개인휴대단말기를이용한골프스윙 KR20070063010A 동작의동영상분석방법과골프레슨시스템 {PDA capable of performing a video analysis on the golf swing action, a method for performing the video analysis on the golf swing action using the PDA and a system for providing golf lessons using the PDA} JP2005270508A 골프스윙진단시스템 JP2005521975T 영상을이용한오퍼레이팅방법및시스템 JP06142267A 골프스윙분석시스템 KR20110008720A 자세교정방법및시스템 {SYSTEM AND METHOD FOR POSTURE CORRECTING} KR20100071311A 이동체움직임감지장치및방법 {APPARATUS OF SENSING MOVING OBJECT MOVEMENT} KR20100080336A 골프스윙의자세분석시스템 {THE GOLF SWING MOTION ANALYSIS SYSTEM} KR20070114240A 골프용스윙모션기록장치 {Recoder for golf swing motion} KR20040090128A 운동동작모니터링장치및방법 {Appratus and method for monitoring sports motion}
2. 특허성분석( 계속) 특허번호 특허명칭 KR20050052597A JP2011000210A JP11288026A JP06261963A KR20080115804A JP2009089816A JP2013120497A JP2013066541A JP2011251035A JP2009106323A JP2009095631A JP2008104509A 골프스윙동작분석시스템및방법 {System And Method for Analyzing Golf Swing Motion} 골프스윙의분석방법 골후스잉폼의촬영시스템 골프게임시뮬레이션장치 골프스윙자세분석시스템 {Golf swing motion analysis system} 스윙표시방법및스윙표시시스템 실루엣추출방법및실루엣추출시스템 스윙동작을수반하는운동에있어서장력측정이메징장치 골프어드레스조정시스템 운동폼평가장치및운동폼평가프로그램 골프스윙계측시스템 골프스윙폼촬영장치 JP2005110850A 신체운동의평가방법, 스윙동작평가방법및신체운동의계측시스템 JP11221309A JP06311474A JP05337232A KR20080097326A KR20080030265A KR20040088368A KR20130145606A KR20130043492A KR20130040317A KR20130168125A KR20130156092A JP2010259697A 폼체커장치 화상처리장치 스윙폼학습장치 골프동영상의동적피사체추출방법과골프자세교정시스템 {Method for dynamic image extract of golf video and System for correting the swing motion of golfer} 영상처리기법을이용한골프클리닉시스템및그것의운용방법 {GOLF CLINIC SYSTEM USING IMAGE PROCESSING METHOD AND APPLICATION METHOD THEREOF} 디지털골프퍼팅연습장치 {DIGITAL PUTTING EXERCISE APPARATUS} 뎁스정보분석을통한신체검출방법및사용자신체검출을위한뎁스정보분석장치 {METHOD FOR HUMAN BODY DETECTION BY ANALYSIS OF DEPTH INFORMATION AND APPARATUS FOR ANALYZING DEPTH INFORMATION FOR HUMAN BODY DETECTION} 퍼지시스템을이용한골프스윙분류장치및방법 {GOLF SWING CLASSIFICATION APPARATUS AND METHOD USING FUZZY SYSTEM} 체형별스윙분석장치및이를이용한골프레슨관리시스템및방법 {SOMATOTYPE SWING ANALYSIS APPARATUS, SYSTEM AND METHOD FOR MANAGING GOLF LESSON THEREOF} 뎁스영상분석을통한사용자의골프스윙자세분석을위한영상생성방법과이를이용한골 프스윙자세 분석방법및장치 {IMAGE GENERATING METHOD FOR ANALYSIS OF USER'S GOLF SWING MOTION AND APPARATUS FOR ANALYSIS OF GOLF THROUGH DEPTH IMAGE ANALYSIS, AND METHOD SWING MOTION USING THE SAME} 뎁스영상분석을통한사용자동작인식방법및이를이용한사용자동작분석장치 {METHOD FOR AND APPARATUS FOR 사람동작모바일시스템 RECOGNITION OF USER'S MOTION BY ANALYSIS OF DEPTH IMAGE ANALYZING USER'S MOTION USING THE SAME}
2. 특허성분석( 계속) 2. 선행특허분석 특허번호 JP2013066541A KR20080030265A KR20100080336A KR20070063010A 특허명 출원인 기술요약 스윙동작을수반하는운동에있어서장력측정이메징장치 National Institute of Fitness & Sports in Kanoya 장력을측정하는특수한장치에대한특허로막대끝에해머 ( 센서 ) 가달려특수장비를휘두르면그에따라생기는장력을측정하여무선으로컴퓨터에전달하는장치에대한특허 영상처리기법을이용한골프클리닉시스템및그것의운용방법 박찬애 신체에마커를부착하고이에대한 3차원위치를영상처리기법으로추정하여골프수련자의스윙동작에대한객관적인분석을하는방법에대한특허 골프스윙의자세분석시스템 국민대학교 산학협력단 사용자각관절에센서를부착하여각관절의위치를측정하여무선으로측정데이터를전송하여골프스윙동작분석에활용하는시스템에대한특허 골프스윙동작의동영상분석이가능한개인휴대단말기및개인휴대단말기를이용한골프스윙동작의동영상분석방법과골프레슨시스템 트라이앵글씨엔씨 골프스윙동작을촬영한데이터를가지고모바일기기에서선원, 등을사용자입력으로그려넣어골프스윙동작분석을하는시스템에대한특허 관련도 분석 조사결과 A X X Y * 관련도 : X - 관련높음, Y - 관련있음, A - 관련은없으나참고할자료 * X, Y - 주요참증에해당, A - 참고참증에해당본연구과제의제안기술은 [KR20080030265A],[KR20100080336A] 와같이센서나마커를부착하지않고뎁스카메라만을활용하여사용자각관절의 3차원위치추정과이를활용한골프동작분석을가능하게하는기술이다. 이는 3차원정보를활용하기때문에 2 차원정보를활용하는 [KR20070063010A] 와는차별성이있는데다가 [KR20070063010A] 가제공하는골프스윙동작분석을위한가시화기능도자동으로제공할수있다는장점이있다.
3. 사업성및시장성분석 1. 사업화제품화 세계적으로동작인식시장은연평균 43% 의성장세를기록하고있으나, 원천기술의 극소수기업독점과시장에보급된느콘텐츠가절대적으로부족한실정임 스포츠용품산업은첨단기술의급속한발전으로스포츠관련장비및소프트웨어의고 부가가치화및첨단화가속 동작인식기술을스포츠산업과접목함으로써시장이크게확대되고있는동작인식과 스포츠관련산업시장의시너지효과기대가능 2. 사업화방법및성공요인 스포츠산업은소득과여가시간증가에따라스포츠소비가증가하여국내스포츠시 장이확대되는동시에스포츠의글로벌화로인하여극심한글로벌경쟁에노출 국내스포츠용품산업은사업체의영세성으로기술의연구개발로인한첨단제품개 발 상품화, 해외시장진출등에대한투자부족및국제경쟁력약화 진입장벽이높은뎁스센싱기술및동작인식기술의스포츠산업도입으로세계적인 경쟁력확보가가능함 3. 국내외시장전망 1) 국내외시장규모및동향 ( 해외) 17년가상스포츠 1,810억달러시장 1% 확보로 1.97조원시장확보가능 ( 연평균 5.27% 성장) ( 국내) 17년가상스포츠 5조원시장 1% 확보로 5백억원시장확보가능 [ 국내가상스포츠및해외동작인식시장규모] ( 단위: 10 억원/10 억불) 구분 2013년 2014년 2015년 2016년 2017년 국내 1,501 2,379 3,257 4,135 5,013 해외 147 155 163 171 181 ( 출처: 국내 MCST 2013, 해외 PricewaterhouseCoopers) [ 동작인식세계시장규모] Particulars 2012 2013 2014 2015 2016 2018 2020 CAGR% (2013-2020) Revenue ($Million) Shipments (Million Units) 322.30 907.33 1,609.67 2,634.13 3,778.62 7,056.40 11,034.6 42.89 11.02 109.08 290.45 575.70 943.74 1,984.31 3,431.36 63.67 ( 출처: M&M 2014)
3. 사업성및시장성분석 2) 시장의구조, 경쟁강도및진입장벽 동작인식관련기술은 Microsoft 사가 Kinect 제품출시를통해시장을독점하고 있는상황이며출시이후제품판매량은아래의표와같음 집계일 ( 10.11 발매) Kinect 누적판매량( 백만대) 누적매출액 ( 억원) 11.1 11.3 12.1 800 1000 1900 12,480 15,600 29,640 Kinect 제품은속도, 화각, 제한적 SDK등의이유로스포츠동작분석에적용이 어려우며, 장치판매량은매우높으나적용콘텐츠는매우부족한실정임 진입장벽이매우높은 3차원공간인지를위한뎁스센싱장치기술과동작인식 기술그리고스포츠동작분석기술을융합하여시장에서확실한우위를선점할수 있는기술임 4. 사업화성공가이드 1) 사업화후보기업요건 뎁스카메라모듈제작가능업체 스포츠시뮬레이션기술보급관련업체 2) 사업화투자비용 뎁스카메라양산투자비용 3) 법적검토사항 기술이전및실시권계약범위 수익성배분협의등 / 라이센싱및공동연구범위협의 4) 희망파트너쉽 1 기술이전 ( ) 2 라이센싱 ( ) 3 공동연구 ( ) 4 기술출자 ( ) 5 기타 ( )