산학캡스톤디자인학생팀과제최종결과보고서 결과보고서는총 10page 이상작성해야합니다. 과제의특성에맞게변경하여작성가능합니다. 결과내용을산학매칭시스템 ( 업로드완료후, 화면캡쳐사진추가하세요. Ⅰ. 과제개발의목적및필요성 1. 목적및필요성가. 목적

Size: px

Start display at page:

Download "산학캡스톤디자인학생팀과제최종결과보고서 결과보고서는총 10page 이상작성해야합니다. 과제의특성에맞게변경하여작성가능합니다. 결과내용을산학매칭시스템 ( 업로드완료후, 화면캡쳐사진추가하세요. Ⅰ. 과제개발의목적및필요성 1. 목적및필요성가. 목적"

다진 근
6 years ago
Views:

1 산학캡스톤디자인학생팀과제최종보고서 과제명영상처리를이용한팔로우미 VR 셀피드론 과제기간 2018 년 4 월 1 일 ~2018 년 6 월 22 일과제비 189,000 팀명셀스타그램과제유형 일반 현장실습연계 지도교수소속임베디드시스템공학과성명최병조 구분성명학년학번소속학과 팀장이재의 임베디드시스템공학과 참여학생 팀원 김동언 임베디드시스템공학과 이주영 임베디드시스템공학과 참여기업기업명 ( 주 ) 드론스쿨산업체멘토 성명 조현준 연락처 본보고서를공학교육혁신센터산학캡스톤디자인학생팀과제최종보고서로제출합니다. 붙임 : 최종결과보고서 1 부 2018 년 6 월 22 일 대표학생 : 이재의 ( 인 ) 인천대학교공학교육혁신센터장귀하

2 산학캡스톤디자인학생팀과제최종결과보고서 결과보고서는총 10page 이상작성해야합니다. 과제의특성에맞게변경하여작성가능합니다. 결과내용을산학매칭시스템 ( 업로드완료후, 화면캡쳐사진추가하세요. Ⅰ. 과제개발의목적및필요성 1. 목적및필요성가. 목적 1) 기술적측면 - 사람이직접드론을조정하는것이아니라미리촬영대상이될사용자를등록시킨후자율적으로움직이며촬영기능을수행하는드론기술을개발한다. - 배터리의지속시간이길지않기때문에기존의드론경우신경을쓰지않거나환경의문제로배터리가생각보다더빨리닳아서추락할가능성이매우크다. 따라서배터리잔여량을드론이파악하고추락하기전사용자가다시충전시킬수있도록사용자근처로다가오는 리턴홈 의기술이필요하다. - 단순히사용자의일정거리만쫓아다니며촬영을하는 팔로우미 기능을확장하여사용자가원하는다양한각도, 거리에서촬영할수있도록하는점이중요한기술이된다. 2) 산업 / 경제적측면 - 드론은지속해서세간의이목을집중시키고있으나일반소비자분야에서아직명확한활용분야를찾지못하고있다. 그나마단순히드론을공중에날리는재미외에실용적인측면에서는드론에카메라를부착해사진및동영상촬영을하는것이가장유력한분야이다. 그러나드론을조종하는부분부터소비자들에게는어려움으로다가오기때문에드론을제어하면서사진을촬영하는것이보편화되지못한이유중한가지다. 따라서이러한조종부분을자동화하여소비자가직접조종해야하는어려움을해결하고, 드론이자율적으로사용자를따라다니며촬영할수있도록한다면드론산업의한축을맡을수있을것으로생각한다. - 액션캠이시장에서긍정적인반응을얻은것을바탕으로생각해볼때이를드론에접목시킨다면사용자가직접신체부위와장비를연결해촬영해야하는번거로움도없고, 나아가다양한각도와거리에서의촬영이가능하다는점에서더욱더액티비티한영상을만들수있다. 또한 360도촬영이가능한점을바탕으로 VR 영상으로제작이가능해과거의경험을현재에도현실감있고생동감있게체험이가능하기때문에엔터테인먼트산업에서도또다른한축을맡을수있을것으로예상한다.

나. 추진배경및필요성 1) 셀프카메라로배경과함께사용자자기자신의전신샷을찍을수있도록도와주는 셀카봉

[ 그림 1] 셀카봉사용의단점 2) 기존의촬영용드론은조종의어려움이있기때문에보통의소비자가사용하기어렵고, 보

3 나. 추진배경및필요성 1) 셀프카메라로배경과함께사용자자기자신의전신샷을찍을수있도록도와주는 셀카봉 이등장하였지만아직도사용자부터카메라까지거리의한계가존재하기때문에셀프카메라를찍는것에불편함이있다. [ 그림 1] 셀카봉사용의단점 2) 기존의촬영용드론은조종의어려움이있기때문에보통의소비자가사용하기어렵고, 보 다화면의범위가좁다. [ 그림 2] 촬영용드론사용의단점 3) 셀피드론 이자동으로사람을인식하고추적해사진과영상촬영기능을제공한다면소비 자가보다쉽게사용할수있으며, 광범위한촬영이가능하다. [ 그림 3] 셀피드론사용의장점 1 4) 단순한영상이아닌 VR 영상을제공함으로써사진을보는사람에게생생한현장감을전달 할수있다. [ 그림 4] 셀피드 론사용의장점 2

4 2. 활용성및기대효과가. 활용분야 1) 생활 : 촬영방법의불편함과, 몸에직접부착해야하는한계가있는셀카봉과액션캠그리고사용자가직접조종을해야하는기존의촬영용드론의대체품으로장소의제약을받지않고손쉬운사진및영상촬영이가능하다. 2) 산업 : 드론택배가화제되고있는가운데드론이수취인의얼굴을인식함으로써수령인에게만택배가배달되는기능을추가해택배도난의위험성을줄일수있다. 3) 안전 : input 이미지로범죄자의사진을입력한후얼굴인식을통해추적하는일종의도심속감시카메라역할을할수있다. 4) 사회 : 일과시간이끝난후사무실을돌아다니며외부침입자를감시함과동시에초과근무를하는직원을자동감지하는시스템에사용이가능하다. 나. 기대효과 1) 기존의촬영용드론과는달리해당드론은자동으로얼굴을인식한사람을팔로우하는자율주행드론이기때문에보다액티비티한경험과수려한풍광을손쉽게담을수있다. 2) 인간의시야보다좁은화각을가진기존의촬영용드론이나카메라와는달리 360도촬영을가능하게해주는 360도카메라를이용해인간의시야보다더넓은범위를영상으로담아낼수있다. 3) 녹화된영상을기반으로 VR 영상제작이가능해사용자의경험을보다현실감있게기록및추억할수있고, 경험하지못한제 3자에게간접체험의기회를제공할수있다. 4) 특정지역의자연경관을담은영상은지역사회와의공유를통해지역사회의발전에기여할수있다. [ 그림 5] 기대효과

5 Ⅱ. 과제내용및제작과정 1. 과제내용 가. 주요기능 구분기능설명 영상처리 S/W 팔로우미 사람얼굴의정면, 측면을인식하여자동으로따라다니는 기능. 영상처리 S/W VR 360 도파노라마영상촬영을통한 VR 영상제공. 드론제어 S/W 리턴홈 배터리가없을경우사용자에게돌아온다. 드론제어 + 영상처리 S/W 드론제어 + 영상처리 S/W 드론제어 + 영상처리 S/W 사용자가시야에서사라진경우 360도회전과상, 하사용자탐색이동을하면서사용자를찾아낸다. 사용자가직접조작을하지않는상황에도드론은사용자추적사용자를바라본채로떠있는상태를유지한다. 제스쳐사람의손제스쳐에따른거리및각도조정이가능하다. 나. 적용기술 1) 사람얼굴을인식하여자동으로따라다니는 follow me 기술 2) 배터리가없을경우사용자에게돌아오는 리턴홈 기술 3) 기체가일정높이에서흔들리지않고제자리비행을하는 호버링 기술 4) 360도영상을바탕으로 VR 영상을제작하는기술 다. 사용자경험설계 1) 기본작동 [ 그림 6] 기본작동 2) 사람인식이안되는경우 [ 그림 7] 사람인식이 안되는경우

6 3) 촬영시작 [ 그림 8] 촬영시작 4) 촬영종료 [ 그림 9] 촬영종료 5) 예상결과 [ 그림 10] 예상결과

7 2. 제작과정 가. 제작일정 추 진 일련번호 주요내용 추진일정 4 월 5 월 6 월 1 요구사항분석및설계 1 기간 ( 주 ) 일 정 표 2 드론제어 6 사용자인식영상처리프로그램 3 2 구현 5 테스트및보고서작성 4 6 개발에필요한 opencv 공부 8 나. 상세도면및과제사진 ( 설계도, 부품도, 제작과정으로자세히기술 ) [ 그림 11] 디자인및기구설계개념도

8 [ 그림 12] 하드웨어구현방안

Ⅲ. 결론 1. 과제개발성과가. 초기목표 1) AR 드론 2.0의주카메라를이용해사용자의얼굴을입력한다.

9 Ⅲ. 결론 1. 과제개발성과가. 초기목표 1) AR 드론 2.0의주카메라를이용해사용자의얼굴을입력한다. 2) AR 드론 2.0의주카메라를이용해영상속사람얼굴인식한다. 3) 라즈베리파이를이용해영상처리를한후, 영상속사람의얼굴이입력된사용자의얼굴과동일하다면드론을설정된좌표로이동시킨다. 4) 360 카메라를하단에부착후, 360 및 VR 영상제작한다. 5) 리턴홈및거리, 각도조정등추가기능구현한다. 나. 현재까지의수행결과다른곳에서지원받은지원금으로 360 카메라를구입했으나, 해외배송이늦어지는관계로아직까지물품을수령하지못하여 360 카메라를부착하지못했습니다. 그래서 360 카메라가도착하기전까지초기목표의 5번기능을구현하려했으나, 드론배송이늦게시작되어구현할수있는시간이계획보다많지않아구현하지못하고초기목표의 3번까지수행완료했습니다. 현재드론을 ON 시키면입력된사용자의얼굴을인식해추적하는기능을수행합니다. [ 그림 13] 결과동영상 ( 캡쳐본 )

10 [그림 14] 드론과 사용자 (제 3자 입장) 다. 앞으로의 계획 1) 360 카메라가 도착하는 즉시 계획한 하드웨어 설계대로 카메라를 드론에 부착하여 지금까지 한 결과를 이용해 360 영상과 VR 영상을 제작한다. 2) 추가 기능인 리턴 홈, 거리 조정, 각도 조정을 구현한다. 2. 문제점 및 개선방안 (작품에 대한 것뿐만 아니라, 과제수행의 전반적인 내용에 대하여 기술) 1) 자율 주행 프로그램을 테스트해 볼 공간이 충분하지 않다. -> 실내의 경우 장애물과의 충돌 가능성이 커, 실외 테스트를 주로 수행한다. 실외의 경우 바람의 영향을 크게 받아 약한 바람에도 많이 흔들리고 안정적인 동작이 어렵기 때문에 드론에 무거운 추를 추가로 적재해 균형을 맞추었다. 2) 360 카메라가 아직 도착하지 않아 최종 목표인 VR 영상을 완성시키지 못하였다. -> 360 카메라가 도착하는 즉시 설계도를 바탕으로 드론에 부착하여 VR 영상을 완성한다. 3) 사람을 인식할 수 있는 거리가 제한적이어서 사람과의 거리가 너무 멀어지거나 가까워지는 경우 드론의 행동을 예측할 수 없다. -> 일정 시간 이상 사람을 인식하지 못하면 해당 위치에서 착륙하도록 프로그램 한다. 4) 실외 테스트의 경우 호버링 시 많이 흔들린다. -> 바람에 의한 것이므로 바람의 세기가 강하지 않은 날 주로 수행하도록 한다. 360 카메라가 다소 무게가 있기 때문에 이를 부착하면 현재보다 흔들림이 감소할 것으로 예상한다. 케이스 장착 시 바람에 영향을 받는 면적이 넓어지기 때문에 최종 구현 결과 안정적인 동작을 하는 단계까지 도달하면 케이스를 사용하지 않을 것이다.

11 부록 ( 지원재료 / 시작품사진, 경진대회참여등여러컷및아이디어붐 캡쳐사진첨부 ) [ 그림 15] 드론이찍은동영상프레임을이용해 영상처리를하는라즈베리파이 [ 그림 16] 드론구성 [ 그림 17] 배터리와케이스를장착한드론

12 [ 그림 18] 아이디어붐캡쳐화면