ISSN: (Print) ISSN: X (Online) j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 논문번호

Size: px

Start display at page:

Download "ISSN: (Print) ISSN: X (Online) j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 논문번호"

하선 섭
5 years ago
Views:

1 ISSN: (Print) ISSN: X (Online) j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 논문번호 라이다와 RGB-D 카메라를이용하는교육용실내자율주행로봇시스템 Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 이수영 *, 김재영, 조세형, 신창용 * Soo-Young Lee *, Jae-Young Kim, Se-Hyoung Cho, Chang-yong Shin * Abstract We implement an educational indoor autonomous mobile robot system that integrates LiDAR sensing information with RGB-D camera image information and exploits the integrated information. This system uses the existing sensing method employing a LiDAR with a small number of scan channels to acquire LiDAR sensing information. To remedy the weakness of the existing LiDAR sensing method, we propose the 3D structure recognition technique using depth images from a RGB-D camera and the deep learning based object recognition algorithm and apply the proposed technique to the system. 요 약 본논문은라이다센싱정보와 RGB-D 카메라영상정보를융합하여이용하는교육용실내자율주행로봇시스템을구현한다. 이시스템은라이다센싱정보를획득하기위해기존의소채널라이다센싱방식을이용한다. 또한소채널라이다센싱방식의약점을보완하기위해, RGB-D 카메라깊이영상과딥러닝기반객체인식알고리즘을이용하는 3차원구조물인식방법을제안하고이시스템에적용한다. Key words:indoor Navigation, Mobile Robot, Robot Operating System (ROS), Depth Image, Deep Learning Ⅰ. 서론자율주행로봇은공간제약성에서벗어나한대의로봇만으로도여러장소에서과업을수행할수있으므로다양한분야에활용될수있다. 특히실내에서이동하며과업을수행할수있는자율주행 로봇은물품조달로봇부터간호로봇, 물류로봇, 안내로봇등으로광범위하게활용되고있다 [1]. 실내자율주행을위해로봇의이동경로에컬러테이프, 자기테이프, 혹은전기유도선과같은인프라가필요한경우작업환경이변할때마다해당인프라를재설치해야하므로작업환경변화에유 * School of Mechanical and ICT Convergence Engineering, Sun Moon University Corresponding author cyshin@sunmoon.ac.kr, Tel: This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (2017R1D1A1B ). Manuscript received Feb. 26, 2019; revised Mar. 13, 2019; accepted Mar. 14, 2019 This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License ( which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited. (44)

2 Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 45 연하게대처할수없다. 따라서최근에는로봇스스로가주변상황을인지하여자율적으로장애물을회피하며유연한길을찾아주행하는방식에대한연구가활발히진행되고있다 [2]. 이방식은자율주행을위한인프라설치가불필요하고주변상황이변하더라도소프트웨어의큰수정없이적용가능하다. 이러한자율주행을가능하게하는방법은라이다 (LiDAR:Light Detection And Ranging) 로주변장애물을센싱하는자율주행방식 [3] 과 RGB-D 또는스테레오카메라를이용하는자율주행방식 [4] 으로크게나눌수있다. 라이다를이용하는방식인경우, 다채널라이다는장애물센싱성능은좋으나가격이비싸고부피가크고무거워저가의교육용소형실내자율주행로봇에적용하기어렵다. 반면에소채널라이다는광원을 360 o 회전시켜주변장애물을파악하는방식으로 turtlebot3[5], chefbot[6] 등과같은저가의교육용소형로봇플랫폼에많이사용된다. 그러나이방식은라이다의수평방향장애물만감지할수있어계단, 경사진물체등 3차원구조물을제대로파악하기힘든단점이있다. RGB-D 또는스테레오카메라를이용한영상기반의실내자율주행방식으로는특징점기반 vslam (Visual Simultaneous Localization and Mappinig) 과비특징점기반 vslam 등이있다. 특징점기반 vslam 은 SIFT(Scale Invariant Feature Transform) [7] 또는 ORB(Oriented FAST and Rotated BRIEF) [8] 같은영상의특징점매칭을통해로봇의위치를추정한다. 그러나이방식은정확한측위를위해광범위한실내영상데이터를이용하여측위데이터베이스를구축해야하는불편함이존재한다. 또한특징점이변형되거나부족할경우성능이감소한다는단점이존재한다 [9]. 비특징점기반 vslam 은 RGB-D 또는스테레오카메라를통해포인트클라우드정보를입력받고, ICP(Iterative Closest Point) 알고리즘 [10] 을이용하여카메라의움직임을추정한다. 이움직임을기반으로여러시점에서얻어진깊이정보를융합하는방식으로 3차원지도를작성하고로봇의위치를추정하여자율주행을수행한다 [11]. 그러나이방식은전체시스템비용과복잡도를증가시켜저가의교육용소형로봇플랫폼에구현하기어려운단점이존재한다. 본논문은라이다센싱정보와 RGB-D 카메라 영상정보를융합하여이용하는교육용실내자율주행로봇시스템을구현한다. 이시스템은라이다센싱을위해기존의소채널라이다센싱방식을이용한다. 또한소채널라이다센싱방식의약점을보완하고저가의교육용자율주행로봇플랫폼에적용가능한 RGB-D 카메라영상기반자율주행방식을제안하여이시스템에채용한다. 제안한방식은 RGB-D 카메라깊이영상과딥러닝기반객체인식알고리즘인 You Only Look Once(YOLO) [12-14] 을사용하여실내자율주행에필요한 3차원구조물을감지한다. 구현한자율주행로봇시스템은제안하는방식으로감지한 3차원구조물정보와라이다센싱정보를융합하여활용함으로써기존의라이다수평방향장애물만감지하는시스템에비해우수한자율주행성능을보인다. 본논문의구성은다음과같다. 제Ⅱ장에서는구현한실내자율주행로봇시스템의구성을설명한다. 제Ⅲ장에서는제안한 RGB-D 카메라영상기반 3차원구조물인식방법과이것으로부터추출한장애물정보와라이다센싱으로부터획득한장애물정보를융합하는방식에관해기술한다. 제Ⅳ장에서는실험을통해구현한자율주행로봇시스템의성능을평가하고제Ⅴ장에서결론맺는다. Ⅱ. 실내자율주행로봇시스템설계 SLAM(Simultaneous localization and mapping) 과내비게이션, 3차원구조물인식기능을통해실제실내환경에서자율주행이가능한 ROS 기반의이동로봇을다음과같이자체제작하였다. 그림 1 은제작한실내자율주행로봇시스템의구성을보인다. 실내자율주행로봇시스템은크게위치추정부 (Location estimation) 와 3차원구조물인식부 (3D structure recognition) 를포함하는이동로봇과이동로봇외부에서이동로봇에제어명령을전송하는원격제어부 (Remote control) 로구성된다. 이동로봇내의위치추정부와 3차원구조물인식부는이동로봇의자세계측정보와주변장애물계측정보를수집한다. 수집된정보는자율주행에유용한정보로가공되어 ROS(Robot Operating System) 를통해와이파이통신으로원격제어부 PC에전송된다. 이정보들은원격제어부 PC 상의 ROS에서실시간으로통합되어 SLAM과내비게이 (45)

3 46 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 Fig. 1. Indoor autonomous navigation robot system. 그림 1. 실내자율주행로봇시스템 션명령을계산하고결과를와이파이통신을통해다시이동로봇에전송한다. 이동로봇은이러한내비게이션명령수행결과를바탕으로자율주행을수행하게된다. 각기능부의상세설계를살펴보면다음과같다. 위치추정부는장애물회피주행과지도작성을위해라이다로이동로봇주변장애물정보를수집한다. 그리고 IMU(Inertial Measurement Unit) 와휠엔코더 (Wheel encoder) 통해시간경과에따른이동로봇의위치변화를추정한다. 이를위해먼저 Tiva C LaunchPad에서 IMU에서얻어온관성데이터에매드윅 (Madgwick) 필터링 [15] 을수행하여이동로봇의회전상태를나타내는쿼터니언 (Quaternion) 을구한다. 또한, 바퀴이동량을휠엔코더값으로받아와 2계룽게-쿠타데드레커닝 (second order Runge-Kutta Dead Reckoning) 을수행하여이동로봇의대략적인위치를추정한다. 다음단계로이동로봇의쿼터니언과데드레커닝값을융합하여오도메트리 (Odometry) 를계산하고그결과를 Odroid XU4상의 ROS를통해원격제어부의 PC에전달한다. 3차원구조물인식부는 RGB-D 카메라로부터얻은깊이 (Depth) 정보와딥러닝 (Deep learning) 기반객체인식알고리즘을사용하여 3차원구조물의상대적인위치와방향을구한다. 본시스템에서는원거리까지정밀한깊이정보를획득하기위해, 최대깊이정보가짧은 ToF(Time of Flight) 방식대신능동적외선스테레오기법을사용하는인텔사의 RealSense D435 모델의 RGB-D 카메라를사용 한다. 이카메라는최대 10m까지의깊이정보를획득할수있다. 또한, NVIDIA TX2에서는두단계로 3차원구조물인식을수행한다. 첫번째단계로 RGB-D 카메라로부터획득한깊이정보에따라거리가가까운영역만보이도록 RGB 영상을전처리한다. 두번째단계에서는전처리된영상에딥러닝기반물체인식알고리즘인 YOLO(You Only Look Once) 를적용한다. YOLO 수행결과로 3차원구조물이인식되면 YOLO 외곽사각형 (Bounding box) 의시작좌표와높이, 너비정보를획득한다. 이러한외곽사각형정보를바탕으로외곽사각형내부의깊이정보도획득한다. 이렇게획득한 YOLO 외곽사각형정보와 YOLO 외곽사각형내부깊이정보는 ROS를통해 NVIDIA TX2에서원격제어부로전송된다. 그리고원격제어부 PC는전송받은 3차원구조물의 YOLO 외곽사각형정보와 YOLO 외곽사각형내부깊이정보를바탕으로 3 차원구조물의위치를파악한다. ROS 노드를통해원격으로이동로봇을조종하는원격제어부는이동로봇내의위치추정부와 3 차원구조물인식부로부터전송된오도메트리, TF (Transform), 3차원구조물의위치등의정보를이용하여 ROS 기반 SLAM을수행하고이동로봇으로내비게이션제어명령을전달한다. 원격제어부와이동로봇간의모든정보는와이파이인터페이스를통해전송된다. 또한원격제어부는사용자가이동로봇의현상황을 GUI환경에서실시간으로확인할수있는제어편의성을제공한다. 그림 2는본논문에서구현한이동로봇을보인다. (46)

Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 47 이로봇은 ROS 기반 SLAM 패키지인 Gmapping

Fig. 3. Navigation using LiDAR based obstacle recognition. 그림 3. 라이다기반장애물인식을이용한내비게이션 Fig. 2. Implemented mobile robot.

라이다를이용한 SLAM과내비게이션 RGB-D 카메라를통해 3차원구조물을인식하고자율주행에적용하기에앞서, XY 평면상의 2차원장애물계측센서로라이다만을이용하는 SLAM 과내비게이션을구현한다. 이구현을설명하면다음과같다.

원격제어부는전송된오도메트리정보에따라이동로봇조인트에부착된센서의위치를나타내는 TF를생성하고생성된이동로봇의 TF와라이다로계측한 2차원스캔정보를기반으로 SLAM 을실행한다.

본시스템에서는정확한위치추정을위해파티클 (particle) 필터와칼만 (Kalman) 필터를동시에사용하는 RBPF(Rao- Blackwllized particle filter) 기반 Gmapping SLAM [16]

4 Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 47 이로봇은 ROS 기반 SLAM 패키지인 Gmapping (Grid-Mapping) 을사용하기위해차동구동형이동로봇으로제작되었다. 다음은본논문에서구현한이동로봇이수행하는세부적인 3차원구조물인식방법들에대해기술한다. 평방향으로추가적인장애물이나타나더라도장 애물을즉각인식하고회피한다. Fig. 3. Navigation using LiDAR based obstacle recognition. 그림 3. 라이다기반장애물인식을이용한내비게이션 Fig. 2. Implemented mobile robot. 그림 2. 구현된이동로봇 Ⅲ. 라이다와 RGB-D 카메라를이용한장애물인식 1. 라이다를이용한 SLAM과내비게이션 RGB-D 카메라를통해 3차원구조물을인식하고자율주행에적용하기에앞서, XY 평면상의 2차원장애물계측센서로라이다만을이용하는 SLAM 과내비게이션을구현한다. 이구현을설명하면다음과같다. 먼저 IMU와휠엔코더등의모션센서로획득한오도메트리정보를원격제어부에전송한다. 원격제어부는전송된오도메트리정보에따라이동로봇조인트에부착된센서의위치를나타내는 TF를생성하고생성된이동로봇의 TF와라이다로계측한 2차원스캔정보를기반으로 SLAM 을실행한다. 이동로봇은 SLAM을통해움직이면서주변을감지하고현재위치를추정하며그와동시에원하는지도를작성한다. 본시스템에서는정확한위치추정을위해파티클 (particle) 필터와칼만 (Kalman) 필터를동시에사용하는 RBPF(Rao- Blackwllized particle filter) 기반 Gmapping SLAM [16] 을사용한다. 그림 3은실내에서 SLAM을통해얻은지도위에내비게이션명령을수행한결과를보인다. 이와같이작성된지도안에서목표위치를설정해주면이동로봇이자율적으로주행한다. 또한라이다수 그러나이동로봇에설치된라이다의높이에비해상대적으로낮은장애물들은라이다의수평방향에서제대로감지되지못하고충돌하는상황이발생한다. 이러한문제를해결하고자본시스템에서는라이다를이용한 2차원평면계측뿐만아니라 RGB-D 카메라정보를이용하여 3차원구조물인식도동시에수행한다. 다음은 RGB-D 카메라에서획득한깊이정보와딥러닝알고리즘을이용하여 3 차원구조물위치를인식하는과정을기술한다. 2. 제안한깊이영상과 YOLO를이용한 3차원구조물인식 Fig. 4. The process of extracting 3D structure information. 그림 4. 3차원구조물정보추출과정 (47)

48 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 Fig. 5. Darknet-19 YOLO architecture. 그림 5.

첫번째단계에서는 RGB 영상을깊이정보에따라가까운영역만취득하여배경을흰색으로치환하는전처리과정을수행하여 YOLO 입력영상을생성한다. 생성과정을구체적으로기술하면, 먼저 RGB-D 카메라를통해깊이영상과 RGB 영상을동시에획득한다. 그리고깊이영상과 RGB 영상을서로매칭하여 RGB 영상에서멀리떨어진배경을흰색으로치환한다.

이알고리즘은실시간객체검출을위해입력영상을여러개의그리드셀로나누어단일컨볼루션네트워크 (convolution network) 를실행한다. 또한입력영상을단일컨볼루션네트워크에 1회만적용하여여러개의외곽사각형과외곽사각형안에객체가존재할확률을신속하게계산한다.

5 48 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 Fig. 5. Darknet-19 YOLO architecture. 그림 5. Darknet-19 YOLO 구조 라이다만을장애물계측센서로사용할때발생하는취약점을보완하기위해 RGB-D 카메라깊이정보와딥러닝기반객체인식알고리즘인 YOLO 를이용하여 3차원구조물인식을수행한다. 깊이영상과 YOLO를통한 3차원구조물인식은그림 4 와같이단계적으로진행된다. 첫번째단계에서는 RGB 영상을깊이정보에따라가까운영역만취득하여배경을흰색으로치환하는전처리과정을수행하여 YOLO 입력영상을생성한다. 생성과정을구체적으로기술하면, 먼저 RGB-D 카메라를통해깊이영상과 RGB 영상을동시에획득한다. 그리고깊이영상과 RGB 영상을서로매칭하여 RGB 영상에서멀리떨어진배경을흰색으로치환한다. 그러면배경오차 (Background error) 를줄이고가장가까이있는장애물을우선적으로판별하게할수있다. 두번째단계에서는전처리한 RGB 영상을딥러닝기반객체인식알고리즘인 YOLO의입력으로사용하여 3차원구조물인식을수행한다. YOLO는 GoogLeNet 모델을기반으로하는실시간탐지딥러닝알고리즘이다. 이알고리즘은실시간객체검출을위해입력영상을여러개의그리드셀로나누어단일컨볼루션네트워크 (convolution network) 를실행한다. 또한입력영상을단일컨볼루션네트워크에 1회만적용하여여러개의외곽사각형과외곽사각형안에객체가존재할확률을신속하게계산한다. 본시스템에서는 19개의컨볼루션레이어와 5개의맥스풀링레이어로구성된 Darknet- 19 YOLO 모델 [17] 을사용한다. 그림 5는사용한 Darknet-19 YOLO 구조와이를이용한 YOLO 수행결과영상을나타낸다. 인식한 3차원구조물에외곽사각형이생성한모습을보여준다. 그림 6은첫번째와두번째단계에서기술한바와같이 RGB 영상과깊이영상을이용하여가까운물체만검출하고이영상을 YOLO에입력하여 3차원구조물을인식하는절차예시를보인다. 두번째단계에서는인식한 3차원구조물의외곽사각형좌표와외곽사각형내부영역의깊이정보를깊이영상에서추출하여다음단계로전달된다. Fig. 6. An example showing 3D object recognition procedure. 그림 6. 3차원구조물인식절차를보이는예마지막으로세번째단계에서는외곽사각형좌표와내부깊이정보를바탕으로깊이영상을가공한다. 즉, YOLO에서인식한외곽사각형좌표에해당하는동일한영역을깊이영상에도외곽사각 (48)

Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 49 형으로표시한다. 그러고나서깊이영상에표시한 YOLO 외곽사각형의중심이깊이영상의계측라인상에놓이도록이외곽사각형을 Y축방향으로이동시킨다.

Comparison of scan information. 그림 7. 스캔정보의비교다음과정으로가공한깊이영상에 ROS 패키지를적용하여 3차원구조물에대한깊이카메라스캔정보를추출한다. 깊이카메라스캔정보와라이다스캔정보를비교하면, 깊이카메라스캔정보는 3차원구조물을인식하고분해능이높으나계측범위는좁다.

또한, 3차원구조물을인식하는깊이카메라스캔정보와라이다스캔정보가겹치는구간에서는자율주행안정성을위해두개의데이터를비교하여거리가상대적으로가까운정보를우선적으로선택한다. 그리고넓은범위에서장애물을계측할수있도록깊이카메라스캔계측범위에서벗어나는구간은라이다스캔정보로채워통합한다. 이렇게생성된통합스캔정보를기반으로 SLAM과내비게이션을운용한다. 그림 7에서는계측된스캔정보가서로비교된다.

6 Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 49 형으로표시한다. 그러고나서깊이영상에표시한 YOLO 외곽사각형의중심이깊이영상의계측라인상에놓이도록이외곽사각형을 Y축방향으로이동시킨다. 그리고깊이영상에서해당영역을이동된 YOLO 외곽사각형내부의깊이정보로대체하여깊이영상을가공한다. (a) Experiment environment with obstacles (b) Depth camera scan information (c) LiDAR scan information (d) Integrated scan information Fig. 7. Comparison of scan information. 그림 7. 스캔정보의비교다음과정으로가공한깊이영상에 ROS 패키지를적용하여 3차원구조물에대한깊이카메라스캔정보를추출한다. 깊이카메라스캔정보와라이다스캔정보를비교하면, 깊이카메라스캔정보는 3차원구조물을인식하고분해능이높으나계측범위는좁다. 즉, 깊이카메라스캔정보는 RGB-D 카메라의화각에따라제한된범위내에서 인식을수행하지만, 라이다는 360 o 전방위에대해측정을수행한다. 따라서 3차원장애물을인식하면서동시에계측범위도넓은스캔정보를획득하기위해깊이카메라스캔정보와라이다스캔정보를융합한다. 두스캔정보를융합할때정합성을위해분해능이상대적으로낮은라이다스캔분해능에맞추어융합한다. 또한, 3차원구조물을인식하는깊이카메라스캔정보와라이다스캔정보가겹치는구간에서는자율주행안정성을위해두개의데이터를비교하여거리가상대적으로가까운정보를우선적으로선택한다. 그리고넓은범위에서장애물을계측할수있도록깊이카메라스캔계측범위에서벗어나는구간은라이다스캔정보로채워통합한다. 이렇게생성된통합스캔정보를기반으로 SLAM과내비게이션을운용한다. 그림 7에서는계측된스캔정보가서로비교된다. 즉, 그림 7(a) 는다양한장애물이존재하는실험환경을보이고그림 7(b)-(d) 는이환경에서계측한깊이카메라스캔정보, 라이다스캔정보, 통합스캔정보등을각각나타낸다. 그림 7(b) 에서보는바와같이, 깊이카메라스캔정보로부터 3차원장애물의위치를확인할수있음을알수있다. 또한 RGB-D 카메라의한정된화각으로인해제한된전방범위만계측됨을확인할수있다. 반면에그림 7(c) 에서보는바와같이라이다스캔으로장애물을계측하는경우, 360 o 전방위로장애물거리를측정하지만, 상대적으로높이가낮은 3차원구조물을인식하지못함을알수있다. 그림 7(d) 에서보는통합스캔정보는전방위로장애물을계측함과동시에전면에있는 3차원구조물도잘인식함을보여준다. 따라서라이다스캔정보과깊이카메라스캔정보의장점들만을취하는통합스캔정보는단일스캔정보의단점을극복하여자율주행에유용하게사용될수있다. Ⅳ. 실험및결과분석 1. 실험환경본장에서는구현한이동로봇의실내자율주행성능을평가한다. 이를위해라이다스캔정보만을이용하는자율주행실험과통합스캔정보를이용하는자율주행실험을하여성능을비교하였다. 이실험을위해 SLAM과내비게이션을제어하는이 (49)

50 j.inst.korean.electr.electron.eng.vol.23,no.

메모리사양의노트북컴퓨터를사용하고원격제어부운영체제로는리눅스 Ubuntu 16.

YOLO에서 3차원구조물인식모델을생성하기위해 3차원구조물영상 375장을이용하여학습을진행하였다. 이때초기학습률은 0.

학습반복횟수는 45,000회로하며, 유동적으로학습속도를조절하기위해학습반복횟수에따라학습률을조정한다.

자율주행시필요한실내지도는 Gmapping SLAM 알고리즘으로작성하였다.

을통해충돌가능한장애물을회피하고목표지점에도달하는내비게이션스택을이용하였다. 2.

그림 8(b) 과 (c) 는첫번째실내환경`에서계측한정보에따라수행한자율주행결과를나타내고그림 8(e) 과 (f)

라이다스캔만을이용하여자율주행을수행한결과인그림 8(b) 과 (e) 는이동로봇이경로상의 3차원장애물을인지하지못해이것과충돌함을보인다.

반면에통합스캔정보를활용하여자율주행을수행한결과인그림 8(c) 과 (f) 는이동로봇이경로상에있는

이것으로부터기존소채널라이다센싱방식과 RGB-D 카메라정보를결합하여이용하는제안방식의유용성을확인할수있다.

7 50 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 동로봇의원격제어부는 Intel i7-7700hq 프로세서와 16GB 메모리사양의노트북컴퓨터를사용하고원격제어부운영체제로는리눅스 Ubuntu LTS와메타운영체제인 ROS Kinetic Kame 버전을이용하였다. YOLO에서 3차원구조물인식모델을생성하기위해 3차원구조물영상 375장을이용하여학습을진행하였다. 이때초기학습률은 0.001, 감쇠율 (Decay) 은 , 기울기보정값인모멘텀 (Momentum) 은 0.9 로설정하였다. 학습반복횟수는 45,000회로하며, 유동적으로학습속도를조절하기위해학습반복횟수에따라학습률을조정한다. YOLO 3000회, 4000회학습시마다학습률에 0.1을곱해주어학습속도를조정하였다. 자율주행시필요한실내지도는 Gmapping SLAM 알고리즘으로작성하였다. 그리고실내자율주행알고리즘은동적윈도우접근 (Dynamic Window Approach) 을통해충돌가능한장애물을회피하고목표지점에도달하는내비게이션스택을이용하였다. 2. 실험결과분석실험은그림 8(a) 과 (d) 에주어진두가지실내환경에서라이다스캔과통합스캔으로계측한정보를활용하여진행하였다. 그림 8(b) 과 (c) 는첫번째실내환경`에서계측한정보에따라수행한자율주행결과를나타내고그림 8(e) 과 (f) 는두번째실내환경에서계측한정보에따라수행한자율주행결과를보인다. 라이다스캔만을이용하여자율주행을수행한결과인그림 8(b) 과 (e) 는이동로봇이경로상의 3차원장애물을인지하지못해이것과충돌함을보인다. 이로인해이동로봇은주행계획경로를따르지못하고동작이멈추는오류가발생하였다. 반면에통합스캔정보를활용하여자율주행을수행한결과인그림 8(c) 과 (f) 는이동로봇이경로상에있는 3차원장애물을정확하게인식하고회피하여목표지점에안정적으로도달함을나타낸다. 이것으로부터기존소채널라이다센싱방식과 RGB-D 카메라정보를결합하여이용하는제안방식의유용성을확인할수있다. 따라서이동로봇에제안한방식을채용함으로써다양한 3차원장애물을정밀하게계측하고회피하여효과적으로자율주행을수행하는것이가능하다. (a) The first experiment for indoor autonomous navigation (b) Navigation using only LiDAR scan (c) Navigation using integrated scan (d) The second experiment for indoor autonomous navigation (e) Navigation using only LiDAR scan (f) Navigation using integrated scan Fig. 8. Experiments for indoor autonomous navigation avoiding 3D structure. 그림 8. 3차원구조물을회피하는실내자율주행실험 (50)

8 Educational Indoor Autonomous Mobile Robot System Using a LiDAR and a RGB-D Camera 51 Ⅴ. 결론 2차원평면상의장애물만을감지할수있는기존소채널라이다스캔방식의단점을보완하고자 RGB-D 카메라영상과딥러닝기반객체인식알고리즘을이용하는 3차원구조물계측방법을제안하였다. 또한기존라이다스캔방식과제안방식을통합하는스캔방식을채용하는교육용실내자율주행로봇시스템을구현하였다. 통합스캔방식은 2차원평면상의장애물뿐만아니라 3차원구조물도정밀하게계측할수있으므로기존소채널라이다스캔방식보다안정적인자율주행을가능하게한다. 실험을통해통합스캔방식을채용하는시스템이기존의라이다스캔방식을이용하는시스템보다우수한자율주행성능을보임을확인하였다. 향후에는이동로봇과원격제어부간의무선통신방식에전이중혹은비직교다중접속방식을적용하여정보전송속도및전송지연을개선하고자한다. References [1] K. T. Park and D. H. Kim, Technology trend of smart mobile robot, Proc. 13th Int. Conf. Control, Automation and Systems (ICCAS 2013), pp , DOI: /ICCAS [2] S. H. Kim, Trend of robot vision technology for intelligent mobile robot, J. Korea Robot. Soc., vol. 9 no. 1, pp , [3] I. H. Hwang and K. G. Kim, Implementation and evaluation of a robot operating system-based virtual Lidar driver, KIISE Trans. Computing Practices, vol. 23, no. 10, pp , DOI: /KTCP [4] J.S. Kim, RGB-D camera application research trend, J. Korea Robot. Soc., vol. 8, no. 3, pp , [5] U. S. Pyo, TurteBot3 ROBOTIS e- Manual, /overview/ [6] L. Joseph, GitHub Learning Robotics using Python Chefbot_ROS_pkg, qboticslabs/chefbot_ros_pkg [7] H. Y. Chen, D. Sun, J. Yang, and W. Shang, Orientation correction based monocular SLAM for a mobile robot, Proc. the 2008 IEEE/ASME Int. Conf. Advanced Intelligent Mechatronics, pp , DOI: /AIM [8] E. Rublee, V. Rabaud, K. Konolige, and G. Bradski, ORB: An efficient alternative to SIFT or SURF, Proc. IEEE Int. Conf. Comput. Vision, pp , DOI: /ICCV [9] B. Kwon, D. H. Jeon, J. Y. Kim, J. H. Kim, D. Y. Kim, H. W. Song, and S. H. Lee, Framework implementation of image-based indoor localization system using parallel distributed computing, J. Korean Inst. Commun. Inf. Sci., vol.41, no.11, pp , [10] C. A. Kapoutsis, C. P. Vavoulidis, and I. Pitas, Morphological iterative closest point algorithm, IEEE Trans. Image Process., vol. 8, no. 11, pp , DOI: / [11] T. J. Oh, S. W. Chung, K. Y. Jung, P. L. Yoon, J. H. Kim, and H. Myung, Robot navigation and SLAM technology: Application examples of SLAM technology in various environments, J. Korea Robot. Soc., vol. 15, no. 2, pp , [12] A. Krizhevshy, I. Sutskever, and G. Hinton, Imagenet classification with deep convolutional neural networks, Advances in Neural Information Processing Systems, pp , [13] J. C. Redmon, Darknet Neural Network Framework, [14] J. Redmo, S. Divvala, R. Girshick, and A. Farhaid, You Only Look Once: Unified, real-time object detection, Proc. The IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp , [15] S. Madgwick, A. Harrison, and A. Vaidyanathan, Estimation of IMU and MARG orientation using a gradient descent algorithm, Proc. IEEE Int. Conf. Rehabil. Robot, pp. 1-7, DOI: /ICORR (51)

52 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 [16] G. Grisetti, C. Stachnniss, and W. Burgard, Open SLAM gmapping, https://openslam-org.

Computer Vision and Pattern Recognition (CVPR), pp. 7263-7271, 2017.

2006:PhD degree in Electrical & Computer Engineering, University of Texas at Austin. 1995~2001:Senior Research Engineer, LG Electronics.

Soo-Young Lee (Member) 2019:BS degree in Information and Communications Engineering, Sun Moon University Jae-Young Kim (Member) 2019:BS degree in

9 52 j.inst.korean.electr.electron.eng.vol.23,no.1,44 52,March 2019 [16] G. Grisetti, C. Stachnniss, and W. Burgard, Open SLAM gmapping, [17] J. Redmon and A. Farhadi, YOLO9000: Better, faster, stronger, Proc. The IEEE Conf. Computer Vision and Pattern Recognition (CVPR), pp , BIOGRAPHY Changyong Shin (Member) 1993:BS degree in Electrical Engineering, Yonsei University. 1995:MS degree in Electrical Engineering, Yonsei University. 2006:PhD degree in Electrical & Computer Engineering, University of Texas at Austin. 1995~2001:Senior Research Engineer, LG Electronics. 2007~2014:Principal Research Engineer, Samsung Electronics. 2014~:Professor, Sun Moon University. Soo-Young Lee (Member) 2019:BS degree in Information and Communications Engineering, Sun Moon University Jae-Young Kim (Member) 2019:BS degree in Information and Communications Engineering, Sun Moon University Se-Hyoung Cho (Member) 2004:BS degree in Electronic and Electrical Engineering, University of Seoul. 2007:MS degree in Electric and Electronic Engineering, KAIST. 2016:PhD degree in Robotics program, KAIST. 2017~:Assistant Professor, Division of Mechanical and ICT Convergence Engineering, Sunmoon University. (52)

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2

2 : 3 (Myeongah Cho et al.: Three-Dimensional Rotation Angle Preprocessing and Weighted Blending for Fast Panoramic Image Method) (Special Paper) 23 2 (Special Paper) 232, 2018 3 (JBE Vol. 23, No. 2, March 2018) https://doi.org/10.5909/jbe.2018.23.2.235 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) 3 a), a), a) Three-Dimensional Rotation Angle Preprocessing