KOrea RObot Standard forum 지능형로봇표준포럼표준 제정일: 2009 년 12 월 15 일 - KOROS 1071-2:2012 - 개정일: 2012 년 mm 월 dd 일 실내 서비스로봇을 위한 물체 인식 성능평가 2부: 영상 데이터베이스를 활용한 평가 (Performance evaluation of object recognition algorithm for indoor service robots - Part 2: Evaluation based on image database) 지능형로봇 표준포럼
지능형로봇 표준포럼 운영위원회 명단 성 명 직 위 소 속 (위원장) 문승빈 교수 세종대학교 (위 원) 이순걸 교수 경희대학교 임용기 사무관 지식경제부 양승배 연구관 기술표준원 임성수 교수 경희대학교 정인철 책임 한국전자통신연구원 조영조 책임 한국전자통신연구원 심재홍 교수 한국산업기술대학교 전병태 교수 한경대학교 유원필 팀장 한국전자통신연구원 문전일 연구부장 대구경북과학기술원 권용관 팀장 노틸러스효성 김석중 본부장 주식회사 이디 김영욱 센터장 전자부품연구원 김형철 상무 동부로봇 단병주 수석 LG전자 류영선 단장 한국생산기술연구원 박성주 부사장 유진로봇 박영준 수석 삼성중공업 박종환 책임 LG Display 박철휴 실장 한국로봇산업진흥원 박홍성 교수 강원대학교 신우철 연구소장 로보스타 이정엽 부장 현대로템 조영훈 본부장 한국로봇산업협회 허광학 상무 삼성테크윈 홍영기 전무 로보테크 (간 사) 황철종 책임 한국로봇산업협회 제정자 : 지능형로봇 표준포럼 의장 제 정 : 20XX년 XX월 XX일 확 인 : 원안작성자 : 지능형로봇 표준포럼 SC 7(주행) 분과위원회 심의회 : 지능형로봇 표준포럼 운영위원회 (위원장 : 문승빈) 이 표준의 내용 중 일부 또는 전체가 특허권에 의해 보호받는 것일 수도 있습니다. 지능형로봇 표준포럼은 이 표준과 관련된 어떤 특허권에 대해서도 그 존재를 인식하여 고지할 책임이 없음을 알려드립니다. 만약 이 표준과 관련된 특허의 존재가 인지된 경 우 지능형로봇 표준포럼 사무국에 고지하여 주시기 바랍니다. 이 규격에 대한 의견 또는 질문은 지능형로봇 표준포럼 사무국(전화 02-780-3060)으로 연락하여 주십시오. 또한 단체표준규격은 지능형로봇 표준포럼 운영규정 26조에 따라 운영위원회에 심의되어 제정, 개정 또는 폐지됩니다. - 2 -
서 문 1. 표준의 목적 본 규격은 실내에서 사용되는 서비스로봇의 물체인식 성능을 평가하기 위해 제정되었 다. 실내 서비스로봇은 의도된 작업을 수행하기 위하여 항상 현재 자신의 위치를 인 식하는 것이 중요하다. 자신의 위치를 인식함에 있어서 물체를 인식하는 것이 중요한 요소 중의 하나이다. 따라서, 이러한 물체인식의 성능을 평가하게 되면 해당 알고리즘 을 평가하는데 객관적인 지표로 사용할 수 있다. 2. 참고권조 및 표준 2.1 국제표준 해당사항 없음 2.2 국내표준 해당사항 없음 3. 타 표준과의 관련성 3.1 타 국내표준과의 관련성 1. KOROS 1071-1 (실내 서비스로봇을 위한 물체인식 성능평가 시험환경에서의 물체인 식 성능평가) 이 시험환경에서의 성능평가 절차를 규정하고 있다면, 본 표준은 영상 데이터베이스를 활용한 물체인식 성능평가 절차를 규정하고 있다. 3.2 타 국제표준과의 관련성 해당사항 없음 4. 지적재산권 인지 관련사항 해당사항 없음 5. 적합인증 관련사항 해당사항 없음 6. 표준의 이력 본 표준은 2009년에 최초로 제정되었다. 2012년에 영상 데이터베이스의 영상의 개수 를 기존의 3개에서 6개로 확장하고, 또한 복잡배경 영상의 수 및 복합조건을 추가하는 것을 기본으로 개정되었다. 본 표준에서 적용된 절차를 적용하기 위하여서는 KOROS 웹페이지에서 제공되는 OFEX (Object Feature EXtraction) 영상 데이터베이스를 활용 하는 것이 필수이다. 향후에는, 물체의 수를 증가하여 데이터베이스의 객관성을 제고 할 필요가 있다. - 3 -
개정된 내용에 대한 표시는 다음과 같다 - 변경 후 내용 : 빨간색 글씨 실내 서비스로봇을 위한 물체 인식 성능평가 - 2부: 영상 데이터베이스를 활용한 평가 Performance evaluation of object recognition algorithms for indoor service robots - Part 2: Evaluation based on image database 1. 적용범위 본 표준은 다양한 조건 변화를 적용한 영상 데이터베이스를 사용하여, 실내에서 사용되는 로봇의 물체 인식 성능을 평가 하는 방법을 규정한다. 2. 인용규격 다음의 인용규격은 이 규격의 적용을 위해 필수적이다. 발행연도가 표기된 인용규격은 인용된 판 만을 적용한다. 발행연도가 표기되지 않은 인용규격은 최신판(모든 추록을 포함)을 적용한다. KS A 3011 조도기준 3. 정의 본 표준에서 사용하는 정의는 다음을 따른다. 3.1. 영상(Image) 카메라로 촬영하여 얻어진 2 차원 픽셀(pixel) 데이터. 3.2. 기준영상(Reference Image) 모든 시험에서 비교 기준으로 사용되는 영상. 3.3. 입력영상(Input Image) 각 시험에서 기준영상과 비교하여 성능을 측정하기 위하여, 다양한 조건 변화를 적용한 영상. 3.4. 특징점(Feature) 영상이 가지고 있는 특성을 알고리즘을 통해 정보로 변환 한 것으로, 예를 들어 점, 선 또는 원 등으로 나타낼 수 있다. 본 표준에서 사용되는 정보는 점을 기준으로 한다. 4. 시험 조건 시험은 총 6 가지(거리, 자세, 조도, 가려짐, 복합조건, 복잡배경)로 구성되며 각각의 시험을 위한 영상 들이 데이터베이스 형태로 제공된다. 영상을 촬영하기 위한 환경은 그림 1 과 같다. 카메라의 위치 및 회전 각도를 측정하기 위해 촬영 대상을 기준으로 하는 오른손 직교 좌표계를 사용하였다. 조명 장치는 지상에서 1 m 위에 위치시 키며, 촬영 대상과 카메라는 지상에서 0.7 m 위에 위치시킨다. 거리 변화가 없는 시험(자세, 조도, 가려짐, 복잡배경)의 경우 카메라와 촬영 대상간의 거리를 항상 1 m 로 유지 하였으며, 조도 변화 - 4 -
가 없는 시험(거리, 자세, 가려짐, 복잡배경)의 경우 조도를 항상 200 lx 로 유지 하였다. 그림 1. 촬영 환경 그림 2 는 시험에 사용되는 기준 영상을 보여준다. 촬영 대상마다 한 개의 기준 영상이 사용되며 기준 영상 촬영 시 촬영 대상과 카메라 사이의 거리는 1m, 조명은 200 lx 를 유지하였다. 시험에 사용되는 영상들은 집합 A 로 명명하며 이 들은 다시 촬영 대상에 따라 집합 A1, A2, A3,, A28, A29, A30으로 나눠진다. A7부터는 A3까지 추가될 예정인 물체의 예 그림 2. 기준 영상 (A1, A2, A3, A4, A5, A6, A7) 성능 측정을 위해 같은 종류의 다른 사물 입력 영상 집합이 요구된다. 이 영상 집합은 위의 시험 - 5 -
에서 사용된 촬영 대상과 유사한 촬영 대상으로 구성되어 있다. 두 가지의 영상집합을 구분하기 위해 새로운 영상 집합을 집합 B 로 정의 한다. 집합 B 또한 집합 A 와 마찬가지로 30가지(B1, B2, B3,, B28. B29, B30)로 나뉘며 각각 50장으로 구성된다. 그림 3 은 집합 B 의 영상 집합 중 일부를 보여주고 있다. B7부터는 B3까지 추가될 예정인 물체의 예 그림 3. 집합 B 의 일부 영상들 (B1, B2, B3, B4, B5, B6, B7) 제공되는 영상들은 시험의 편의를 위해 일련의 이름을 가지게 된다. 집합 A 의 경우는 표 1 과 같은 의미를 가진 값들이 a_b_c_d_e_f 의 형태로 구성된다. - 6 -
표 1. 영상들의 이름 구성 (집합 A) 의미 a 촬영 대상의 식별자 (A1, A2, A3,, A28, A29, A30) b 촬영 대상과 카메라 사이의 거리 (0.5, 1.0, 1.5) c 카메라의 자세 (자세 종류 : R, P, Y 회전 방향 : +, - 회전 각도 : 20, 45) d 조도 (60, 100, 200, 400) e 가려진 범위 (0, 0.25, 0.5, 0.75) f 복잡배경 (001, 002, 003, 004, 005) g 복합조건(001, 002,..., 010) 집합 B 의 경우는 표 2 와 같은 의미를 가진 값들이 a_b 의 형태로 구성된다. 표 2. 영상들의 이름 구성 (집합 B) 의미 a 촬영 대상의 식별자 (B1, B2, B3,, B28, B29, B30) b 영상의 순서 (001, 002, 003,..., 050) 5. 시험 방법 5.1 거리 변화 시험 본 시험은 카메라와 촬영 대상간의 거리 변화가 알고리즘에 미치는 영향을 확인하기 위한 시험이 다. 그림 1 의 카메라와 촬영 대상간의 거리를 표 3 에서 제시한 거리가 되도록 카메라를 이동 시 켜 기준 영상보다 멀거나 가깝도록 촬영하여 이를 입력 영상으로 사용하였다. 표 3. 거리 조건 근거리 기준 원거리 거리 (m) 0.5 1.0 1.5 그림 4 에서는 거리 변화 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 7 -
그림 4. 거리 변화 시험용 입력 영상 (근거리, 기준, 원거리) 5.2 자세 변화 시험 본 시험은 촬영 대상을 바라보는 카메라의 자세 변화가 알고리즘에 미치는 영향을 확인하기 위한 시험이다. 그림 1 의 촬영 대상을 기준으로 하는 오른손 좌표계의 축을 기준으로 표 4 에서 제시 한 각도만큼 카메라를 회전 시켜 촬영하여 이를 입력 영상으로 사용한다. 표 4. 자세 조건 자세 (축) Roll (x) Pitch (y) Yaw (z) +20 +45 +45 회전 각도 ( ) -20-45 -45 그림 5, 6, 7 에서는 자세 변화 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 8 -
그림 5. 자세 변화 시험용 영상 (R+20, 기준, R-20) - 9 -
그림 6. 자세 변화 시험용 영상 (P+45, 기준, P-45) - 10 -
그림 7. 자세 변화 시험용 영상 (Y+45, 기준, Y-45) 5.3 조도 변화 시험 본 시험은 촬영 대상 주변의 조도 차이로 인한 조명 변화가 알고리즘에 미치는 영향을 확인하기 위한 시험이다. 표 5 에서 제시한 조도를 통해 기준 영상보다 밝거나 어두운 상태에서 촬영된 영 상을 입력 영상으로 사용하였다. 표 5. 조도 조건 아주 어두움 어두움 기준 밝음 조도 (lx) 60 100 200 400 그림 8 에서는 조도 변화 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 11 -
그림 8. 조도 변화 시험용 영상 (60, 100, 기준, 400) 5.4 가려짐(Occlusion) 시험 본 시험은 촬영 대상 주변에 존재하는 장애물로 인해 발생되는 가려짐이 알고리즘에 미치는 영향 을 확인하기 위한 시험이다. 그림 9 와 같이 기준 영상을 가린 다음 입력 영상으로 사용하였다. 그림 9. 가려짐 조건 (좌측부터 1/4, 2/4, 3/4) 그림 10 에서 가려짐 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 12 -
그림 10. 가려짐 시험용 입력 영상 (좌측부터 기준, 1/4, 2/4, 3/4) 5.6 복합조건(Composite Condition)시험 본 시험은 촬영 대상이 일상생활에서 자연스럽게 나올 수 있는 영상이 알고리즘에 미치는 영향 을 확인하기 위한 시험이다. 위 4가지 조건을 복합적으로 사용하여 촬영한 영상이다. 그림 12 에서 복합조건 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 13 -
- 14 -
- 15 -
그림 12. 복합조건 시험용 영상(좌상부터 우측으로 기준 영상,001, 002,..., 009, 010) 5.6 복잡배경(Cluttered background) 시험 본 시험은 촬영 대상 주변에 존재하는 장애물로 인해 발생되는 주변의 복잡배경이 알고리즘에 미 치는 영향을 확인하기 위한 시험이다. 기준 영상과 동일한 거리 및 조도에서 주변 및 배경을 변경 하여 촬영한 영상을 입력 영상으로 사용하였다. 그림 11 에서 복잡배경 시험에 사용되는 입력 영상과 기준 영상을 함께 보여주고 있다. - 16 -
- 17 -
그림 11. 복잡배경 시험용 영상 (좌상부터 우측으로 기준 영상, 001, 002, 003, 004, 005) 6. 평가 척도 성능 평가를 위한 척도는 다음과 같다. 6.1. 인식 시간 (Recognition Time) 입력 영상의 특징점 추출 시간 + 입력 영상과 기준 영상의 특징점 정합 시간 (ms) 6.2. 특징점 정합율 (Feature Matching Rate) (기준 영상의 특징점과 정합된 입력영상의 특징점 수 / 기준 영상의 특징점 수) * 100 (%) 6.3. 인식율 (Recognition Rate 또는 True Acceptance Rate) (올바른 인식 영상의 수 / 전체 입력 영상의 수) * 100 (%) 본 성능 평가 방법에서는 다음과 같이 인식율을 측정한다. 1/6 * (올바르게 인식된 A1 의 입력 영상 수 / A1 의 입력 영상 수 + 올바르게 인식된 A2 의 입 력 영상 수 / A2 의 입력 영상 수 + 올바르게 인식된 A3 의 입력 영상 수 / A3 의 입력 영상 수 + 올바르게 인식된 A4 의 입력 영상 수 / A4 의 입력 영상 수 + 올바르게 인식된 A5 의 입력 영상 수 / A5 의 입력 영상 수 + 올바르게 인식된 A6 의 입력 영상 수 / A6 의 입력 영상 수) * 100 (%) 6.4. 오 승인율 (False Acceptance Rate) (잘못된 인식 승인된 입력 영상의 수 / 전체 입력 영상의 수) * 100 (%) 본 성능 평가 방법에서는 다음과 같이 오 인식율을 측정한다. 1/6 * (잘못 인식 승인된 B1 의 영상 수 / B1 의 영상 수 + 잘못 인식 승인된 B2 의 영상 수 / B2 의 영상 수 + 잘못 인식 승인된 B3 의 영상 수 / B3 의 영상 수 + 잘못 인식 승인된 B4 의 영상 수 / B4 의 영상 수 + 잘못 인식 승인된 B5 의 영상 수 / B5 의 영상 수 + 잘못 인식 승인 - 18 -
된 B6 의 영상 수 / B6 의 영상 수) * 100 (%) 7. 시험 결과 아래의 표 6 에는 집합 A1, A2, A3, A4, A5, A6 에 관한 특징점 정합율 기록하며 표 7 는 전체 시험의 평균 인식시간, 인식율 및 오 인식율을 기록한다. 표 6. 집합 Ai 의 특징점 정합율 기준 영상 시험 종류 입력 영상 결 과 인식 시간 특징점 정합률 Ai 거리 변화 자세 변화 조도 변화 가려짐 복잡배경 복합조건 Ai_0.5_R+00_200_0.00_000_000 Ai_1.5_R+00_200_0.00_000_000 Ai_1.0_R+20_200_0.00_000_000 Ai_1.0_R-20_200_0.00_000_000 Ai_1.0_P+45_200_0.00_000_000 Ai_1.0_P-45_200_0.00_000_000 Ai_1.0_Y+45_200_0.00_000_000 Ai_1.0_Y-45_200_0.00_000_000 Ai_1.0_R+00_060_0.00_000_000 Ai_1.0_R+00_100_0.00_000_000 Ai_1.0_R+00_400_0.00_000_000 Ai_1.0_R+00_200_0.25_000_000 Ai_1.0_R+00_200_0.50_000_000 Ai_1.0_R+00_200_0.75_000_000 Ai_1.0_R+00_200_0.00_001_000 Ai_1.0_R+00_200_0.00_002_000 Ai_1.0_R+00_200_0.00_003_000 Ai_1.0_R+00_200_0.00_004_000 Ai_1.0_R+00_200_0.00_005_000 Ai_1.0_R+00_200_0.00_000_001 Ai_1.0_R+00_200_0.00_000_002 Ai_1.0_R+00_200_0.00_000_003 Ai_1.0_R+00_200_0.00_000_004 Ai_1.0_R+00_200_0.00_000_005 Ai_1.0_R+00_200_0.00_000_006 Ai_1.0_R+00_200_0.00_000_007 Ai_1.0_R+00_200_0.00_000_008 Ai_1.0_R+00_200_0.00_000_009 Ai_1.0_R+00_200_0.00_000_010 표 7. 성능 평가 결과 결 평균 인식시간 인식율 오 승인율 과 - 19 -