Transcription

1 ISSN 제44권 8호 2017 년 8 월호 The Magazine of the IEIE vol.44. no.8 딥러닝을포함한인간행동인식최신기술동향 비디오기반행동인식연구동향 지능형자동차를위한야간보행자검출기술 의미론적연관성분석을위한영상정합동향 최근표정인식기술동향 무인비행체임베디드조난자탐지시스템 MPEG-I 표준과 360 도비디오콘텐츠생성 컴퓨터비전및영상처리를위한컬러시스템의이해

2

3

4

5

6

7

8

9 Contents 제 44 권 8 호 (2017 년 8 월 ) 학회소식 12 학회소식 / 편집부 14 학회일지 15 특집편집기 / 이찬수 특집 : 딥러닝을포함한인간행동인식최신기술동향 16 비디오기반행동인식연구동향 / 고병철 23 지능형자동차를위한야간보행자검출기술 / 김성호 31 의미론적연관성분석을위한영상정합동향 / 함범섭 37 최근표정인식기술동향 / 이찬수 학회지 8 월호표지 (vol 44. No 8) 회지편집위원회 위원장황인철 ( 강원대학교교수 ) 위원권구덕 ( 강원대학교교수 ) 김동규 ( 한양대학교교수 ) 김영진 ( 한국항공대학교교수 ) 김현 ( 부천대학교교수 ) 김호철 ( 을지대학교교수 ) 박종선 ( 고려대학교교수 ) 송민규 ( 동국대학교교수 ) 송병철 ( 인하대학교교수 ) 심정연 ( 강남대학교교수 ) 여희주 ( 대진대학교교수 ) 이병근 ( 광주과학기술원교수 ) 이승호 ( 한밭대학교교수 ) 이용구 ( 한림성심대학교교수 ) 이찬수 ( 영남대학교교수 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 정승원 ( 동국대학교교수 ) 최용수 ( 성결대학교교수 ) 허준 ( 고려대학교교수 )) 사무국편집담당변은정차장 ( 내선 3) TEL : (02) ( 대 ) FAX : (02) 학회홈페이지 44 무인비행체임베디드조난자탐지시스템 / 황성주, 한문수, 박준현, 이정관, Bruno Andries 52 MPEG-I 표준과 360 도비디오콘텐츠생성 / 호요성 58 컴퓨터비전및영상처리를위한컬러시스템의이해 / 조윤지 66 논문지논문목차 68 박사학위논문초록 69 신간안내 정보교차로 70 국내외학술행사안내 / 편집부 80 특별회원사, 단체회원

10 The Magazine of the IEIE 2017 년도임원및각위원회위원 회 장 홍대식 ( 연세대학교교수 ) - 총괄 수석부회장백준기 ( 중앙대학교교수 ) - 총괄, 영문논문지 고 문 구원모 ( 전자신문사대표이사 ) 김기남 ( 삼성전자 사장 ) 박성욱 (SK하이닉스 부회장 ) 박청원 ( 전자부품연구원원장 ) 백만기 ( 김 & 장법률사무소변리사 ) 이상훈 ( 한국전자통신연구원원장 ) 이재욱 ( 노키아티엠씨명예회장 ) 이희국 ( LG 상임고문 ) 천경준 ( 씨젠회장 ) 감 사 백흥기 ( 전북대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 부 회 장 서승우 ( 서울대학교교수 ) - 사업 안승권 (LG 전자 사장 ) - 산학연 이장명 ( 부산대학교교수 ) - 회원, 지부, 표준화 임혜숙 ( 이화여자대학교교수 ) - 학술 최천원 ( 단국대학교교수 ) - 기획, 국문논문, 교육 / 홍보, 회지 소사이어티회장 이흥노 ( 광주과학기술원교수 ) - 통신소사이어티 전영현 ( 삼성SDI 사장 ) - 반도체소사이어티 김승천 ( 한성대학교교수 ) - 컴퓨터소사이어티 김정태 ( 이화여자대학교교수 ) - 신호처리소사이어티 정길도 ( 전북대학교교수 ) - 시스템및제어소사이어티 원영진 ( 부천대학교교수 ) - 산업전자소사이어티 산업체부회장 김창용 ( 삼성전자 DMC 연구소장 ) 오성목 (KT 사장 ) 협동부회장김기호 ( 에스프린팅솔루션 대표이사 ) 김달수 ( 티엘아이대표이사 ) 김부균 ( 숭실대학교교수 ) 김상태 ( 한국산업기술평가관리원실장 ) 김수원 ( 고려대학교교수 ) 김종대 ( 한국전자통신연구원책임연구원 ) 김철동 ( 세원텔레텍대표이사 ) 남상엽 ( 국제대학교교수 ) 박찬구 ( 인피니언테크놀로지스파워세미텍대표이사 ) 박형무 ( 동국대학교교수 ) 성하경 ( 전자부품연구원선임연구본부장 ) 손보익 ( 실리콘웍스대표이사 ) 송문섭 (( 유 ) 엠세븐시스템대표이사 ) 엄낙웅 ( 한국전자통신연구원소장 ) 유현규 ( 한국전자통신연구원책임연구원 ) 유회준 (KAIST 교수 ) 윤기방 ( 인천대학교교수 ) 이상홍 ( 정보통신기술진흥센터센터장 ) 이상회 ( 동서울대학교교수 ) 이승훈 ( 서강대학교교수 ) 이윤종 ( 동부하이텍부사장 ) 이재훈 ( 유정시스템 사장 ) 장태규 ( 중앙대학교교수 ) 전성호 ( 솔루엠대표이사 ) 정은승 ( 삼성전자 부사장 ) 정 준 ( 쏠리드대표이사 ) 정진용 ( 인하대학교교수 ) 정항근 ( 전북대학교교수 ) 조상복 ( 울산대학교교수 ) 최승원 ( 한양대학교교수 ) 허 염 ( 실리콘마이터스대표이사 ) 허 영 ( 한국전기연구원본부장 ) 호요성 ( 광주과학기술원교수 ) 상임이사 강문식 ( 강릉원주대학교교수 ) - 교육 / 홍보 강성원 ( 한국전자통신연구원본부장 ) - 표준화 공준진 ( 삼성전자 마스터 ) - 사업 김선욱 ( 고려대학교교수 ) - 학술 ( 추계 ) 김수환 ( 서울대학교교수 ) - 논문 김종옥 ( 고려대학교교수 ) - 정보화 노원우 ( 연세대학교교수 ) - 총무 동성수 ( 용인송담대학교교수 ) - 교육 박종일 ( 한양대학교교수 ) - 회원 백광현 ( 중앙대학교교수 ) - 산학연 범진욱 ( 서강대학교교수 ) - 사업 심동규 ( 광운대학교교수 ) - SPC 예종철 (KAIST 교수 ) - 사업 유창동 (KAIST 교수 ) - 사업 윤석현 ( 단국대학교교수 ) - 사업 이충용 ( 연세대학교교수 ) - 재무 이혁재 ( 서울대학교교수 ) - 기획 / 논문 전병우 ( 성균관대학교교수 ) - 학술 ( 하계 ) 정종문 ( 연세대학교교수 ) - 국제협력 / 학술 황인철 ( 강원대학교교수 ) - 회지 산업체이사고요환 ( 매그나칩반도체전무 ) 김태진 ( 더즈텍사장 ) 김현수 ( 삼성전자 상무 ) 박동일 ( 현대자동차 전무 ) 송창현 ( 네이버 CTO) 오의열 (LG 디스플레이 연구위원 ) 윤영권 ( 삼성전자 마스터 ) 조영민 ( 스카이크로스코리아사장 ) 조재문 ( 삼성전자 전무 ) 차종범 ( 구미전자정보기술원원장 ) 최승종 (LG 전자 전무 ) 최진성 (SK텔레콤전무 ) 함철희 ( 삼성전자 마스터 ) 홍국태 (LG 전자 연구위원 ) 이 사 공배선 ( 성균관대학교교수 ) - 학술 ( 하계 ) 권기룡 ( 부경대학교교수 ) - 학술 ( 하계 ) 권기원 ( 성균관대학교교수 ) - 국제협력 권종기 ( 한국전자통신연구원책임연구원 ) - 사업 권혁인 ( 중앙대학교교수 ) - 산학연 김경기 ( 대구대학교교수 ) - 사업 / 산학연 김도현 ( 제주대학교교수 ) - 기획 김동규 ( 한양대학교교수 ) - 회지 김동순 ( 전자부품연구원센터장 ) - 학술 ( 하계 ) 김성진 ( 경남대학교교수 ) - ITC-CSCC 김성호 ( 한국산업기술평가관리원팀장 ) - 학술 ( 하계 ) 김소영 ( 성균관대학교교수 ) - 학술 ( 하계 )

11 김용신 ( 고려대학교교수 ) - 학술 ( 추계 ) 김원종 ( 한국전자통신연구원팀장 ) - 표준화 김원하 ( 경희대학교교수 ) - 학술 ( 하계 ) 김지훈 ( 서울과학기술대학교교수 ) - 총무 / 기획 김창수 ( 고려대학교교수 ) - 회원 김태욱 ( 연세대학교교수 ) - 재무 김태원 ( 상지영서대학교교수 ) - 기획 김형탁 ( 홍익대학교교수 ) - 사업 노태문 ( 한국전자통신연구원책임연구원 ) - 학술 ( 하계 ) 류수정 ( 삼성전자상무 ) - 사업 박수현 ( 국민대학교교수 ) - 기획 박현창 ( 동국대학교교수 ) - 교육 서춘원 ( 김포대학교교수 ) - 학술 ( 하계 ) 성해경 ( 한양여자대학교교수 ) - 교육 / 홍보 손광준 ( 한국산업기술평가관리원 PD) - 총무 송민규 ( 동국대학교교수 ) - 회지 송병철 ( 인하대학교교수 ) - 사업 /SPC 송상헌 ( 중앙대학교교수 ) - 교육 신지태 ( 성균관대학교교수 ) - 학술 ( 하계 ) 심대용 (SK하이닉스상무 ) - 논문 심정연 ( 강남대학교교수 ) - 논문 / 국제협력 안태원 ( 동양미래대학교교수 ) - 논문 안현식 ( 동명대학교교수 ) - 기획 연규봉 ( 자동차부품연구원센터장 ) - 표준화 이광엽 ( 서경대학교교수 ) - 기획 / 산학연 이병근 ( 광주과학기술원교수 ) - 회지 이상근 ( 중앙대학교교수 ) - 기획 / 하계 이성수 ( 숭실대학교교수 ) - 기획 이승호 ( 한밭대학교교수 ) - 회지 이용구 ( 한림성심대학교교수 ) - 논문 이윤식 (UNIST 교수 ) - 교육 / 홍보 이찬호 ( 숭실대학교교수 ) - 교육 / 홍보 이창우 ( 가톨릭대학교교수 ) - 국제협력 이한호 ( 인하대학교교수 ) - 학술 ( 하계 ) 이현중 ( 한국전자통신연구원박사 ) - 논문 인치호 ( 세명대학교교수 ) - 학술 ( 하계 ) 정승원 ( 동국대학교교수 ) - 회지 / 학술 ( 추계 ) 정영모 ( 한성대학교교수 ) - 논문 제민규 (KAIST 교수 ) - 사업 조명진 ( 네이버박사 ) - 정보화 조성현 ( 한양대학교교수 ) - 국제협력 최강선 ( 한국기술교육대학교교수 ) - 학술 ( 하계 ) 한완옥 ( 여주대학교교수 ) - 사업 한재호 ( 고려대학교교수 ) - 정보화 한종기 ( 세종대학교교수 ) - 학술 ( 하계 )/SPC 협동이사 강봉순 ( 동아대학교교수 ) - ITC-CSCC 고정환 ( 인하공업전문대학교수 ) - 산학연 구자일 ( 인하공업전문대학교수 ) - 교육 권구덕 ( 강원대학교교수 ) - 회지 김상효 ( 성균관대학교교수 ) - 학술 ( 하계 ) 김성호 ( 영남대학교교수 ) - 회원 김수찬 ( 한경대학교교수 ) - 논문 김영로 ( 명지전문대학교수 ) - 학술 김영선 ( 대림대학교교수 ) - 산학연 김영진 ( 한국항공대학교교수 ) - 회지 김용석 ( 성균관대학교교수 ) - 학술 ( 하계 ) 김 짐 ( 한국산업기술평가관리원선임연구원 ) - 사업 김 현 ( 부천대학교교수 ) - 학술 김현진 ( 단국대학교교수 ) - 사업 남기창 ( 동국대학교교수 ) - 학술 남대경 ( 전자부품연구원선임연구원 ) - 사업 박기찬 ( 건국대학교교수 ) - 표준화 박성홍 (KAIST 교수 ) - 사업 박영준 ( 홍익대학교교수 ) - 총무 박원규 ( 한국나노기술원본부장 ) - 표준화 박재형 ( 전남대학교교수 ) - 논문 박철수 ( 광운대학교교수 ) - SPC 박희민 ( 상명대학교교수 ) - 회원 백상헌 ( 고려대학교교수 ) - 국제협력 변영재 (UNIST 교수 ) - 학술 ( 추계 ) 선우경 ( 이화여자대학교교수 ) - 논문 송진호 ( 연세대학교교수 ) - 국제협력 안성수 ( 명지전문대학교수 ) - 교육 안춘기 ( 고려대학교교수 ) - 정보화 윤상민 ( 국민대학교교수 ) - 정보화 윤성로 ( 서울대학교교수 ) - 회원 이가원 ( 충남대학교교수 ) - 논문 이강윤 ( 성균관대학교교수 ) - 학술 ( 추계 ) 이동영 ( 명지전문대학교수 ) - 사업 이문구 ( 김포대학교교수 ) - 회원 / 정보화 이민영 ( 반도체산업협회본부장 ) - 산학연 이영주 ( 광운대학교교수 ) - 산학연 이채은 ( 인하대학교교수 ) - 학술 ( 추계 ) 임기택 ( 전자부품연구원센터장 ) - 사업 임동건 ( 한국교통대학교교수 ) - 사업 임재열 ( 한국기술교육대학교교수 ) - 학술 ( 하계 ) 장익준 ( 경희대학교교수 ) - 기획 전세영 (UNIST 교수 ) - 사업 정방철 ( 충남대학교교수 ) - 논문 정연호 ( 부경대학교교수 ) - ITC-CSCC 정원기 (UNIST 교수 ) - 사업 정윤호 ( 한국항공대학교교수 ) - 기획 차철웅 ( 전자부품연구원책임연구원 ) - 표준화 채관엽 ( 삼성전자박사 ) - 학술 ( 추계 ) 채영철 ( 연세대학교교수 ) - 총무 최용수 ( 성결대학교교수 ) - 논문 최윤경 ( 삼성전자마스터 ) - 산학연 한영선 ( 경일대학교교수 ) - 학술 ( 하계, 추계 )/SPC 한태희 ( 성균관대학교교수 ) - 교육 / 홍보 허재두 ( 한국전자통신연구원본부장 ) - ITC-CSCC 지부장명단 강원지부 임해진 ( 강원대학교교수 ) 광주 전남지부 이배호 ( 전남대학교교수 ) 대구 경북지부 박정일 ( 영남대학교교수 ) 대전 충남지부 주성순 ( 한국전자통신연구원박사 ) 부산 경남 울산지부 강대성 ( 동아대학교교수 ) 전북지부 송제호 ( 전북대학교교수 ) 제주지부 김경연 ( 제주대학교교수 ) 충북지부 최영규 ( 한국교통대학교교수 ) 호서지부 장은영 ( 공주대학교교수 ) 일 본 백인천 (AIZU대학교교수 ) 미 국 최명준 ( 텔레다인박사 ) 러시아지부 Prof. Edis B. TEN (National University of Science and Technology)

12 The Magazine of the IEIE 자문위원회 위원회명단 위 원 장 김영권 ( 명예회장 ) 부위원장 홍승홍 ( 명예회장 ) 위 원 고성제 ( 고려대학교교수 ) 구용서 ( 단국대학교교수 ) 김덕진 ( 명예회장 ) 김도현 ( 명예회장 ) 김성대 (KAIST 교수 ) 김수중 ( 명예회장 ) 김재희 ( 연세대학교교수 ) 김정식 ( 대덕전자회장 ) 나정웅 ( 명예회장 ) 문영식 ( 한양대학교교수 ) 박규태 ( 명예회장 ) 박성한 ( 명예회장 ) 박진옥 ( 명예회장 ) 박항구 ( 소암시스텔회장 ) 서정욱 ( 명예회장 ) 성굉모 ( 서울대학교명예교수 ) 윤종용 ( 삼성전자상임고문 ) 이문기 ( 명예회장 ) 이상설 ( 명예회장 ) 이재홍 ( 서울대학교교수 ) 이진구 ( 동국대학교석좌교수 ) 이충웅 ( 명예회장 ) 이태원 ( 명예회장 ) 임제탁 ( 명예회장 ) 전국진 ( 서울대학교교수 ) 전홍태 ( 중앙대학교교수 ) 정정화 ( 한양대학교석좌교수 ) 기획위원회 위 원 장 이혁재 ( 서울대학교교수 ) 위 원 김지훈 ( 서울과학기술대학교교수 ) 김태원 ( 상지영서대학교교수 ) 안현식 ( 동명대학교교수 ) 이광엽 ( 서경대학교교수 ) 이상근 ( 중앙대학교교수 ) 이성수 ( 숭실대학교교수 ) 장익준 ( 경희대학교교수 ) 정윤호 ( 항공대학교교수 ) 학술연구위원회 위 원 장 전병우 ( 성균관대학교교수 ) - 하계김선욱 ( 고려대학교교수 ) - 추계 위 원 강문식 ( 강릉원주대학교교수 ) 공배선 ( 성균관대학교교수 ) 권기룡 ( 부경대학교교수 ) 김동순 ( 전자부품연구원센터장 ) 김상효 ( 성균관대학교교수 ) 김성호 ( 한국산업기술평가관리원팀장 ) 김소영 ( 성균관대학교교수 ) 김영로 ( 명지전문대학교수 ) 김용석 ( 성균관대학교교수 ) 김용신 ( 고려대학교교수 ) 김원하 ( 경희대학교교수 ) 김철우 ( 고려대학교교수 ) 김 현 ( 부천대학교교수 ) 남기창 ( 동국대학교교수 ) 노태문 ( 한국전자통신연구원책임연구원 ) 변영재 (UNIST 교수 ) 서춘원 ( 김포대학교교수 ) 신지태 ( 성균관대학교교수 ) 이강윤 ( 성균관대학교교수 ) 이상근 ( 중앙대학교교수 ) 이채은 ( 인하대학교교수 ) 이한호 ( 인하대학교교수 ) 인치호 ( 세명대학교교수 ) 임재열 ( 한국기술교육대학교교수 ) 정승원 ( 동국대학교교수 ) 채관엽 ( 삼성전자박사 ) 최강선 ( 한국기술교육대학교교수 ) 한영선 ( 경일대학교교수 ) 한종기 ( 세종대학교교수 ) 황인철 ( 강원대학교교수 ) 논문편집위원회 위 원 장 김수환 ( 서울대학교교수 ) 이혁재 ( 서울대학교교수 ) 위 원 김수찬 ( 한경대학교교수 ) 박재형 ( 전남대학교교수 ) 선우경 ( 이화여자대학교교수 ) 심대용 (SK하이닉스상무 ) 심정연 ( 강남대학교교수 ) 안태원 ( 동양미래대학교교수 ) 유명식 ( 숭실대학교교수 ) 이가원 ( 충남대학교교수 ) 이용구 ( 한림성심대학교교수 ) 이현중 ( 한국전자통신연구원박사 ) 정방철 ( 충남대학교교수 ) 정영모 ( 한성대학교교수 ) 최용수 ( 성결대학교교수 ) 한태희 ( 성균관대학교교수 ) 홍민철 ( 숭실대학교교수 ) 국제협력위원회 위 원 장 정종문 ( 연세대학교교수 ) 위 원 권기원 ( 성균관대학교교수 백상헌 ( 고려대학교교수 ) 송진호 ( 연세대학교교수 ) 심정연 ( 강남대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 조성현 ( 한양대학교교수 ) 산학연협동위원회 위 원 장 백광현 ( 중앙대학교교수 ) 위 원 고정환 ( 인하공업전문대학교수 ) 권혁인 ( 중앙대학교교수 ) 김경기 ( 대구대학교교수 ) 김용신 ( 고려대학교교수 ) 남병규 ( 충남대학교교수 ) 민경식 ( 국민대학교교수 ) 박주현 ( 픽셀플러스교수 ) 이광엽 ( 서경대학교교수 ) 이민영 ( 반도체산업협회본부장 ) 이석호 ( 한국전자통신연구원책임연구원 ) 이영주 ( 광운대학교교수 ) 이우주 ( 한국전자통신연구원책임연구원 ) 인치호 ( 세명대학교교수 ) 정방철 ( 충남대학교교수 ) 최윤경 ( 삼성전자마스터 ) 한태희 ( 성균관대학교교수 ) 회원관리위원회 위 원 장 박종일 ( 한양대학교교수 ) 위 원 김성호 ( 영남대학교교수 ) 김진상 ( 경희대학교교수 ) 김창수 ( 고려대학교교수 ) 박희민 ( 상명대학교교수 ) 유창식 ( 한양대학교교수 ) 윤성로 ( 서울대학교교수 ) 이문구 ( 김포대학교교수 ) 이상근 ( 중앙대학교교수 ) 최강선 ( 한국과학기술교육대학교교수 )

13 회지편집위원회 위 원 장 황인철 ( 강원대학교교수 ) 위 원 권구덕 ( 강원대학교교수 ) 김동규 ( 한양대학교교수 ) 김영진 ( 한국항공대학교교수 ) 김 현 ( 부천대학교교수 ) 김호철 ( 을지대학교교수 ) 박종선 ( 고려대학교교수 ) 송민규 ( 동국대학교교수 ) 송병철 ( 인하대학교교수 ) 심정연 ( 강남대학교교수 ) 여희주 ( 대진대학교교수 ) 이병근 ( 광주과학기술원교수 ) 이승호 ( 한밭대학교교수 ) 이용구 ( 한림성심대학교교수 ) 이찬수 ( 영남대학교교수 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 정승원 ( 동국대학교교수 ) 최용수 ( 성결대학교교수 ) 허 준 ( 고려대학교교수 ) 사업위원회 위 원 장 공준진 ( 삼성전자마스터 ) 범진욱 ( 서강대학교교수 ) 예종철 (KAIST 교수 ) 유창동 (KAIST 교수 ) 윤석현 ( 단국대학교교수 ) 위 원 권종기 ( 한국전자통신연구원책임연구원 ) 김 훈 (Synopsys Korea 이사 ) 김경기 ( 대구대학교교수 ) 김용훈 ( 옴니C&S 대표이사 ) 김 짐 ( 한국산업기술평가관리원선임연구원 ) 김현진 ( 단국대학교교수 ) 김형탁 ( 홍익대학교교수 ) 남대경 ( 전자부품연구원선임연구원 ) 류수정 ( 삼성전자 상무 ) 류현석 ( 삼성전자 마스터 ) 박성홍 (KAIST 교수 ) 변대석 ( 삼성전자 마스터 ) 송병철 ( 인하대학교교수 ) 이동영 ( 명지전문대학교수 ) 이영주 ( 광운대학교교수 ) 임기택 ( 전자부품연구원센터장 ) 임동건 ( 한국교통대학교교수 ) 전세영 (UNIST 교수 ) 정원기 (UNIST 교수 ) 제민규 (KAIST 교수 ) 조상연 ( 삼성전자 상무 ) 최용근 ( 단국대학교교수 ) 한완옥 ( 여주대학교교수 ) 교육홍보위원회 위 원 장 강문식 ( 강릉원주대학교교수 ) 동성수 ( 용인송담대학교교수 ) 위 원 구자일 ( 인하공업전문대학교수 ) 박현창 ( 동국대학교교수 ) 성해경 ( 한양여자대학교교수 ) 송상헌 ( 중앙대학교교수 ) 안성수 ( 명지전문대학교수 ) 이윤식 (UNIST 교수 ) 이찬호 ( 숭실대학교교수 ) 한태희 ( 성균관대학교교수 표준화위원회 위 원 장 강성원 ( 한국전자통신연구원본부장 ) 위 원 구정래 ( 한국심사자격인증원팀장 ) 권기원 ( 성균관대학교교수 ) 김동규 ( 한양대학교교수 ) 김시호 ( 연세대학교교수 ) 김옥수 ( 인피니언코리아이사 ) 김원종 ( 한국전자통신연구원실장 ) 박기찬 ( 건국대학교교수 ) 박원규 ( 한국나노기술원본부장 ) 박주현 ( 픽셀플러스실장 ) 변지수 ( 경북대학교교수 ) 송영재 ( 성균관대학교교수 ) 연규봉 ( 자동차부품연구원센터장 ) 윤대원 ( 법무법인다래이사 ) 이민영 ( 한국반도체산업협회본부장 ) 이상근 ( 성균관대학교교수 ) 이상미 (IITP 팀장 ) 이서호 ( 한국기계전기전자시험연구원과장 ) 이성수 ( 숭실대학교교수 ) 이종묵 (SOL 대표 ) 이하진 ( 한국기초과학지원연구원책임연구원 ) 이해성 ( 전주대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 좌성훈 ( 서울과학기술대학교교수 ) 차철웅 ( 전자부품연구원책임연구원 ) 한태수 ( 국가기술표준원 / 디스플레이산업협회표준코디 ) 홍용택 ( 서울대학교교수 ) 정보화위원회 위 원 장 김종옥 ( 고려대학교교수 ) 위 원 강의성 ( 순천대학교교수 ) 김승구 ( 충북대학교교수 ) 김형탁 ( 홍익대학교교수 ) 안춘기 ( 고려대학교교수 ) 유윤섭 ( 한경대학교교수 ) 윤상민 ( 국민대학교교수 ) 이문구 ( 김포대학교교수 ) 이한호 ( 인하대학교교수 ) 조명진 ( 네이버박사 ) 최강선 ( 한국기술교육대학교교수 ) 한재호 ( 고려대학교교수 ) 지부담당위원회 위 원 장 이장명 ( 부산대학교교수 ) 위 원 강대성 ( 동아대학교교수 ) 김경연 ( 제주대학교교수 ) 박정일 ( 영남대학교교수 ) 백인천 (AIZU대학교교수 ) 송제호 ( 전북대학교교수 ) 이배호 ( 전남대학교교수 ) 임해진 ( 강원대학교교수 ) 장은영 ( 공주대학교교수 ) 주성순 ( 한국전자통신연구원박사 ) 최명준 ( 텔레다인박사 ) 최영규 ( 한국교통대학교교수 ) Prof. Edis B. TEN (National University of Science and Technology) 선거관리위원회 위 원 장 이진구 ( 명예회장 ) 위 원 김지훈 ( 서울과학기술대학교교수 ) 노원우 ( 연세대학교교수 ) 박종일 ( 한양대학교교수 ) 이충용 ( 연세대학교교수 ) 이혁재 ( 서울대학교교수 ) 전병우 ( 성균관대학교교수 )

14 The Magazine of the IEIE 포상위원회 위 원 장 고성제 ( 고려대학교교수 ) 위 원 김수환 ( 서울대학교교수 ) 노원우 ( 연세대학교교수 ) 백준기 ( 중앙대학교교수 ) 유창동 (KAIST 교수 ) 이충용 ( 연세대학교교수 ) 전병우 ( 성균관대학교교수 ) 재정위원회 위원장홍대식 ( 연세대학교교수 ) 위원고성제 ( 고려대학교교수 ) 문영식 ( 한양대학교교수 ) 박병국 ( 서울대학교교수 ) 백준기 ( 중앙대학교교수 ) 이충용 ( 연세대학교교수 ) 정준 ( 쏠리드대표이사 ) 정교일 ( 한국전자통신연구원책임연구원 ) 한대근 ( 실리콘웍스대표이사 ) 인사위원회 위 원 장 홍대식 ( 연세대학교교수 ) 위 원 노원우 ( 연세대학교교수 ) 백광현 ( 중앙대학교교수 ) 백준기 ( 중앙대학교교수 ) 이충용 ( 연세대학교교수 ) SPC 위원회 위 원 장 심동규 ( 광운대학교교수 ) 자문위원 조민호 ( 고려대학교교수 ) 김선욱 ( 고려대학교교수 ) 위 원 김정태 ( 이화여자대학교교수 ) 김태석 ( 광운대학교교수 ) 박철수 ( 광운대학교교수 ) 송병철 ( 인하대학교교수 ) 신원용 ( 단국대학교교수 ) 이상근 ( 중앙대학교교수 ) 이재훈 ( 고려대학교교수 ) 이채은 ( 인하대학교교수 ) 전병우 ( 성균관대학교교수 ) 정승원 ( 동국대학교교수 ) 조남익 ( 서울대학교교수 ) 조성현 ( 한양대학교교수 ) 최강선 ( 한국기술교육대학교교수 ) 한영선 ( 경일대학교교수 ) 한종기 ( 세종대학교교수 ) 황인철 ( 강원대학교교수 ) JSTS 위원회 위 원 장 Hoi-Jun Yoo (KAIST) 부위원장 Dim-Lee Kwong (Institute of Microelectronics) 위 원 Akira Matsuzawa (Tokyo Institute of Technology) Byeong-Gyu Nam (Chungnam National Univ.) Byung-Gook Park (Seoul National Univ.) Cary Y. Yang (Santa Clara Univ.) Chang sik Yoo (Hanyang Univ.) Chennupati Jagadish (Australian National Univ.) Deog-Kyoon Jeong (Seoul National Univ.) Dong S. Ha (Virginia Tech) Eun Sok Kim (USC) Gianaurelio Cuniberti (Dresden Univ. of Technology) Hi-Deok Lee (Chungnam Univ.) Hong June Park (POSTECH) Hyoung sub Kim (Sungkyunkwan Univ.) Hyun-Kyu Yu (ETRI) Jamal Deen (McMaster University, Canada) Jin wook Burm (Sogang Univ.) Jong-Uk Bu (Sen Plus) Jun young Park (UX Factory) Kofi Makinwa (Delft Univ. of Technology) Meyya Meyyappan (NASA Ames Research Center) Min-kyu Song (Dongguk Univ.) Moon-Ho Jo (POSTECH) Nobby Kobayashi (UC Santa Cruz) Paul D. Franzon (North Carolina State Univ.) Rino Choi (Inha Univ.) Sang-Hun Song (Chung-Ang Univ.) Sang-Sik Park (Sejong Iniv.) Seung-Hoon Lee (Sogang Univ.) Shen-Iuan Liu (National Taiwan Univ.) Shi ho Kim (Yonsei Univ.) Stephen A. Campbell (Univ. of Minnesota) Sung Woo Hwang (Korea Univ.) Tadahiro Kuroda (Keio Univ.) Tae-Song Kim (KIST) Tsu-Jae King Liu (UC Berkeley) Vojin G. Oklobdzija (Univ. of Texas at Dallas) Weileun Fang (National Tsing Hua Univ.) Woo geun Rhee (Tsinghua Univ.) Yang-Kyu Choi (KAIST) Yogesh B. Gianchandani (Univ. of Michigan, Ann Arbor) Yong-Bin Kim (Northeastern Univ.) Yuhua Cheng (Peking Univ.)

15 Society 명단 통신소사이어티 회 장 이흥노 ( 광주과학기술원교수 ) 부 회 장 윤석현 ( 단국대학교교수 ) 이인규 ( 고려대학교교수 ) 김재현 ( 아주대학교교수 ) 김선용 ( 건국대학교교수 ) 김진영 ( 광운대학교교수 ) 김 훈 ( 인천대학교교수 ) 유명식 ( 숭실대학교교수 ) 오정근 ( ATNS 대표이사 ) 협동부회장 김병남 ( 에이스테크놀로지연구소장 ) 김연은 ( 브로던대표이사 ) 김영한 ( 숭실대학교교수 ) 김용석 (( 주 ) 답스대표이사 ) 김인경 (LG 전자상무 ) 류승문 (( 사 ) 개인공간서비스협회수석부의장 ) 박용석 ( LICT 대표이사 ) 방승찬 ( 한국전자통신연구원부장 ) 연철흠 (LGT 상무 ) 이승호 ( 하이게인부사장 ) 이재훈 ( 유정시스템 대표이사 ) 정진섭 ( 이노와이어리스부사장 ) 정현규 ( 한국전자통신연구원부장 ) 이 사 김성훈 ( 한국전자통신연구원박사 ) 김정호 ( 이화여자대학교교수 ) 노윤섭 ( 한국전자통신연구원박사 ) 방성일 ( 단국대학교교수 ) 서철헌 ( 숭실대학교교수 ) 성원진 ( 서강대학교교수 ) 신요안 ( 숭실대학교교수 ) 윤종호 ( 한국항공대학교교수 ) 윤지훈 ( 서울과학기술대학교교수 ) 이재훈 ( 동국대학교교수 ) 이종창 ( 홍익대학교교수 ) 임종태 ( 홍익대학교교수 ) 장병수 ( 이노벨류네트웍스부사장 ) 조인호 ( 에이스테크놀로지박사 ) 최진식 ( 한양대학교교수 ) 최천원 ( 단국대학교교수 ) 허서원 ( 홍익대학교교수 ) 허 준 ( 고려대학교교수 ) 간 사 김중헌 ( 중앙대학교교수 ) 신오순 ( 숭실대학교교수 ) 감 사 이재진 ( 숭실대학교교수 ) 이호경 ( 홍익대학교교수 ) 연구회위원장 황승훈 ( 동국대학교교수 ) - 통신연구회 유태환 ( 한국전자통신연구원팀장 ) - 스위칭및라우팅연구회 조춘식 ( 한국항공대학교교수 ) - 마이크로파및전파전파연구회 이철기 ( 아주대학교교수 ) - ITS 연구회 김동규 ( 한양대학교교수 ) - 정보보안시스템연구회 김강욱 ( 경북대학교교수 ) - 군사전자연구회 허재두 ( 한국전자통신연구원본부장 ) - 무선 PAN/BAN연구회 김봉태 ( 한국전자통신연구원소장 ) - 미래네트워크연구회 반도체소사이어티 회 장 전영현 ( 삼성SDI 사장 ) 자문위원 임형규 (SK 부회장 ) 권오경 ( 한양대학교교수 ) 신윤승 ( 삼성전자고문 ) 신현철 ( 한양대학교교수 ) 우남성 ( 삼성전자사장 ) 선우명훈 ( 아주대학교교수 ) 수석부회장 조중휘 ( 인천대학교교수 ) 연구담당부회장조경순 ( 한국외국어대학교교수 ) 사업담당부회장김진상 ( 경희대학교교수 ) 학술담당부회장범진욱 ( 서강대학교교수 ) 총무이사 공준진 ( 삼성전자마스터 ) 김동규 ( 한양대학교교수 ) 박종선 ( 고려대학교교수 ) 이한호 ( 인하대학교교수 ) 편집이사 인치호 ( 세명대학교교수 ) 이희덕 ( 충남대학교교수 ) 한태희 ( 성균관대학교교수 ) 학술이사 강진구 ( 인하대학교교수 ) 김영환 ( 포항공과대학교수 ) 김재석 ( 연세대학교교수 ) 김철우 ( 고려대학교교수 ) 노정진 ( 한양대학교교수 ) 박성정 ( 건국대학교교수 ) 박홍준 ( 포항공과대학교수 ) 변영재 (UNIST 교수 ) 송민규 ( 동국대학교교수 ) 신현철 ( 광운대학교교수 ) 유창식 ( 한양대학교교수 ) 이혁재 ( 서울대학교교수 ) 전민용 ( 충남대학교교수 ) 정연모 ( 경희대학교교수 ) 정원영 ( 인제대학교교수 ) 정진균 ( 전북대학교교수 ) 정진용 ( 인하대학교교수 ) 정항근 ( 전북대학교교수 ) 차호영 ( 홍익대학교교수 ) 최우영 ( 연세대학교교수 ) 사업이사 강성호 ( 연세대학교교수 ) 공배선 ( 성균관대학교교수 ) 권기원 ( 성균관대학교교수 ) 김동순 ( 전자부품연구원센터장 ) 김소영 ( 성균관대학교교수 ) 김시호 ( 연세대학교교수 ) 송용호 ( 한양대학교교수 ) 엄낙웅 ( 한국전자통신연구원소장 ) 윤광섭 ( 인하대학교교수 ) 조대형 ( 스위스로잔연방공대총장수석보좌관 ) 조상복 ( 울산대학교교수 ) 조태제 ( 삼성전기마스터 ) 최윤경 ( 삼성전자마스터 ) 최준림 ( 경북대학교교수 ) 산학이사 강태원 ( 넥셀사장 ) 김경수 ( 넥스트칩대표 ) 김달수 (TLI 대표 ) 김동현 (ICTK 사장 ) 김보은 ( 라온텍사장 ) 김준석 (ADT 사장 ) 변대석 ( 삼성전자마스터 ) 손보익 ( 실리콘웍스대표 ) 송태훈 ( 휴인스사장 ) 신용석 ( 케이던스코리아사장 ) 안흥식 (Xilinx Korea 지사장 ) 이도영 ( 옵토레인사장 ) 이서규 ( 픽셀플러스대표 ) 이윤종 ( 동부하이텍부사장 ) 이장규 ( 텔레칩스대표 ) 이종열 (FCI 부사장 ) 정해수 (Synopsys 사장 ) 최승종 (LG 전자전무 ) 허 염 ( 실리콘마이터스대표 ) 황규철 ( 삼성전자상무 ) 황정현 ( 아이닉스대표 ) 재무이사 김희석 ( 청주대학교교수 ) 임신일 ( 서경대학교교수 ) 회원이사 이광엽 ( 서경대학교교수 ) 최기영 ( 서울대학교교수 ) 감 사 김경기 ( 대구대학교교수 ) 최중호 ( 서울시립대학교교수 ) 간 사 강석형 (UNIST 교수 ) 김영민 ( 광운대학교교수 ) 김종선 ( 홍익대학교교수 ) 김형탁 ( 홍익대학교교수 ) 문 용 ( 숭실대학교교수 ) 백광현 ( 중앙대학교교수 ) 이강윤 ( 성균관대학교교수 ) 이성수 ( 숭실대학교교수 ) 연구회위원장 차호영 ( 홍익대학교교수 ) - 반도체재료부품연구회 전민용 ( 충남대학교교수 ) - 광파및양자전자공학연구회 인치호 ( 세명대학교교수 ) - SoC설계연구회 유창식 ( 한양대학교교수 ) - RF집적회로연구회 정원영 ( 인제대학교교수 ) - PCB&Package연구회

16 The Magazine of the IEIE 컴퓨터소사이어티 회 장 김승천 ( 한성대학교교수 ) 명예회장 김형중 ( 고려대학교교수 ) 박인정 ( 단국대학교교수 ) 박춘명 ( 한국교통대학교교수 ) 신인철 ( 단국대학교교수 ) 안병구 ( 홍익대학교교수 ) 안현식 ( 동명대학교교수 ) 이규대 ( 공주대학교교수 ) 허 영 ( 한국전기연구원본부장 ) 홍유식 ( 상지대학교교수 ) 자문위원 남상엽 ( 국제대학교교수 ) 이강현 ( 조선대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 감 사 성해경 ( 한양여자대학교교수 ) 이문구 ( 김포대학교교수 ) 부 회 장 강문식 ( 강릉원주대학교교수 ) 김도현 ( 제주대학교교수 ) 윤은준 ( 경일대학교교수 ) 정용규 ( 을지대학교교수 ) 협동부회장 권호열 ( 강원대학교교수 ) 김영학 ( 한국산업기술평가관리원본부장 ) 조민호 ( 고려대학교교수 ) 최용수 ( 성결대학교교수 ) 총무이사 김진홍 ( 성균관대학교교수 ) 진 훈 ( 경기대학교교수 ) 황인정 ( 명지병원책임연구원 ) 재무이사 박수현 ( 국민대학교교수 ) 홍보이사 이덕기 ( 연암공과대학교교수 ) 편집이사 강병권 ( 순천향대학교교수 ) 기장근 ( 공주대학교교수 ) 변영재 (UNIST 교수 ) 심정연 ( 강남대학교교수 ) 이석환 ( 동명대학교교수 ) 정혜명 ( 김포대학교교수 ) 진성아 ( 성결대학교교수 ) 학술이사 강상욱 ( 상명대학교교수 ) 김선욱 ( 고려대학교교수 ) 김천식 ( 세종대학교교수 ) 노광현 ( 한성대학교교수 ) 우운택 (KAIST 교수 ) 이문구 ( 김포대학교교수 ) 이민호 ( 경북대학교교수 ) 이성로 ( 목포대학교교수 ) 이찬수 ( 영남대학교교수 ) 이후진 ( 한성대학교교수 ) 한규필 ( 금오공과대학교교수 ) 한태화 ( 연세대의료원연구팀장 ) 황성운 ( 홍익대학교교수 ) 사업이사 김홍균 ( 이화여자대학교교수 ) 박세환 ( 한국과학기술정보연구원전문연구위원 ) 박승창 ( 유오씨사장 ) 전병태 ( 한경대학교교수 ) 조병순 ( 시엔시인스트루먼트사장 ) 산학이사 김대휘 ( 한국정보통신대표이사 ) 노소영 ( 월송출판대표이사 ) 서봉상 ( 올포랜드이사 ) 송치봉 ( 웨이버스이사 ) 오승훈 (LG C&S 과장 ) 유성철 (LG 히다찌산학협력팀장 ) 조병영 ( 태진인포텍전무 ) 논문편집위원장 진 훈 ( 경기대학교교수 ) 연구회위원장 윤은준 ( 경일대학교교수 ) - 융합컴퓨팅연구회 이민호 ( 경북대학교교수 ) - 인공지능 / 신경망 / 퍼지연구회 강문식 ( 강릉원주대교수 ) - 멀티미디어연구회 진 훈 ( 경기대학교교수 ) - 유비쿼터스시스템연구회 김도현 ( 제주대학교교수 ) - M2M/IoT 연구회 우운택 (KAIST 교수 ) - 증강휴먼연구회 황성운 ( 홍익대학교교수 ) - 정보보안연구회 신호처리소사이어티 회 장 김정태 ( 이화여자대학교교수 ) 자문위원 김홍국 ( 광주과학기술원교수 ) 이영렬 ( 세종대학교교수 ) 전병우 ( 성균관대학교교수 ) 조남익 ( 서울대학교교수 ) 홍민철 ( 숭실대학교교수 ) 부 회 장 김문철 (KAIST 교수 ) 김창익 (KAIST 교수 ) 박종일 ( 한양대학교교수 ) 심동규 ( 광운대학교교수 ) 협동부회장 강동욱 ( 정보통신기술진흥센터 CP) 김진웅 ( 한국전자통신연구원그룹장 ) 백준기 ( 중앙대학교교수 ) 변혜란 ( 연세대학교교수 ) 신원호 (LG 전자상무 ) 양인환 (TI Korea 이사 ) 오은미 ( 삼성전자마스터 ) 이병욱 ( 이화여자대학교교수 ) 지인호 ( 홍익대학교교수 ) 최병호 ( 전자부품연구원센터장 ) 이 사 강현수 ( 충북대학교교수 ) 권기룡 ( 부경대학교교수 ) 김남수 ( 서울대학교교수 ) 김창수 ( 고려대학교교수 ) 김해광 ( 세종대학교교수 ) 박구만 ( 서울과학기술대학교교수 ) 박인규 ( 인하대학교교수 ) 서정일 ( 한국전자통신연구원선임연구원 ) 신지태 ( 성균관대학교교수 ) 엄일규 ( 부산대학교교수 ) 유양모 ( 서강대학교교수 ) 이상근 ( 중앙대학교교수 ) 이상윤 ( 연세대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 임재열 ( 한국기술교육대학교교수 ) 장길진 ( 경북대학교교수 ) 장준혁 ( 한양대학교교수 ) 한종기 ( 세종대학교교수 ) 협동이사 권구락 ( 조선대학교교수 ) 김기백 ( 숭실대학교교수 ) 김상효 ( 성균관대학교교수 ) 김용환 ( 전자부품연구원선임연구원 ) 김재곤 ( 한국항공대학교교수 ) 박현진 ( 성균관대학교교수 ) 박호종 ( 광운대학교교수 ) 서영호 ( 광운대학교교수 ) 신재섭 ( 픽스트리대표이사 ) 신종원 ( 광주과학기술원교수 ) 양현종 (UNIST 교수 ) 이기승 ( 건국대학교교수 ) 이종설 ( 전자부품연구원책임연구원 ) 임재윤 ( 제주대학교교수 ) 장세진 ( 전자부품연구원센터장 ) 최강선 ( 한국기술교육대학교교수 ) 최승호 ( 서울과학기술대학교교수 ) 홍성훈 ( 전남대학교교수 ) 강상원 ( 한양대학교교수 ) 김응규 ( 한밭대학교교수 ) 최준원 ( 한양대학교교수 ) 구형일 ( 아주대학교교수 ) 박상윤 ( 명지대학교교수 ) 김기백 ( 숭실대학교교수 ) 강제원 ( 이화여자대학교교수 ) 이상철 ( 인하대학교교수 ) 전세영 (UNIST 교수 ) 감 사 김원하 ( 경희대학교교수 ) 최해철 ( 한밭대학교교수 ) 총무간사 허용석 ( 아주대학교교수 ) 연구회위원장 김무영 ( 세종대학교교수 ) - 음향및신호처리연구회 송병철 ( 인하대학교교수 ) - 영상신호처리연구회 이찬수 ( 영남대학교교수 ) - 영상이해연구회 예종철 (KAIST 교수 ) - 바이오영상신호처리연구회

17 시스템및제어소사이어티 회 장 정길도 ( 전북대학교교수 ) 부 회 장 김영철 ( 군산대학교교수 ) 이경중 ( 연세대학교교수 ) 유정봉 ( 공주대학교교수 ) 주영복 ( 한국기술교육대학교교수 ) 감 사 김영진 ( 생산기술연구원박사 ) 남기창 ( 동국대학교교수 ) 총무이사 권종원 ( 한국산업기술시험원선임연구원 ) 김용태 ( 한경대학교교수 ) 재무이사 김준식 (KIST 박사 ) 최영진 ( 한양대학교교수 ) 학술이사 김용권 ( 건양대학교교수 ) 서성규 ( 고려대학교교수 ) 편집이사 남기창 ( 동국대학교교수 ) 이수열 ( 경희대학교교수 ) 기획이사 김수찬 ( 한경대학교교수 ) 이덕진 ( 군산대학교교수 ) 최현택 ( 한국해양과학기술원책임연구원 ) 사업이사 고낙용 ( 조선대학교교수 ) 양연모 ( 금오공과대학교교수 ) 이석재 ( 대구보건대학교교수 ) 산학연이사 강대희 ( 유도 박사 ) 조영조 ( 한국전자통신연구원박사 ) 홍보이사 김호철 ( 을지대학교교수 ) 박재병 ( 전북대학교교수 ) 여희주 ( 대진대학교교수 ) 회원이사 문정호 ( 강릉원주대학교교수 ) 변영재 (UNIST 교수 ) 이학성 ( 세종대학교교수 ) 자문위원 김덕원 ( 연세대학교교수 ) 김희식 ( 서울시립대학교교수 ) 박종국 ( 경희대학교교수 ) 서일홍 ( 한양대학교교수 ) 오상록 (KIST 분원장 ) 오승록 ( 단국대학교교수 ) 연구회위원장 오창현 ( 고려대학교교수 ) 허경무 ( 단국대학교교수 ) 한수희 (POSTECH 교수 ) - 제어계측연구회이성준 ( 한양대학교교수 ) - 회로및시스템연구회남기창 ( 동국대학교교수 ) - 의용전자및생체공학연구회김규식 ( 서울시립대학교교수 ) - 전력전자연구회김영철 ( 군산대학교교수 ) - 지능로봇연구회전순용 ( 동양대학교교수 ) - 국방정보및제어연구회이덕진 ( 군산대학교교수 ) - 자동차전자연구회오창현 ( 고려대학교교수 ) - 의료영상시스템연구회권종원 ( 한국산업기술시험원선임연구원 ) - 스마트팩토리연구회 산업전자소사이어티 회 장 원영진 ( 부천대학교교수 ) 명예회장 강창수 ( 유한대학교교수 ) 남상엽 ( 국제대학교교수 ) 윤기방 ( 인천대학교교수 ) 이상회 ( 동서울대학교교수 ) 이원석 ( 동양미래대학교교수 ) 자문위원 김용민 ( 충청대학교교수 ) 김종부 ( 인덕대학교교수 ) 윤한오 ( 동국대학교교수 ) 이병선 ( 김포대학교교수 ) 이상준 ( 수원과학대학교교수 ) 조도현 ( 인하공업전문대학교수 ) 최영일 ( 조선이공대학교총장 ) 부 회 장 김태원 ( 상지영서대학교교수 ) 동성수 ( 용인송담대학교교수 ) 이용구 ( 한림성심대학교교수 ) 한완옥 ( 여주대학교교수 ) 감 사 김영선 ( 대림대학교교수 ) 김영로 ( 명지전문대학교수 ) 협동부회장 강현웅 ( 핸즈온테크놀로지대표 ) 김응연 ( 인터그래텍대표 ) 김진선 ( 청파이엠티대표 ) 김창일 ( 아이지대표 ) 김태형 ( 하이버스대표 ) 박용후 ( 이디엔지니어링대표 ) 박현찬 ( 나인플러스EDA 대표 ) 성재용 ( 오픈링크시스템대표 ) 송광헌 ( 복두전자대표 ) 이영준 ( 비츠로시스본부장 ) 장 철 (LG 히타찌전무 ) 진수춘 ( 한백전자대표 ) 한성준 ( 아이티센부사장 ) 상임이사 고정환 ( 인하공업전문대학교수 ) 구자일 ( 인하공업전문대학교수 ) 김 현 ( 부천대학교교수 ) 서춘원 ( 김포대학교교수 ) 안성수 ( 명지전문대학교수 ) 안태원 ( 동양미래대학교교수 ) 이동영 ( 명지전문대학교수 ) 재무이사 강민구 ( 경기과학기술대학교교수 ) 강희훈 ( 여주대학교교수 ) 곽칠성 ( 재능대학교교수 ) 김경복 ( 경복대학교교수 ) 김태용 ( 구미대학교교수 ) 문현욱 ( 동원대학교교수 ) 윤중현 ( 조선이공대학교교수 ) 이종하 ( 전주비전대학교교수 ) 이태동 ( 국제대학교교수 ) 주진화 ( 오산대학교교수 ) 학술이사 김덕수 ( 동양미래대학교교수 ) 김용중 ( 폴리텍원주교수 ) 김종오 ( 동양미래대학교교수 ) 성해경 ( 한양여자대학교교수 ) 송도선 ( 우송정보대학교교수 ) 엄우용 ( 인하공업전문대학교수 ) 이영종 ( 여주대학교교수 ) 이영진 ( 을지대학교교수 ) 이종용 ( 광운대학교교수 ) 장경배 ( 고려사이버대학교교수 ) 정경권 ( 동신대학교교수 ) 사업이사 김상범 ( 폴리텍인천교수 ) 김영우 ( 두원공과대학교교수 ) 김윤석 ( 상지영서대학교교수 ) 박진홍 ( 혜전대학교교수 ) 방극준 ( 인덕대학교교수 ) 변상준 ( 대덕대학교교수 ) 심완보 ( 충청대학교교수 ) 오태명 ( 명지전문대학교수 ) 이 철 ( 인하공업전문대학교수 ) 장성석 ( 영진전문대학교수 ) 최의선 ( 폴리텍아산교수 ) 산학연이사 김은원 ( 대림대학교교수 ) 서병석 ( 상지영서대학교교수 ) 성홍석 ( 부천대학교교수 ) 우찬일 ( 서일대학교교수 ) 원우연 ( 폴리텍춘천교수 ) 이규희 ( 상지영서대학교교수 ) 이시현 ( 동서울대학교수 ) 이정석 ( 인하공업전문대학교수 ) 이종성 ( 부천대학교교수 ) 장기동 ( 동양미래대학교수 ) 정환익 ( 경복대학교교수 ) 최홍주 ( 상지영서대학교교수 ) 협동이사 강현석 ( 로보웰코리아대표 ) 김민준 ( 베리타스부장 ) 김세종 (SJ정보통신부사장 ) 김연길 ( 대보정보통신본부장 ) 김태웅 ( 윕스부장 ) 남승우 ( 상학당대표 ) 박정민 ( 오므론과장 ) 서봉상 ( 올포랜드이사 ) 송치봉 ( 웨이버스이사 ) 오재곤 ( 세인부사장 ) 유성철 (LG 히다찌본부장 ) 유제욱 ( 한빛미디어부장 ) 이진우 ( 글로벌이링크대표 ) 전한수 ( 세림TNS 이사 ) 조규남 ( 로봇신문사대표 ) 조병영 ( 태진인포텍전무 ) 조한일 ( 투데이게이트이사 )

18 The Magazine of the IEIE 제 21 대평의원명단 강대성 ( 동아대학교교수 ) 강문식 ( 강릉원주대학교교수 ) 강봉순 ( 동아대학교교수 ) 강성원 ( 한국전자통신연구원부장 ) 강창수 ( 유한대학교교수 ) 고성제 ( 고려대학교교수 ) 고요환 (( 주 ) 매그나칩반도체전무 ) 고윤호 ( 충남대학교교수 ) 고정환 ( 인하공업전문대학교수 ) 고현석 ( 한국전자통신연구원선임연구원 ) 공배선 ( 성균관대학교교수 ) 공준진 ( 삼성전자마스터 ) 구용서 ( 단국대학교교수 ) 구자일 ( 인하공업전문대학교수 ) 권기룡 ( 부경대학교교수 ) 권기원 ( 성균관대학교교수 ) 권오경 ( 한양대학교교수 ) 권종기 ( 한국전자통신연구원책임연구원 ) 권종원 ( 한국산업기술시험원선임연구원 ) 권혁인 ( 중앙대학교교수 ) 권호열 ( 강원대학교교수 ) 김강욱 ( 경북대학교교수 ) 김경기 ( 대구대학교교수 ) 김경연 ( 제주대학교교수 ) 김규식 ( 서울시립대학교교수 ) 김기남 ( 삼성전자사장 ) 김기호 ( 삼성전자부사장 ) 김남용 ( 강원대학교교수 ) 김달수 ( 티엘아이대표이사 ) 김대환 ( 국민대학교교수 ) 김덕진 ( 명예회장 ) 김도현 ( 명예회장 ) 김도현 ( 제주대학교교수 ) 김동규 ( 한양대학교교수 ) 김동순 ( 전자부품연구원박사 ) 김동식 ( 인하공업전문대학교수 ) 김동식 ( 한국외국어대학교교수 ) 김무영 ( 세종대학교교수 ) 김봉태 ( 한국전자통신연구원소장 ) 김부균 ( 숭실대학교교수 ) 김상태 ( 한국산업기술평가관리원실장 ) 김상효 ( 성균관대학교교수 ) 김선용 ( 건국대학교교수 ) 김선욱 ( 고려대학교교수 ) 김선일 ( 한양대학교교수 ) 김성대 (KAIST 교수 ) 김성진 ( 경남대학교교수 ) 김성호 ( 한국산업기술평가관리원팀장 ) 김소영 ( 성균관대학교교수 ) 김수원 ( 고려대학교교수 ) 김수중 ( 명예회장 ) 김수찬 ( 한경대학교교수 ) 김수환 ( 서울대학교교수 ) 김승천 ( 한성대학교교수 ) 김시호 ( 연세대학교교수 ) 김영권 ( 명예회장 ) 김영로 ( 명지전문대학교수 ) 김영선 ( 대림대학교교수 ) 김영철 ( 군산대학교교수 ) 김영환 ( 포항공과대학교교수 ) 김용민 ( 충청대학교교수 ) 김용석 ( 성균관대학교교수 ) 김용신 ( 고려대학교교수 ) 김원종 ( 한국전자통신연구원팀장 ) 김원하 ( 경희대학교교수 ) 김윤희 ( 경희대학교교수 ) 김재석 ( 연세대학교교수 ) 김재현 ( 아주대학교교수 ) 김재희 ( 연세대학교교수 ) 김정식 ( 대덕전자회장 ) 김정태 ( 이화여자대학교교수 ) 김정호 ( 이화여자대학교교수 ) 김종대 ( 한국전자통신연구원연구위원 ) 김종옥 ( 고려대학교교수 ) 김준모 ( 한국과학기술원교수 ) 김지훈 ( 서울과학기술대학교교수 ) 김진영 ( 광운대학교교수 ) 김창수 ( 고려대학교교수 ) 김창용 ( 삼성전자 DMC 연구소장 ) 김창익 ( 한국과학기술원교수 ) 김철동 (( 주 ) 세원텔레텍대표이사 ) 김철우 ( 고려대학교교수 ) 김태욱 ( 연세대학교교수 ) 김태원 ( 상지영서대학교교수 ) 김 현 ( 부천대학교교수 ) 김현수 ( 삼성전자상무 ) 김형탁 ( 홍익대학교교수 ) 김홍국 ( 광주과학기술원교수 ) 김 훈 ( 인천대학교교수 ) 김희석 ( 청주대학교교수 ) 김희식 ( 서울시립대학교교수 ) 나정웅 ( 명예회장 ) 남기창 ( 동국대학교교수 ) 남상엽 ( 국제대학교교수 ) 남상욱 ( 서울대학교교수 ) 노원우 ( 연세대학교교수 ) 노정진 ( 한양대학교교수 ) 노태문 ( 한국전자통신연구원책임연구원 ) 동성수 ( 용인송담대학교교수 ) 류수정 ( 삼성전자상무 ) 문영식 ( 한양대학교교수 ) 문 용 ( 숭실대학교교수 ) 민경식 ( 국민대학교교수 ) 박광로 ( 한국전자통신연구원책임연구원 ) 박광석 ( 서울대학교교수 ) 박규태 ( 명예회장 ) 박동일 ( 현대자동차 전무 ) 박래홍 ( 서강대학교교수 ) 박병국 ( 서울대학교교수 ) 박성욱 (SK하이닉스부회장 ) 박성한 ( 명예회장 ) 박수현 ( 국민대학교교수 ) 박인규 ( 인하대학교교수 ) 박정일 ( 영남대학교교수 ) 박종일 ( 한양대학교교수 ) 박주현 ( 영남대학교교수 ) 박진옥 ( 명예회장 ) 박찬구 ( 인피니언테크놀로지스파워세미텍대표이사 ) 박춘명 ( 한국교통대학교교수 ) 박항구 ( 명예회장 ) 박현욱 ( 한국과학기술원교수 ) 박현창 ( 동국대학교교수 ) 박형무 ( 동국대학교교수 ) 박홍준 ( 포항공과대학교교수 ) 방성일 ( 단국대학교교수 ) 백광현 ( 중앙대학교교수 ) 백만기 ( 김 & 장법률사무소변리사 ) 백준기 ( 중앙대학교교수 ) 백흥기 ( 전북대학교교수 ) 범진욱 ( 서강대학교교수 ) 변영재 ( 울산과학기술대학교교수 ) 서승우 ( 서울대학교교수 ) 서정욱 ( 명예회장 ) 서철헌 ( 숭실대학교교수 ) 서춘원 ( 김포대학교교수 ) 선우명훈 ( 아주대학교교수 ) 성굉모 ( 명예회장 ) 성하경 ( 전자부품연구원선임연구본부장 ) 성해경 ( 한양여자대학교교수 ) 손광준 ( 한국산업기술평가관리원 PD) 손광훈 ( 연세대학교교수 ) 손보익 ( 실리콘웍스대표이사 ) 송문섭 (( 유 ) 엠세븐시스템대표이사 ) 송민규 ( 동국대학교교수 ) 송병철 ( 인하대학교교수 ) 송상헌 ( 중앙대학교교수 ) 송용호 ( 한양대학교교수 ) 송제호 ( 전북대학교교수 ) 송창현 ( 네이버 CTO) 신오순 ( 숭실대학교교수 ) 신요안 ( 숭실대학교교수 ) 신지태 ( 성균관대학교교수 ) 신현철 ( 한양대학교교수 ) 신현철 ( 광운대학교교수 ) 심대용 (SK하이닉스상무 ) 심동규 ( 광운대학교교수 ) 심정연 ( 강남대학교교수 ) 안길초 ( 서강대학교교수 ) 안병구 ( 홍익대학교교수 ) 안성수 ( 명지전문대학교수 ) 안승권 (LG 전자사장 ) 안태원 ( 동양미래대학교교수 ) 안현식 ( 동명대학교교수 ) 양일석 ( 한국전자통신연구원책임연구원 ) 엄낙웅 ( 한국전자통신연구원소장 ) 엄일규 ( 부산대학교교수 ) 연규봉 ( 자동차부품연구원센터장 ) 예종철 ( 한국과학기술원교수 ) 오상록 ( 한국과학기술연구원분원장 ) 오성목 (KT 사장 ) 오승록 ( 단국대학교교수 ) 오창현 ( 고려대학교교수 ) 우남성 (( 전 ) 삼성전자사장 ) 우운택 ( 한국과학기술원교수 ) 원영진 ( 부천대학교교수 ) 유경식 ( 한국과학기술원교수 ) 유명식 ( 숭실대학교교수 ) 유윤섭 ( 한경대학교교수 ) 유정봉 ( 공주대학교교수 ) 유창동 ( 한국과학기술원교수 ) 유창식 ( 한양대학교교수 ) 유태환 ( 한국전자통신연구원책임연구원 ) 유현규 ( 한국전자통신연구원책임연구원 )

19 유회준 ( 한국과학기술원교수 ) 윤기방 ( 인천대학교교수 ) 윤석현 ( 단국대학교교수 ) 윤성로 ( 서울대학교교수 ) 윤영권 ( 삼성전자마스터 ) 윤은준 ( 경일대학교교수 ) 윤일구 ( 연세대학교교수 ) 윤종용 ( 삼성전자비상임고문 ) 윤지훈 ( 서울과학기술대학교교수 ) 이가원 ( 충남대학교교수 ) 이강윤 ( 성균관대학교교수 ) 이경중 ( 연세대학교교수 ) 이광엽 ( 서경대학교교수 ) 이규대 ( 공주대학교교수 ) 이문구 ( 김포대학교교수 ) 이문기 ( 명예회장 ) 이민호 ( 경북대학교교수 ) 이배호 ( 전남대학교교수 ) 이병근 ( 광주과학기술원교수 ) 이병선 ( 김포대학교교수 ) 이병욱 ( 이화여자대학교교수 ) 이상근 ( 중앙대학교교수 ) 이상설 ( 명예회장 ) 이상홍 ( 정보통신기술진흥센터센터장 ) 이상회 ( 동서울대학교교수 ) 이상훈 ( 한국전자통신연구원원장 ) 이성수 ( 숭실대학교교수 ) 이성준 ( 한양대학교교수 ) 이승호 ( 한밭대학교교수 ) 이승훈 ( 서강대학교교수 ) 이영렬 ( 세종대학교교수 ) 이용구 ( 한림성심대학교교수 ) 이원석 ( 동양미래대학교교수 ) 이윤식 ( 울산과학기술대학교교수 ) 이윤종 (( 주 ) 동부하이텍부사장 ) 이인규 ( 고려대학교교수 ) 이장명 ( 부산대학교교수 ) 이재진 ( 숭실대학교교수 ) 이재홍 ( 서울대학교교수 ) 이종호A ( 서울대학교교수 ) 이종호B ( 서울대학교교수 ) 이진구 ( 명예회장 ) 이찬수 ( 영남대학교교수 ) 이찬호 ( 숭실대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 이채은 ( 인하대학교교수 ) 이천희 (( 전 ) 청주대학교교수 ) 이충용 ( 연세대학교교수 ) 이충웅 ( 명예회장 ) 이태원 ( 명예회장 ) 이필중 ( 포항공과대학교교수 ) 이한호 ( 인하대학교교수 ) 이혁재 ( 서울대학교교수 ) 이현중 ( 한국전자통신연구원박사 ) 이호경 ( 홍익대학교교수 ) 이흥노 ( 광주과학기술원교수 ) 이희국 ( LG 상근고문 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 임기택 ( 전자부품연구원센터장 ) 임신일 ( 서경대학교교수 ) 임제탁 ( 명예회장 ) 임해진 ( 강원대학교교수 ) 임혜숙 ( 이화여자대학교교수 ) 장은영 ( 공주대학교교수 ) 장태규 ( 중앙대학교교수 ) 전국진 ( 서울대학교교수 ) 전민용 ( 충남대학교교수 ) 전병우 ( 성균관대학교교수 ) 전순용 ( 동양대학교교수 ) 전영현 ( 삼성전자사장 ) 전홍태 ( 중앙대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 정길도 ( 전북대학교교수 ) 정성욱 ( 연세대학교교수 ) 정승원 ( 동국대학교교수 ) 정영모 ( 한성대학교교수 ) 정원영 ( 인제대학교교수 ) 정윤호 ( 한국항공대학교교수 ) 정은승 ( 삼성전자부사장 ) 정의영 ( 연세대학교교수 ) 정정화 ( 명예회장 ) 정종문 ( 연세대학교교수 ) 정 준 ( 쏠리드대표이사 ) 정진용 ( 인하대학교교수 ) 정항근 ( 전북대학교교수 ) 제민규 ( 한국과학기술원교수 ) 조경순 ( 한국외국어대학교교수 ) 조남익 ( 서울대학교교수 ) 조도현 ( 인하공업전문대학교수 ) 조명진 ( 네이버박사 ) 조민호 ( 고려대학교교수 ) 조상복 ( 울산대학교교수 ) 조성현 ( 한양대학교교수 ) 조성환 ( 한국과학기술원교수 ) 조영조 ( 한국전자통신연구원책임연구원 ) 조중휘 ( 인천대학교교수 ) 조춘식 ( 한국항공대학교교수 ) 주성순 ( 한국전자통신연구원박사 ) 주영복 ( 한국기술교육대학교교수 ) 진 훈 ( 경기대학교교수 ) 차호영 ( 홍익대학교교수 ) 천경준 ( 씨젠회장 ) 최강선 ( 한국기술교육대학교교수 ) 최기영 ( 서울대학교교수 ) 최병덕 ( 한양대학교교수 ) 최승원 ( 한양대학교교수 ) 최승종 (LG 전자전무 ) 최영규 ( 한국교통대학교교수 ) 최용수 ( 성결대학교교수 ) 최우영 ( 서강대학교교수 ) 최윤식 ( 연세대학교교수 ) 최준림 ( 경북대학교교수 ) 최중호 ( 서울시립대학교교수 ) 최진성 (SK텔레콤전무 ) 최천원 ( 단국대학교교수 ) 한대근 (( 전 ) 실리콘웍스대표이사 ) 한동석 ( 경북대학교교수 ) 한수희 ( 포항공과대학교교수 ) 한영선 ( 경일대학교교수 ) 한완옥 ( 여주대학교교수 ) 한재호 ( 고려대학교교수 ) 한종기 ( 세종대학교교수 ) 한태희 ( 성균관대학교교수 ) 함철희 ( 삼성전자마스터 ) 허 염 ( 실리콘마이터스대표이사 ) 허 영 ( 한국전기연구원본부장 ) 허재두 ( 한국전자통신연구원본부장 ) 허 준 ( 고려대학교교수 ) 호요성 ( 광주과학기술원교수 ) 홍국태 (LG 전자연구위원 ) 홍대식 ( 연세대학교교수 ) 홍민철 ( 숭실대학교교수 ) 홍승홍 ( 명예회장 ) 홍용택 ( 서울대학교교수 ) 홍유식 ( 가톨릭상지대학교교수 ) 황성운 ( 홍익대학교교수 ) 황승구 ( 한국전자통신연구원소장 ) 황승훈 ( 동국대학교교수 ) 황인철 ( 강원대학교교수 ) 사무국직원명단 송기원국장 - 대외업무, 업무총괄, 기획, 자문, 산학연, 선거이안순부장 - 국내학술, 총무, 포상, 임원관련, 컴퓨터소사이어티배지영차장 - 국제학술, 국문논문, JSTS 영문지, 시스템및제어소사이어티배기동차장 - 사업, 표준화, 용역, 반도체소사이어티변은정차장 - 재무 ( 본회 / 소사이어티 / 연구회 ), 학회지, 산업전자소사이어티김천일과장 - 회원, 정보화, 홍보 / 교육, 통신소사이어티장다희서기 - 국제학술, 국제업무, SPC, 신호처리소사이어티

20 2017 년대한전자공학회영상신호처리및영상이해연구회합동워크샵 영상신호처리및영상이해연구회 ( 위원장 : 송병철교수 ( 인하대학교 ), 이찬수교수 ( 영남대학교 )) 에서는 8월 9일 ( 수 ) ~ 8월 11일 ( 금 ) 서강대학교정하상관국제회의실에서 2017년대한전자공학회영상신호처리및영상이해연구회합동워크샵 을개최하였다. 이번워크샵에서는컴퓨터비전분야에입문하는대학원생이나연구원이알아야하는기초이론부터응용사례까지 3일간총 15개의강의를준비하였고, 이미학계에서인정받고있는강사들이쉽지않은내용을초보자도이해할수있는수준으로쉽게풀어설명하고자많은노력을기울였다. 3일간약 200여명이참석한이번워크샵을통해학술적, 기술적정보를심도있게교류하고토론하는의미있는자리가되었다. 2017년대한전자공학회영상신호처리및영상이해연구회합동워크샵 - 홍대식회장인사말 2017년대한전자공학회영상신호처리및영상이해연구회합동워크샵 2017년대한전자공학회영상신호처리및영상이해연구회합동워크샵 - 강연 594 _ The Magazine of the IEIE 12

21 News 신규회원가입현황 (2017 년 7 월 18 일 년 8 월 17 일 ) 정회원강국진 (LIG넥스원), 구은희 ( 아주대학교 ), 김상길 ( 퀄컴 ), 김형수 ( 현대자동차 ), 백범슬 ( 충북대학교 ), 승지훈 ( 전북대학교 ), 이주형 ( 국방과학연구소 ), 이태훈 ( 전자부품연구원 ), 이현석 ( 단국대학교 ), 이형수 (LIG넥스원( 주 )), 정하석 ( 빅텍 ), 조경식 ( 국제대학교 ), 조상준 ( 가천대학교 ), 주성욱 ( 상신브레이크 ), 최한고 ( 금오공과대학교 ) 이상 15명학생회원강성현 ( 을지대학교 ), 김경만 ( 중앙대학교첨단영상대학원 ), 김보라 ( 숭실대학교 ), 김신영 ( 강원대학교 ), 김정용 ( 서울시립대학교 ), 김진산 ( 한국외국어대학교 ), 김진호 ( 가톨릭대학교 ), 박기홍 ( 한양대학교 ), 유현서 ( 을지대학교 ), 이상현 ( 금오공과대학교 ), 이진영 ( 세종대학교 ), 이형로 ( 세명대학교 ), 이형민 ( 연세대학교 ), 임형용 ( 한양대학교 ), 정정훈 ( 경북대학교 ), 정충부 ( 서강대학교 ), 정현기 ( 서울시립대학교 ), 조진우 ( 한양대학교 ), 홍덕기 ( 세종대학교 ) 이상 19명 13 전자공학회지 _ 595

22 학회일지 The Institute of Electronics and Information Engineers 2017년 7월 21일 ~ 2017년 8월 16일 1. 회의개최 회의명칭일시장소주요안건 산업전자소사이어티이사회 7.21 (17:00) 해동자료실 - 경진대회결과보고및하반기행사논의외 ICEIC 2018 제 3 차운영회의 8.4 (7:30) 학회회의실 - 초청강연논의및프로그램논의외 제 2 차추계조직위원회의 8.4 (16:00) 학회회의실 - 학술대회프로그램구성및진행논의외 2. 행사개최 행사명칭일시장소주관 영상신호처리및영상이해연구회합동워크샵 8.9 ~ 8.11 서강대학교 영상신호처리연구회영상이해연구회 596 _ The Magazine of the IEIE 14

23 특 집 편 집 기 딥러닝을포함한인간행동인식최신기술동향 최근보행자검출이나표정인 식을포함한인간행동검출및인식과관련하여비디오검색, 감시시스템이나로봇과사람의상호작용뿐아니라자동차, IoT 장치등의결합과더불어다양한분야로그응용분야가확대되고이찬수편집위원있어관련분야에대한관심이 ( 영남대학교 ) 높아지고있다. 특히최근에이슈가되고있는딥러닝을이용한다양한기법들이개발되고적용되면서이분야의연구들이새로운양상으로전개되고있는상황이다. 이러한상황에서 2017년 1월에개최되었던영상이해연구회겨울학교에서발표되었던내용을중심으로하여최신의인간행동인식관련연구동향을소개하여관련된분야에대한연구에대한이해를높이고자본특집호를준비하게되었다. 이와관련하여 4 편의인간행동인식관련전문가의논문과 3편의특별초청논문으로구성되어있다. 첫째, 인간행동인식관련해서는 비디오기반행동인식연구동향 ( 고병철 ) 에서인간행동인식에있어서의어려움과전통적인인간행동인식방법및딥러닝기반의인식방법을소개하여인간행동인식관련한전반적인이해및중심이슈를파악할수있도록했다. 이를바탕으로둘째, 지능형자동차를위한야간보행자검출기술 ( 김성호 ) 에서는 최근에특히이슈가되고있는야간보행자검출관련기술동향및최신응용사례를소개한다. 셋째, 의미론적연관성분석을위한영상정합동향 ( 함범섭 ) 에서는기존의픽셀단위의영상정합의한계를넘어서는의미론적영상정합의문제및최신동향을소개한다. 마지막으로, 최근표정인식기술동향 ( 이찬수 ) 에서는인간이해를위한또다른중요한분야의하나인인간감정인식을위한표정인식관련중요단계및응용사례를살펴본다. 3편의특별초청논문에서는첫째, 무인비행체임베디드조난자탐지시스템 ( 황성주 ) 에서최근이슈가되고있는드론시스템에딥러닝을이용한실시간영상처리기술에의한조난자탐지시스템구축사례를보여주고, 둘째, MPEG-I 표준과 360도비디오콘텐츠생성 ( 호요성 ) 에서기존의 VR 보다고화질의시점의자유도를확대시킨 MPEG-I 표준화방향및관련기술을소개한다. 셋째, 컴퓨터비전및영상처리를위한컬러시스템의이해 ( 조윤지 ) 에서는특징추출을위하여흔히사용되고있는컬러시스템의문제점및대안을제시한다. 바쁜일정중에본특집호를위하여옥고를보내주신집필진여러분께감사드리며, 본특집호가인간행동분석및이해와관련된기술교류및협력을위한발판이되고, 관련기술발전의새로운계기가되기를기원한다. 15 전자공학회지 _ 597

24 특집 비디오기반행동인식연구동향 비디오기반행동인식연구 동향 Ⅰ. 서론 인간행동 (human activity) 연구는크게 인간행위의도를인식하고그에맞는서비스를제공 하려는컴퓨터비전또는인공지능측면에서목적과, 반대로 컴퓨터나로봇이인간과유사한방법으로의사를표현 할수있도록하기위한 HCI (Human-computer interface), 로봇공학적인목적으로구분할수있다. 인간의행동은 < 그림 1> 과같이세부적으로제스처 (gesture) 혹은포즈 (pose), 액션 (action), 행동 (activity), 상호작용 (interaction), 그룹행동 (group activity), 이벤트 (event) 로구분할수있다. 제스처는기본액션 (atomic action) 인독립된신체부위의움직임을의미하며수화인식이대표적인제스처인식연구이다. 액션 (action) 은서로다른신체부위가연속적으로움직이는것을의미하며, 뛰기, 걷기, 구부리기 등등을예로들수있다. 행동 (activity) 는인간의액션이상대적으로긴시간동안연속적으로일어나고, 동시에여러가지행동이결합된것을말한다. 행동의예로는 ATM으로부터현금인출하기, 전화받기, 차를마시기 등이있다. 상호작용 (interaction) 은 밀기, 때리기 와같이인간과대상체 ( 인간, 객체 ) 사이 고병철 계명대학교컴퓨터공학부 < 그림 1> 행동인식연구의계층별구분 [1] 598 _ The Magazine of the IEIE 16

25 비디오기반행동인식연구동향 에주고받는행동을의미한다. 그룹행위는행위를일으키는주체가개인이아니라단체인경우를의미한다. 마지막으로이벤트 (event) 는긴시간동안여러행동들이결합된보다의미있는행동을의미한다. 이벤트의예로는 축구게임, 생일파티 와같이긴시간동안여러객체들의행동이결합되어발생된다. 컴퓨터비전분야에서인간행동인식연구는수십년간지속적으로이루어져왔지만다음과같은여러가지제약으로인해아직까지도인식의어려움을겪고있다. 1) 객체의겹침, 비강체 (non-rigid) 움직임, 시각 (viewpoint) 의변화와같은외형의변화, 2) 방대한학습데이터필요, 3) 모호한행동에대한정의의어려움, 4) 정적데이터와동적데이터의혼재행동인식연구는전통적인행동인식방법과딥러닝 (Deep Learning) 기반의행동인식방법으로구분해볼수있다. 첫번째로전통적인행동인식방법은 < 그림 2 ( 위 )> 와같이, 입력된영상혹은비디오프레임들로부터객체의영역을분할하거나추적하는등의전처리과정을거친다. 이후에각객체로부터다양한특징벡터를추출하고패턴인식기를학습하는과정과새롭게입력되는객체로부터동일한특징벡터를추출하여학습된분류기를적용해최종행동을인식하는과정을거친다. 최근에는 < 그림 2 ( 아래 )> 와같이특징추출과정에서미리지정된특징추출기대신에 CNN(Convolutional Neural Network) 의컨볼루션커널네트워크를적용하여행동인식에최적화된특징을추출하고분류기를학습시킴으로서인식성능을높이고자하는연구가주목을받고있다. < 그림 2> 컴퓨터비전기반인간행동인식처리과정 [2] 따라서본논문에서는전통적인행동인식방법을우선설명하고전통적인방법론의한계점을극복하기위해제안된딥러닝기반의행동인식방법들을설명하도록한다. 본논문의구성은다음과같다. 2장에서는행동인식에서필수적인시공간특징정보특징추출과행동인식을위한전통적인패턴인식알고리즘에대해알아본다. 3장에서는최근의딥러닝기반행동인식알고리즘의특징에대해설명하고 4장에서는행동인식에대한향후연구방향과전망을살펴본다. Ⅱ. 전통적인행동인식연구방법 1. 시공간지역특징점검출기 입력된영상으로부터특징을추출하는방법은전체영상으로부터추출하는방법과행동이빈번하게발생하는중요특징점에서만특징을추출하는방법이있다. 후자의경우가행동인식에서는주로이루어지는방법으로, 이렇게함으로써보다의미있는특징을추출할수있고특징벡터의차원을줄일수있다. 특징점을추출하는방법은여러가지가있지만본논문에서는일반적으로행동인식에서사용되어오고있는 3가지방법론을소개하도록한다. 1 시공간특징점추출 (Spatio-temporal Interest Point, STIP) [3] STIP방법에서는연속된프레임들을시공간축상에나열하고공간적인축상의기울기와시간축상에서의기울기변화가크게나타나는지역적최대점을찾는방법이다. 이방법에서는지역특징점의스케일을결정하기위해특징점들에대해크기가다른정규화된라플라시안을적용해서최댓값을갖는시공간스케일을결정한다. 2 Cuboid 검출기 [4] Cuboid검출기에서는특징점들에대한스케일을찾지않고대신시공간상에서가우시안필터를적용하여보다조밀한특징점을추출하고추출된특징점의주변에서 3 차원 cuboid를추출하는방법이다. 3 Hessian 3D 검출기 [5] 이방법은 SURF(Speed up robust feature) 방법을시 17 전자공학회지 _ 599

26 고병철 간축으로확대시킨것으로필터의크기를다르게적용하여지역최댓값을갖는특징점을찾아낸다. 이방법은 STIP보다빠르고조밀한특징점을추출하지만 Cuboid 방법에비해서는조밀성이떨어진다. 2. 시공간특징기술자추출된특징점으로부터행동인식을위한특징벡터를추출하는과정이필요하다. 특징점으로부터시공간정보를추출하기위해 3차원큐브 ( 또는박스 ) 를설정하고다음과같은세가지형태의기술자를이용하여시공간특징을추출한다. 1 HOG, HOF 기술자 [6] 시공간큐브안에서픽셀들의기울기방향을히스토그램으로누적하여 HOG (Histogram of gradient) 특징을생성하고픽셀옵티컬플로우의방향을히스토그램으로누적하여 HOF(Histogram of optical flow) 특징을생성한다. 이렇게생성된두개의특징기술자를행동인식을위한특징기술자로사용한다. 2 Cuboid 기술자 [4] 마찬가지로시공간큐브안에서 x, y 기울기와연속적인프레임들으로부터옵티컬플로우를계산하여 3D 특징기술자를생성한다. 이렇게생성된큐보이드기술자는다시 PCA를이용하여 100차원의특징공간으로축소된다. 3 HOG 3D [7] HOG 3D기술자에서는시공간큐브를 2 2 2개의셀 (cell) 로다시분할하고각셀을또다시 2 2의서브블록으로분할한다. 각서브블록에서 x, y, t에대한기울기를계산하여평균기울기와방향을계산한다. 각셀을 12 개의다면체로구성하고각다면체의평균벡터의의크기와방향을히스토그램으로누적하고이값들로부터한개의평균벡터를추출한뒤에각서브블록에서추정된평균벡터들을히스토그램으로결합하는방법을사용한다. 시공간지역특징점으로부터특징기술자를추출하고이를기반으로행동인식에서유용한특징점과기술자를선별하기위한실험결과 [8] 에따르면, 특징점추출을위해서는 STIP를사용하고, 시공간특징기술자로 HOG/ HOF를사용했을때가장좋은성능이나타난것으로알 < 그림 3> BOF를이용한특징추출및분류기학습과정려져있다. 특징점으로부터추출된특징기술자들은그대로사용할수도있지만큰특징기술자의차원을의미있는특징단위로군집화하여특징벡터의차원을줄이고인식성능을높일수도있다. 이를위해가장많이사용되는방법이 BoF(Bag-of-feature) 방법이다 [9]. BoF는각영상을순서없는지역특징집합으로표현하기위해고안되었다. 각영상에서추출된지역특징들은 K-mean 군집화방법에의해군집화되고각군집의중심벡터는코드워드 (code word) 로정의되어 K개의코드워드로구성된코드북이생성된다. 코드북이생성되면한영상의지역특징들은코드북에매핑되고, 매핑유사성에따라가장거리가가까운코드워드의히스토그램빈에누적시키는방법으로 BoF를생성하게된다 [10]. 이렇게생성된 BoF히스토그램은 < 그림 3> 과같이패턴분류기의학습특징으로사용된다. 3. 행동인식분류기학습데이터로부터추출된특징벡터는다양한패턴분류기에적용되어행동인식을위해사용된다. 전통적으로인간행동인식을위해많이사용된알고리즘은 SVM (Support vector machine) 이다. SVM 분류기는높은성능과정확도를가지기때문에일반적인패턴분류를위해서주로사용되는방법이지만, 계산의복잡성때문에높은차원을가진특징이나, 방대한양의클래스를분류할때는적합하지않다 [10]. 행동인식에서많이사용되는또다른분류기는 AdaBoost로여러개의약분류기 (weak classifier) 를결합하여강한분류기를만드는방법이다. AdaBoost방법과유사하게약분류기를여러개결합하는 Bagging기반의알고리즘인랜덤포레스트 (Radndom Forest) 도행동인식에서많이사용되는알고리즘이다. Breiman [11] 에의해제안된랜덤포레스트는다수의결정이진 (binary) 600 _ The Magazine of the IEIE 18

27 비디오기반행동인식연구동향 트리를앙상블형태로결합한것으로, 각이진트리에서는랜덤한방법으로트리들을성장시킨다. 랜덤포레스트는결정트리들을기본으로하고있기때문에, 빠른학습속도와많은양의데이터처리능력을가지고있다 [10-11]. 하지만최근에는전통적인행동인식방법을벗어나영상처리에특화된 CNN기반의행동인식알고리즘이주로연구되고있으며성능또한기존의전통적인방법에의해우수하다는사실이많은학술연구를통해증명되고있다. 따라서다음장에서는몇가지딥러닝기반의행동인식연구에초점을맞추어설명하도록할것이다. Ⅲ. 딥러닝기반의행동인식 1. CNN기반의행동인식 딥러닝알고리즘중에서 CNN알고리즘은영상인식을위해제안된알고리즘으로일반적으로 3종류의계층구조를갖는다. 첫번째단계인컨벌루션층 (convolution layer) 에서는입력영상에커널을적용하여의미있는특징을추출하기위한층이다. 영상처리에서는커널의계수가목적에따라고정적으로사용되지만 CNN에서는학습을통해커널의계수가결정된다. 두번째단계인풀링층 (pooling layer) 은영상의특징차원을줄이기위해서브샘플링을하는층이다. 서브샘플링을위해서주로맥스-풀링 (max-pooling) 방식이주로사용되는데이것은임의의영역내에서가장큰값 ( 자극 ) 만을선택하는방법이다. 이와같이컨벌루션층과풀링층을여러차례거지게되면영상전체를대표할수있는전역특징을얻을수있게된다. 이렇게얻어진전역특징은최종적으로피드포워드층 (feedforward layer) 에적용되어소프트맥스 (softmax) 등의방법에의해특정클래스를분류할수있데된다. 이후부터는 CNN을이용한대표적인행동인식알고리즘을소개하도록한다. Simonyan [12] 등은비디오에서액션인식을위해두가지흐름의 CNN방법을제안하였다. 첫번째흐름에서는입력비디오의매프레임에서컨벌루션층과풀링층을반복적으로적용하여액션클래스별스코어를계산한다. 또다른층에서는몇개의비디오프레임들로부터옵티컬플로우를계산하고각픽셀별옵티컬플로우의방향과크기를누적 (stacking) 한모션벡터영상에대해유사한형태의컨벌루션층과풀링층을적용하여소프트맥스에의해액션클래스별스코어값을계산한다. 이렇게각각계산된클래스별액션스코어는최종적으로결합되고결합된스코어를이용하여최종액션인식을수행한다. 이논문에서는추가적으로소프트맥스스코어를결합하고평균하여최종액션을인식하는방법과 CNN출력의최종완전연결특징값을 SVM에입력으로적용한방법의액션인식성능을분석하였다. 그결과소프트맥스를평균한방법보다 SVM을사용하였을경우가약 0.8% 성능이우수함을증명하였다. Simonyan [12] 등의방법에서는모션정보를추출하기위해 2~3장의프레임으로부터특징을추출함으로정확한모션정보를추출할수없다는단점이있다. 이러한단점을해결하기위해 Ji [13] 등은 7장의연속적인프레임을쌓아두고 3D 커널을적용함으로써모션정보가충분히축적된특징맵을생성하도록하였다. < 그림 4> 에서보는것과같이 60x40크기의연속적인 7프레임이입력으로주어지면먼저첫번째단계에서는 gray, gradient-x, gradient-y, optical flow-x, optical flow-y의고정된커널이적용된다. 두번째컨벌루션층에서는 33개의특징맵을 3개씩결합 (3D) 하고 7 7 컨벌루션커널을적용하여총 23개의특징맵 2 세트를만든다. 특징맵을 2 세트로만들어사용하는이유는특징맵의숫자를늘리기위해서이다. 최종출력층에서는완전연결된특징값에소프트맥스를적용하여액션클래스별스코어를계산한다. Tran [14] 등도모델의시간적정보변화를정확히추출하 < 그림 4> 3D 컨벌루션을이용한 CNN기반액션인식과정 19 전자공학회지 _ 601

28 고병철 기위해 2D 컨벌루션대신 3D 컨벌루션커널을적용하고있다. 이방법의특징은이전 3D 커널기반방법이입력으로제한된수의프레임들만을사용했던것에비해전체비디오프레임들을입력으로사용한다는것이다. 네트워크의구성은 8개의컨벌루션과 5개의맥스풀링, 2개의완전연결층, 소프트맥스출력층으로구성되어있다. 3D 컨벌루션커널은 3 3 3으로구성되어있고, 풀링커널은 2x2x2로구성되어있다. 모든입력시퀀스를나열하고총 15개의네트워크를거치면 4096 차원의특징벡터가추출되며이벡터를이용하여소프트맥스출력스코어를계산한다. 2. LSTM 기반의행동인식 CNN은정지영상에서객체의상태를판단하는연구에는좋은성능을보이지만음성인식과같이과거의정보를통해현재의상태를판단하기위한인식문제에는적합하지않다. 행동인식도시간적으로과거의정보가현재의행동을인식하는데중요한단서가됨으로최근에는행동인식에서도과거의정보를바탕으로현재의상태를인식하려는 RNN (Recurrent neural network) 기반의알고리즘이관심을받고있다. RNN은 < 그림 5 (a)> 와같이 t 에서의네트워크출력값이 t+1 시간의네트워크에새로운입력값으로전달된다. 이렇게종료시점까지이전네트워크의출력값들이전달되면최종네트워크에서는이전네트워크에서전달된값들을기억하여문제해결에사용한다. 이렇게이전기억들을현재문제해결에사용하는방법을장기기억의존성 (long-term dependency) 라고한다. 이론적으로 RNN은완벽하게장기기억의존성문제를다룰수있는것으로되어있지만실제문제해결에서는장기기억이오래될수록 RNN이장기기억을학습에제대로반영하지못하는것으로알려져있다 [15]. < 그림 5 (b)> 와같이네트워크의길이가길어질수록처음에입력된입력값들을네트워크가잊어버리는기울기소멸 (vanishing gradient) 문제가 RNN에서발생한다. 따라서이러한문제점을해결하기위해기억중에서중요한기억은장기기억하고중요하지않은기억은단기기억하여최종판단에사용하는 LSTM (Long short term memory) 방법이제안되었다. LSTM은 RNN의한종류로장기기억의존성문제를해결하기위해디자인되었다. < 그림 6> 과같이 LSTM 은 Cell이라고불리는네트워크로구성되어있고 Cell들은체인구조로연결되어있다. LSTM에서중요한요소는 Cell 상태 (state) 로다이아그램의상부에모든 Cell을수평으로통과하는선으로표시된다. LSTM은 Cell상태에정보를추가하거나제거함으로써장기기억과단기기억을조절한다. LSTM은 Cell 상태를유지하기위해총 3개의 gate를사용하는데, 기억을잊을것인지유지할것인지를결정하는 forget gate layer, 어떤값을업데이트할지를결정하는 input gate layer, Cell상태와입력값을반영하여출력값을결정하는 output gate layer 로구성된다. LSTM기반의행동인식연구에대해서는최근논문위주로 3가지연구를소개하기로한다. Donahue [17] 등은 CNN과 LSTM을결합하여행동인식을위한새로운구조를설계하였다. < 그림 7> 과같이우선개별영상에 CNN을적용하고출력된값을 LSTM 구조에연결하여출력값에대해행동을예측하도록한다. 이후에연속적인프레임에대해서도동일하게네트워크구조를만드는데, 여기서이전프레임의 LSTM 출력값들이현재프레임과다음프레임에입력되는구조를갖는다. LSTM의출력에의해예측된결과값도마찬가지로 < 그림 5> RNN 의구조와 (a) 문제점 (b) < 그림 6> LSTM 의구조 [16] 602 _ The Magazine of the IEIE 20

29 비디오기반행동인식연구동향 프레임간연결구조를갖고최종적으로 T타임에서의행동인식결과를유추하게된다. Wang [18] 등은 < 그림 8> 과같이각입력영상에대해서중요도마스크 (saliency mask) 를적용하고각프레임별로 CNN을적용한결과에대해 LSTM을연결하는네트워크를제안하였다. 마찬가지로각프레임별 LSTM은서로시간상으로연결되어있으며각 LSTM에서출력한결과를결합하여풀링층에서하나의특징벡터로재생산해낸다. 이를소프트맥스층에입력하여각행동들에대핸스코어값을출력해내는구조이다. Ibrahim [19] 등은 < 그림 9> 와같이그룹의행동을인식하기위해계층적깊이시간모델 (deep temporal model) 을제안하였다. 이모델에서는배구경기에참여하는각선수들의움직임을 tracklet으로추적한뒤에각 tracklet 을 CNN에입력한다. 시간축상에서선수별 CNN 출력값들은다시선수별 LSTM에입력되어각선수별액션인식에사용된다. 각선수별액션인식결과는다시그룹 < 그림 7> CNN과 LSTM을결합한행동인식네트워크구조 [17] < 그림 8> 중요도기반 3D CNN과 LSTM을결합한행동인식네트워크구조 [18] < 그림 9> 계층적시간모델에기반을둔그룹행동인식네트워크구조 [19] LSTM에입력되어각선수들의액션결과에따른그룹행동인식에사용된다. Ⅳ. 결론및향후연구방향 지금까지살펴본바와같이컴퓨터비전기반의인간행동인식연구는크게두방향으로나누어볼수있다. 첫번째, 전통적인행동인식방식은영상에서객체를분할하고 ( 혹은객체분할없이영상전체를사용 ) 시공간상에서의미있는변화를갖는특징점을추출해내는전처리작업을거친다. 특징점으로부터 3차원특징기술자들을추출해낸뒤 PCA를통해특징벡터의차원을줄이거나, 혹은 BoF를이용하여의미있는군집단위로특징값을재생산해낸다. 최종적으로인공신경망, SVM, AdaBoost, 랜덤포레스트등의분류기에대한학습과정을거쳐행동을인식한다. 두번째, CNN과 LSTM에기반을둔행동인식방법이다. CNN만을이용할경우정해진프레임에서공간적특징과시간적특징을컨벌루션커널을통해추출하고이를소프트맥스분류기에적용하는방법이주로사용되었다. 하지만전체비디오프레임을사용하지못하는문제점과연속적인행동인식을위해과거정보가필요함에도불구하고인식에활용할수없다는문제점을해결하기위해최근에는개별프레임에서는 CNN을활용하고연속적인프레임들사이에시간정보활용에는 LSTM을적용하는방법들이많이연구되고있다. 과거행동인식에서는영상내의객체가하나이거나개별적인객체의상호작용을객체검출이나추적의과정없이특징점을추출하고특징점을중심으로하는큐브에서특징기술자를추출하여분류하는방식을사용하였다. 하지만특징점을사용하지않는 CNN이나 LSTM방식에서는사람객체를추출하고개별적으로추적과정을통해개별적인행동을인식하는과정이필요하다. 이러한객체추출및추적은그룹행동인식이나상호작용행동인식에서도필수적이다. 따라서, 앞으로의행동인식연구에서는연속프레임에서객체를추출하고추적하는과정이동반되어야할것이며객체추적정보가인간의행동을인식하 21 전자공학회지 _ 603

30 고병철 는중요한요소로작용할것이다. 특히그룹행동인식이나이벤트인식에서는각객체별추적경로및상대적인위치정보등이인식율을높이기위한특징값으로사용될수있다. 인공지능과컴퓨터비전기술에대한관심이증가하면서인간행동연구는크게인간행위의도를인식하고그에맞는서비스를제공하려는인공지능측면에서목적과, 로봇이나기계가인간을자연스럽게흉내내기위한인간공학측면에서꾸준히증가할것으로예측된다. 이에, 인공지능이나컴퓨터비전분야뿐만아니라 HCI, 로봇공학, 심리학등과같은다양한분야의학문이융합된다면인간행동에대한보다정확한인식이가능할것으로생각된다. 참고문헌 [1] I. Lillo et al. Sparse composition of body poses and atomic actions for human activity recognition in RGB-D videos, Image and Vision Computing, vol. 59, pp , [2] H.S. Min et al. Sparse representation-based human action recognition using an action region-aware dictionary, EEE- ISM, [3] I. Laptev et al. On Space-Time Interest Points, Int. J. of Computer Vision, vol 64, pp , [4] P. Dollár, et al. Behavior recognition via sparse spatiotemporal features, VS-PETS, [5] G. Willems, et al. An efficient dense and scale invariant spatio-temporal interest point detector, ECCV, [6] I. Laptev et al. Learning realistic human actions from movies, CVPR, [7] A. Klaeseret al. A spatio-temporal descriptor based on 3D-gradients, BMVC [8] H. Wang et al. Evaluation of local spatio-temporal features for action recognition, BMVC, [9] V. Delaitre et al. Recognizing human action in still images: a study of bag-of-features and partial-based representations, BMVC, [10] 홍준혁외 가중치기반 Bag-of-Feature와앙상블결정트리를이용한정지영상에서의인간행동인식, 한국통신학회논문지, [11] L. Breiman Random forests, Machine Learning, vol. 45, pp. 5-32, [12] K. Simonyan et al. Two-stream convolutional networks for action recognition in videos, NIPS, [13] S. Ji et al. 3d convolutional neural networks for human action recognition, IEEE Transaction PAMI, vol. 35, pp , [14] D. Tran et al. Learning spatiotemporal features with 3D convolutional networks, ICCV, [15] A. Alahi, Social LSTM: Human Trajectory Prediction in Crowded Spaces, CVPR, [16] S. Hochreiter and J. Schmidhuber, Long Short-Term Memory, Neural Computation, vol.9, pp , [17] J. Donahue et al, Long-term Recurrent Convolutional Networks for Visual Recognition and Description, Berkeley Tech. Report, [18] X. Wang et al. Beyond Frame-level CNN: Saliency-aware 3D CNN with LSTM for Video Action Recognition, IEEE Sig. Processing Letters, [19] M. S. Ibrahim et al. A hierarchical deep temporal model for group activity recognition, CVPR, 고병철 1998 년 2 월경기대학교전자계산학과학사 2000 년 2 월연세대학교컴퓨터과학과석사 2004 년 2 월연세대학교컴퓨터과학과박사 2004 년 3 월 ~2005 년 8 월삼성전자통신연구소책임연구원 2005 년 9 월 ~ 현재계명대학교컴퓨터공학부교수 < 관심분야 > 보행자검출및추적, 비디오기반행동인식, ADAS, 화재검출 604 _ The Magazine of the IEIE 22

31 특집 지능형자동차를위한야간보행자검출기술 지능형자동차를위한 야간보행자검출기술 Ⅰ. 서론 김성호 영남대학교전자공학과 최근지능형자동차, 무인자율주행자동차분야에대한연구가매우활발하다. IoT (Internet of Things) 기술과더불어딥러닝에기반한객체인식기술의향상으로 4차산업혁명이이미시작된상태이다. 자동차시장만볼경우, 지능형자동차든무인자율주행자동차든제일중요한기술은보행자에대한안전기술이다. 국내교통사고분석시스템 (Traffic Accident Analysis System) [1] 의자료에따르면국내의경우주간교통통행량이야간통행량보다많다. 그러나교통사고건수는주야간의차이가근소하며, 야간교통사고사망자수는 2015년기준주간교통사고사망자수보다 117명더많은것으로나타난다. 2015년국내주야별교통사고건수는주간 (06:00~18:00) 129,049건, 야간 (18:00~06:00) 102,986건이며, 사망자수는주간 2,252명, 야간 2,369명이다. 야간에는차량의이동량이주간보다상대적으로적으나, 음주운전, 과속, 졸음운전, 시인성약화등교통사고발생의직접적인요인이되는것이많으며, 이로인하여사망사고로이어지는큰사고가발생하는비율이높다. 미국도로교통안전국 (NHTSA) 의 2013년통계자료 [2] 에따르면, 야간, 새벽, 황혼환경에서보행자사고가많이일어난다. 전체보행자사고의 25% 는주간 (Daylight) 에발생하며, 72% 의사고는야간 (Dark) 에발생한다. 약 2% 의사고는각각새벽 (Dawn) 과황혼 (Dusk) 시기에발생한것으로조사되었다. 미국의경우차對보행자간교통사고에서보행자의사망사고는낮보다밤시간에더많이발생한다. 차량과보행자간의충돌사고비율은주간보다야간에 3~6.75배더높은것으로나타난다. 또한, 보행자의교통사고피해를줄이기위해 EuroNCAP에서는차 23 전자공학회지 _ 605

32 김성호 량안전도평가에서보행자충돌안전성영역에대한평가를 2016년부터실시하고있으며, 2018년부터는야간보행자충돌안전성평가를도입할예정이다 [3]. 이와같이야간보행자를위한자동차안전기술은매우중요하다. 본논문에서는자동차와보행자와의충돌을최소화하기위한야간보행자모니터링기술에대해현재기술동향과전망에대해소개한다. Ⅱ. 상용화된야간보행자모니터링기술 야간보행자모니터링기술에대한정의를하기위해서는 야간 (Night), 보행자 (Pedestrian), 모니터링 (Monitoring) 용어에대한정확한개념을알아야한다. 여기서야간은주간을제외한것으로일몰부터일출까지시간을의미한다. 이때조명은가로등유무, 차량전조등유무등을모두포함한다. 보행자는차량충돌사고와관련있는모든사람을의미하며, 걷거나뛰거나, 앉거나, 누워있는사람을포함한다. 모니터링은관심대상체를검출하고추적하여중요한정보를획득하는행위를의미한다. 따라서야간보행자모니터링기술은다음그림과같이햇빛이없는다양한야간조명환경에서도로위 ( 인도, < 그림 1> 조명조건에따른야간보행자모니터링환경 [5] 차도포함 ) 에존재하는모든사람들을검출하고추적하여차량과의충돌위험도를인지하는기술을의미한다 [4]. < 그림 1> 은도로상에서운전자가기본적으로볼수있는영역 (low-beam, high-beam) 과나이트비전 (night vision) 으로볼수있는영역을거리별로보여준다. 일반적으로자동차가고속으로이동중일때원거리보행자를미리발견할수록충돌확률이낮아진다. 야간보행자모니터링에사용되는센서는 < 표 1> 과같이가시광카메라, 근적외선카메라, 열화상카메라, PMD, 레이더, 라이다 (LiDAR) 등으로나뉜다 [6]. 일반적으로카메라기반은주변조명이있어야동작하며, 가격이매우저렴하고공간해상도가높은특성이있어다양한차종에기본적으로장착된다. 근적외선카메라 (NIR) 는능동방식으로검출거리가중간정도된다. 적외선 (Thermal) 카메라는객체에서방사되는열을감지하는타입으로가격이다소높지만, 조명이전혀없어도야간보행자검출이가능한이점이있다. PMD (Photonic Mixer Device) 는 ToF (Time-of-Flight) 기법으로변조된적외선빛을이용하여 3D 센싱을하며공간해상도는다소낮지만중거리객체검출이가능하다. 한편, 라이다는능동방식으로레이저를조사하여전방위에존재하는객체를안정적으로검출할수있지만가격이높다는단점이있다. 일반적으로수동센서와능동센서는상호보완적인관계에있기때문에센서융합은안정적인야간보행자모니터링에적합하다. 국내에서스마트카를위한보행자및차량검출은주간카메라인가시광 (CCD) 영상을이용하여개발하였다. 주로 Viola 및 Jones가 2001년도에제안한 Adaboost 를기반으로 CCD 영상에서보행자및차량을학습하여 < 표 1> 야간보행자검출용센싱기법및특성 센서 FOV 각도해상도 검출거리 거리해상도 조명 HW비용 SW복잡도 카메라 Med. Med./High Low/Med. Med. Passive,needs light Low High 옴니카메라 Large Low/Med. Low Low Passive,needs light Med. High NIR Med. Med./ High Low/Med. Med. Active, works in dark Low High Thermal IR Med. Low/Med. Low/Med. Low Emissive, works in dark High Med. PMD Small Low Med. Low/Med. Modulated light source Med. Med. Radar Small Low High High Active, works in dark, rain Med. Low LiDAR Large Med. Med. High Active, works in dark High Low 606 _ The Magazine of the IEIE 24

33 지능형자동차를위한야간보행자검출기술 < 그림 2> 야간보행자모니터링기술 : (a) Autoliv: Thermal IR 사용, (b) Audi: PMD 센서사용, (c) BMW: Thermal IR 사용, (d) Ford: Thermal IR 사용 sliding window 방식으로검출한다. 특징량은 2005년 Dalal과 Triggs가제안한 HOG 기법을사용한다. EURO NCAP에서보행자보호를위해2016년부터 AEBS (advanced emergency break system) 평가시, 보행자위치검출을 5스타요건으로하기때문에보행자및차량검출이더욱중요해지고있다. 국내에서는주로기존 CCD기반보행자및차량검출알고리즘을고속화하기위한연구를주로하였다. 인하대에서는 OpenCL 기반보행자검출을스마트폰에구현한바있다 [7]. 국외에서는나이트비전 ( 야간 HDR, IR카메라 ) 을 2000년부터캐딜락 DTS에장착하였고, 그후 2002년랜드크루저, 2004 년혼다레전드, 2005년 BMW 7시리즈에장착하였으며, 이때는운전자에서나이트비전영상을전시해주는 1세대방식이었다. 그이후나이트비전시스템에보행자및차량검출기술을장착하여 < 그림 2> 와같이운전자에게인식한보행자정보를계기판을통해알려준다. 벤츠S클래스나이트뷰어시스트 +, BMW7시리즈의나이트비전, Ford 나이트비전이여기에해당한다 [8]. 특히아우디는 PMD라는 3D 센서를야간보행자모니터링적용을위해연구중이다. 36.5도의열을방출하기때문에열화상카메라에서다소검출하기쉽다. 즉, 배경이찬겨울이나시골과같이나무, 풀이많은환경에서보행자가또렷하게보인다. 그러나, 적외선영상기반보행자검출은다음과같은문제점때문에주야간사용에성능저하가발생한다. - 더운여름의의한열원 : 한여름도로의열, 건물의열등에의해보행자와배경의온도역전에의해보행자가검게보이기도한다. - 불균일밝기 : 머리부분이하체보다다소밝으며, 거리, 자세, 외투등에의해밝기변화가심해진다. - 보행자흐려짐 (Blur) : 가시광영상에비해적외선영상은영상흐려짐이심하고텍스처정보가누락되어있다. - 대조비감소 : 배경온도가보행자의온도가유사하여온도차가발생하기않을경우, 대조비가없어보행자검출이어렵게된다. 이러한문제에대하여일반적인적외선보행자검출흐름은 < 그림 3> 과같이관심영역 (ROI, Region of Interest) 검출, 특징추출 (Feature Extraction), 분류기를이용한검출 (Detection), 최종보행자위치설정 (Bounding Box) 와같다. ROI 추출은다양한큐 (Head Blob, 대칭성, 투영, 거리, 모션등 ) 를사용하여처리시간을단축시키는역할을하며, 특징추출은분류기에들어가보행자의특징을뽑아내는과정이다. 특징점만검색할경우에는 sparse 기반이라고하며, 모든픽셀에서검색하는것은 dense 기반이라한다. 과거에는특징점에만특징량을추출하였지만, 검출성능이 dense가더우수하여모든점에서특징점을추출한다. 보행자관련특징은 edge, Ⅲ. Thermal IR 카메라기반야간보행자검출기술 1. 적외선보행자검출기술동향적외선영상기반보행자검출기법은군사적목적, 감시목적으로 2000년대부터연구가시작되었다. 보행자는 < 그림 3> 적외선영상기반일반적인야간보행자검출흐름도 25 전자공학회지 _ 607

34 김성호 HOG (Histogram of Oriented Gradients), Harr, LBP (Local Binary Pattern), Shape Context, Wavelet Transform, Channel Features, ACF (Aggregated Channel Features) 등이있다. 보행자검출은머신러닝에서사용하는분류기를사용하여보행자인지배경인지구분한다. SVM, Adaboost, Boosted Tree, Deep learning 등이있으며, 특징점에서만특징량이있을경우, 분류기를직접적용하며, dense 특징점은 sliding window 형태로동작한다. 특히, sliding window를영상피라미드에적용할경우, 방대한계산량이소요되기때문에실시간처리를위해 GPU 코딩이필요하다. 마지막과정은 Bounding Box를이용하여검출영역을확정한다. 2005년 Xu et al. 은보행자의머리부분이 hot spot을보인다는사실에기초하여도로영역및 hot spot을이용하여 1차로검출한후이 ROI에대해 SVM 기반분류기를적용하여최종보행자를검출하는방식이다 [9]. Hot spot이없을경우, 검출이안되는문제가있다 년 Bertozzi et al은관심영역에대해보행자의밝기대칭성, 에지대칭성, 에지밀도정보를선형결합하여보행자를검출하는기법을제안하였다 [10]. 대칭성을이용하기때문에정면, 후면만동작하며보행자가다양한자세를보일경우검출의성능이떨어지는문제가있다. Fang et al. 은 2004년보행자의자세모양에불변인보행자기법을제안하였다 [11]. 밝기정보를세로로투영하여프로파일이높은부분을보행자로판단하는방식이다. 보행자자세에불변이지만복잡한배경에서는오검출이많이된다. 2005년 Davis와 Keck은보행자의에지정보와 Adaboost를이용하여보행자를검출하도록제안하였다 [12]. 백상 / 흑상보행자모두검출할수있는특성이있지만, 카메라가고정된 CCTV에최적화되어이동차량용에는제한된성능을보일수있다 년 Zhang et al. 은에지정보와방향정보특징량을머신러닝기법 (Adaboost, SVM) 과결합하여보행자검출하는기법을제안하였다 [13]. 2007년 Jungling과 Arens는컴퓨터비전에서제안된 SURF 특징량과 implicit shape model (ISM) 을보행자검출에적용하였다 [14]. 머리, 어께, 팔, 무름, 발등과같이특징점에대해보행자의중 심좌표를입력한후, 실제테스트영상에서보행자중심에대해 voting을함으로써검출여부를판단한다. 이기법은특징점검출이전제가되기때문에복잡한클러터환경이나, 대조비가낮아특징점이약한영상에서는검출성능이떨어진다. 유사한기법으로 Shape Context와 Adaboost를결합한보행자기법도제안되었다 [15]. 한편, 컴퓨터비전에서물체분류에많이활용된 Codebook 기법을적외선보행자에적용하여개선된검출성능을얻기도하였다 [16]. 2. 물리적온도기반보행자검출기법이와같이, 현재까지제안된적외선보행자검출기법은주로가시광기반컴퓨터비전에서제안된기법을재적용하거나조금수정하는정도에그치고있다. 실제보행자의열특성, 온도특성과같은물리적특성에기초한방법은전무한상태여서영남대김성호교수팀은이러한관점에서보행자 DB를구축하고관련보행자특성분석, 검출방법을제안하였다. 실험장비는 < 그림 4> 와같이구성되었다. 실제교통상황에서의데이터취득을위해안전성과차량진동영향을고려하여차량지붕에 IR 카메라와 CCD 카메라를설치했고, 두카메라사이의이격간격을최소화했다. DB 구축은 1년에걸쳐 6회 (3월, 5월, 6월, 7월, 11월, 12월 ) 실시되었으며, < 그림 5> 는 6월에구축한 DB 실험결과로써야간 IR/CCD 영상의예를보여준다. 이때, IR 영상은 raw 정보가내포된 grayscale 영상으로 FLIR 카메라시스템내부에서영상의온도정보를바탕으로 < 그림 4> IR-CCD 영상획득플랫폼 608 _ The Magazine of the IEIE 26

35 지능형자동차를위한야간보행자검출기술 histogram equalization을통해자동으로 contrast가재조정된다. 6월 DB 실험에서는주야간시골길에서의거리별, 동작별보행자출현, 캠퍼스내실제보행자출현, 교통상황에서실제보행자출현시나리오를가정했다. 6 월 DB 실험에서는주야간비디오촬영을 1시간 24분 52 초수행했다. 6월 DB 실험에서야간시골길, 캠퍼스, 교통상황 CCD 영상에서는차량, 가로등, 건물의조명등때문에근거리보행자는식별할수있었지만거리가멀어질수록보행자를잘확인할수없었다. 하지만 IR 영상에서거리가멀어지더라도보행자를잘확인할수있었으며, 보행자의열정보와배경의열정보차이가비교적드러나는계절인초여름에실험을수행하여 contrast가드러났다. < 그림 6> 은제안된기법으로써 Gray-ACF와 TIR- ACF (Thermal infrared radiometry-acf) 의알고리즘을보여준다. Gray-ACF는기존의 LUV color 3 channel을적외선의 grayscale 특성에최적화하기위해 gray color 1 channel으로변환한기법이다. 즉, Gray- ACF는기존의 ACF에서적외선영상이명암의강도를통해출력되는특성을바탕으로 color feature channel을바꾼것을의미한다. TIR-ACF는적외선열정보의특성이손실된 gray color 1 channel을사용하는대신적외선열정보의특성을그대로보유하고있는물리적인온도특징 1 channel을사용하는것이다. 여기서물리적온도를직접이용하는 TIR-ACF는다음식과같이정규화하는방법에따라 NT (normalized temperature)-tir-acf (( 식 (1)), SNT (saturated and normalized temperature)-tir-acf ( 식 (2)) 로나뉜다. NT-TIR-ACF는온도값을보행자의최고온도인 40으로나눠정규화한데이터를사용한것이고, SNT- TIR-ACF는 40도가넘을경우 40도로수렴한후, 정규화한수행한데이터를사용한것이다. (1) (2) < 그림 5> 야간보행자영상획득예 < 그림 6> 보행자검출기법 :( 좌 ) 기존 Gray-ACF, ( 우 ) 제안한 TIR-ACF < 그림 7> 은 Gray-ACF와 TIR-ACF의계절별성능평가를비교한것이다. 성능비교에는 ROC (Receiver operating characteristic) curve를사용했으며, 최종적인검출성능은 log-averaged miss rate를사용했다. 적외선보행자검출성능평가용 DB는 gray와온도데이터모두계절별로학습용보행자샘플 1800개, 학습용배경샘플 9,000개, 학습용배경영상 50개, 템플릿크기 이며, 전체계절을모두포함하는적외선검출성능평가용 DB는 gray와온도데이터모두학습용보행자샘플 7068개, 학습용배경샘플 38,010개, 학습용배경영상 226개, 템플릿크기 28 52이다. 계절별테스트데이터는 5월, 6월, 7월 DB에서학습용데이터를제외한것중보행자가출현하고있는영상을사용했으며, 전체계절테스트데이터는 5월, 6월, 7월의테스트데이터를모두포함하고있다. Gray-ACF용 DB에서는카메라에서제공하는온도정보를기반으로 contrast를재조정해주 27 전자공학회지 _ 609

36 김성호 는 histogram equalization 기능을배제했다. 성능비교평가를통해 5월 DB에서는 SNT-TIR-ACF가 gray- ACF에비해 10% 성능개선을보이며가장성능이높았고, 6월 DB에서는 NT-TIR-ACF가 gray-acf에비해 8% 성능개선을보이며가장성능이높다는것을확인할수있었다. 7월 DB에서는 SNT-TIR-ACF가 gray- ACF에비해 5% 성능개선을보이며가장성능이높았지만, 7월 DB 특성상 Contrast가낮게측정되므로전체적으로 miss rate가 90% 이상으로성능이매우안좋은것으로확인되었다. 전체계절 DB에서는 NT-TIR-ACF가 gray-acf에비해 11% 성능개선을보이며가장성능이높다는것을확인할수있다. 결과적으로 contrast에민감한적외선 grayscale 보다가변성이적은적외선온도기반의데이터를사용하는것이야간보행자검출성능을개선할수있다는것을알수있다. < 그림 8> 은 TIR-ACF의 5, 6월보행자검출결과영상을보여준다. 근거리및중거리에있는보행자검출을잘 < 그림 7> Gray-ACF와 TIR-ACF의성능평가비교결과 하는것을확인할수있다. 간혹나타나는오검출은다중센서융합또는딥러닝기술을통해제거할수있다. 이와같이보행자검출분야에서사용하고있는적외선데이터셋의한계점을극복하기위해서새로운적외선방사분석온도기반의데이터셋을제안했으며, 적외선데이터의환경변화에대한취약점에대응하기위해계절별로여러시나리오에서데이터셋을구축했다. 또한, 제안된방사분석온도데이터셋을이용하여온도기반으로최적화된보행자검출기법을제안및성능비교평가를통해온도데이터가기존적외선 grayscale에비해성능개선에도움이될수있음을확인함과동시에적외선데이터프로세싱의한계를뛰어넘는발판이될수있음을알수있다. 3. 적외선및가시광영상융합을통한보행자검출향상기법보행자검출시주로주간에는가시광선을볼수있는 CCD 카메라를사용하고, 어두운야간에는적외선을볼수있는 IR 카메라를사용한다. 하지만단일카메라만사용하여환경제약없이보행자를검출하기에는 < 그림 9> 와같이한계점이존재한다. 이를보완하기위해본논문에서는 CCD-IR 카메라를융합하여보행자를검출성능을향상시킬수있는연구에대해언급하도록한다. 영상융합기법을이용한보행자검출과정은 < 그림 10> 과같이 4 단계로구성된다. 1단계는 CCD와 IR 카메라를사용하여같은시간의장면을획득한다. 똑같은장면을획득하더라도카메라렌즈의특성차이로인해두장면의동일타겟간좌표오차가발생하게된다. 그렇 < 그림 8> TIR-ACF 의 5 월및 6 월 DB 에서보행자검출결과예 < 그림 9> 주 / 야간환경에서단일카메라기반보행자검출의한계 610 _ The Magazine of the IEIE 28

37 지능형자동차를위한야간보행자검출기술 < 그림 10> 다중센서카메라융합을이용한보행자검출시스템기때문에 2단계에서 2차원영상의좌표를조정하는영상매칭작업을수행한다. 일반적으로 3차원공간에서자유롭게움직이는물체를 2차원영상에서매칭하기위해서는 homography를이용한다. 두 2차원영상간에관계를 homography로모델링하여투영변환을통해좌표를조정할수있다. 3단계는매칭된영상을기반으로 CCD 와 IR 영상의보행자를검출하여보행자검출점수를추출한다. 마지막 4단계에서추출된점수를기반으로 DST (Dempster-Shafer Theory) 융합작업을수행한다 [17]. DST 융합을위해먼저가설집합을보행자와배경으로설정한다. 다음으로가설집합과카메라의가중치를할당한다. 카메라의가중치 (Mass) 할당을위해 CCD 영상의상단 50 픽셀정도의 intensity 값을측정하여주 / 야간을분류한다. 주간에는 CCD 카메라에, 야간에는 IR 카메라에상대적으로높은신뢰도를할당하고, 세번째단계에서추출된보행자검출점수를기반으로멱집합원소들에가중치를할당한다. 가중치할당작업이완료되면 DST 융합이가능하다. 보행자 Dataset은 CCD 이미지 1,180장, IR 이미지 2,216장을수집하여학습에사용하였다. 검출성능실험을위해주 / 야간의실제도로위보행자영상을획득한다음주간 25장, 야간 25장을선별하여총 50장의테스트이미지를사용하였다. 주 / 야간의전체적인단일영상과융합영상의검출성능결과를비교하였다. 또한일반적인 DST와제안된방법의 DST 융합검출결과를비교하였다. 단일영상과융합영상의검출성능을비교한결과, < 그림 11> 과같이영상을융합하여사용하는것이최대약 20% 의 miss rate가줄어드는것을확인할수있 < 그림 11> 단일카메라및다중센서융합기반보행자검출성능비교 < 그림 12> 다중센서카메라융합을이용한보행자검출결과예었다. < 그림 12> 는야간에는 CCD 영상의검출성능이좋지않지만, IR 영상의검출결과를융합하여검출성능을향상시키는결과예를보여준다. Ⅳ. 전망과결론 야간보행자안전을위한현재자동차제조사에서선택하고있는방식에대해현황조사를하였고, 주로사용하고있는적외선영상을중심으로보행자검출관련기술동향을대해소개하였다. 또한, 본연구실에서수행하고있는보행자온도기반 DB 구축, 온도기반보행자검출기술, 그리고가시광영상과적외선영상융합을통한성능향상기술에대해소개하였다. 야간보행자검출기술은전세계적으로연구를집중하고있는분야이며, 다양한환경에서적외선 DB를구축을진행하고있다. 특히, 최근에급부상하고있는딥러닝기술은 R-CNN, SSD (single shot detection), YOLO (you only look once) 와같으며, 이를야간보행자검출에야간보행자검출에적용하면더욱우수한성능이나올것으로기대된다. 또한, 최 29 전자공학회지 _ 611

38 김성호 근 NVIDIA에서개발한 Jetson TX2보드의보급으로자동차시장에적용하기위해다양한기관에서투자및연구를하고있다. 야간보행자검출의신뢰성을향상시키기위해 IR+CCD+RADAR+LiDAR 등과같은다중센서융합도함께주목받고있다. 감사의글 이논문은 2016년도정부 ( 교육부 ) 의재원으로한국연구재단의지원을받아수행된기초연구사업임 (NRF- 2016R1D1A1B ) 참고문헌 [1] 교통사고분석시스템 Traffic Accident Analysis System (taas. koroad.or.kr). [2] NHTSA, Traffic Safety Facts-2013 Data, 2015 ( crashstats. nhtsa.dot.gov/ Api/Public/Publication/812124). [3] Euro NCAP, Euro NCAP - The roadmap to 2020, PACTS, pp.1-15, ( wp-content/uploads/ MichielvanRatingen.pdf) [4] ion/home/ vechcle- detection- and-tracking [5] toyota-global.com/innovation/ safety_technology/ safety_technology/technology_file/active/night_view.html) [6] Tarak Gandhi and Mohan Manubhai Trivedi, Pedestrian Protection Systems: Issues, Survey, and Challenges, IEEE Trans. ITS, Vol. 8, No. 3, Sep. 2007, pp [7] 김종희, 이충수, 김학일, OpenCL을이용한모바일 ADAS : 보행자검출, 전자공학회논문지, 제51권제 10호, pp , [8] /02/25/ html?Dep0=twitter&d= [9] F. Xu, X. Liu, and K. Fujimura, Pedestrian detection and tracking with night visions, IEEE Trans. on ITS, 6(1):63-71, [10] M. Bertozzi, A. Broggi, P. Grisleri, T. Graf, and M. Meinecke, Pedestrian Detection in Infrared Images, IEEE Intelligent Vehicles Symposium, pp , [11] Y. Fang, K. Yamada, Y. Ninomiya, and B. K. P. Horn, A shape-independent method for pedestrian detection with far-infrared images, IEEE Trans. on Vehicular Technology, 53(6): , [12] J. W. Davis, M. A. Keck A two-stage template approach to person detection in thermal imagery, WACV, [13] L. Zhang, B. Wu and R. Nevatia, Pedestrian Detection in Infrared Images based on Local Shape Feature, CVPR, [14] K. Jungling and M. Arens, Feature based person detection beyond the visible spectrum, CVPR, [15] W. Wang, J. Zhang, and C. Shen Improved Human Detection and Classification in Thermal Images, ICIP, [16] B. Qi, V. John, Z. Liu, and S. Mita, Use of Sparse Representation for Pedestrian Detection in Thermal Images, CVPRW, [17] A. Wang, J. Jiang, H. Zhang, Multi-sensor Image Detection Level Fusion Detection Algorithm Based On D-S Evidence Theory, IEEE IMCCC, pp , 김성호 2000 년 2 월고려대학교전기전자전파공학부학사 2002 년 2 월한국과학기술원전기및전자공학전공석사 2007 년 2 월한국과학기술원전기및전자공학전공박사 2007 년 2 월 ~2010 년 2 월국방과학연구소선임연구원 2010 년 3 월 ~2016 년 2 월영남대학교전자공학과조교수 2016 년 3 월 ~ 현재영남대학교전자공학과부교수 < 관심분야 > 적외선영상, 초분광영상, 라이다, 레이더, 표적탐지 / 식별, 다중센서융합, 딥러닝기반표적탐지 / 식별 612 _ The Magazine of the IEIE 30

39 특집 의미론적연관성분석을위한영상정합동향 의미론적연관성분석을 위한영상정합동향 Ⅰ. 서론 함범섭 연세대학교전기전자공학부 요즘은핸드폰을이용하면손쉽게파노라마사진을만들수있다. 사람들이연속된사진을카메라로촬영하면알고리즘 (Algorithm) 이자동으로파노라마사진으로변환해준다. 어떻게여러장의사진을이용해파노라마사진을만들수있을지생각해보자. 컴퓨터가아니라우리가직접파노라마사진을만드는과정을생각해보면쉽게답을찾을수있다. 사람들마다다양한방법을이용하겠지만, 공통적으로사진들사이에존재하는동일한부분을찾아붙이고중복되는부분들을제거할것이다. 즉, 한장의파노라마사진으로완성하기이전에사진들에존재하는동일한부분을찾을것이다. 이처럼두영상혹은다중영상간에대응되는영역혹은대응점들을찾는과정을영상정합 (Image correspondence) 이라한다 (< 그림 1>). 영상정합은컴퓨터비전 (Computer vision) 및영상처리 (Image Processing) 분야의핵심이다. 일례로컴퓨터비전분야의저명한교수인카네기멜론대학의 Takeo Kanade 교수는컴퓨터비전분야에서가장중요한세가지문제는 Alignment, Alignment, Alignment 라고말하기까지했다. 영상정합은파노라마사진이외에도템플릿정합, 3차원모델과의정합, 물체추적등에도널리이용되고있다 (< 그림 2>). 앞으로우리는두영상사이에대응점을찾는방법과최근연구동향에대해살펴볼것이다. 영상정합은정합의밀도에따라성긴정합 (Sparse correspondence) 과밀집정합 (Dense correspondence) 으로나눌수있다. 성긴정합은영상의특징점을구한뒤, 특징점들사이에대응되는점을찾는과정이다. 이와달리, 밀집정합은영상에존재하는모든점 (Pixel) 들의대응점을찾는과정이다. 대표적인성긴정합으로는그래프정합 (Graph matching) 이있으며, 밀집정합에는스테레오정합 (Stereo 31 전자공학회지 _ 613

40 함범섭 < 그림 1> 영상정합의예 (Image courtesy Derek Hoiem) < 그림 3> 스테레오정합 (Image courtesy Sintel dataset) 템플릿정합 < 그림 4> 시멘틱정합 (Image courtesy PASCAL VOC) 3차원모델과의정합물체추적 < 그림 2> 영상정합응용분야 (Image courtesy Silvio Savarese) matching), 움직임추정 (Optical flow) 이있다. 스테레오정합은스테레오카메라로획득된두영상간의정합점을찾는과정으로이를이용하면깊이정보를획득할수있다 (< 그림 3>). 본기고에서는밀집정합, 나가아밀집시멘틱정합 (Semantic correspondence) 의최근연구동향에대해알아보고자한다. < 그림 4> 는시멘틱정합에서궁극적으로해결하고자하는문제를보여주고있다. 기존의정합 (< 그림 3>) 과달리시멘틱정합 (< 그림 4>) 은같은물체범주 (Category) 에속해있지만서로다른물체에대한밀집정합점을찾는데그목적이있다. 서로다른물체는서로다른모양 (Appearance), 크기 (Scale), 변형 (Deformation) 등을가질수있다 (< 그림 5>). 따라서, 기존의정합방법을그대로이용하면좋은성능을기대하기어렵다. 2. 응용분야시멘틱정합을이용하면어떤것들이가능한지살펴보자. 시멘틱정합을통해물체부분혹은물체전체에대한정합을구할수있으며, 나아가물체간의연관성을분석할수있다. 그렇다면물체간의연관성이의미하는바 Ⅱ. 의미론적영상정합동향 1. 문제의정의시멘틱정합의연구동향을알아보기에앞어먼저의미론적정합, 혹은시멘틱정합의정의에대해살펴보자. < 그림 5> 시멘틱정합의어려움 (Image courtesy Andrea Vedaldi) 614 _ The Magazine of the IEIE 32

41 의미론적연관성분석을위한영상정합동향 (a) 물체검출 [1] < 그림 7> 일반적인시멘틱정합과정 (Image courtesy T. Taniai) (b) 레이블전파 [2] (c) 영상합성 [3] < 그림 6> 시멘틱정합의응용기술는무엇이며이를이용하면무엇을할수있을까? 사람이어떤작업을할때물체사이에존재하는연관성을이용하는지생각해보자. 인터넷공간상에는수많은영상들이존재한다. 이영상들사이에공통적으로존재하는물체정보를기계가자동적으로추출할수있을까? 공통적으로존재한다는것은의미적으로같은물체를찾는다는것과일치한다. 같은물체를찾기위해서사람은무의식중에시멘틱정합을하고있는것이다. 즉, 수많은영상을사이에시멘틱정합을수행하면우리는공통적으로존재하는물체를추출해낼수있다 (< 그림 6(a)>) [1]. 이밖에도, 레이블링 (Labeling) 된데이터베이스상에서질문 (Query) 영상과비슷한영상을찾은후레이블을전파 (Transfer) 함으로써질문영상의레이블을자동으로찾을수있으며 (< 그림 6(b)>) [2], 가상영상을합성할수있다 (< 그림 6(c)>) [3]. 3. 방법론시멘틱정합은일반적으로 < 그림 7> 과같이두단계 < 그림 8> SIFT Flow의한계 [14] (Image courtesy J. Kim) 를요한다. 먼저영상내에존재하는모든점들이특징점이라고가정한뒤이를표현자 (Feature descriptor) 로변환한다. 표현자는영상점들을벡터 (Vector) 로변환하는작업이다. 가장쉽게는컬러영상의 RGB 값을 3 차원표현자로이용할수있다. 하지만앞서살펴봤듯이시멘틱정합에서다루는물체는모양, 크기등이변할수있으므로, 이러한변형에강인한표현자를사용한다. 대표적인표현자로는 SIFT [4], HOG [5], DAISY [6] 등이있으며, 최근에는딥러닝 (Deep learning) [7] 을이용한 CNN(Convolutional neural network) 기반의표현자 [8] 또한이용되고있다. 두번째단계는두영상에서추출한표현자벡터들사이의거리를측정함으로써정합점을구하는과정이다. 일반적으로하나의표현자에대해서대응될수있는모든표현자와의유클리디안 (Euclidean) 거리를구하여, 그중가장가까운거리를가지는점을대응점이라한다. 최근에는딥러닝을이용하여두벡터사이의거리를학습하는연구도활발히연구중이다 [9-10]. 4. 연구동향시멘틱정합은마이크로소프트 (Microsoft) 의 C. Liu에의해 SIFT flow라는방법으로처음제안되었다 [11]. SIFT flow는과거움직임추정에널리사용되는에너지함수를차용하였으며 [12], RGB값을표현자로이용하던움직임추정방법과달리 SIFT [4] 를표현자로이용하였다. SIFT는성긴정합에주로사용되는표현자로물체의크기와방향 33 전자공학회지 _ 615

42 함범섭 에강인한특징을보인다. 따라서 C. Liu는 SIFT를표현자로이용하여서로다른물체사이의정합점을찾았다. SIFT flow는 < 그림 6> 에서제시한응용기술외에도비디오에서깊이를추정하기위해사용되는등관련분야에 서널리이용되었다 [13]. SIFT flow는크기에강인한 SIFT 를이용하였지만, 정작 SIFT에서제공하는크기정보는사용하지않았다. 이는정합하고자하는물체의크기가 < 그림 9> Clutter에강인한시멘틱정합방법 [16] (Image courtesy T. Taniai) 다를때는잘동작하지않는한계를보였다 (< 그림 8>). 이를개선하기위해 DSP 방법이제안되었다 [14]. DSP 방법은에너지함수내에크기에관한파라미터 (Parameter) 를추가하여, 크기를바꿔가면서정합을수행함으로써 SIFT flow의문제를해결하였다. 이와함께계층적인최적화방법을제안하여기존 SIFT flow가가진높은연산량을줄였다. DSP 방법은물체크기변화에강인하지만, 이역시기존의 SIFT 표현자에서제공하 는크기정보를이용하지않는한계를보였다. 이를해결하기위해 M. Tau는영상내에서 SIFT 표현자를성기게 < 그림 10> Proposal Flow [17] (Image courtesy B. Ham)Taniai) 추출하고, 표현자에서제공하는크기정보를영상내의다른곳으로전파하는방법을고안했다 [15]. 이를이용하면영상전체에서 SIFT 표현자에서제공하는크기정보를이용해정합을수행할수있었다. M. Tau는컬러정보가 비슷하면크기정보가비슷할것이라는가정을이용하여지역적인방법 (Local propagation) 을이용해크기정보를전파했다. 영상내에복잡한배경이있으면물체들의정합을방해한다. 따라서기존시멘틱정합방법들은배경유무에따라많은성능차이를보였다. 이를해결하기위해최근 T. Taniai는영상세그멘테이션 (Segmenation) 을함께이용하는시멘틱정합방법을제안하였다 (< 그림 9>) [16]. 먼저영상내에서전경과배경을분리하고분리된전경사이의정합점을구하였다. 단순히전경배경을분리하는것이아니라여러영상내에공통적으로존재하는전경을분리함으로써신뢰도를높였다. T. Taniai는이를제귀적인방법으로풀어냈는데, 전경 / 배경분리는시멘틱정합에도움을주고, 반대로시멘틱정합이전경 / 배경분리에도움을준다는가정을이용했다. 2016년에는배경과같은클러터 (Clutter) 와물체크 < 그림 11> Object proposal의예 [18] (Image courtesy J. R. Uijlings) 기변형모두에강인한 Proposal flow라는방법이소개되었다 (< 그림 10>) [17]. 기존정합방법은정합하려는점에대해정해진크기의윈도우 (Window) 를설정하여이를 SIFT 등의표현자로바꾼후정합을수행하였다. 이와달리 Proposal flow는 object proposal을정합의기본단위로사용하였다. Object proposal은기존슬라이딩윈도우방법 (Sliding window) 을대신하는기법으로영상내에서물체혹은물체파트같은부분만을자동으로추출해내는기술이다 [18, 19, 20] (< 그림 11>). 기존슬라이딩윈도우방법이물체가될모든가능성을염두해두고영상전체를탐색하는반면 object proposal을이용하면탐색범위를획기적으로줄일수있다. 이러한특성으로인해물체인식 [21], 물체추적 [22], 행동인식 [23], 시멘틱세그멘테이션 (Semantic segmentation) 등여러분야에널 616 _ The Magazine of the IEIE 34

43 의미론적연관성분석을위한영상정합동향 < 그림 12> Cycle consistency [24] (Image courtesy T. Zhou) 리사용되고있다. Proposal flow는 object proposal 간의기하하적적관계를이용하여시멘틱정합의정확도와효율성을끌어올렸다. 또한성긴 object proposal 사이의정합을밀집정합으로보간하는기술을제안하여기존밀집시멘틱정합을대체할수있는가능성을보여주었다. 시멘틱정합분야에서도딥러닝을이용하여정합을학습하는방법이소개되고있다. T. Zhou는 3D 모델을이용하여시멘틱정합을학습할수있는다량의정답데이터를생성하였다. 3D 모델을이용해학습한정합은실제영상에서잘동작하지않기때문에실제영상과 3D 모델에서렌더링된영상들사이의 Cycle consistency를이용하였다 (< 그림 12>). 즉, 3D 모델로부터렌더링된정답정합이실제영상의정합이잘되게도와주는방향으로딥러닝모델을학습하였다. 이밖에도시멘틱정합을위한표현자를학습하거나 [25], 앞서소개한 Proposal flow 방법을딥러닝을이용해학습하는방법 [26] 이활발히연구중이다. Ⅲ. 결론 지금까지시멘틱정합의정의, 응용분야및연구동향에대해살펴봤다. 시멘틱정합은컴퓨터비전및영상처리분야에서그중요성이점점대두되고있으며, 최근많은연구결과들이소개되고있다. 앞으로는 1) 시멘틱정합을위한정답데이터를만드는것과나아가 2) 정답없이시멘틱정합을학습할수있는방법에관한연구가진행되리라전망된다. 참고문헌 [1] M.Rubinstein, A.Joulin, J.Kopf, and C.Liu, Unsupervised joint object discovery and segmentation in internet images, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [2] C.Liu,J.Yuen,and A.Torralba, Nonparametric scene parsing via label transfer, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 12, pp , [3] T. Hassner, Viewing Real-World Faces in 3D, in Proc. IEEE International Conference on Computer Vision, [4] D.G.Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, vol. 60, no. 2, pp , [5] N. Dalal and B. Triggs, Histograms of oriented gradients for human detection, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [6] H. Yang, W.-Y. Lin, and J. Lu, Daisy filter flow: A generalized discrete approach to dense correspondences, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [7] A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet classification with deep convolutional neural networks, in Proc. Neural Information Processing Systems, [8] J. L. Long, N. Zhang, and T. Darrell, Do ConvNets learn correspondence? in Proc. Neural Information Processing Systems, [9] S. Zagoruyko and N. Komodakis, Learning to compare image patches via convolutional neural networks, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [10] X. Han, T. Leung, Y. Jia, R. Sukthankar, and A. C. Berg, MatchNet: Unifying feature and metric learning for patchbased matching, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [11] C. Liu, J. Yuen, and A. Torralba, SIFT flow: Dense correspondence across scenes and its applications, IEEE Transactions on Pattern Analysis and Machine Intelligence, 35 전자공학회지 _ 617

44 함범섭 vol. 33, no. 5, pp , [12] T. Brox and J. Malik, Large displacement optical flow: Descriptor matching in variational motion estimation, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 3, pp , [13] K. Karsch, C. Liu, and S. Kang, DepthTransfer: Depth extraction from video using non-parametric sampling, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 36, no. 11, pp , [14] J. Kim, C. Liu, F. Sha, and K. Grauman, Deformable spatial pyramid matching for fast dense correspondences, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [15] M. Tau and T. Hassner, Dense correspondences across scenes and scales, IEEE Transactions on Pattern Analysis and Machine Intelligence,vol. 38, no. 5, pp , [16] T. Taniai, S. N. Sinha, and Y. Sato, Joint recovery of dense correspondence and cosegmentation in two images, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [17] B. Ham, M. Cho, C. Schmid, and J. Ponce, Proposal flow, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [18] J. R. Uijlings, K. E. van de Sande, T. Gevers, and A. W. Smeulders, Selective search for object recognition, International Journal of Computer Vision, vol. 104, no. 2, pp , [19] P. Arbelaez, J. Pont-Tuset, J. Barron, F. Marques, and J. Malik, Multi-scale combinatorial grouping, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [20] J. Hosang, R. Benenson, P. Dolla r, and B. Schiele, What makes for effective detection proposals? IEEE Transactions on Pattern Analysis and Machine Intelligence, [21] R. Girshick, J. Donahue, T. Darrell, and J. Malic, Rich feature hierarchies for accurate object detection and semantic segmentation, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [22] G. Zhu, F. Porikli, and H. Li, Beyond local search: Tracking objects everywhere with instance-specific proposals, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [23] G. Gkioxari, R. Girshick, and J. Malik, Contextual action recognition with r*cnn, in Proc. IEEE International Conference on Computer Vision, [24] T. Zhou, P. Krä henbü hl, M. Aubry, Q. Huang, and A. A. Efros, Learning dense correspondence via 3D-guided cycle consistency, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [25] S. Kim, D. Min, B. Ham, S. Jeon, S. Lin, and K. Sohn, FCSS: Fully convolutional self-similarity for dense semantic correspondence, in Proc. IEEE International Conference on Computer Vision and Pattern Recognition, [26] K. Han, R. S. Rezende, B. Ham, K.-Y. K. Wong, M. Cho, C. Schmid, and J. Ponce, SCNet: Learning semantic correspondence, CoRR, vol. abs/ , 함범섭 2013 년 8 월박사학위, 전기전자공학, 연세대학교 2008 년 2 월학사학위, 전기전자공학, 연세대학교 2016 년 9 월 ~ 현재연세대학교전기전자공학부조교수 2014 년 5 월 ~2016 년 7 월 INRIA & É cole Normal Supérieure, 박사후연구원 2013 년 9 월 ~2014 년 4 월연세대학교전기전자공학부, 박사후연구원 < 관심분야 > 컴퓨터비전, 영상처리, 기계학습 618 _ The Magazine of the IEIE 36

45 특집 최근표정인식기술동향 최근표정인식기술동향 Ⅰ. 서론 이찬수 영남대학교전자공학과 상대방의감정을인식하고이해하며공감하는기술은사회적인인간으로서매우중요한기술로발전되어왔다. 이에따라찰스다윈은인간및동물의표정에대한연구를수행하여감정에따른표정의표현에있어서공통점이있음을보였다 [1]. 이를바탕으로통하여, 폴에커만 (Paul Ekman) 교수가체계적인연구를통하여, 표정이인종에차이가없이공통적이라는주장을하며 [2], 표정의변화를일으키는근육에대한해부학적분석을통하여표정변화를기술하는 FACS(Facial Action Coding System) 라는표정변화에대한기술방법을제시하였다. 컴퓨터비전기술이발전해가면서, 표정인식에대한연구가활발히진행되고있으며, 다양한응용분야로그적용이확대되고있다. 표정인식및인간감성인식을바탕으로한적용의대표적인사례중에하나로감성컴퓨팅 (affective computing) 분야 [3] 로사람과컴퓨터의상호작용및사람과로봇의상호작용에있어서, 인간의감성을인식하고이를바탕으로효과적인상호작용방법을개발하고있다. 이러한연구에있어서표정인식은인간감성을인식하는데있어서가장핵심적인기술중에하나가되고있다. 이외에도온라인교육에있어서교육자의감정이나집중정도에대한판단, 자율주행자동차에서졸음여부판단등에사용되고있다. 앞으로인공지능기술이발전해감에따라기계및로봇들이사람들의많은업무들을대체해가면서인간과의상호작용이증가할것으로보이며, 이러한상호작용상황에서가장중요한기술중에하나로인간의감성을인식하는것이필요할것으로보여, 향후더욱정교한인간표정인식에대한연구가필요한상황이다. 인간표정을인식하기위해서는크게는 < 그림 1> 에서보여주는것과같이얼굴검출, 특징추출, 분류기, 표정인식의단계를거치게된다 [4]. 37 전자공학회지 _ 619

46 이찬수 < 그림 1> 표정인식단계 < 그림 2> 복합표정의예 : 행복한놀람 (happily surprised) [5] 각세부영역의결합에의하여최종적인표정인식결과를얻게된다. 본논문에서는표정에대한심리학적연구를통하여밝혀진기본표정및이들의조합에의한다양한복합표정과관련된연구들을살펴본다. 이러한이해를바탕으로, 표정인식을위하여각각의단계에서기존에많이활용되었던기술및최근에딥러딩을활용한기술들을검토하여, 다양한표정인식에필요한기술들을살펴본다. 마지막으로향후표정인식관련전망을제시한다. Ⅱ. 표정의종류및표정기술방법 표정인식에많은관심이쏟아지는가장큰이유는표정이사람의마음속에일어나고있는감정에대한가장직접적이고시각적인표현이기때문이다. 찰스다윈 (Charles Darwin) 은표정인식의범용성 (universality) 을주장하고, 이러한표정들이타고난특정한감정과연관되어있음을보이고, 이러한특징들이사람뿐아니라동물에서도유사한근육이사용됨을관찰하였다 [1]. 현대에들어서는슬리번톰킨슨 (Silvan Tomkins) 에의하여, 태어날때부터타고나는기저로정서 (affect) 가있으며, 이정서로부터자극에대한반응으로감정 (emotion) 을설명하였다. 폴에커만 (Paul Elman) 은이러한표정에대한보다체계적인기술을위하여 FACS(Facial Action Coding System) 라는표정기술방법을제시하였다. 무표정을기준으로하여임의의표정생성에따라변하는얼굴표정에나타나는변화를체계적으로기술하는방법을제공한 다. 얼굴근육과관련된해부학적분석을바탕으로개발되었으며, 얼굴에나타나는외관상의변화 (appearance) 가기준이된다. FACS 코딩시스템에서는각각의표정동작단위 (action unit) 가움직임의정도에대해서도최대가능움직임을바탕으로표시할수있다. 또한폴에커만교수는여섯가지의기본표정을선정하고, 이기본표정은문명사회뿐아니라비문명사회에서도동일함을보이며, 이여섯가지기본표정이보편적임을주장했다. 이후에많은연구들이이여섯가지의기본표정에대한인식에초점을맞추어연구를진행해오고있다. 최근에기본표정뿐아니라, 다양한복합표정 (compound expression) 에대한연구를오하이오대의마르티네스 (Matrinez) 교수그룹에서수행하고, 관련된데이터베이스도공개하고있다 [5]. 연구에따르면, 각각의기본표정에따른표정동작단위에의하여구분되고기술될수있듯이, 복합표정도기본표정동작단위의조합에의하여나타낼수있으며, 또한표정동작단위의세기에따라다른의미를가질수있음을밝히고있다. < 그림 2> 는행복함 (happy) 과놀람 (suprised) 의조합에의하여행복한놀람의복합표정에의하여두감정의조합이가능하며, 이때, 각각의기본표정동작단위의조합도일어남을볼수있다 [5]. 연구에따르면기본표정외에이러한복합표정은 17가지가있다고보고되고있다. 620 _ The Magazine of the IEIE 38

47 최근표정인식기술동향 Ⅲ. 표정인식단계별접근방법및최신동향 표정인식은얼굴검출, 특징추출, 분류기, 표정판단의 단계를거치게되며, 각각의단계별접근방법및최근의딥러닝을이용한접근방법을살펴본다. 1. 얼굴검출표정인식을위해서는얼굴검출이 1단계로진행되어야한다. 얼굴검출의목적은얼굴검출을통하여표정인식을위한특징점추출의영역을정하고, 또한정규화작업을수행하게된다. 따라서, 얼굴검출에있어서전체얼굴에대한검출뿐아니라표정인식을위하여필요한얼굴부분만을검출하여진행하기도한다. 얼굴검출방법에대한많은연구들이진행되어왔으며, 대표적인것으로 PCA를이용한 eigenface [6], 이를시점의변화를고려하기위하여다양한시점에대하여확장한 view-based eigenface, 약한인식기의계단식결합 (cascade) 에의한 Viola-Johnson의 Adaboost 기법을이용한얼굴검출기 [7] 등기존의전형적인얼굴검출방법들이사용되었다. 최근에는딥러닝을이용한다양한얼굴검출방법들이제시되고있다. 딥페이스 (DeepFace) 는딥러닝을적용한얼굴검출 [8] 의대표적인사례중에하나이며, 이외에도 CNN 구조의계단식결합을이용한견고한얼굴검출방법 [9] 등다양한방법들이제시되고있으며얼굴검출성능이향상되고있다. 얼굴검출후에일반적으로검출된얼굴을바탕으로정규화를수행한다. 얼굴이기울어져있거나 (in-plane rotation), 정면을보지않고돌아가있을경우 (outof-plane rotation) 에전체얼굴에대한회전이나와핑 (warping) 을통하여얼굴을정규화하게된다. 일반적으로크기변화에대해서도정규화를수행하게되며, 이러한정규화기법에따라이후에이루어지는과정에서의성능에차이가일어나기도한다. 2. 얼굴특징추출얼굴검출후에표정인식을위한얼굴특징추출을수행하게되며, 얼굴특징추출은크게는이미지기반특징추출 (image-based feature extraction) 과모델기반특징추출 (model-based feature extraction) 로나눌수있다. 이미지기반특징추출의경우에는얼굴검출을통하여추출된이미지에대하여이미지에대한 PCA(Principle Component Analysis) 와같은차원감소기법을이용하거나, 이미지들사이의변형 (deformation) 을추출하거나, 이미지픽셀단위의이동을추출을통한표정의움직임을추출하여사용하게된다. 모델기반의특징추출의경우에는 2차원점들의분포에대한모델 (point distribution model) 을바탕으로한 ASM(Activve Shape Model), 3차원의기하학적모델또는 2차원의외형모델 (appearance model) 을바탕으로한 AAM(Active Appearance Model) 등이개발되고표정인식의특징을추출하기위하여사용되었다. 일반적으로모델기반의특징추출의경우에는모델을추정하는과정에서기본모델로부터변형된모델에대한계수 (parameter) 를찾게되며, 이러한과정에서정규화도이루어지게된다. 따라서, 얼굴의기울여짐등에견고하고간결한 (compact) 특징의추출이가능할수있다. 최근에는딥러닝을이용한표정인식시스템들이개발되고있으며, 이러한시스템에서는기존의모델 ( 가령, AlexNet [10] ) 을사용하기도하지만, 표정인식에있어서의특징을효과적을추출하기위한다양한모델들도개발되고제안되고있다. 가령표정인식에서는딥러닝을위한입력표정이어느정도정규화가되어있고이러한상태에서각표정에변화가일어나는부분은특정영역으로한정될수있다. 즉, 얼굴에어떤부분에변화가있었는지의 < 그림 3> 딥러닝을이용한표정인식을위한특징추출의예 [11] 39 전자공학회지 _ 621

48 이찬수 여부가어떤표정또는어떤표정동작단위가변했는지를인식하는데매우중요한단서가될수있다. 따라서, 기존의 CNN(Convolution Neutral Network) 과는달리영역층 (region layer) 을둔표정인식을위한네트워크가제안되기도했다 [11]. < 그림 3> 은제시된표정인식을위한딥러닝구조에서영역층을보여준다. 3. 표정분류기표정분류는추출된표정특징을바탕으로기본표정중에하나로분류하거나또는표정인식을위한중간단계의분류를수행하게된다. 추출된특징으로부터바로기본표정으로의분류는규칙기반표정인식방법, 신경망을이용한분류기, 및 SVM 등의머신러닝기법을이용한기본표정분류기등이사용되어왔다. 중간단계의분류로는표정동작단위인 AU로의분류가일반적으로사용된다. 추출된특징에서 AU로의분류를위하여기본표정으로의분류와유사한규칙기반분류, 신경망, SVM 등의머신러닝기법등이유사한방법으로사용될수있다. Neural Network) 을이용한방법등을적용하는것이다. 또는동영상의각각의이미지에대하여표정인식을하고그인식에서주요인식에서가장다수가발생하는표정을해당동영상의표정으로인식하기도한다. 최근에딥러닝을이용한표정인식의경우에는위와같이각단계별로분류되어처리되기보다는검출된얼굴을바탕으로표정의특징추출과표정의분류및판단이동시에일어나게된다. Ⅳ. 표정인식시스템의사례 본연구자가개발한실제몇가지표정인식관련연구를살펴봄으로써, 앞에서설명된표정인식의각단계가어떻게결합되어실제표정인식의결과를얻고있는지를검토한다. 1. Multilinear 모델을이용한표정인식 [12] 표정인식을위해서는개인에따른특성과표정에따른 4. 표정판단표정분류의결과가기본표정중에어떠한표정인지를바로제공하기도하지만, AU분류의경우에는 AU 분류결과를바탕으로최종표정을분류하게된다. AU분류결과를바탕으로규칙기반의표정판단결과를제공하기도하며, 중간결과또는 AU 판단결과를바탕으로추가적인분류기를학습하여표정을판단하기도한다. 표정을인식하는데있어서표정의동적변화가표정을인식하는데많은정보를제공하고있으며, 하나의이미지가아니라, 표정의움직임변화에대한인식을하고자하는연구들도다양하게진행되고있다. 표정판단에있어서는하나의이미지가아니라동영상또는여러개의이미지로부터표정을판단하고자하는연구들도진행되고있으며, 이러한동영상데이터로부터표정을인식하기위해서는동적모델을기반으로한표정인식연구들도진행되고있다. 그중에대표적인방법은 HMM(Hidden Markov Model) 모델을이용하거나, RNN(Recurrent < 그림 4> 동작, 스타일, 표정의분리모델 (decomposible model) 을이용한표정인식 [12] < 그림 5> 표정추적기반특징추출및스트레스분석 622 _ The Magazine of the IEIE 40

49 최근표정인식기술동향 특성을분리함으로표정인식을효과적으로수행할수있을것이다. 이러한근거를바탕으로표정동영상으로부터동작 (motion) 과개인스타일 (style), 표정 (expression) 의요소를나눌수있다. < 그림 4> 는네사람에대하여, 네가지다른표정의특징들과이것에대한동작을임베딩에분석한예이며, 이러한모델을이용하여, 개인의스타일변화에독립적인표정인식이가능하다 [a]. 2. 표정의변화추적과이를이용한표정및스트레스정도인식 [13] 표정인식및표정의변화를효과적으로추적하기위하여, 모델기반의얼굴표정의특징점들을추정하고있으며, 대표적으로 ASM(Active shape model) 이많이사용된다. 이러한모델의확장을바탕으로, 다양한적용이가능하며, 사람이스트레스가심해지면, 얼굴이비대칭적으로찌그러지는것을바탕으로스트레스정도를추정하는데사용될수도있다. 3. 지역적인특징에대한 Dictionary 학습을통한표정 인식 [14] 사람이표정을어떻게인식하는가에대한정신분석학적연구에따르면, 얼굴에서눈, 입등과같이지역적인부분에서의특징들을바탕으로표정을인식하는것으로알려져있다. 이러한특징을살리기위해서는표정의특 징들을학습하는데있어서지역적인특성들를살려서특징을추출하는것이필요하다. 이를위하여지역적인특징을지원할수있는사전학습 (Dictionary Learning) 방법을적용하여표정을인식함으로견고하고효과적인표정인식방업을제안하였다. 표정의변화가중요하고, 따라서모델학습에있어서이미지가아니라, 모션흐름 (motion flow) 라는조밀옵티컬플로우 (dense optical flow) 기법을통하여데이터를가지고인식함으로인식률을향상시킬수있었다. 4. 딥러닝을이용한표정인식딥러닝의기법들이다양한컴퓨터비전분야에적용되고있으며, 표정인식의경우에도다양한표정인식을위한네트워크구조및딥러닝을이용한표정인식과관련된특징추출결과들을보여주고있다. 표정에대한조밀옵티컬플로우데이터에대하여딥러닝네트워크를활용하기위한간단한방법은조밀옵티컬플로우데이터를컬러코딩하여 RGB 이미지와유사하게표현한후에네트워크를학습하는방법이있다. 또다른방법은조밀옵티컬플로우의가로방향및세로방향의흐름을입력으로사용하는방법을적용할수있다. AlexNet을이용하여위의두가지경우에대해서표정인식관련실험을해본결과후자의경우에보다효과적임을보여주었다. < 그림 7> 은 AlexNet 구조를변형하여표정인식을위하여딥러닝네트워크를구성한예이다. CK+ 표정인식데이트베이스를이용하여표정학습인테스트를수행하였다. 5. 딥러닝을이용한표정인식과특징점흐름에대한인식기의결합에의한표정인식 [15] 얼굴표정의분석에있어서는얼굴의외형특징과기하학적특징 (geometric feature) 를동시에고려하는것이효과적이다. 이를위하여외형특징에대한딥러닝모델 < 그림 6> 지역적사전학습을통한표정인식시스템 [14] < 그림 7> 표정인식을위하여제안된 CNN 구조의예 41 전자공학회지 _ 623

50 이찬수 진단에서활용이가능하며관련된연구를통하여, 표정인식분야가계속발전해갈것으로보인다. < 그림 8> 립러닝과 SVM을결합한표정인식모델과기하학적특징에대한딥러닝모델을결합하여성능을향상시키려는연구가있었다. 또다른방법은기존의기하학적특징에의한효과적인표정인식부분을 SVM 등의인식기로학습하고, 외형특징에대한딥러닝기반의인식결과를얻어이를상호보완하는방법이있다. < 그림 8> 은이러한딥러닝과기하학적변화에대한 SVM 인식기의결합한모델을보여주며, 이러한모델을바탕으로 CK+ 데이터베이스를바탕으로한표정인식에서최고의성능을보여줄수있었다. Ⅴ. 전망및결론 인간의감정을이해하고자하는요구는인간과로봇이보다가까이교류하게되는미래사회에인간과로봇의상호작용을위한핵심기술의하나가될것이다. 뿐만아니라 IoT 기반의다양한스마트디바이스가사람의상태를파악하고, 이에따른적절한기능을제공하는데있어서도표정인식은가장명확하게사람의감정을파악하는수단이될것이다. 따라서표정인식에대하여향후보다효과적인인식방법에대한다양한연구가필요하며, 또한기존의표정인식기술을이용한다양한표정인식관련제품의개발이요구된다. 더불어얼굴표정으로부터기본정서정보뿐아니라보다복잡한표정을이해하려는연구및표정분석을통하여인간감정의변화분아니라정서장애, 자폐등의 참고문헌 [1] 찰스다윈, 인간과동물의감정표현, 김홍표역, 지식을만드는지식출판사, 2014 [2] Paul Ekman and Dacher Keltner, Universal Facial Expressions of Emotion: An Old Controversy and New Findings, Nonverbal Communication Where Nature Meet Culture, p.27-46, 1997 [3] R.W. Picard, Affective Computing, MIT Press, Cambridge, 1997 [4] B. Fasel and J. Luettin, Automotic Facial Expression Analysis: a Survey, Pattern Recognition, vol. 36, p , 2003 [5] Shichuan Du, Yong Tao, and Aleix M. Martinez, Compound facial expressions of emotion, PNAS, 2014 [6] M. Turk and A. Pentland, Eigenfaces for recognition, Journal of Cognitive Neuroscience, vol. 3, no. 1, pp.71-86, 1991 [7] P. Viola and M. J. Jones, Robust Real-time Face Detection, IJCV, vol. 57, no. 2, pp , 2004 [8] Yaniv Taigman, Ming Yang, Marc Aurelio Ranzato and Lior Wolf, DeepFace: Closing the Gap to Human-Level Performance in Face Verification, CVPR 2014 [9] Li H et al, A Convolutional Neural Network, Cascade for Face Detection, CVPR, 2015 [10] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep CNNs. NIPS, 2012 [11] Kaili Zhao, Wen-Sheng Chu, Honggang Zhang, Deep Region and Multi-label Learning for Facial Action Unit Detection, CVPR 2016 [12] Chan-Su Lee and Ahmed Elgammal, Facial Expression Analysis using Nonlinear Decomposable Generative Models, Lecture Notes on Computer Science, AMFG, LNCS3725, pp.17-31, 2005 [13] Chan-Su Lee, Ahmed Elgammal and Dimitris Metaxas, Nonlinear Dynamic Shape and Appearance Models for Facial Motion Tracking, Lecture Notes on Computer 624 _ The Magazine of the IEIE 42

51 최근표정인식기술동향 Science, PSIVT, 2007 [14] Chan-Su Lee, Rama Chellappa, Sparse localized facial motion dictionary learning for facial expression recognition, in Proceedings of IEEE Conference on Acoustics, Speech and Signal Processing (ICASSP), pp , 2014 [15] 김민현, 김진철, 이찬수, 전역및지역적동작흐름기반학습모델결합을통한표정인식, 전자공학회하계학술대회, 2017 이찬수 1995 년 2 월연세대학교전자공학과학사졸업 1997 년 2 월 KAIAT 전기전자공학과석사졸업 2007 년 6 월 Rutgers 대학전산학박사학위취득 1997 년 5 월 ~2001 년 1 월한국전자통신연구원연구원 2008 년 3 월 ~ 현재영남대학교전자공학과교수 < 관심분야 > 컴퓨터비전 ( 인간행동인식, 표정인식등 ), 머신학습 ( 딥러닝, 매니폴더러닝 ), 스마트조명제어, 인간시각특성 43 전자공학회지 _ 625

52 특집 무인비행체임베디드조난자탐지시스템 무인비행체임베디드 조난자탐지시스템 Ⅰ. 서론 황성주 UNIST 전기전자컴퓨터공학부한문수 UNIST 전기전자컴퓨터공학부박준현 UNIST 전기전자컴퓨터공학부이정관 UNSIT 전기전자컴퓨터공학부 과거군사용위주로개발되었던무인비행체 (Unmanned Aerial Vehicle) 는최근활용가능성이증대되며다양한분야에서이용되고있다. 세계각국은무인비행체산업의선두주자가되기위해지속적인연구개발과관련정책을수립하고있으며, 글로벌기업들은무인비행체를산업과민간에상용화하기위해많은노력을하고있다. 무인비행체는의학, 기상, 과학, 예술등다양한분야의서비스및콘텐츠와융합하여새로운비즈니스모델을창출하고있다. 또한 4차산업혁명의주요기술인사물인터넷 (IoT), 로봇공학, 인공지능 (AI), 자율주행등과융합하여미래지향적고부가가치를창출해낼수있다. 최근에는기상관측, 인명구조, 영상촬영등다양한분야의임무를수행하기위한특수목적용무인비행체가개발되고있으며, 카메라, 센서, 소형 CPU나 GPU 등을탑재할수있는임베디드시스템이개발되고있다. 또한장시간비행임무수행을하기위해무인비행체의소형화및전력소모절감연구가진행중이며, 자율비행연구가활발히진행되고있다. 무인비행체기술은 4차산업혁명을주도할핵심동력으로성장하고있다. 무인비행체기술의가장큰이점은공간의제약을받지않는다는것이다. 인간이도달할수없는지역을도달할수있으며, 광범위한지역을신속하게이동할수있다. 이러한이점을바탕으로최근무인 Bruno Andries 비행체는조난자수색, 산불감시, UNIST 교통단속등에이용되고있다. 하전기전자컴퓨터공학부지만무인비행체가광범위한지역 626 _ The Magazine of the IEIE 44

53 무인비행체임베디드조난자탐지시스템 < 그림 1> 무인비행체를활용한조난자탐지및구조의영상은쉽게수집함에도불구하고, 이를분석하는데는많은시간이소모된다. 본연구진은무인비행체를이용하여실시간으로영상을분석하는연구를진행하고있으며, 본논문에서는대규모재난상황에서무인비행체를이용하여자동으로조난자탐지를수행하는시스템을소개할것이다. 기존무인비행체를이용한조난자수색에서는구조요원이육안의피로로인해모든영상을면밀히분석하기에는한계가있다. 또한중 / 고고도에서촬영된영상은육안으로는물체의외형을구분하기어렵기때문에조난자의존재를오판할가능성이높다. ICT와융합한조난자수색방식의경우, 재난상황속에존재하는각종전자기기들이오작동하거나손상및파괴되어작동하지않을가능성이높다. 센서를이용한조난자탐지는지형지물의파괴로인해인간이접근하기어려운지역을수색하는용도로는유용하나, 광범위한재난지역을신속하게수색하기는어렵다. 하지만인간육안피로의한계로인해모든비행영상을분석하기어려우며, 중 / 고고도에서촬영된영상은인간의육안으로는물체의외형을구분하기어렵기때 < 그림 2> 무인비행체임베디드조난자탐지시스템 문에조난자의존재를오판할가능성이높다. ICT와융합한조난자수색방식의경우, 재난상황속에존재하는각종전자기기들이오작동하거나손상및파괴되어작동하지않을가능성이높다. 각종센서를이용한조난자탐지는지형지물의파괴로인해인간이접근하기어려운지역을수색하는용도로는유용하나광범위한재난지역을신속하게수색하기는어렵다. 조난자수색에소요되는시간은조난자의생명확보와직결되는중요한요소이며, 만약무인비행체를이용하여광범위한지역을신속하게수색할수있다면많은인명을구조할수있을것이다. 본연구진은무인비행체와최근눈부신발전을보여주고있는딥러닝 (Deep Learning) 의결합을통해광범위한지역을신속하게수색할수있는무인비행체시스템을개발하였다. 컴퓨터비전 (Computer Vision) 분야의물체검출 (Object Detection) 분야는딥러닝의재조명으로활발히연구가진행되고있으며, 현재딥러닝을이용한물체검출모델은인간의육안과비슷한성능을보유하고있다. 물체검출모델의주요성능지표는검출정확도 (Average Precision, AP) 와화면재생빈도 (Frame Per Second, FPS) 이며, 최신물체검출모델인 YOLO(You Only Look Once)9000 [2] 은 Pascal VOC 데이터셋기준, 78.6 map(mean Average Precision), 40 FPS의성능을보유하고있다. 물체검출의주요연구는육안으로식별가능한지상 / 저고도에존재하는물체를검출하는방향으로진행되었으며, 중 / 고고도에관한물체검출은상대적으로미흡하였다. 그이유는모델학습을위한지상 / 저고도데이터 (ImageNet, Pascal VOC) 는그수가많으며, 다양한환경및물체에관해존재하지만중 / 고고도에관한데이터는데이터의수가상대적으로적기때문이다. 중 / 고고도의학습데이터수를증가시키기위한가장쉬운방법은인간이직접학습데이터를생성하는것이다. 하지만중 / 고고도에존재하는물체는인간의육안으로도판단하기어려운물체들이존재한다. 이점을보완하기위해본연구진은점진적학습 (Incremental Learning) [8] 기법을통해학습데이터수를증가시키는 45 전자공학회지 _ 627

54 황성주, 한문수, 박준현, 이정관, Bruno Andries 방법을제안한다. 점진적학습은모델의테스트결과를다시모델학습을위한데이터로사용하는기법이며, 머신러닝분야에서많이사용되고있다. 점진적학습을사용하여학습데이터를증가시킬수있으며, 도메인확장을통해다양한각도, 고도및환경에서의데이터를확보할수있다. 최종적으로적은수의중 / 고고도기반조난자데이터를학습한물체검출모델을사용하여다양한고도에존재하는조난자를검출하고자한다. 최신물체검출모델인 YOLO9000 [2], SSD(Single Shot multi-box Detector) [3] 들은이미지처리속도증가를위해 RPN(Region Proposal Network) [4] 를사용하지않고 Grid Cell & Multi-Box [1][2][3] 기법을사용하였지만작은물체를검출하기어렵다. 이를보완하기위해물체검출모델의입력크기를증가시키는방법이제안되었지만이미지처리속도를크게저하시키는원인으로작용하였다. 본연구진은중 / 고고도에서나타나는작은물체검출과동시에 Tracker [5-6] 를이용하여이미지처리속도를유지할수있는방법을제안한다. 최근소형 CPU, GPU, 센서, 카메라등을탑재하여임베디드시스템을구축할수있는무인비행체가출시되고있다. 하지만무인비행체의크기, 무게, 냉각등의문제로인해연산능력과메모리등하드웨어성능이현저히감소한다. 따라서무인비행체임베디드시스템에물체검출모델을적용하게되면심각한이미지처리속도저하를초래하게된다. 본연구진은물체검출모델 [2] 과 Tracker [6] 의결합, 점진적학습 [8] 을적용하여무인비행체임베디드시스템에서독자적인컴퓨팅능력만으로도다양한고도와환경에존재하는조난자를탐지하는시스템을개발하였다. 무인비행체임베디드조난자탐지시스템의필요기술은다음과같다. 1. 중 / 고고도에존재하는작은물체를검출할수있는물체검출모델 2. 다양한고도와환경에서조난자를탐지하기위한점진적학습시스템 3. 제한적인하드웨어환경에서의딥러닝기반조난자탐지시스템 Ⅱ. 조난자탐지시스템의구조 1. 물체검출모델구조 컴퓨터비전분야의물체검출에관한연구는최근머신러닝 (Machine Learning), 딥러닝 (Deep Learning) 기술을활용, 학습을통한물체인식시스템이주를이루며, 현재최고의성능을내고있는대표적인물체검출시스템으로는 Faster R-CNN [4], SSD [3], YOLO [1], YOLO9000 [2] 등이존재한다. Faster R-CNN [4] 에비해 SSD [3] 와 YOLO9000 [2] 는물체검출속도가우수하다. 이는 RPN & Re-Sampling이아닌전체이미지를그리드 (Grid) 로나눈후모든 Grid Cell에서물체를검출하기때문이다. 따라서본연구진의무인비행체에탑재된시스템은 YOLO9000 [2] 검출기를기반으로진행하였다. YOLO9000 [2] 검출기는이미지전체를검출기의입력으로받아분류하고자하는물체의종류들 (ex. 조난자, 조난자가아닌것 ) 에대해물체를검출한다. YOLO9000 [2] 의특징은입력이미지를 S x S의그리드 (Grid) 로나눈다음, 각각 Grid Cell 당 B개의서로다른경계박스 (Bounding Box) 를생성한다. 각경계박스는신뢰도점수 (Confidence Score) 와클래스가존재할확률을계산하여최종적으로물체검출을하는모델이다. 한편, 기존 YOLO [1] 검출기를발전시켜 Batch Normalization, 고해상도에서의검출, Anchor Boxes 사용과마지막단의 Fully-Connected Layer를 Convolutional Layer로대체하여성능향상을이루었다. 또한, C Language 기반의 Darknet [1] 을이용해속도향상을이루었다. < 그림 3> YOLO9000의물체검출방식 628 _ The Magazine of the IEIE 46

55 무인비행체임베디드조난자탐지시스템 2. 데이터수집일반적도로환경의지상 / 저고도보행자데이터셋은구하기쉬우나, 중 / 고고도시점에서의데이터는많지않고 (Stanford Drone Dataset [10] / UCLA Aerial Event Dataset [11] ) 앵글및고도변화가매우제한되어있다. 따라서다양한고도와환경에서조난자를검출하기위해서는추가적인데이터수집이필수적이다. 본연구진은무인비행체에카메라를설치해영상을촬영하고, 이영상을가지고프레임단위로잘라내이미지데이터셋을만들었다.(UNIST 데이터셋 ) 이후 Matlab GUI를이용해어노테이션툴 (Annotation Tool) 를제작하여, 보행자바운딩박스정보를만들었다.(Labelling) 많은프레임에대해서일일이바운딩박스정보를사람이만들어주는것은상당히비효율적이다. 따라서본연구진은 Annotation Tool에 Tracking 기능을삽입하여, 한번물체정보를잡아주면 Tracker가예측한위치로다음박스정보를미리생성하여사람의노동을줄이고자하였다. 3. 작은물체검출을위한개선기존물체검출의주요연구는사람의눈높이에맞는지상및저고도에존재하는물체에대해중점적으로연구되었고, 무인비행체의시각에서보이는중 / 고고도에관한물체검출에대해서는많은연구가진행되지않았다. 또한, 무인비행체에서촬영되는물체는매우작고, 작은물체검출은여전히어려운문제이다. 이러한문제를해결하기위해본연구진은데이터증강 (Data Augmentation) 을하였다. 방법은이미지의크기를보간법 (Linear Interpolation) 을통해두배로늘리거나줄인다. YOLO9000 [2] 검출기의특성상, 모든이미지를일정크기로맞춰주어야하기때문에차이가없다고할수있으나, 다시크기를같게하는과정에서앞서보간법에의한노이즈및픽셀간미세한변화가생기므로변형된이미지데이터가된다. 또한, YOLO9000 검출기의입력크기를 2배로늘려 (416x x832), 작은물체에대한픽셀정보를많이받을수있도록했다. 이는 Feature map을더많은 Grid Cell로나눈효과가있고, 깊은 Feature Map에서도많은정보의특징들을추출할수있게한다. 물론검출기의입력크기를증가시켰을때속도가저하되는부분이있으나, Tracker를도입하여해결하였다. < 그림 4> 데이터수집및전처리과정 (Matlab) 4. Tracker Tracker는 VOT(Visual Object Tracking) 2016 [9] 에서가장우수한성능을보인 KCF(Kernelized Correlation Filters) Tracker [6] 이다. KCF Tracker [6] 는이미지내부의단일물체에대해 Tracking을수행하지만본연구진은검출물체별 ID 부여를통해단일물체 Tracker를다중물체 Tracker로변경하여물체검출모델과결합하였 < 그림 5> 데이터증강및모델입력크기증가 < 그림 6> 물체검출모델과 Tracker 의결합 47 전자공학회지 _ 629

56 황성주, 한문수, 박준현, 이정관, Bruno Andries 다. 조난자영상에서첫번째프레임에서는검출기를통해물체를검출하고, 검출된박스정보를기반으로네번째프레임까지 Tracking을진행한다. 조난자영상의특성상, 조난자의이동반경이크지않고무인비행체의속도에따라화면이바뀌기때문에 Tracker를사용하여도검출결과와큰차이가나지않는다. Tracker를통해준실시간으로조난자검출을할수있다. 5. 임베디드시스템 (Embedded System) 기존임베디드시스템구현에필요한임베디드 CPU, GPU 프로세서와무인비행체전용카메라등기술적으로무인비행체에서딥러닝모델을구현할수있는환경이되었다. 하지만, 같은딥러닝모델을구동하여도일반데스크탑및서버용 CPU, GPU보다처리속도가느리다. 따라서모델최적화및처리속도가빠른 C Language로구현을하였다. 작은물체검출기술을적용한물체검출모델을무인비행체임베디드시스템에서독자적인컴퓨팅능력만을이용하여기존보다이미지처리속도가향상된조난자탐지시스템을구현하였다. 무인비행체에임베디드가능한 GPU(NVIDIA Jetson TX2) 를탑재하여딥러닝기반물체검출모델과 Tracker를결합하여물체검출을수행하였다. < 그림 7> 점진적학습 (Incremental Learning) 다시학습데이터로활용한다. 점진적학습을통해기존에학습하지못했던물체들을학습하여검출성능을향상시켰다. Ⅲ. 실험조건및결과 1. 실험환경 무인비행체는 DJI사 MATRICE-100을사용하였으며, 임베디드 GPU는 NVIDIA사 Jetson TX2를사용하였다. ROS(Robot OS) 를통해무인비행체와임베디드 GPU 간통신을가능하게하였다. 그리고무인비행체의배터리에서임베디드 GPU 및짐벌에 12V 고정출력강하형 DC-DC 3A 컨버터를사용하여연결하였다. 딥러닝물체검출모델을임베디드 GPU에서실행시키기위해 CUDA 8.0을 Tegra OS에설치하였고, 최적화를위해 C Language를사용하였다. 6. 점진적학습 (Incremental Learning) 앞서데이터수집에서도기술한바와같이, 다양한고도와환경에서의조난자검출을수행하기위해서는다양한종류의촬영데이터가필요하다. 하지만매번사람이학습데이터를생성하는것은매우비효율적이다. 또한학습데이터를생성하는과정에서중 / 고고도의데이터는인간의육안으로도판단하기힘든물체들이이미지내에존재한다. 이를해결하기위해테스트결과를이용하여물체검출모델의학습을진행할수있는점진적학습기법을적용하였다. 물체검출모델의테스트결과에서높은점수로이미지내부에존재하는어떤물체를찾았을때, 이를정답 (Ground Truth) 에가깝다고가정을할수있으며, 임계점 (Threshold) 이초과하는테스트결과를 2. 데이터셋고고도기반보행자데이터셋인 Stanford와 UCLA Drone 데이터셋을사용하였다. 중고도데이터셋을구축하기위해앞서기술된방법으로 UNIST 내부촬영및데이터전처리과정을수행하여약 4800개의학습데이터를확보하였다. 고고도데이터셋과중고도데이터셋사이에데이터수의불균형을해결하기위해 Stanford와 UCLA 데이터셋의학습데이터수를 UNIST 데이터셋과동일하게조정하였다. 또한데이터증강을적용하여총 23000개의학습데이터를확보하였으며, 약 1700개의테스트데이터에대해학습된모델의테스트를진행하였다. 630 _ The Magazine of the IEIE 48

57 무인비행체임베디드조난자탐지시스템 3. 모델학습초기학습파라미터를효율적으로조절하기위해 ImageNet으로 Pre-Trained 된학습모델을사용하였다. 중 / 고고도데이터셋을물체검출모델에학습시키기위해학습률 (Learning rate) 을 0.001로설정하였으며, 적응적학습률감소 (Adaptive learning rate) 를사용하여약 500 epochs를학습하였다. 또한기존모델에 Dropout을추가하여학습을진행하였다. 4. 실험결과 < 표 1> 은모델입력크기증가와데이터증강을적용하여중 / 고도도데이터에관하여테스트를진행한결과이다. 기존물체검출모델 ( ) 을사용하였을때, 의 AP를얻었다. 이는 Grid Cell의개수가적기때문에발생하며, Cell 당차지하는이미지의면적이넓으므로작은물체를검출하기어렵기때문이다. 또한데이터증강기법 ( Data Aug.) 을통해고도변화로인해발생한노이즈를효과적으로처리함으로써, 단순모델입력크기를증가시킨모델에비해 2% 의성능향상을보였다.( ) < 표 2> 는물체검출모델과 Tracker를결합한시스템과단순물체검출모델만을구동하였을경우에관하여정확도와속도를측정한결과이다. 또한무인비행체임베 디드시스템의독자적인컴퓨팅능력만을사용하여테스트를진행하였다. Tracker를결합한시스템은 0.66 AP, 7 FPS로기존물체검출모델만을이용한시스템보다이미지를처리하는시간이 7배증가하였다. 하지만성능측면에선기존물체검출모델보다감소하였다. Tracker는한프레임에서물체검출결과를입력으로사용하여다음프레임의물체를추적하므로, 만약잘못된검출결과가 Tracker에전달되는경우, 잘못검출된결과가다음프레임까지영향을미치기때문에검출정확도가낮아진다. 5. 점진적학습 < 그림 9> 은기본모델과점진적학습을적용한것을비교해놓은것이다. Frame 1에서는두모델모두한명의 < 그림 9> 점진적학습비적용 ( 위 ) / 적용 ( 아래 ) < 표 1> 실험결과 (Test Dataset) 모델입력크기 Average Precision x832 + Data Aug < 그림 8> 테스트셋결과예시 < 표 2> 실험결과 (Tracker vs No Tracker) 비고 AP FPS 물체검출모델 + Tracker 물체검출모델 < 그림 10> 점진적학습비적용 ( 위 ) / 적용 ( 아래 ) 49 전자공학회지 _ 631

58 황성주, 한문수, 박준현, 이정관, Bruno Andries 보행자만을검출하였다. 기본모델의경우시간이지나도보행자를검출하지못하였으나, 점진적학습을적용한경우점차보행자를검출하여 Frame 97에서는화면상의모든보행자를검출하였다. < 그림 10> 은점진적학습을적용한결과로써, 아래그림과같이중고도 (35m) 에서테스트한이미지를바탕으로고도를점점낮추면서저고도 (10m) 에서테스트를진행하였다. 점진적학습을적용하지않았을경우, 본테스트데이터에서의결과는 0.11 AP를기록하였으며, 점진적학습을적용한모델은 0.11이상승한 0.22 AP를기록하였다. Ⅳ. 전망과결론 무인비행체임베디드조난자탐지시스템은대규모재난상황에서광범위한지역을빠르게수색하여조난자의위치를효과적으로파악할수있을것이다. 특히사람이접근하기힘든산간지역이나해안지역에서의고립된조난자에대해서도신속한구조를할수있을것이라기대한다. 향후본시스템을활용하여산불탐지, 범죄자추적등다양한분야와융합할수있다. 최근이미지정보를이용한 CNN(Convolutional Neural Network) 모델을응용해영상시계열 (Sequential) 정보를이용한 Action Recognition [12], Video Captioning [13-14] 등의연구가활발히진행중이다. 본연구진은 CNN-LSTM(Convolutional Neural Network-Long Short Term Memory) 를통해조난자의행동 (Action) 을인식하여조난자의구조요청여부를판단할수있다. 연속된프레임의정보를 CNN-LSTM을이용하여분석함으로써, 조난자의존재여부를보다정확하게판단할수있을것으로예상한다. 현재의점진적학습모델에서는임계점에의해판단하기때문에 False Positive를학습하는경우가생긴다. 이러한문제를해결하기위해모델불확실성 (Model uncertainty) 를도입하여점진적학습과능동학습 (Active Learning) 을결합하고자한다. 이를통해기존점진적학습의단점을보완할수있으며, 기존보다정확한학습데이터를확보할수있다. 참고문헌 [1] Redmon, Joseph, et al. You only look once: Unified, realtime object detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition [2] Redmon, Joseph, and Ali Farhadi. YOLO9000: better, faster, stronger. arxiv preprint arxiv: (2016). [3] Liu, Wei, et al. Ssd: Single shot multibox detector. arxiv preprint arxiv: (2015). [4] Ren, Shaoqing, et al. Faster R-CNN: Towards real-time object detection with region proposal networks. Advances in neural information processing systems [5] Henriques, Joao, et al. Exploiting the circulant structure of tracking-by-detection with kernels. Computer Vision-ECCV 2012 (2012): [6] Henriques, Joao F., et al. High-speed tracking with kernelized correlation filters. IEEE Transactions on Pattern Analysis and Machine Intelligence 37.3 (2015): [7] Kuznetsova, Alina, and Sung Ju Hwang. Incremental learning framework for object detection in videos. U.S. Patent Application No. 14/887,141. [8] Kuznetsova, Alina, et al. Expanding Object Detector s HORIZON: Incremental Learning Framework for Object Detection in Videos (supplementary materials). [9] Felsberg M. et al. (2016) The Thermal Infrared Visual Object Tracking VOT-TIR2016 Challenge Results. I16 Workshops. ECCV Lecture Notes in Computer Science, vol Springer, Cham [10] A. Robicquet, A. Sadeghian, A. Alahi, S. Savarese, Learning Social Etiquette: Human Trajectory Prediction In Crowded Scenes in European Conference on Computer Vision (ECCV), [11] Tianmin Shu, Dan Xie, Brandon Rothrock, Sinisa Todorovic and Song-Chun Zhu. Joint inference of groups, events and human roles in aerial videos. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), [12] Donahue, Jeffrey, et al. Long-term recurrent convolutional networks for visual recognition and description. Proceedings 632 _ The Magazine of the IEIE 50

59 무인비행체임베디드조난자탐지시스템 of the IEEE conference on computer vision and pattern recognition [13] Pan, Pingbo, et al. Hierarchical recurrent neural encoder for video representation with application to captioning. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition [14] Shetty, Rakshith, and Jorma Laaksonen. Video captioning with recurrent networks based on frame-and video-level features and visual content classification. arxiv preprint arxiv: (2015). 박준현 2013 년 3 월 ~ 현재울산과학기술원 ( 학사과정 ) < 관심분야 > Deep learning based game AI, Deep learning based object detection 황성주 이정관 2008 년 2 월서울대학교컴퓨터공학과학사 2010 년 5 월텍사스대학교오스틴컴퓨터공학석사 2013 년 8 월텍사스대학교오스틴컴퓨터공학박사 2005 년 5 월 ~2007 년 1 월 SK Communications 2011 년 6 월 ~2011 년 9 월 Microsoft Research 2013 년 9 월 ~2014 년 8 월 Disney Research 2014 년 8 월 ~ 현재 UNIST 조교수 2014 년 3 월 ~ 현재울산과학기술원 ( 학사과정 ) < 관심분야 > Object Detection and Pose Estimation using Deep Convolutional Neural Network < 관심분야 > Machine Learning for Visual Recognition, Natural Language Understanding, and Healthcare Bruno Andries 2013 년 3 월 ~ 현재울산과학기술원 ( 학사과정 ) 한문수 < 관심분야 > Deep Learning based object detection 2017 년 2 월경상대학교정보통신공학과학사 < 관심분야 > Vision Recognition using Deep Convolutional Neural Network, Object detection 51 전자공학회지 _ 633

60 특집 MPEG-I 표준과 360 도비디오콘텐츠생성 MPEG-I 표준과 360 도 비디오콘텐츠생성 Ⅰ. 서론 호요성 GIST 전기전자컴퓨터공학부 2010년대초반에는 3차원기술을앞세워여러연구기관과기업들이 3차원영상을디스플레이할수있는장치를개발하기위해많은시간과노력을들였다. 3차원영상처리하드웨어의발전에따라영화, 게임, 광고등다양한분야에서 3차원영상기술을이용한콘텐츠들이제작되었다. 대표적인 3차원기술기반콘텐츠성공사례로영화 아바타 를들수있다. 이러한성공에힘입어각국의기업들은고화질, 고해상도의 3차원영상을시청할수있는디스플레이장치를개발했다. 하지만 3차원영상을시청하기위해서는시청자가특수안경을착용해야한다는큰불편함을감수해야했다. 또한, 입체영상을시청할때발생하는어지럼증과두통현상이 3차원영상기술의큰한계로지적되었다. 이러한문제를해결하지못함에따라 3차원디스플레이시장은점차위축되었고, 기존의문제를해결하기위해다른방법으로기술접근을해야한다는인식을갖게되었다. 2010년도중반에접어들었을때에도여전히소비자들은 3차원영상콘텐츠시청을원했기때문에기존의 3차원영상디스플레이의문제를해결하기위한방법들이개발되었다. 미국의 Oculus사는 2014년후반기에 Oculus Rift 버전 1을출시하며사용자의머리에장착하여시청할수있는디스플레이 (Head Mount Display, HMD) 시장을개척했다 [1]. 당시 HMD는고가의제품이었기때문에일반소비자들이쉽게접근하기어려웠지만, 미국의 Google에서종이상자와휴대전화로만들수있는 Cardboard를시장에판매하여일반소비자들도손쉽게 HMD 기술을접할수있게되었다. 잇따라삼성전자에서는 Oculus사와협업하여 GearVR을제작하여판매했으며, GearVR은삼성에서제작한고급휴대폰을디스플레이장치로사용하기때문에 QHD(Quad High Definition) 해상도의 634 _ The Magazine of the IEIE 52

61 MPEG-I 표준과 360 도비디오콘텐츠생성 표준화로드맵을제시하고논의를진행하고있다 [3] 년부터표준화작업을시작하여 2021년까지표준화작업을완료하는것을목표로하고있으며, 내부적으로 5개의서브파트가존재하며, 각파트별표준화작업은 < 그림 1> 에나타나있듯이연도별로세분화된 MPEG 로드맵을따르고있다 [4]. Ⅱ. MPEG-I Phase 의분류 < 그림 1> MPEG 표준화로드맵 VR(Virtual Reality) 영상시청이가능하게되었다. 하지만이러한 VR 장치들은대부분모바일환경에서구동되기때문에일반 PC나대형디스플레이장치에내장되어있는그래픽처리장치를통해제공되는영상에비해화질이떨어지게된다. 또한, 360 전방향영상콘텐츠를제작하기위해 CG(Computer Graphics) 영상이아닌실제촬영된영상사용할경우모바일장치에서영상을처리하기는더욱어렵다. 실제촬영된영상을 VR 장치를통해고품질의전방향파노라마영상을제작하기위해서는 4K UHD 해상도정도되어야하는데, 이경우처리해야할데이터량이급격히증가하게된다. 또한, 막대한양의영상콘텐츠는대역폭과전송속도의한계로인해네트워크를통해전송하기쉽지않다 [2]. VR장치를통해전방향영상을시청할경우일반적으로사용자머리의움직임을 3방향으로정의하는데, 이를 3DoF(Degree of Freedom) 이라한다. 3DoF는 Yaw, Pitch, 그리고 Roll을의미하며, 사용자머리의움직임을트래킹하는방향축이기준이된다. 하지만 VR 영상을시청할경우객체사이의가려짐현상이나촬영카메라의시야각문제로인해 3DoF만을통해현실감있는 VR 영상을시청하기는어렵다 MPEG 표준화그룹에서는 116차모임에서 MPEG-I 그룹을만들어몰입형, 전방향비디오를위한포맷과포인트클라우드등기존의기술적문제를해결하기위한 MPEG-I 표준에서는시청자에게현재의 3차원영상콘텐츠보다더자유롭고현실감있는전방향영상을제공하기위한표준화작업을진행하고있다. 이러한목적을위해 MPEG-I는서브파트그룹을만들어각기술개발작업을세분화하여진행하고있으며, 부호화및복호화되는데이터의종류와양에따라 Phase 1.a, Phase 1.b, 그리고 Phase 2와같이 3단계로나누어기술개발을진행할예정이다. 1. Phase 1 표준화단계 (Phase) 는크게 Phase 1과 Phase 2로구분되는데, Phase 1은 2개의서브파트로구성되어있으며, Phase 2는 3개의서브파트로구성된다. Phase 1의서브파트 1은 Technical Report on Immersive Media 로몰입형미디어기술에대한구조와기술을다룬다. Phase 1의서브파트 2인 Omnidirectional MediA Format (OMAF) 는 360 카메라로촬영한영상콘텐츠를네트워크를통해전송하기위한부호화및복호화를위한기술개발을주로진행, 최종수신단에서 6DoF로복원된영상을제공하는것을목표로하고있다. Phase 1.a의전체적인목표는전방향 VR 영상을네트워크를통해저장및전송하도록하는것이다. 단, Phase 1.a는시야각이 3DoF로한정되어있는데, 3DoF는 < 그림 2> 와같이시청자가고정된위치에서영상을감상할때시청자머리의 Yaw, Pitch, 그리고 Roll에대한움직임이전방시야각 X, Y, Z축에대해한정되어있는상황을의미한다 [5]. Phase 1.a에서는최대 360 구형영상에대한영상및비디오콘텐츠를제공하는것을목표로하고있으 53 전자공학회지 _ 635

62 호요성 < 그림 2> 3DoF의시야각및자유도며, 네트워크환경이지원가능한경우 4K 60fps의영상을부호화, 복호화가가능하도록 2017년후반기까지표준화작업을진행할예정이다. < 그림 3> 과같이, Phase 1.a는단일영상의스티칭, 프로젝션, 그리고매핑정보들을기반으로영상및비디오부호화를수행하며, 동시에오디오부호화도진행한다. 복호화부분에서도마찬가지로동일한데이터에대해복호화를진행하며추가적으로전방향영상을지원하기위해사용자가바라보는시점에대한트래킹정보가전송데이터에포함된다. Phase 1.b의경우 Phase 1.a의시청가능시야각의자유도가일부증가한 3DoF+ 콘텐츠제공을목표로하고있다. < 그림 4> 에보인것처럼, 3DoF+ 는 3DoF에서후 < 그림 3> MPEG-I Phase 1.a < 그림 4> 3DoF+ 의시야각및자유도 방으로의 Yaw, Pitch, 그리고 Roll에대한움직임이일부제한적으로추가된다 [6]. 즉, 3DoF에서제한적으로시점의자유도가증가한것이다. 고품질의 3DoF+ 환경을구성하기위해서는사람이바라보는시점을트래킹하여영상을자연스럽게생성할수있도록데이터전송지연문제가없어야한다. 그리고 HMD 장치를이용하여사용자간실시간영상을주고받기위해서는데이터전송에대한최적화기술도 Phase 1.b에서고려해야할점이다. Phase 1.b는깊이정보가포함된여러영상들과비디오데이터들이부호화입력정보로사용된다. 복호화단에서는전송된영상의비디오데이터와깊이정보를함께사용하여렌더링을수행함으로써최종데이터를생성한다. Phase 1.b에서는최종데이터에깊이정보가포함되어전송되기때문에 Phase 1.a보다높은시점의자유도를갖게된다. Phase 1.b의시스템구성도는 < 그림 5> 에나타나있다. 2. Phase 2 Phase 2는 Phase 1의서브파트 2에이어서브파트 3 부터시작하게되는데, 이는 Immersive Video 라고부르며, 전방향비디오콘텐츠를제작하고개발하는작업을중점적으로진행한다. 서브파트 4는 Immersive Audio 이며, 전방향비디오콘텐츠에사용되는오디오데이터를제작하는작업을수행한다. 마지막서브파트 5인 Point Cloud Compression 는라이트필드영상과함께전방향비디오콘텐츠제작을위해사용될기술이다. < 그림 6> 에보인것처럼, Phase 2의목표는시청자가자유롭게움직일수있는환경에서시점의제한이없는 6D0F 영상을제공하는것이다. Phase 2의가장중요한개발요소는 6DoF 영상전송이가능한비디오코덱의개발이다. Phase 2에사용되는데이터의종류는비디오, 정지영상, 오디오, 라이트필드및포인트클라우드등다양한데이터가처리되고전송되어야하기때문에이를안정적으로지원하기위한차세대비디오코덱의개발은 Phase 2 에서매우중요한요소이다. Phase 2 시스템의경우입력으로사용되는영상정보 636 _ The Magazine of the IEIE 54

63 MPEG-I 표준과 360 도비디오콘텐츠생성 < 그림 7> 다시점카메라구조와마이크로렌즈배열 < 그림 5> MPEG-I Phase 1.b < 그림 6> 6DoF의시야각및자유도증가로인해부호화해야하는데이터의종류가 Phase 1.b와비교하여많이증가하게된다. 원활한데이터전송을위해지금보다빠르고넓은대역폭을갖는네트워크환경이필요하기때문에 5G의개발이완료되는시점에서 MPEG-I의전체적인시스템구성이완료되도록로드맵이설계되어있다. III. MPEG-I Visual 기술동향 MPEG-I는자연스러운전방향영상콘텐츠를오디오와함께제공하는것에초점을두고표준화작업을진행하고있다. 그중서브파트 3인 Immersive Video 는현재 3DoF+ 와 6DoF를위한실험영상제작에많은노력을기울이고있다 [7]. 최근라이트필드카메라가상용화되어여러분야에사용되고있으며, 라이트필드영상을이용한깊이지도생성및중간시점영상합성등다양한알고리즘이개발되고있다. MPEG-I도 Phase 2에서라이트필드영상을사용하여전방향영상콘텐츠를제작하는것을목표로하고있으며, 현재 MPEG 미팅에서라이트필드카메라를이용한다시점영상제작방법에대한논의가활발하게이루어지고있다. 특히, 라이트필드카메라 영상을이용하여정확한깊이지도를생성하는방법에대한연구의필요성이증대되고있다. < 그림 7> 에나타나있듯이, 라이트필드카메라는일반카메라에서는사용되지않는마이크로렌즈배열을사용하기때문에다시점카메라로촬영한영상과동일한결과를얻을수있다. 하지만라이트필드영상은다시점카메라로획득한영상보다시점간거리가매우좁다는특징을가지고있다. MPEG-I에서는획득한깊이정보를기반으로중간시점영상을생성하거나 3차원모델링을수행해야하기때문에정확한깊이정보를획득하는것이중요한문제이다. 일반적으로라이트필드영상으로부터깊이영상을획득하기위해스테레오정합방법을사용한다. 최근 MPEG 미팅에서라이트필영상의원본깊이정보가없을경우생성된깊이지도의정확성을평가하기위해포인트클라우드로생성된깊이지도를시각화하여평가하는방법들이논의되었다 [7-8]. 라이트필드영상을사용하여스테레오정합을수행할때, 일반적으로비용함수는식 (1) 과같이 Zero Mean Normalized Cross-Correlation (ZNCC) 또는식 (2) 처럼 Sum of Absolute Differences (SAD) 와영상의기울기항을동시에사용하는등다양한비용함수를모델링하여사용한다. 라이트필드영상의스테레오정합역시일반적인양안영상의정합방법에사용되는후처리과정이적용된다. 가이드영상필터링 [9] 또는계층적해상도최적화 [10] 방법을적용하여고품질의깊이지도를생성할수있게된다. (1) 55 전자공학회지 _ 637

64 호요성 (2) 라이트필드영상은마이크로렌즈배열을통해촬영된영상만을통칭하지않는다. < 그림 8> 과같이일반카메라를사용하여상하시차가존재하며좁은베이스라인을갖도록촬영된영상도라이트필드영상이라고말할수있다. 이렇게얻은실험영상을기반으로식 (1) 을사용하여획득한깊이지도와 DERS (Depth Estimation Reference Software) 를통해획득한깊이지도결과를 < 그림 9> 에나타내었다 [7]. DERS는스테레오영상을이용하여깊이지도를생성할수있도록 MPEG 그룹에서제작하여공개한소프트웨어이다. < 그림 9> 의좌측은식 (1) 을이용하여획득한깊이지도를, 우측은 DERS를이용하여획득한깊이지도를나타낸다. 이실험영상의경우원본깊이지도가존재하지않기때문에객관적으로평가할수있는방법이없다. 깊이지도의정확성을평가하기위해생성된깊이지도를기반으로 3차원공간상에포인트클라우드를생성하여정확성을주관적으로평가한다. 라이트필드실험영상에대한원본깊이지도가존재하지않을경우에는생성된깊이지도를사용하여중간시점영상을생성하거나 3차원객체 모델링을수행함으로써생성된깊이지도의정확성을평가할수있다. 이실험영상은포인트클라우드를생성하여깊이지도를평가하는방법을채택했기때문에라이트필드카메라시스템에대한파라미터를알아야하기때문에미리카메라캘리브레이션이수행되어야한다. < 그림 10> 은 < 그림 9> 와같이획득한깊이지도를기반으로포인트클라우드를생성하고, 원본라이트필드영상의텍스쳐정보를사용하여 Meshlab tool [11] 을기반으로시각화한결과를나타내고있다. < 그림 10> 의결과에서알수있듯이, 식 (1) 을이용한깊이지도기반포인트클라우드시각화결과가 DERS 깊이지도기반시각화결과에비해정확하게표현된것을확인할수있다. 하지만 DERS는현재라이트필드영상에대한깊이지도를생성하는알고리즘이아니기때문에두결과중어느것이우수하다고객관적으로평가할수는없다. 이러한문제를해결하기위해라이트필드영상에대해원본깊이지도를포함하고있는실험영상을제작하여제공하는연구를지속적으로진행해야한다. 또한라이트필드영상으로생성된포인트클라우드결과를객관적으로평가할수있는평가방법에대한연구도같이진행되어야한다. Ⅳ. 전망및전망 < 그림 8> 라이트필드영상 최근 3차원영상을시청할때발생하는문제점에착안하여다양한연구들이진행되고있는데, 대표적으로 HMD를이용한 VR 전방향콘텐츠시청을들수있다. 초기 VR 영상은사용자에게다양한시점의영상을제공함으로써기존 3차원디스플레이를통해느낄수있는영상에비해보다많은시점의자유도를제공했다. 하지만 < 그림 9> 스테레오정합을이용한깊이지도비교 < 그림 10> Meshlab 기반깊이지도시각화 638 _ The Magazine of the IEIE 56

65 MPEG-I 표준과 360 도비디오콘텐츠생성 사용자들은시점의자유도뿐만아니라 VR을통해고화질의풍부한영상콘텐츠를감상하기를바랐고, 기존의 VR보다덜제한적인시점의자유도를원하게되었다. 이에따라 MPEG 표준화그룹에서는 MPEG-I를조직하여표준화작업을진행하고있다. 특히, OMAF 개념과 3DoF로부터시작하여이상적인 6DoF VR영상을제작하기위한장기적인로드맵을작성하고, 5개의서브파트로나누어표준화연구를진행하고있다. 특히, 이번 118 차 MPEG 미팅에서 MPEG-I VIsual 그룹은 3DoF+, Omnidirectional 6DoF, Windowed 6DoF 그리고 6DoF 와같이시청자가경험할수있는시각적자유도에대한개념을세분화했다. 119차 MPEG 미팅에서는시각적자유도에대한세부예시들을정의하고다양한실험영상들을제공하는것을목표로하고있다. 앞으로몰입형비디오의표준화작업을성공적으로수행하기위해서는 MPEG-I의주제에많은관심을가져야하며, 각세부파트별로관련있는연구성과를기고서로제출하여표준화작업에많은기여를해야할것으로보인다 [5] M.L. Champel and R. Dore, Quality Requirements for VR, ISO/IEC JTC1/SC29/WG11, M39979, Jan [6] MPEG-I Use Cases for omnidirectional 6DoF, windowed 6DoF, and 6DoF, N16767, April [7] D. Doyen, G. Boisson, N. Sabater, and V. Dreyfus, Estimation and Visualization of Depth from Light Field Content, M40597, April [8] J.H. Mun, and Y.S. Ho Light-Field Depth Map Generation and Visualization, M40289, April [9] K. He, J. Sun, and X. Tang, Guided Image Filtering, IEEE Trans. on PAMI, Vol. 35, No. 6, June [10] B.D. Lucas and T. Kanade, An Iterative Image Registration Technique with and Application to Stereo Vision, IJCAI, vol. 2, pp , Aug [11] 감사의글 본연구는미래창조과학부 범부처 Giga KOREA 사업 의일환으로수행하였음. [GK16C0100, 기가급대용량양방향실감콘텐츠기술개발 ] 참고문헌 [1] M. A. Conn, and S. Sharma, Immersive Telerobotics using the Oculus Rift and the 5DT Ultra Data Glove, CTS, pp , Nov [2] R. Kijima, and K. Yamaguchi, VR device time-hi-precision Time Management by Synchronizing Times Between Devices and Host PC Through USB, IEEE Virtual Reality(VR), DOI, /VR , March [3] New Work Item Proposal on Coded Representation of Immersive Media, ISO/IEC JTC1/SC29/WG11, N16541, Jan [4] MP20 Roadmap, ISO/IEC JTC1/SC29/WG11, N16719, Jan. 호요성 1981 년서울대학교공과대학전자공학과학사 1983 년서울대학교공과대학전자공학과석사 1989 년 Univ. of Califonia, SB 전기컴퓨터공학과박사 1983 년 ~1995 년한국전자통신연구원선임연구원 1990 년 ~1993 년미국 Philips 연구소선임연구원 1995 년 ~ 현재광주과학기술원교수 1995 년 ~ 현재실감방송연구센터센터장 2016 년 ~ 한국방송미디어공학회회장 2017 년 ~ 현재 IEEE Fellow < 관심분야 > Digital Signal and Image Processing, Image and VIdeo Data Compression, Digital Television and High Definition Television System, 3DTV and Freeviewpoint Video System 57 전자공학회지 _ 639

66 특집 컴퓨터비전및영상처리를위한컬러시스템의이해 컴퓨터비전및영상처리를 위한컬러시스템의이해 I. 서론 각종전자장비에서생성되어프로세싱되는컬러이미지는그기본요소인화소 (pixel) 를구성하는 Red, Green, Blue (R, G, B) 를어떻게다루느냐에따라그결과는엄청달라지기마련이다. 자칫하면 Garbage in garbage out 이될수있다는말이다. 본고에서는 R, G, B를정확하게이해하고이를정확하게처리하는방법에대해서기술하였다. 또한, 컴퓨터비전및영상처리분야에서흔히접하는전자장비간의컬러불일치의원인을소개하고, R, G, B를정확하게제대로처리하는방법에대해서도사례를들어설명하였다. 나아가서인간의시각시스템인 CIERGB, CIEXYZ, CIELAB은무엇이며, 이들의특성에대해서도자세하게설명하였고, 향후정확한컬러영상처리의기본지식과바탕을구축하는데구체적인사례를곁들어설명함으로써확신과자신감이확보될수있도록하였다. Ⅱ. 전자장비간의컬러불일치 조윤지 Yonsei 전기전자공학부 전자장비들간에주고받는컬러정보는반드시일치돼야하나실제로는그렇지못한경우가대부분이다. 이러한컬러불일치는기종이나메이커, 또는방식이서로다르기때문에발생되는것이다. 예를들면, < 그림 1> 에서보는바와같이서로다른메이커의카메라로사진을찍었을때, 모니터에서디스플레이되는영상의컬러들이불일치함을확인할수있다. 컴퓨터비전및영상처리분야의각종응용프로젝트에서장비들간의컬러일치는매우중요한역할을한다. 따라서이에대한문제점과해결방안을이해하는 640 _ The Magazine of the IEIE 58

67 컴퓨터비전및영상처리를위한컬러시스템의이해 < 그림 1> 카메라간의컬러불일치 < 그림 3> 모니터간의컬러불일치 < 그림 2> 비디오카메라간의컬러불일치 < 그림 4> 전자장비의 R, G, B 것은필수다. 다음은비디오카메라들간의컬러불일치이다. < 그림 2> 에서, 빨간색패치를서로다른메이커의비디오카메라로촬영하여각각의컬러영상의 (R, G, B) 값을확인해보면모두다 (255, 0, 0) 으로똑같다는것을알수있다. 그러나, 촬영된각각의영상을측색기로측정하여확인해보면 (X, Y, Z) 또는 (L*, a*, b*) 수치가서로다르다는것을알수있다. 또다른예는 < 그림 3> 에서보듯이 (R, G, B) 가 (255, 0, 0) 인빨간색패치를서로다른메이커의모니터로디스플레이하여각각의컬러영상을육안으로관찰하면, 그냥 빨강! 이라고의심하지않고넘어가기마련이다. 그러나, 디스플레이된각각의영상을측색기로측정하여확인해보면 (X, Y, Z) 또는 (L*, a*, b*) 수치가서로다르다는것을알수있다. (R, G, B) 는모두 (255, 0, 0) 으로똑같지만, 측색된 (X, Y, Z) 또는 (L*, a*, b*) 수치는서로다르다는뜻이다. 비교되는두컬러의색상 (hue), 명도 (lightness), 채도 (chroma) 중적어도하나가다르면컬러가불일치하게된다. 이와같은컬러의불일치현상은장비들간의색역, 감마, 광원, 색온도중적어도하나가다를때발생되는것이다. 여기서사용되는 (R, G, B) 값은컬러를나타내는스캐일의값이아니고단순히컬러를나타내는컬러코드 (color code) 이다. 컬러코드는컬러시스템의비트수에따라서각각다르다. 예를들면, < 그림 4> 에서보듯이빨간색의경우, 8비트시스템은 (R, G, B) 컬러코드가 (255, 0, 0) 이고, 10비트시스템은 (R, G, B) 컬러코드가 (1023, 0, 0), 14비트시스템은 (R, G, B) 컬러코드가 (16383, 0, 0) 이다. 초록색과파란색도마찬가지이다. 똑같은컬러가비트수에따라서각각서로다르게나타내므로 (R, G, B) 컬러코드는컬러를의미하는것이아니고컬러코드일뿐이다. 다음은 < 그림 5> 에서보듯이전자장비의 (R, G, B) 컬러코드의또다른예이다. (R, G, B) 컬러코드는같지만, 메이커간에색역이서로다른경우 [1] 이다. A와 B 두회사의카메라의빨강의컬러코드는똑같이 (255, 0, 0) 이지만똑같은빨강이아니다. 또한, A와 B 두회사의모니터의초록도컬러코드가똑같이 (0, 255, 0) 이지만똑같은초록이아니다. 이는 A사와 B사의장비들이각각서로다른색역을가지고있기때문에, 컬러코드는같지만컬러는서로다른것이다. 위에언급한두가지예에서보는바와같이, 컬러코드는컬러과학의근간인 Red, Green, Blue와전혀다른것이며, 전자장비에서컬러를 59 전자공학회지 _ 641

68 조윤지 < 그림 5> 전자장비의 R, G, B [1] < 그림 7> 컬러매칭 (Color Matching) 실험 [3] < 그림 6> 장비들간의색역의불일치나타내는일종의부호일뿐이다. < 그림 6> 은색역을 L*( 명도 ), a*( 빨강-초록 ), b*( 노랑-파랑 ) 축을중심으로 3차원으로나타낸것이다. 동그란원하나는크레온의각각의색을나타낸것이다. 여기서색역 (color gamut) 이란장비가표현할수있는모든색들의범위를의미한다. 장비마다서로다른크기와형태의색역때문에컬러가불일치하게되는것이다. 색역은수식으로간단하게표현되지않기때문에이를다루는것은쉽지않다. < 그림 6> 의우측에있는그림은 L*, a*, b* 공간에서두장비의서로다른색역들을오버래핑하여표현한것이다. Ⅲ. CIERGB 시스템과전자장비의 RGB 컬러관련국제표준을관장하는 CIE(Commision Internationale de l Eclairage, 국제조명기구 ) 는 1931년에인간의시각시스템인 CIERGB 컬러시스템을발표했다. 이는컬러매칭실험을통해서개발한시각시스템이며, CIEXYZ와 CIELAB으로진화된것이다. CIERGB 컬러시스템은전자장비의 RGB와는전혀관계없는것이다. 전자장비의 RGB는단지컬러코드일뿐이고, 색차계산에활용될수없으며, 정량적인수치 (quantitative value) 가아니다. CIERGB, CIEXYZ, CIELAB 등의시각시스템과는아무런관련이없는것이다. RGB는정육면체의입체형태의색공간도아니고, 장비들간에호환성 (compatibility) 도없다. 1931년영국의 Wright와 Guild는컬러매칭실험을통하여 CIERGB Color System [2] 을개발했다. 예를들면, < 그림 7> 의상단과같이, 단색광생성기로 500 나노미터의파장을가진 Cyan을생성하여스크린에비춘다음, 하단의스크린에는 Red, Green, Blue를각각생성하는실험광생성기의광량을조절하면서 Cyan색이나타날때까지스크린에비춘다. 상단의 Cyan색과똑같은색이나타나는순간의각각의광량을기록하는컬러매칭실험을하였다. 이와같은방법으로파장을 10나노간격으로하여상단의타겟컬러에대한하단의실험광생성기의광량을조절하여상단의컬러와똑같은컬러가되도록실험광생성기의광량을조절하는방법으로컬러매칭실험을실시하여 CIE 1931 RGB 컬러시스템을만든것이다. 각파장별로기록된세종류의실험광각각의광량을합산하여관측자의수로나눈평균치를뜻하는것이다. Ⅳ. CIERGB 에서 CIEXYZ 으로변환하기 < 그림 8> 의왼쪽그림은 1931년에 CIE가발표한 CIERGB 시스템이다. 왼쪽위의그래프는컬러매칭함수를그래프로나타낸것이며, 왼쪽아래그래프는가로축을 r, 세로축을 g로하는색도그램 (chromaticity diagram) 이다. 이두그래프에서하늘색으로표시된부분은 r 값이마이너스 (-) 를나타낸부분이다. 이마이너 642 _ The Magazine of the IEIE 60

69 컴퓨터비전및영상처리를위한컬러시스템의이해 < 그림 8> CIERGB 와 CIEXYZ 컬러시스템 < 그림 9> CIEXYZ 컬러시스템의문제점 스 (-) 값들은색재현등에문제점이있어단점으로간주되고있다. 이러한문제점즉, 마이너스를없애기위하여 CIERGB 시스템을 CIEXYZ 시스템으로변환한것이다. 마이너스 (-) 를플러스 (+) 로변환한것이다. < 그림 8> 의오른쪽에서보듯이, x 값에마이너스가없어졌다. 앞에서설명한바와같이, RGB 컬러매칭 function의마이너스 (-) 값을없애기위하여 1931년미국의 Deane Judd가마이너스 (-) 값이없는 CIEXYZ 컬러매칭 function을발표 [3] 했다. 다음으로아래에있는수식은 CIERGB를 CIEXYZ로변환하는식 [3] 이다. 여기서주의해야할사항은이식에있는 r, g, b는전자장비의 r, g, b 컬러코드와전혀관계가없다는사실이다. 그래서전자장비의 R, G, B 컬러코드를 CIEXYZ로변환할때, 이식을적용하면오류가되는것이다. Ⅴ. CIEXYZ 컬러시스템의문제점 < 그림 10> CIEXYZ 컬러시스템의문제점문제점에대해서설명하고자한다. 채도를나타내는원들은둥근동심원들이어야되는데 < 그림 9> 에서보는것처럼동심원이아니고조개모양의삼각형의형상을한것들이며, 이들사이가등간격도아니다. 여기서멀티폼의문제점은색상과채도를색차계산같은공학계산에활용할수없다는것이다. < 그림 10> 에서색도그램내의타원들은같은컬러의범위를나타내는것이다. 즉, 이타원내의모든컬러들은똑같다는뜻이다. 그리고이타원들은형태와크기가똑같아야하나위치에따라서그크기다다르다는점이다. 그래서이색공간을유니폼이아닌멀티폼공간이라한다. 이색공간이유니폼이되려면모든타원들이똑같은크기의원형으로바뀌어야한다. CIEXYZ 컬러시스템의 CIEXYZ 컬러시스템은한마디로멀티폼 (multiform) 한색공간이다. 여기서멀티폼은유니폼 (uniform) 의반대개념이다. 멀티폼은곧이컬러시스템의취약점이다. 다음은 CIEXYZ 컬러시스템의색상 (hue) 의문제점 [4] 에대해서설명하고자한다. < 그림 9> 에서처럼색상을나타내는선이직선이아닌굽은선이고, 색상각도균등하지않다. 다음은 CIEXYZ 컬러시스템의채도 (chroma) 의 < 그림 11> CIE 1976 L*a*b* (CIELAB) [3] 61 전자공학회지 _ 643

70 조윤지 문제점은이와같이타원들이위치에따라서그크기가다른점이다. 그래서이색공간에서는색차계산같은공학적인계산이불가능한것이다. CIEXYZ 컬러시스템의이와같은문제점때문에새로운유니폼한색공간의필요성이제기된것이다. < 그림 11> 에서보듯이 1976년에 CIE가표준색공간인 CIE 1976 L*a*b*(CIELAB) 컬러색공간 [3][5] 을발표했다. 이색공간의가장큰특징은유니폼한색공간이다. 아직까지도전세계에서가장많이쓰이는표준색공간이다. Ⅵ. 컴퓨터비전및영상처리를위한색공간 유니폼하다는것은 < 그림 12> 에서보듯이일상에서사용하는 mm 자와같이눈금이균일하다는것이다. 반대로멀티폼하다는것은자의눈금이등간격으로매겨져있지않고, 불균등하게매겨져있어서길이를재는데사용될수없다는것이다. < 그림 12> 의하단에서보듯이, 맨왼쪽의 CIELAB은유니폼한공간이고, 오른쪽의 CIEXYZ, srgb, HVS, HLS는멀티폼한공간들이다. 이중에서 HVS나 HLS 색공간은컴퓨터비전및영상처리분야에서색차계산등의공학적인계산에활용하고있는데이는크나큰오류이다. srgb [6] 는 Microsoft사와 Hewlett-Packard사가공동개발한것으로시각시스템인 CIEXYZ와연관시켜활용할수있게한것이다. 이 srgb는모니터및프린터의표준 RGB 색공간으로인터넷에서활용되는컬러이미지를위한것이기도하다. 이 srgb의색역 (gamut) 은시각시 스템 (CIEXYZ) 의 35.9% 를차지하는아주작은색역이다. HSV나 HLS 색공간들은컴퓨터비전및영상처리분야에서보편적으로많이쓰이는공간이다. 그러나이들색공간은 CIEXYZ나 CIELAB 컬러시스템과전혀관계가없다. 이들색공간들의가장큰단점은멀티폼공간이라는것과, 색차계산등의공학적인계산에활용되면안된다는점이디. Ⅶ. RGB 컬러코드의문제점 미국의 Deane Judd는사람의눈으로구분가능한컬러의수가 1천만이라고발표 [7] 하였다. 이는, < 그림 13> 에서보듯이, CIEXYZ 색공간속에있는컬러가 1천만개라는뜻이다. 그러나모니터의색공간은그크기가시각시스템 (CIEXYZ) 의크기보다훨씬작다. 모니터의색공간즉색역의크기는시각시스템 (CIEXYZ) 의 35.9% 로아주작다. 모니터의색역은 srgb의색역과같다. 여기서 srgb의색역은 HDTV의색역의규격인 Rec. 709와같은것이다. 따라서모니터의색역내에존재하는이론적인컬러의수는 3,590,000이다. 이는시각시스템의컬러의수 1천만의 35.9% 에해당되는것이다. R, G, B 각각 8비트인 RGB 시스템의모니터의컬러에대해서살펴보자. 8비트시스템의 R, G, B 각채널의컬러의수는 2 8 즉 256이다. 따라서이시스템의모니터의색역내의컬러의수는 으로 16,777,216이된다. 여기서사람의눈으로구분가능한컬러의수와 RGB 8비트시스템의모니터의컬러의수를비교해보자. 눈으 < 그림 12> 유니폼과멀티폼 < 그림 13> CIEXYZ 와모니터의색역 644 _ The Magazine of the IEIE 62

71 컴퓨터비전및영상처리를위한컬러시스템의이해 < 그림 14> RGB 8 비트시스템모니터의컬러 < 그림 15> 10 비트 RGB 시스템모니터의컬러 로구분가능한컬러의수는 10,000,000인데 RGB 8비트시스템의모니터의컬러의수는 16,777,216이다. 그런데 RGB 8비트시스템의모니터의색역의크기는시각시스템색역의 35.9% 밖에되지않는다는데심각한문제가있다. 어떤심각한문제가있는지를알아보는것은컴퓨터비전이나영상처리분야의각종응용에서매우중요한것이다. < 그림 14> 는 RGB 8비트시스템모니터의색역을시각시스템색역내에도식화한것이다. RGB 8비트시스템모니터의색역은시각시스템색역의 35.9% 에해당되므로이색역내에존재하는컬러의수는이론적으로 3,590,000이되어야한다. ( 이는 10,000, 의계산에서얻어진수이다.) 그러나 RGB 8비트시스템모니터의색역내에존재하는컬러의수는 16,777,216이나돼서이론적인수 3,590,000보다 4.67배나되는것이다. 이수는 RGB 8비트시스템모니터의색역내에존재하는컬러의수 16,777,216을 CIEXYZ의 35.9% 에해당되는컬러의수 3,590,000로나눈값이다. 결국, < 그림 14> 에서보듯이, 모든포인트에서중첩되는컬러의수는 4개이상이되는것이다. RGB 8비트시스템모니터의색역내의모든포인트에있는 4개의중첩된똑같은컬러들은서로다른 R, G, B 컬러코드를갖는다. 그러나이컬러코드들은똑같은컬러이다. 똑같은컬러들이서로다른 R, G, B 컬러코드를갖기때문에서로다른 R, G, B 컬러코드를활용한이 4개의컬러들간의색차계산결과는 0(zero) 이아니다. 똑같은컬러들사이의색차가 0(zero) 이될수없는것은치명적인오류가된다. 따라서 R, G, B 컬러코드를활용한모든색차계산은정확할수 가없는것이다. 그래서 R, G, B 컬러코드를활용한색차계산은치명적인문제점이되는것이다. RGB 각각의비트수가 10비트인모니터의경우에대해서살펴보기로하자. 왜냐면 RGB 10비트시스템의모니터가많이사용되기때문이다. RGB 10비트시스템의모니터의색역내의컬러의수는 1,073,741,824( 약 10 억 7천 3백 7십만 ) 이다. 이경우모니터의색역내의모든포인트에서중첩되는컬러의수는 < 그림 15> 에서보는바와같이약 299개이다. < 그림 15> 에서보듯이색역내의모든위치에는 299개이상의똑같은컬러들이중첩되어있다. 이는 10억 7천3백7십만을 CIEXYZ의 35.9% 에해당되는컬러의수 3,590,000로나눈값이다. 모든위치에있는 299개의컬러들은서로다른 R, G, B 컬러코드를갖는다. 그러나이들은똑같은컬러이다. 똑같은컬러들이서로다른 R, G, B 컬러코드를갖기때문에 299개의서로다른 R, G, B 컬러코드를활용한색차계산결과도 0(zero) 이아니다. 이또한치명적인오류이다. 따라서 R, G, B 컬러코드를활용한모든색차계산은정확하지않다는것이다. 그래서 R, G, B 컬러코드를활용한색차계산은치명적인문제점이되는것이다. 여기서유념해야할사항은 RGB 각각의비트수가 10 또는 12처럼크다고해서결코좋지않다는점이다. 왜냐하면비트수가큰만큼중첩되는컬러즉똑같은컬러의수가기하급수적으로늘어나기때문이다. RGB 10비트시스템모니터의경우, 똑같은컬러들의서로다른컬러코드에대해서구체적인예를들어살펴보도록하자. < 그림 16> 에서보듯이모니터의색역내의 63 전자공학회지 _ 645

72 조윤지 < 그림 16> 10 비트 RGB 시스템모니터의컬러 < 그림 17> 감마 (Gamma) 모든위치에서중첩되는컬러의수는약 299개이다. 빨강같은컬러와초록같은컬러를예로설명하자. 여기서빨강같은컬러와초록같은컬러들은좁은모니터의색역내에있는컬러들이므로순수한빨강, 순수한초록이아니라는뜻이다. 빨강같은컬러의위치에약 299개의컬러들이서로다른 R, G, B 컬러코드를갖고있다. 그러나이들은 (x, y, Y) 좌표상에있는똑같은컬러이다. 똑같은컬러들이서로다른 R, G, B 컬러코드를갖고있다는뜻이다. 299개의서로다른 R, G, B 컬러코드를활용한색차계산결과는 zero가아니다. 초록같은컬러도마찬가지이다. Ⅷ. 감마값과이미지 컴퓨터비전이나영상처리분야에서흔히접하는경우는이미지가유난히어두워보이거나밝아보이는경우이다. 이런경우의문제점을해소하는파라미터가감마 (gamma) 이다. 감마 (gamma) 란입력강도 (intensity) 에대한출력값이비선형적특성을보일때그비선형성의정도를의미한다. 카메라는물론이고, CRT, PDP, LCD, LED, OLED에이르기까지감마로인하여자연그대로의이미지가재현되지못하고, 부분적으로어둡게나타나는현상이있다. 가장이상적인감마값은 1.0이다. < 그림 17> 에서상단우측에있는이미지는감마값이 1.0인이미지이고, 하단우측의이미지는감마값이 2.5인이미지이다. 이 두이미지를비교해보면, 상단의이미지는특별히어두운부분이없으나, 하단의이미지는부분적으로어둡게느껴질것이다. < 그림 17> 의하단죄측에서보듯이감마값이 1.0보다크면곡선이아래로볼록한곡선이된다. 그래서중간톤 (mid tone) 부분이어둡게보이는것이다. Ⅸ. 컴퓨터비전및영상처리분야에서의컬러프로세싱 컴퓨터비전및영상처리분야에서컬러영상분할은아주중요한프로세싱이다. 영상분할의가장중요한요소는화소간의색차계산이다. 색차계산은반드시유니폼한색공간에서이루어져야정확한영상분할이이루어지는것이다. 여기서유니폼색공간이란위에서언급한 CIELAB 색공간을말한다. < 그림 18> 에서와같이, 경계선상에서는수많은서로다른색들로이루어져있기때문에정확한색차를계산해야만분할이정확하게이루어지게된다. 여기서 RGB 컬러코드를활용하면색차계산은정확하게이루어질수없다. 그러나컴퓨터비전및영상처리분야에서는이러한사실을잘모르고, RGB 컬러코드를 HSV나 HLS의멀티폼색공간으로변환한후색차계산을하고있어문제가되는것이다. < 그림 19 (a)> 에서보듯이, 나비이미지를 CIELAB 공간에서영상분할 [8] 한것이다. 이것을 RGB 컬러코드를활용하여분할할경우에는이와같은결과를얻을수없다. 왜냐면, RGB 컬러코드는위에서이미자세히설명 646 _ The Magazine of the IEIE 64

73 컴퓨터비전및영상처리를위한컬러시스템의이해 작편집시스템, HMD(head mounted device) 컬러영상기술, 3D 컬러영상입출력시스템 ( 예, color correction) 등이다. < 그림 18> 경계선상의나비 < 그림 19> 영상분할의예 [8] 드린바와같이정량적인데이터가아니고단지코드이기때문이다. < 그림 19 (b)> 는 3가지의무늬로이루어진나비의이미지를분할한예 [8] 이다. 이것도마찬가지로나비이미지를 CIELAB 공간에서분할한것이다. Ⅹ. 결론및전망 참고문헌 [1] Cho Y. J. 외공저, 컬러디자인, 지구문화사, 2012 [2] Schanda J. Colorimetry: Understanding the CIE System, John Wiley & Sons, New York, 2007 [3] Cho M. S. 디지털컬러의기본원리 (The Basic Principle of Digital Color), Kukje, 2006 [4] Luo R. Development of colour-difference formulae, Rev. Prog. Color, 32, 2002 [5] Wyszecki, G. and Stiles, W. S. Color science, concepts and methods, quantitative data and formulae. John Wiley and Sons, Inc [6] Westland S, Ripamonti C., Cheung V. Computational Colour Science using Matlab, Second Edition, John Wiley & Sons, 2012 [7] Deane B. Judd, Color in business, science and industry, John Wiley & Sons, 1959 [8] Cho M. S. Biological Object Representation for Identification, Loughborough University, Ph.D. Thesis, 1992 컴퓨터비전및영상처리분야에서기본적으로사용되는 R, G, B는컬러코드에불과하고, 사람의시각시스템과직접적인연관이없다. 이 R, G, B 컬러코드는해당장비에서만사용되므로장비들간에호환성이없다. 즉, 장비들간에컬러불일치가존재한다는말이다. 이로인하여컬러의왜곡현상이일어난다는뜻이다. 따라서이를해결하기위해서는컬러과학에서중요시하는유니폼색공간인 CIELAB에서영상처리가이루어져야한다. 지금까지설명드린내용을바탕으로컬러과학과컴퓨터비전및영상처리분야에서융복합연구를하게되면아주좋은결과를얻을수있을것이다. 예를들면, 원격진료시스템, 영상물제작편집시스템, 인테리아시뮬레이션시스템, VR(virtual reality) 에서현실이미지의제 조윤지 2007 년 2 월경희대학교전자정보대학컴퓨터공학학사 2009 년 11 월영국 University of Leeds Colour and Imaging Science 석사 2015 년 12 월영국 University of Leeds Colour and Imaging Science 박사 2016 년 12 월 ~ 현재연세대학교전기전자공학부 Postdoctoral Researcher < 관심분야 > Color Appearance Modeling, Image Quality, Color Perception, 2D/3D Computer Vision 65 전자공학회지 _ 647

74 The Institute of Electronics and Information Engineers 논문지논문목차 전자공학회논문지제 54 권 8 호발행 통신분야 [ 통신 ] 저전력블루투스네트워크에서피코넷간간섭으로인한패킷충돌확률분석 김명진 희박신호기법을이용한초분해능지연시간추정알고리즘 박형래 DCT 와 DHT 를사용하는 OFDM 기반의 SSB 시스템 안창영, 김병재, 유흥균 V2V 환경에서적응적채널추정기법에대한성능분석 이지혜, 문상미, 권순호, 추명훈, 배사라, 김한종, 김철성, 김대진, 황인태 V2I 통신시스템에서 ADPSS 채널보간과예측기법 추명훈, 문상미, 권순호, 이지혜, 배사라, 김한종, 김철성, 김대진, 황인태 반도체분야 [SoC 설계 ] OpenCL 기반의상위수준합성기술을이용한고성능안개제거시스템의소프트웨어 - 하드웨어통합설계 박용민, 김민상, 김병오, 김태환 [ 유비쿼터스시스템 ] IoT 기반모바일스마트태양광발전모니터링시스템 이재진, 김기훈, 박수빈, 변형준, 심규성, 안병구 컴퓨터분야 648 _ The Magazine of the IEIE 66

75 논문지논문목차 신호처리분야 [ 영상신호처리 ] 추정된시공간배경정보를이용한홀채움방식 김범수, 응웬띠엔닷, 홍민철 심층컨볼루셔널신경망기반의빗줄기검출기법 손창환 일반 CCTV 기반차량번호판인식시스템 박구만 시스템및제어분야 [ 회로및시스템 ] 전기임피던스단층촬영법에서적응문턱치기반의관심영역기법을사용한영상복원의개선 김창일, 김봉석, 김경연 [ 전력전자 ] 3 상 4 선식전력계통에서전압제어방식의역률보상시스템 박철우, 이현우, 박영균, 정상현 슬라이닥을이용하는전압제어방식의역률보상시스템개발 정상현, 이현우, 박영균, 박철우 [ 자동차전자기술 ] 색상기반돌출맵및형태학정보를이용한신호등검출 현승화, 한동석 67 전자공학회지 _ 649

76 박사학위논문초록 김동익 Kim Dong Ik 학위논문제목 국문 : 모바일폰에서의홍채인식시스템개발을위한실증적연구 영문 : An Empirical Study of Iris Recognition System in a Mobile Phone Environment 학위취득연세대학교취득년월 2017 년 8 월 지도교수 KEY WORD 김재희 홍채인식, 모바일폰, 모바일, 눈검출, Iris recognition, smartphone, mobile, portable, handheld, eye detection < 논문요약 > 모바일폰에서의홍채인식은기존의전용장비를이용한홍채인식과다르다. 기존의전용장비를이용한홍채인식은장비의연산파워와조명및카메라를설치하기위한공간이충분한반면에모바일폰에서의홍채인식은연산파워와조명및카메라를설치하기위한공간이제한되어있다. 본논문에서는실제로모바일폰환경에홍채인식시스템을구현할때발생할수있는문제들을제기하고, 각각의문제들에대한해결방안을제안한다. 본논문에서는근적외선조명의적절한파워와파장, 그리고좋은품질의홍채영상을얻기위한조명의설치위치를찾기위해다양한실험을수행하였다. 우선, 취득하는홍채영상의품질저하를유발하는사용자의응시위치와홍채카메라중심과의거리에대한문제에대해서는좋은품질의홍채영상을얻을수있는적절한사용자의응시위치를찾는실험을수행하였다. 그리고모바일폰의낮은연산파워에대한문제를해결하기위해빠른눈검출알고리즘을제안하였다. 제안하는모바일홍채인식시스템은두개의 850nm LED 조명이홍채카메라로부터 1.1cm 떨어진위치에설치되었으며, 실험결과 0.1% EER의홍채인식성능을얻을수있었다. 눈검출알고리즘은 99.4% 의정확도를나타내었으며, 알고리즘의소요시간은모바일폰에서 17.64ms 소요되었다. 실험은상용적으로사용가능한 7cm 13.7cm 크기의모바일폰을이용하여수행되었으며, 실험결과모바일폰에서의홍채인식이충분한잠재력을가지고있다는것을보여주었다. 650 _ The Magazine of the IEIE 68

77 The Institute of Electronics and Information Engineers 제목 : 인구 8,700 만명, 고령화율 40% 를넘어도일본이성장가능한이유 년의일본산업론저자 : 스즈키마사유키 ( 鈴木将之, EY 총합연구소 ) 펴낸곳 : 동양경제신문사 ( 출판일 : 2016 년 7 월 14 일크기, 페이지수 : 19cm, 254p. 서평 2060년의일본의모습은, 현재와는크게변화해있을것이다. 예를들면지금있는건물의대부분은개축시기를맞이하여, 장래에는아주다른길거리풍경이되어있을것으로예상되고, 기술의진보도눈에띄게달라질것이다. 현재개발중인기술의많은부분이실제로사용되고, 그것들이새로운가능성을열어가고있을것이다. 45년전의 1970년부터현재까지의변화를돌이켜보면, 44년후인 2060년까지의기술진보와그것에수반된생활의질적향상도기대된다. 지금까지와마찬가지로꿈이현실이되어갈것이다. 고령화와인구감소에의해성장이부정적이지는않을것이다. 왜냐하면그들의변화에따른 새로운산업구조 가진화함에따라, 성장의가능성도있기때문이다. 예를들면 2060년까지일본인구가 30% 까지감소하기때문에, 대담한성력화투자가실행되고극적으로생산성을향상시킬수있는것이다. 또한 65세이상인구비율이 21% 를초과하는초고령사회로이미진입하였고, 앞으로수년후에 28% 를초과하는 장수명화사회, 2040년대에 35% 를초과하는 장수명사회 를거쳐 2060년에는 40% 에달하게된다. 다소의차이는있지만언젠가는같은문제에직면하는유럽과미국, 아시아등에서도, 과제선진국인일본에서하루빨리얻어진노하우나경험이활용될것이다. 한편세계인구는 2060년에 100억인을돌파하여현재보다 40% 가까이증가하는등, 해외시장이확대되어가는경향에있을것이다. 결국국내외, 수급양면에서보더라도사회의변화에비즈니스모델과산업구조로대응하여가면, 일본기업 경제가성장할가능성은있는것이다. 물론, 암운이깔릴경우에는성장이어려울우려도있다. 또한 성장이불가능 하다고믿고있는사람이많은만큼, 성장하기에쉬운환경도아닐것이다. 산적한문제를성장의기회로삼아, 시행착오를반복하는가운데드디어 성장 의힌트가찾아질것이다. 이를위해장래의모습을목표로하여, 미래사회의디자인을구축하여가는전략이빠질수없다. 그러면, 성장을전제로할때, 기업은어떻게대응해가면좋을것인가? 그리고그결과, 일본기업과산업, 경제는어떠한모습이되어있을것인가? 본서에서는, 향후의성장의힌트를풀어나가기위한, 이들물음에대한 검토안 이될한가지답을생각해보았다. 그것은앞으로의인구동태나경제동향을전제로, 소비의변화와기술진보등을상정하여, 일본기업이난관을극복하고, 일본경제가확대균형으로향하기위한 2060년까지의 산업구조 인것이다. 서평작성자 : 이원규, 해동일본기술정보센터총괄처장 69 전자공학회지 _ 651

78 The Magazine of the IEIE 국 내외에서개최되는각종학술대회 / 전시회를소개합니다. 게재를희망하시는분은간략한학술대회정보를이메일로보내주시면게재하겠습니다. 연락처 : edit@theieie.org 2017 년 9 월 일자학술대회명개최장소홈페이지 / 연락처 IEEE 7th International Conference on Consumer Electronics - Berlin (ICCE-Berlin) 2017 Federated Conference on Computer Science and Information Systems (FedCSIS) IEEE 16th International Symposium On Electrets (ISE) International Symposium on Electromagnetic Compatibility - EMC EUROPE th International Conference on Field Programmable Logic and Applications (FPL) 2017 IEEE 25th International Requirements Engineering Conference (RE) 2017 IEEE International Conference on Cluster Computing (CLUSTER) IEEE International Ultrasonics Symposium (IUS) th IEEE International System-on-Chip Conference (SOCC) 2017 International conference on Advanced Robotics and Intelligent Systems (ARIS) th International Symposium on Linear Drives for Industry Applications (LDIA) Intelligent Systems Conference (IntelliSys) Berlin Messe, Germany Czech Technical University in Prague, Czech Republic KU Leuven, Physics department, Belgium Congress Center, Angers, France Culture and Convention Center Het Pand, Belgium Universidade Nova de Lisboa, Portugal Sheraton Waikiki, HI, USA Omni Shoreham Hotel, Washington, DC, USA Novotel München City, Munich, Germany Taipei Nangang Exhibition Center, Taipei, Taiwan Osaka Institute of Technology Umeda Campus, Japan America Square Conference Centre, London, United Kingdom iks32.fys.kuleuven.be/indico/event/ re2017.org cluster17.github.io ieee-socc.org aris2017.nchu.edu.tw IEEE AUTOTESTCON Renaissance Hotel, IL, USA th Electrical Overstress/Electrostatic Discharge Symposium (EOS/ESD) th European Conference on Power Electronics and Applications (EPE'17 ECCE Europe) 2017 International Conference on Electromagnetics in Advanced Applications (ICEAA) ESSCIRC rd IEEE European Solid State Circuits Conference (ESSCIRC) nd IEEE International Conference on Emerging Technologies and Factory Automation 2017 IEEE 17th International Conference on Ubiquitous Wireless Broadband (ICUWB) 2017 IEEE High Performance Extreme Computing Conference (HPCE) International Test Conference in Asia (ITC-Asia) International Conference on Advances in Computing, Communications and Informatics (ICACCI) Westin La Paloma, AZ, USA The Gromada Hotel, Warsaw, Poland Hotel Leon D'Oro, Verona, Italy KU Leuven Campus Social Science, Belgium Grand Resort, Limassol, Cyprus Hospedería Fonseca, Salamanca, Spain Westin Hotel, MA, USA Nangang Exhibition Hall, Taipei, Taiwan Manipal Institute of Technology (MIT), India etfa2017.org windy.ee.nthu.edu.tw/itc-asia-2017 icacci-conference.org/2017/ th FITCE Congress AEIT, MADRID, Spain fitce.org/ 652 _ The Magazine of the IEIE 70

79 일자학술대회명개최장소홈페이지 / 연락처 IEEE/AIAA 36th Digital Avionics Systems Conference (DASC) Hilton St. Petersburg Bayfront, FL, USA International Artificial Intelligence and Data Processing Symposium (IDAP) IDAP'17 Location, Malatya, Turkey idap.inonu.edu.tr/ th International Conference on Computational Intelligence and Communication Networks (CICN) Cyprus, GIRNE, Cyprus and IEEE Petroleum and Chemical Industry Technical Conference (PCIC 2017) Telus Convention Centre/Hyatt Regency Hotel, Canada ewh.ieee.org/soc/ias/pcic/ OCEANS 2017 Dena ina Convention Center, AK, USA ACM/IEEE 20th International Conference on Model Driven Engineering Languages and Systems (MODELS) 2017 IEEE International Conference on Software Maintenance and Evolution (ICSME) North American Power Symposium (NAPS) IEEE International Conference on Image Processing (ICIP) th International Symposium on Future Active Safety Technology towards Zero-Traffic-Accidents (FAST-zero) Resilience Week (RWS) IEEE AFRICON International Multi-Conference on Engineering, Computer and Information Sciences (SIBIRCON) 2017 International Conference on Indoor Positioning and Indoor Navigation (IPIN) 2017 International Conference on Engineering Technology and Technopreneurship (ICE2T) 2017 IEEE Conference on Standards for Communications and Networking (CSCN) th International Conference on Scintillating Materials and their Applications (SCINT) DGON Inertial Sensors and Systems (ISS) IEEE PES Innovative Smart Grid Technologies Conference - Latin America (ISGT Latin America) 2017 XVII Workshop on Information Processing and Control (RPIC) th International Conference on Reliability, Infocom Technologies and Optimization (Trends and Future Directions) (ICRITO) 2017 IEEE 11th International Conference on Application of Information and Communication Technologies (AICT) th International Conference on Signal Processing, Computing and Control (ISPCC) th International Conference on Software, Telecommunications and Computer Networks (SoftCOM) 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2017 IV International Electromagnetic Compatibility Conference (EMC Turkiye) Sheraton Austin Hotel at the Capitol, Austin, TX, USA Crowne Plaza Shanghai Fudan, Shanghai, China Morgantown Marriott at Waterfront Place, WV, USA China National Convention Center (CNCC), Beijing, China Nara Kasugano International Forum, Nara, Japan Chase Center on the Riverfront, Wilmington, DE, USA Avenue Dock Road V&A Waterfront, South Africa Technopark of Novosibirsk Akademgorodok, Novosibirsk, Russia Conference Hall/ Hokkaido University, Sapporo, Japan Premiera Hotel Kuala Lumpur, Malaysia Radisson Blu Hotels & Resorts, Helsinki, Finland Le Majestic congress center, Chamonix, France Karlsruhe Institute of Technology, Germany JW Marriott Hotel Quito, Ecuador Edificio Anexo de la Facultad de Ingeniería de la Universidad Nacional de Mar del Plata, Argentina Amity University Uttar Pradesh, Noida, India V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia JAypee University of Information Technology, Solan, India Radisson Blu Resort, Split, Croatia Vancouver Convention Centre, BC, Canada METU CCM, Ankara, Turkey conferences.computer.org/icsm/ ieeeicip.org africon2017.org sibircon.ieeesiberia.org ice2t.bmi.unikl.edu.my sites.ieee.org/cscn-2017 scint2017.web.cern.ch. iss.ite.kit.edu ieee-isgt-latam.org amity.edu/aiit/icrito marjan.fesb.hr/softcom/ IEEE 86th Vehicular Technology Conference (VTC-Fall) Hilton Toronto, ON, Canada IEEE Cybersecurity Development (SecDev) Hyatt Regency Cambridge, MA, USA secdev.ieee.org th International Symposium on Communications and Information Technologies (ISCIT) Computer Science and Information Technologies (CSIT) Pullman Cairns International, Cairns, Australia National Academy of Sciences of the Republic of Armenia, Yerevan, Armenia 전자공학회지 _ 653

80 일자학술대회명개최장소홈페이지 / 연락처 Second Russia and Pacific Conference on Computer Technology and Applications (RPC) Russian Academy of Sciences, Far Eastern Branch, Vladivostok, Russia rpc2017.dvo.ru IEEE PES Innovative Smart Grid Technologies Conference Europe (ISGT-Europe) Politecnico di Torino, Italy sites.ieee.org/isgt-europe IEEE Visualization Conference (VIS) AZ, USA ieeevis.org 2017 년 10 월 IEEE Industry Applications Society Annual Meeting Hyatt Regency Cincinnati, OH, USA ias.ieee.org/2017annualmeeting.html IEEE International Joint Conference on Biometrics (IJCB) Denver Marriott Tech Center, CO, USA IEEE Energy Conversion Congress and Exposition (ECCE) IEEE International Conference on Systems, Man and Cybernetics (SMC) Duke Energy Convention Center, Cincinnatti, OH, USA Fairmont BANFF SPRINGS, Banff, AB, Canada IEEE VIS Arts Program (VISAP) Phoenix Convention Center, AZ, USA visap.uic.edu IEEE Photonics Conference (IPC) Tenth International Conference "Management of Large- Scale System Development" (MLSD) 2017 IEEE 12th Nanotechnology Materials and Devices Conference (NMDC) 2017 IEEE Conference on Visual Analytics Science and Technology (VAST) th IEEE Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON) 2017 Fourth International Conference on Computer Technology in Russia and in the Former Soviet Union (SORUCOM) 2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC) 2017 IEEE International Workshop on Signal Processing Systems (SiPS) 2017 Congreso Internacional de Innovación y Tendencias en Ingeniería (CONIITI) 2017 IEEE International Conference on Consumer Electronics- Asia (ICCE-Asia) st International Conference on Intelligent Systems and Information Management (ICISIM) 2017 International Conference on Computer Science and Engineering (UBMK) th International Conference On COMPUTER APPLICATIONS IN ELECTRICAL ENGINEERING-RECENT ADVANCES (CERA) 2017 International Seminar on Application for Technology of Information and Communication (isemantic) th International Conference on Accelerator and Large Experimental Physics Control Systems (ICALEPCS) th European Microwave Conference (EuMC) IEEE 28th Annual International Symposium on Personal, Indoor, and Mobile Radio Communications (PIMRC) 2017 IEEE 42nd Conference on Local Computer Networks Workshops (LCN Workshops) 2017 IEEE Conference on Communications and Network Security (CNS) 2017 IEEE International Symposium on Mixed and Augmented Reality (ISMAR) Buena Vista Palace Hotel & Spa, Orlando, FL, USA V.A. Trapeznikov Institute of Control Sciences of Russian Academy of Sciences, Moscow, Russia Holiday Inn Atrium, Singapore Phoenix Convention Center, AZ, USA University of British Columbia, Vancouver, BC, Canada Prefecture of Zelenograd Administrative District, Moscow, Russia Chongqing River Romance Hotelhuanggang Road, Chongqing, China Universite de Bretagne Sud Rue le Coat Saint Haouen Lorient, France Universidad Catolica de Colombia, Bogota D.C., Colombia Bengaluru, India MGMs Jawaharlal Nehru Engineering College, Aurangabad, Maharashtra, India ANTALYA AKDENIZ UNIVERSITY CONFERENCE CENTERS, ANKARA, Turkey DEPARTMENT OF ELECTRICAL ENGINEERING INDIAN INSTITUTE OF TECHNOLOGY, ROORKEE UTTRAKHAND ROORKEE, India E building, Universitas Dian Nuswantoro E Building, Indonesia Palau de Congressos de Catalunya Avinguda Diagonal, Spain Nuremberg Convention Center (NCC), Germany Hôtel Bonaventure Montréal, QC, Canada Pac Pacific Singapore Hotel, Singapore Linq Hotel and Casino, Las Vegas Nevada. Las Vegas, NV, USA La Cite, Nantes Events Center, Nantes, France mlsd2017.ipu.ru ieeenmdc.org/nmdc-2017/ ieeevis.org/ coniiti.com/ icisim.jnec.org cera17.iitr.ac.in isemantic.dinus.ac.id/2017 icalepcs2017.org/ html ismar2017.sciencesconf.org/ 654 _ The Magazine of the IEIE 72

81 일자학술대회명개최장소홈페이지 / 연락처 IEEE 25th International Conference on Network Protocols (ICNP) 2017 IEEE Jordan Conference on Applied Electrical Engineering and Computing Technologies (AEECT) European Radar Conference (EURAD) th International Conference on Wireless Communications and Signal Processing (WCSP) 2017 IEEE 19th International Conference on e-health Networking, Applications and Services (Healthcom) 2017 International Conference on Computing and Communication Technologies for Smart Nation (IC3TSN) 2017 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discovery (CyberC) Medical Technologies National Congress (TIPTEKNO) th Annual IEEE/ACM International Symposium on Microarchitecture (MICRO) 2017 IEEE 58th Annual Symposium on Foundations of Computer Science (FOCS) Chestnut Conference Centre, ON, Canada Aqaba, Jordan Nürnberg Convention Center, Nuremberg, Germany TBD, Nanjing, China Inn Fine Hotel Dalian, China Department of Computer Science and Engineering, School of Engineering, Gurgaon, India Sofitel Galaxy Nanjing, Nanjing, China Karadeniz Teknik Üniversitesi, Trabzon, Turkey TBD, MA, USA CA, USA healthcom2017.ieee-healthcom.org/ Cyberc.org hhunterjaeger@hotmail.com luca@berkeley.edu Embedded Systems Week (ESWeek) Lotte Hotel Seoul, South Korea IEEE 20th International Conference on Intelligent Transportation Systems (ITSC) 2017 Sixth Asia-Pacific Conference on Antennas and Propagation (APCAP) 2017 IEEE International Young Scientists Forum on Applied Physics and Engineering (YSF) IEEE Frontiers in Education Conference (FIE) International Conference on Electron Devices and Solid- State Circuits (EDSSC) 2017 International Conference on Information and Communication Technology Convergence (ICTC) 2017 International Conference on Advanced Technologies for Communications (ATC) 2017 CHILEAN Conference on Electrical, Electronics Engineering, Information and Communication Technologies (CHILECON) th International Conference on Advanced Technologies, Systems and Services in Telecommunications (TELSIKS) 2017 IEEE 5th International Symposium on Electromagnetic Compatibility (EMC-Beijing) nd International Conference on Communication and Electronics Systems (ICCES) 2017 IEEE International Conference on Data Science and Advanced Analytics (DSAA) Mielparque Yokohama, Japan Shaanxi Guesthouse, Xi an, China TBD, Lviv, Ukraine Indianapolis Marriott Downtown, IN, USA National Tsing Hua University, Hsinchu, Taiwan Lotte City Hotel Jeju, Korea (South) TBD, Quy Nhon, Vietnam Enjoy Pucon Hotel, Chile University of Nis, Faculty of Electronic Engineering, Nis, Serbia V-Continent Beijing Parkview Wuzhou Hotel, Beijing, China PPG Institute of Technology, Coimbatore, India Shinagawa Prince Hotel, Tokyo, Japan ysc.org.ua/2017/ fie-conference.org/ www2.ess.nthu.edu.tw/edssc2017/ ictc2017.org/ atc-conf.org chilecon2017.macrofacultad.cl icoces.com/index.php International Energy and Sustainability Conference (IESC) Marjaneh Issapour, NY, USA IEEE 8th Annual Ubiquitous Computing, Electronics and Mobile Communication Conference (UEMCON) 2017 China International Electrical and Energy Conference (CIEEC) IEEE Global Humanitarian Technology Conference (GHTC) Fourth International Conference on Advances in Biomedical Engineering (ICABME) 2017 IEEE Biomedical Circuits and Systems Conference (BioCAS) th IEEE International Conference on Electronic Measurement & Instruments (ICEMI) Columbia University, NY, USA Beijing International Conference Center, Beijing, China DoubleTree San Jose Airport, CA, USA Lebanese University, Faculty of engineering- EDST, Beirut, Lebanon Politecnico di Torino, Italy Yangzhou Convention Center, Yangzhou, China ieeeghtc.org biocas2017.org/ 73 전자공학회지 _ 655

82 일자학술대회명개최장소홈페이지 / 연락처 IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC) Hyatt Regency Atlanta, GA, USA IEEE International Conference on Computer Vision (ICCV) Venice, Italy marcello.pelillo@gmail.com IEEE Compound Semiconductor Integrated Circuit Symposium (CSICS) Miami Marriott Biscayne Bay, FL, USA IEEE Conference on Electrical Insulation and Dielectric Phenomenon (CEIDP) Hilton Fort Worth, TX, USA ewh.ieee.org/soc/dei/ceidp/ IEEE International Telecommunications Energy Conference (INTELEC) Gold Coast Conference and Exhibition Centre, Australia IEEE Electrical Power and Energy Conference (EPEC) Delta Bessborough Hotel, SK, Canada epec2017.ieee.ca/ IEEE International Conference on Signal Processing, Communications and Computing (ICSPCC) 2017 IEEE/CIC International Conference on Communications in China (ICCC) th International Conference on Electric Power Equipment - Switching Technology (ICEPE-ST) 2017 IEEE International Conference on Computer Vision Workshop (ICCVW) International Radar Conference (Radar) IEEE 28th International Symposium on Software Reliability Engineering (ISSRE) 2017 Seventh International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW) 2017 IEEE International Symposium on Software Reliability Engineering Workshops (ISSREW) 2017 International Topical Meeting on Microwave Photonics (MWP) 2017 IEEE 6th Global Conference on Consumer Electronics (GCCE) th International Conference in Software Engineering Research and Innovation (CONISOFT) 2017 IEEE II International Conference on Control in Technical Systems (CTS) City hotel Xiamen, Xiamen, China Qingdao, China TBD, Zhengzhou, China Venice Convention Center, Italy Belfast Waterfront Conference Centre, United Kingdom HOTEL MERCURE TOULOUSE CENTRE COMPANS, Toulouse, France Menger Hotel, TX, USA HOTEL MERCURE TOULOUSE CENTRE COMPANS, Toulouse, France China National Convention Center, Beijing, China Nagoya, Japan Facultad de Matemáticas, Mérida, Mexico St. Petersburg Electrotechnical University LETI, Saint Petersburg, Russia hcb@nwpu.edu.cn sites.ieee.org/iccc iccv2017.thecvf.com/ issre.net/ issre.net PRE_ ivory.pdf redmis2016.com.mx/conisoft2017/ university/news/ii-international-conferenceon-control-in-technical-systems IEEE 12th International Conference on ASIC (ASICON) PULLMAN GUIYANG, Guiyang, China th IEEE Uttar Pradesh Section International conference on Electrical, Computer and Electronics (UPCON) GLA Univeristy, Mathura, India th International Conference on Computer and Knowledge Engineering (ICCKE) Ferdowsi University of Mashhad, Mashhad, Iran iccke.um.ac.ir Recent Developments in Control, Automation & Power Engineering (RDCAPE) Amity University Uttar Pradesh, NOIDA, India amity.edu/rdcape2017/ IEEE 17th International Conference on Communication Technology (ICCT) UESTC Academic Meeting Center, Chengdu, China International Conference on Recent Innovations in Signal processing and Embedded Systems (RISE) MANIT, Bhopal, India th IEEE International Conference on MOOCs, Innovation and Technology in Education (MITE) BMS College of Engineering, Bangalore, India International Conference on Advanced Computer Science and Information Systems (ICACSIS) Sanur Paradise Plaza Hotel, Denpasar Bali, Indonesia icacsis.cs.ui.ac.id st Asilomar Conference on Signals, Systems, and Computers Asilomar Conference Grounds, CA, USA th International Conference on Electrical Engineering - Boumerdes (ICEE-B) Institute of Electrical and Electronic Engineering (IGEE, ex.inelec), University of Boumerdes, Algeria icee2017.univ-boumerdes.dz/ IECON rd Annual Conference of the IEEE Industrial Electronics Society China National Convention Center, Beijing, China International Conference on Computing Networking and Informatics (ICCNI) Covenant University, Ota, Nigeria iccns.covenantuniversity.edu.ng/ 656 _ The Magazine of the IEIE 74

83 일자학술대회명개최장소홈페이지 / 연락처 IEEE SENSORS IEEE/ACS 14th International Conference on Computer Systems and Applications (AICCSA) 2017 IEEE 5th Workshop on Wide Bandgap Power Devices and Applications (WiPDA) 2017 International Symposium on Antennas and Propagation (ISAP) 2017 IEEE-SA Ethernet & Automotive Technology Day (E&IP@ATD) nd IEEE/ACM International Conference on Automated Software Engineering (ASE) Scottish Exhibition and Conference Centre, United Kingdom Hammamet, Tunisia Hyatt Regency Tamaya Resort, NM, USA The Phuket Graceland Resort & Spa, Phuket, Thailand TBD, CA, USA Illini Union, IL, USA cdyer@conferencecatalysts.com ase2017.org IEEE Fog World Congress (FWC) CA, USA tazhang2@cisco.com IEEE International Test Conference (ITC) 2017 년 11 월 IEEE International Conference on Cloud Computing in Emerging Markets (CCEM) SC17: International Conference for High Performance Computing, Networking, Storage and Analysis 2017 International Conference on Wireless Networks and Mobile Communications (WINCOM) 2017 Conference on Information and Communication Technology (CICT) 2017 Third International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN) 2017 IEEE MIT Undergraduate Research Technology Conference (URTC) 2017 International Conference on Medical Imaging Physics and Engineering (ICMIPE) 2017 IEEE 6th International Conference on Renewable Energy Research and Applications (ICRERA) International SoC Design Conference (ISOCC) Fort worth Convention Center, TX, USA Vivanta by Taj, Bangalore, India CO, USA ENSIAS, Mohammed V University of Rabat, Rabat, Morocco ABV Indian Institute of Information Technology and Management Gwalior, India RCC INSTITUTE OF INFORMATION TECHNOLOGY, Kolkata, India Massachusetts Institute of Technology, Cambridge, MA, USA Yingjie Conference Center, Beijing, China Town and Country Resords and Covention Center, San Diego, CA, USA Grand Hilton Seoul, Seoul, Korea (South) conferences.computer.org/ccem cict2017.org ieee.scripts.mit.edu/conference gaoss@pku.edu. 추 TENCON IEEE Region 10 Conference TBD, Malaysia zuhaina@ieee.org IEEE Green Energy and Smart Systems Conference (IGESSC) 2017 IEEE Healthcare Innovation Point-of-Care Technologies (HI-POCT) nd Annual Conference on Magnetism and Magnetic Materials (MMM) 2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS) 2017 IEEE 3rd International Conference on Electro-Technology for National Development (NIGERCON) 2017 Pacific Neighborhood Consortium Annual Conference and Joint Meetings (PNC) 2017 IEEE International Autumn Meeting on Power, Electronics and Computing (ROPEC) 2017 IEEE PES Asia-Pacific Power and Energy Engineering Conference (APPEEC) rd International Conference on VLSI Systems, Architecture, Technology and Applications (VLSI SATA) 2017 IEEE International Conference on Rebooting Computing (ICRC) International Symposium on Computers in Education (SIIE) Pyramid, CSULB, Long Beach, CA, USA NAID Conference Center, Bethesda, MD, USA David L. Lawrence Convention Center, Pittsburgh, PA, USA Xiamen International Conference Center Hotel, Xiamen, China Federal University of Technology, Owerri (FUTO), Owerri, Nigeria National Cheng Kung University, Tainan, Taiwan Azul IXtapa Grand Hotel, Ixtapa, Mexico Le Meridien, Bangalore, India Amrita School of Engineering, Bangalore, India The Ritz-Carlton, Tyson's Corner, McLean, VA, USA Lisbon School of Education ESELx, Lisboa, Portugal sites.ieee.org/clas-sysc j.sandler@ieee.org ispacs2017.hqu.edu.cn/ web-blr.amrita.edu/vlsi_sata/index.htm# icrc.ieee.org siie2017.pt/ 75 전자공학회지 _ 657

84 일자학술대회명개최장소홈페이지 / 연락처 th International Conference on Communication Systems and Network Technologies (CSNT) 2017 IEEE/ACM International Conference on Computer-Aided Design (ICCAD) 2017 IEEE Conference on Technologies for Sustainability (SusTech) IEEE Asia Pacific Microwave Conference (APMC) IEEE International Conference on Microwaves, Antennas, Communications and Electronic Systems (COMCAS) 2017 IEEE International Conference on Bioinformatics and Biomedicine (BIBM) International Automatic Control Conference (CACS) th World Engineering Education Forum (WEEF) IEEE Global Conference on Signal and Information Processing (GlobalSIP) 2017 Fifth International Conference on Aerospace Science & Engineering (ICASE) 2017 Military Communications and Information Systems Conference (MilCIS) 2017 Dynamics of Systems, Mechanisms and Machines (Dynamics) 2017 IEEE-RAS 17th International Conference on Humanoid Robotics (Humanoids) st International Computer Science and Engineering Conference (ICSEC) 2017 First International Conference on Latest trends in Electrical Engineering and Computing Technologies (INTELLECT) 2017 IEEE 37th Central America and Panama Convention (CONCAPAN) 2017 International Conference on Electrical and Information Technologies (ICEIT) nd International Conference on Green Computing and Internet of Things (ICGCIoT) rd International Conference on Condition Assessment Techniques in Electrical Systems (CATCON) 2017 International Conference on Information, Communication and Engineering (ICICE) IE Nagpur, Nagpur, India Irvine Marriott, CA, USA Phoenix Airport Marriott Hotel, AZ, USA New World Renaissance Hotel, Kuala Lumpur, Malaysia David Intercontinental Tel-Aviv Hotel, Tel-Aviv, Israel Westin, MO, USA Howard Beach Resort Kenting, Pingtung, Taiwan Berjaya Times Square, Kuala Lumpur, Malaysia Hotel Bonaventure, Montreal, QC, Canada Institute of Space Technology, Islamabad, Pakistan National Convention Centre, Canberra, Australia Omsk State Technical University, Omsk, Russia Birmingham Repertory Theatre, United Kingdom TBD, Bangkok, Thailand College Of Engineering (CoE), Karachi, Pakistan Crowne Plaza Hotel and Convention Center, Managua, Nicaragua Rabat, Morocco Galgotias College of Engineering & Technology (GCET), India Indian Institute of Technology Ropar, India TBD, Xiamen, Fujian, China iccad.com/ sites.ieee.org/sustech/ cci.drexel.edu/ieeebibm/bibm2017 isdlab.ie.ntnu.edu.tw/cacs2017/ ieeeglobalsip.org/ conf.ict.nsc.ru/dynamics-2017/ru intellect.pafkiet.edu.pk ieee.nicaragua@ieee.org gciot-conference.org/2017/ icice.net/ IEEE International Conference on Data Mining (ICDM) TBD, LA, USA xwu@louisiana.edu International Symposium on Wireless Systems and Networks (ISWSN) nd Microoptics Conference (MOC) IEEE International Conference on Cybernetics and Intelligent Systems (CIS) and IEEE Conference on Robotics, Automation and Mechatronics (RAM) Brazilian Power Electronics Conference (COBEP) Progress in Electromagnetics Research Symposium - Fall (PIERS - FALL) 2017 IEEE International Conference on Cybernetics and Computational Intelligence (CyberneticsCom) th International Conference on Control, Instrumentation, and Automation (ICCIA) 2017 International Conference on Electrical and Computing Technologies and Applications (ICECTA) The University of Lahore, Pakistan Convention Hall, Institute of Industrial Science, Tokyo, Japan Pan Pacific Ningbo, Ningbo, China Federal University of Juiz de Fora Campus UFJF, Juiz de Fora, Brazil Nanyang Technological University, Singapore prince songkla University phuket, Thailand Shiraz University, Shiraz, Iran American University of Ras Al Khaimah, United Arab Emirates sites.uol.edu.pk/iswsn piers.org/piers2017singapore/ iccia.ir/?lang=en icecta.aurak.ac.ae th Telecommunication Forum (TELFOR) Sava Center, Belgrade, Serbia telfor.rs Electronic Congress (E-CON UNI) Sheraton Lima Hotel & Convention Center, Lima, Peru Lima Peru e-con@uni.edu.pe 658 _ The Magazine of the IEIE 76

85 일자학술대회명개최장소홈페이지 / 연락처 Nirma University International Conference on Engineering (NUiCONE) Institute of Technology, Nirma University, Ahmedabad, India International Conference on Inventive Computing and Informatics (ICICI) Hotel Arcadia, India icici17.com/index.html International Conference on Intelligent Informatics and Biomedical Sciences (ICIIBMS) Okinawa Institute of Science and Technology Graduate University(OIST), Okinawa, Japan International Conference on Multimedia, Signal Processing and Communication Technologies (IMPACT) Dept. of Electronics Engineering, AMU, Aligarh, India th NAFOSTED Conference on Information and Computer Science University of Engineering and Technology, Vietnam National University, Hanoi, Vietnam nics2017.org th IEEE International Conference on Software Engineering and Service Science (ICSESS) Chen Xing, Beijing, China IEEE International Conference on Antenna Innovations & Modern Technologies for Ground, Aircraft and Satellite Applications (iaim) TBD, Bangalore, India th International Conference on Network and Service Management (CNSM) Waseda University, Tokyo, Japan IEEE Symposium Series on Computational Intelligence (SSCI) Hilton Hawaiian Village Resort in Waikiki, USA bonissone@gmail.com International Conference on Robotics, Automation and Sciences (ICORAS) Multimedia University, Melaka, Malaysia fet.mmu.edu.my/icoras Seventh International Conference on Image Processing Theory, Tools and Applications (IPTA) École de technologie supérieure, QC, Canada th Symposium on Information Theory and its Applications (SITA) Shiratama no Yu Senkei, Shibata, Japan th IEEE International Conference on Engineering Technologies and Applied Sciences (ICETAS) Conference Hall, Salmabad, Bahrain icetas.etssm.org Future Technologies Conference (FTC) TBA, Vancouver, BC, Canada saiconference.com/ftc IEEE Women in Engineering (WIE) Forum USA East Royal Sonesta, Baltimore, MD, USA sites.ieee.org/wie-forum-usa-east 년 12 월 th International Conference on Electrical and Electronics Engineering (ELECO) BAOB-Campus of Union of Academic Chambers of Bursa, Bursa, Turkey eleco.org.tr IEEE 9th International Conference on Humanoid, Nanotechnology, Information Technology, Communication and Control, Environment, and Management (HNICEM ) Hotel Jen, Manila, Philippines hnicem.com/hnicem-2017/ International Conference on Soft Computing and its Engineering Applications (icsoftcomp) CMPICA, Charotar University of Science and Technology, Changa, India Winter Simulation Conference (WSC) Red Rock Resort, Las Vegas, NV, USA IEEE Innovative Smart Grid Technologies - Asia (ISGT-Asia) Science Conference Centre, University of Auckland, Auckland, New Zealand sites.ieee.org/isgt-asia-2017/ GLOBECOM IEEE Global Communications Conference Marina Sands Bay Convention Center, Singapore International Renewable and Sustainable Energy Conference (IRSEC) Farah Hotel, Tangier, Morocco med-space.org/irsec17/ IEEE Southern Power Electronics Conference (SPEC) Hotel Patagónico, Puerto Varas, Chile IEEE International Electron Devices Meeting (IEDM) Eleventh International Conference on Sensing Technology (ICST) 2017 IEEE Conference on Antenna Measurements & Applications (CAMA) 2017 Eighth International Conference on Intelligent Computing and Information Systems (ICICIS) th International Electric Drives Production Conference (EDPC) Hilton San Francisco Union Square, San Francisco, CA, USA Macquarie University, Sydney, Australia AIST Tsukuba Central 1, Auditorium, Ibaraki, Japan Ain Shams University Guest House, Cairo, Egypt Convention Center Nuremberg, Nuremberg, Germany ewh.ieee.org/r10/tokyo/aps/cama2017/ net2.asu.edu.eg/icicis/2017/ 77 전자공학회지 _ 659

86 일자학술대회명개최장소홈페이지 / 연락처 th IEEE International Conference on Electronics, Circuits and Systems (ICECS) Hilton Batumi, Georgia icecs2017.org/ nd International Conference on the Applications of Information Technology in Developing Renewable Energy Processes & Systems (IT-DREPS) University of Petra, Amman, Jordan IEEE 19th Electronics Packaging Technology Conference (EPTC) Grand Copthorne Waterfront Hotel, Singapore rd International Conference on Electrical Information and Communication Technology (EICT) Khulna University of Engineering & Technology, Khulna, Bangladesh International Conference on Intelligent Sustainable Systems (ICISS) SCAD Institute of Technology, Palladam, India icoiss.com/index.php International Workshop on Complex Systems and Networks (IWCSN) Student Center at Education City, Doha, Qatar IEEE International Conference on Industrial Engineering and Engineering Management (IEEM) Suntec Singapore Convention & Exhibition Centre, Singapore rd Asia-Pacific Conference on Communications (APCC) TBD, Perth, Australia IEEE MTT-S International Microwave and RF Conference (IMaRC) World Congress on Internet Security (WorldCIS) IEEE International Conference on Cloud Computing Technology and Science (CloudCom) IEEE International Conference on Big Data (Big Data) IEEE 56th Annual Conference on Decision and Control (CDC) 2017 IEEE 12th International Conference on Power Electronics and Drive Systems (PEDS) 2017 IEEE 6th International Conference on Teaching Assessment, and Learning for Engineering (TALE) Hotel Hyatt Regency, Ahmedabad, India University of Cambridge, United Kingdom Hotel ICON, Hong Kong The Westin Copley Place, Boston, MA, USA Melbourne Convention Centre, Melbourne, Australia Hawaii Convention Center, Honolulu, HI, USA TBD, Hong Kong cloudcom.org/ cci.drexel.edu/bigdata/bigdata2017/ cdc2017.ieeecss.org/ tale-conference.org/ Saudi Arabia Smart Grid (SASG) Jeddah, Saudi Arabia bander@ieee.org Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC) Aloft Kuala Lumpur Sentral, Kuala Lumpur, Malaysia apsipa2017.org/ International Conference on Transforming Engineering Education (ICTEE) Maharashtra Institute of Technology, Pune, India rd IEEE International Conference on Computer and Communications (ICCC) Tibet Hotel Chengdu, China TRON Symposium (TRONSHOW Tokyo Midtown Hall, Tokyo, Japan IEEE International Conference on Computational Intelligence and Computing Research (ICCIC) 2017 IEEE Electrical Design of Advanced Packaging and Systems Symposium (EDAPS) 2017 IEEE International Conference on Industrial and Information Systems (ICIIS) 2017 IEEE 23rd International Conference on Parallel and Distributed Systems (ICPADS) 2017 IEEE 2nd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC) nd International Conference On Emerging Computation and Information Technologies (ICECIT) 2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) th Asian Control Conference (ASCC) IEEE International Conference on Advanced Networks and Telecommunications Systems (ANTS) National Power Electronics Conference (NPEC) International Conference on Infocom Technologies and Unmanned Systems (Trends and Future Directions) (ICTUS) Tamilnadu College of Engineering, Coimbatore, India ZJU-UIUC International Campus, Hangzhou, China University of Peradeniya, Sri Lanka Hotel Hilton Shekou Nanhai, Shenzhen, China Xinhua International Hotel, Chengdu, China Siddaganga Institute of Technology, Tumakuru, India Okinawa Convention Center, Okinawa, Japan Gold Coast Convention and Exhibition Centre, Australia CV Raman College of Engineering, Bhubaneswar, India College of Engineering Pune, Pune, India Amity University Dubai Campus, United Arab Emirates wyyin@zju.edu futurenet.szu.edu.cn/icpads2017/ icecit.sit.ac.in asru2017.org/ _ The Magazine of the IEIE 78

87 일자학술대회명개최장소홈페이지 / 연락처 th IEEE International Conference on Machine Learning and Applications (ICMLA) th International Conference on Parallel and Distributed Computing, Applications and Technologies (PDCAT) 2017 International Conference on Frontiers of Information Technology (FIT) 2017 IEEE 24th International Conference on High Performance Computing (HiPC) 2017 International Conference on Open Source Systems & Technologies (ICOSST) 2017 IEEE International Conference on Electronics, Computing and Communication Technologies (CONECCT) 2017 Nineteenth International Middle East Power Systems Conference (MEPCON) nd International Conference on Man and Machine Interfacing (MAMI) 2017 International Conference on Technological Advancements in Power and Energy ( TAP Energy) th International Conference on Power Systems (ICPS) Fourth International Conference on Image Information Processing (ICIIP) International Conference on Information Technology (ICIT) 년 1 월 2017 IEEE International Conference on Telecommunications and Photonics (ICTP) th International Conference on Emerging Technologies (ICET) cancun, Mexico International Building, National Taiwan University of Science and Technology, Taipei, Taiwan Serena Hotel, Islamabad, Pakistan Le Meridien, Jaipur, India Lahore, Pakistan TBD, Bangalore, India Al-Masah Hotel, Egypt C.V.Raman College of Engineering, Bhubaneswar, India Amrita University, Kollam, India College of Engineering Pune, Pune, India Jaypee University of Information Technology, Solan, India Silicon Institute of Technology, Bhubaneswar, India Dhaka, Bangladesh Capital University of Science and Technology, Islamabad, Pakistan pdcat17.csie.ntust.edu.tw/ icosst.kics.edu.pk ieee-conecct.org/ mami2017.webs.com/ tapenergy.amrita.ac.in ww.icit2017.net ictp-comsoc.org/ th International Conference on Communication Systems & Networks (COMSNETS) Chancery Pavilion Hotel, Bengaluru, India International Conference on Smart City and Emerging Technology (ICSCET) Universal College of Engineering, Mumbai, India icscet.universalcollegeofengineering th International Bhurban Conference on Applied Sciences and Technology (IBCAST) National Centre for Physics, Islamabad, Pakistan th International Conference on Cloud Computing, Data Science & Engineering (Confluence) Amity University, Noida, India th IEEE Annual Consumer Communications & Networking Conference (CCNC) Flamingo Las Vegas, NV, USA ccnc2018.ieee-ccnc.org IEEE International Conference on Consumer Electronics (ICCE) Las Vegas Convention Center, NV, USA icce.org IEEE 18th Topical Meeting on Silicon Monolithic Integrated Circuits in RF Systems (SiRF) Hyatt Regency Orange County Hotel, CA, USA th International Conference on Agents and Artificial Intelligence (ICAART) Funchal, Madeira, Portugal International Conference on Power, Instrumentation, Control and Computing (PICC) Government Engineering College Thrissur, Thrissur, India icetest.gectcr.ac.in/picc.html nd International Conference on Inventive Systems and Control (ICISC) JCT College of Engineering and Technology, Coimbatore, India icoisc.org/index.html IEEE Micro Electro Mechanical Systems (MEMS) Belfast Waterfront, United Kingdom rd Asia and South Pacific Design Automation Conference (ASP-DAC) ICC Jeju, jeju, Korea (South) Annual Reliability and Maintainability Symposium (RAMS) Silver Legacy, NV, USA rams.org IEEE International Conference on Industrial Electronics for Sustainable Energy Systems (IESES) The University of Waikato, Hamilton, New Zealand 79 전자공학회지 _ 661

88 The Magazine of the IEIE 특별회원사및후원사명단 회원명 대표자 주소 전화 홈페이지 AP 위성통신 류장수 서울시금천구가산디지털2로 98 2동 9층 FCI 한상우 경기도성남시분당구판교로 255번길 35( 삼평동 ) 실리콘파크 B동 7층 I&C테크놀로지 박창일 경기도성남시분당구판교로 255번길 24 아이앤씨빌딩 KT 황창규 경기도성남시분당구정자동 LDT 정재천 충남천안시서북구한들1로 WE빌딩 LG전자 구본준 서울시영등포구여의도동 LIG 넥스원 이효구 서울시서초구강남대로 369( 서초동, 나라빌딩 ) RadioPulse 권태휘 경기도성남시분당구대왕판교로 660 유스페이스1A 1106호 ( 삼평동 ) SK Telecom 장동현 서울특별시중구을지로65( 을지로2가 ) SK T-타워 SK 하이닉스 박성욱 경기도이천시부발읍아미리산 국제종합측기 박재욱 서울특별시강남구강남대로 354 ( 역삼동 831, 혜천빌딩 10F, 12F) 나노종합기술원 이재영 대전광역시유성구대학로 291 ( 구성동, 한국과학기술원 ) 네이버 김상헌 경기도성남시분당구불정로 6 ( 정자동그린팩토리 ) 넥서스칩스 Douglas M. Lee 서울시강남구역삼동 넥스트칩 김경수 경기도성남시분당구판교로 323 벤처포럼빌딩 넥스파시스템 이상준 서울특별시성동구자동차시장1길 누리미디어 최순일 서울시영등포구선유로 63, 4층 ( 문래동 6가 ) 다빛센스 강영진 경기도성남시중원구사기막골로 124, Skn테크노파크비즈동 다우인큐브 이예구 경기도용인시수지구디지털벨리로 81 ( 죽전동디지털스퀘어 2층 ) 대구테크노파크 송인섭 대구시달서구대천동 대덕G.D.S 이희준 경기도안산시단원구산단로 63( 원시동 ) 대덕전자 김영재 경기도시흥시소망공원로 335 ( 정왕동 ) 대성전기 이철우 경기도안산시단원구산단로 31 ( 원시동, 8-27블럭 ) ( 재 ) 대전테크노파크 권선택 대전시유성구테크노9로 35 대전테크노파크 더즈텍 김태진 경기도안양시동안구학의로 292 금강펜테리움IT타워 A동 1061호 덴소풍성전자 김경섭 경남창원시성산구외동 동부하이텍 최창식 경기도부천시원미구수도로 동아일렉콤 손성호 경기도용인시처인구양지면남곡로 동운아나텍 김동철 서울시서초구서초동 아리랑타워 9층 디엠티 김홍주 대전광역시유성구테크노11로 라온텍 김보은 경기도성남시분당구황새울로360번길 42, 18층 ( 서현동 AK플라자 ) 라이트웍스 서인식 서울강남구테헤란로88길 14, 4층 ( 신도리코빌딩 ) 만도 성일모 경기도성남시분당구판교로 255번길 문화방송 안광한 서울시마포구성암로 삼성전자 권오현 서울시서초구서초2동 삼성전자빌딩 삼화콘덴서 황호진 경기도용인시처인구남사면경기동로 227 ( 남사면북리 124) 서연전자 조명수 경기도안산시단원구신원로 세미솔루션 이정원 경기도용인시기흥구영덕동 1029 흥덕U타워지식산업센터 20층 2005호 세원텔레텍 김철동 경기도안양시만안구전파로44번길 스카이크로스코리아 조영민 경기수원시영통구영통동 디지털엠파이어빌딩 C동 801호 _ The Magazine of the IEIE 80

89 회원명 대표자 주소 전화 홈페이지 ( 주 ) 시솔 이우규 서울시강서구공항대로 61길 29 서울신기술센터 A동 202호 실리콘마이터스 허염 경기도성남시분당구대왕판교로 660 유스페이스-1 A동 8층 실리콘웍스 한대근 대전시유성구탑립동 싸인텔레콤 성기빈 서울시영등포구경인로 775, 문래동 3가에이스하이테크시티 1동 119호 ( 주 ) 쏠리드 정준, 이승희 경기도성남시분당구판교역로 220 쏠리드스페이스 씨자인 김정표 경기성남시분당구구미동 보명프라자 아나패스 이경호 서울시구로구구로동 신세계아이앤씨디지털센타 7층 아바고테크놀로지스 전성민 서울시서초구양재동 아이닉스 황정현 수원시영동구덕영대로 1556번길 16, C동 1004호 ( 영통동, 디지털엠파이어 ) 아이디어 황진벽 서울마포구연남동 번지대원빌딩 5층 아이언디바이스 박기태 서울강남구신사동 예영빌딩 402호 아이에이 김동진 서울송파구송파대로 22길 5-23 ( 문정동 ) 안리쓰코퍼레이션 토루와키나가 경기도성남시분당구삼평동 681번지 H스퀘어 N동 5층 502호 알파스캔디스플레이 류영렬 서울특별시강서구허준로 217 가양테크노타운 202호 에디텍 정영교 경기도성남시분당구삼평동 621번지판교이노벨리 B동 1003호 에스넷시스템 박효대 서울특별시강남구선릉로 514 ( 삼성동 ) 성원빌딩 10층 에스엘 이충곤 경북경산시진량읍신상리 에이치앤티테크 강임성 대전광역시유성구용산동 에이투테크 김현균 경기도성남시수정구복정동 상헌빌딩 3층 엠텍비젼 이성민 경기도성남시분당구판교로 255번길 58 6층 601호 오픈링크시스템 성재용 광주광역시서구치평로 112 정연하이빌 402호 우양신소재 윤주영 대구광역시북구유통단지로 8길 유라코퍼레이션 엄병윤 경기도성남시분당구삼평동 유텔 김호동 경기도군포시당정동 이노피아테크 장만호 경기도상남시중원구갈마치로 215 A동 405호 주식회사이디 박용후 경기도성남시중원구상대원동 ( 둔촌대로457번길 14) 자람테크놀로지 백준현 경기도성남시분당구야탑동 파인벤처빌딩 2층 , 전자부품연구원 박청원 경기도성남시분당구새나리로 25 ( 야탑동 ) 주식회사제이엔티이엔지 최승훈 경기도성남시중원구사기막골로 148, 701호 ( 상대원동, 중앙이노테크 ) 제퍼로직 정종척 서울강남구역삼1동 아주빌딩 1801호 지에스인스트루먼트 고재목 인천시남구길파로71번길 70 ( 주안동 ) 지엠테스트 고상현 충남천안시서북구직산읍군서1길 19( 군서리 134) 충북테크노파크 남창현 충북청주시청원구오창읍연구단지로 케이던스코리아 ( 유 ) 제임스해댓 경기도성남시분당구판교로 344 엠텍IT타워 9층 (main office)/2층 코아리버 배종홍 서울시송파구가락본동 78번지 IT벤처타워서관 11층 콘티넨탈오토모티브시스템선우현 경기도성남시분당구판교역로 220 솔리드스페이스빌딩 클레어픽셀 정헌준 경기도성남시분당구판교로 242 판교디지털센터 A동 301호 키움인베스트먼트 박상조 서울특별시영등포구여의나루로4길 18 키움파이낸스스퀘어빌딩 16층 텔레칩스 이장규 서울특별시송파구올림픽로35다길 42 ( 신천동, 루터빌딩 19층 ~23층 ) 티에이치엔 채석 대구시달서구갈산동 티엘아이 김달수 경기도성남시중원구양현로 405번길 12 티엘아이빌딩 파워큐브세미 강태영 경기도부천시오정구석천로397( 부천테크노파크쌍용3차 ) 103동 901호 페어차일드코리아반도체 김귀남 경기도부천시원미구도당동 하이브론 이홍섭 인천광역시부평구청천동안남로402번길 25 3층 전자공학회지 _ 663

90 회원명 대표자 주소 전화 홈페이지 한국멘토그래픽스 ( 유 ) 양영인 경기도성남시분당구판교역로 192번길 12 ( 삼평동 ) 판교미래에셋센터 7층 한국애질런트테크놀로지스 김승렬 서울강남구역삼로 542, 신사SNG빌딩2층 한국인터넷진흥원 백기승 서울시송파구중대로 135 ( 가락동 ) IT벤처타워 한국전기연구원 박경엽 경상남도창원시성산구불모산로10번길 12 ( 성주동 ) 한국전자통신연구원 이상훈 대전광역시유성구가정로 한국정보통신기술협회 임차식 경기도성남시분당구분당로 한라비스테온공조 박용환 대전시대덕구신일동 한백전자 진수춘 대전광역시유성구대학로 76번안길 한화탈레스 장시권 서울시중구청계천로 86 ( 장교동 ) 한화비딩 (19,20층) 핸즈온테크놀러지 강현웅 서울특별시강서구양천로 583, 에이동 호 ( 염창동, 우림블루나인 ) 현대로템 김승탁 경기도의왕시철도박물관로 현대모비스 정명철 서울시강남구역삼1동 서울인터내셔널타워 현대엠엔소프트 차인규 서울시용산구원효로74 현대차사옥 9층 현대오트론 김재범 경기도성남시분당구판교로 344 엠텍 IT 타워 현대자동차그룹 양웅철 경기도화성시장덕동 현대케피코 박정국 경기도군포시고산로 휴먼칩스 손민희 서울시송파구가락본동 10 신도빌딩 휴인스 송태훈 경기도성남시분당구대왕판교로 670 비 히로세코리아 이상엽 경기시흥시정왕동희망공원로 _ The Magazine of the IEIE 82

91 The Magazine of the IEIE 단체회원명단 회원명 주소 전화 홈페이지 가톨릭대중앙도서관 경기부천시원미구역곡2동산 가톨릭상지대학도서관 경북안동시율세동 강릉대도서관 강원강릉시지변동산1 강원관광대도서관 강원태백시황지동 강원대도서관 강원춘천시효자2동 경동대도서관 강원고성군토성면봉포리산 경주대도서관 경북경주시효현동산 건국대도서관 서울성동구모진동 건양대중앙도서관 충남논산시내동산 경기대중앙도서관 경기수원시팔달구이의동산 경기공업대도서관 경기시흥시정왕동시화공단3가 경남대중앙도서관 경남마산시월영동 경도대도서관 경북예천군예천읍청복리 경북대도서관 대구북구산격동 경북대전자공학과 대구북구산격동 경운대벽강중앙도서관 경북구미시산동면인덕리 경일대도서관 경북경산군하양읍부호리 경산대도서관 경북경산시점촌동산75 경상대도서관 경남진주시가좌동 경성대도서관 부산남구대연동 경희대학교 중앙도서관경기용인시기흥구서천동1번지 고려대과학도서관 서울성북구안암동5가1번지 고려대서창캠퍼스도서관 충남연기군조치원읍서창동208 고속도로정보통신공단 경기용인기흥읍공세리 공군사관학교도서관 충북청원군남일면쌍수리사서함 공군전투발전단무기체계실 충남논산군두마면부남리사서함 호 , 5281 공주대도서관 충남공주시신관동 광명하안도서관 경기광명시하안2동 광운대도서관 서울노원구월계동 ~2 국민대성곡도서관 서울성북구정릉동 김포대학도서관 경기김포시월곶면포내리산 국방대학교도서관 서울은평구수색동 국방제9125부대 서울중앙우체국사서함932호 국방품질관리연구소정보관리실 서울청량리우체국사서함 276호 국방과학연구소서울자료실 서울송파구송파우체국사서함132호 방위사업청 서울용산구용산2가동7번지 극동대학교도서관 충북음성군감곡면왕장리산 금강대학교도서관 충남논산시상월면대명리 LG정밀 ( 주 ) 제2공장자료실 경기오산시가수동 (318) LG정보통신 ( 주 ) 자료실 경북구미시공단동 전자공학회지 _ 665