Transcription

1 ISSN 제45권 8호 2018 년 8 월호 The Magazine of the IEIE vol.45. no.8 AR/VR 을위한비전기술및 Deep Learning 최신동향 딥러닝을이용한영상기반 3차원얼굴복원기법의기술동향 시선추적기술의소개 360 도영상을이용한 AR/VR 콘텐츠생성 저용량프로세서를위한딥러닝레이어압축기법과응용 의미적분할을위한약지도기계학습 Structured Prediction in Computer Vision

2

3

4

5

6

7 Contents 제 45 권 8 호 (2018 년 8 월 ) 학회소식 13 학회소식 / 편집부 14 학회일지 특집 : AR/VR 을위한비전기술및 Deep Learning 최신동향 15 특집편집기 / 이찬수 16 딥러닝을이용한영상기반 3 차원얼굴복원기법의기술동향 / 원소미, 이정우, 박인규 23 시선추적기술의소개 / 조성현 학회지 8 월호표지 (vol 45. No 8) 회지편집위원회 위원장정영모 ( 한성대학교교수 ) 위원권종원 ( 한국산업기술시험원선임연구원 ) 김수찬 ( 한경대학교교수 ) 김영선 ( 대림대학교교수 ) 김창수 ( 고려대학교교수 ) 김현 ( 부천대학교교수 ) 박수현 ( 국민대학교교수 ) 박인규 ( 인하대학교교수 ) 박종선 ( 고려대학교교수 ) 변영재 (UNIST 교수 ) 심정연 ( 강남대학교교수 ) 윤지훈 ( 서울과학기술대학교교수 ) 이종호 ( 가천대학교교수 ) 이찬수 ( 영남대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 정찬호 ( 한밭대학교교수 ) 사무국편집담당변은정차장 ( 내선 3) TEL : (02) ( 대 ) FAX : (02) 학회홈페이지 도영상을이용한 AR/VR 콘텐츠생성 / 호요성 41 저용량프로세서를위한딥러닝레이어압축기법과응용 / 고병철 48 의미적분할을위한약지도기계학습 / 곽수하 55 Structured Prediction in Computer Vision / 장주용 회원광장 64 논문지논문목차 66 박사학위논문 정보교차로 67 국내외학술행사안내 / 편집부 81 신간안내 82 특별회원사및후원사명단 85 단체회원명단

8 The Magazine of the IEIE 2018 년도임원및각위원회위원 회 장 백준기 ( 중앙대학교교수 ) 수석부회장최천원 ( 단국대학교교수 ) - 소사이어티, 재무, 기획 고 문 구원모 ( 전자신문사대표이사 ) 김기남 ( 삼성전자 사장 ) 박성욱 (SK하이닉스 부회장 ) 박청원 ( 전자부품연구원원장 ) 백만기 ( 김 & 장법률사무소변리사 ) 이상훈 ( 한국전자통신연구원원장 ) 이재욱 ( 노키아티엠씨명예회장 ) 이희국 ( LG 상임고문 ) 천경준 ( 씨젠회장 ) 감 사 정교일 ( 한국전자통신연구원책임연구원 ) 백흥기 ( 전북대학교교수 ) 부 회 장 서승우 ( 서울대학교교수 ) - JSTS, 논문지, 정보화, 홍보, 교육임혜숙 ( 이화여자대학교교수 ) - 학술대회, SPC 전병우 ( 성균관대학교교수 ) - 사업, 학회지, 회원, 표준화 이장명 ( 부산대학교교수 ) - 지부 안승권 (LG사이언스파크/LG기술협의회대표 / 의장 ) 산업체부회장 오성목 (KT 사장 ) 이석희 (SK하이닉스 사장 ) 조승환 ( 삼성전자 부사장 ) 소사이어티회장 이흥노 ( 광주과학기술원교수 ) - 통신 전영현 ( 삼성SDI 대표이사 ) - 반도체 강문식 ( 강릉원주대학교교수 ) - 컴퓨터 김창익 (KAIST 교수 ) - 신호처리 김영철 ( 군산대학교교수 ) - 시스템및제어 이병선 ( 김포대학교교수 ) - 신업전자 협동부회장김달수 ( 티엘아이대표이사 ) 김부균 ( 숭실대학교교수 ) 김상태 ( 한국산업기술평가관리원본부장 ) 김종대 ( 한국전자통신연구원책임연구원 ) 남상엽 ( 국제대학교교수 ) 박찬구 ( 인피니언테크놀로지스파워세미텍대표이사 ) 박형무 ( 동국대학교교수 ) 손보익 ( 실리콘웍스대표이사 ) 송문섭 (( 유 ) 엠세븐시스템대표이사 ) 엄낙웅 ( 한국전자통신연구원소장 ) 유현규 ( 한국전자통신연구원책임연구원 ) 이강현 ( 조선대학교교수 ) 이광엽 ( 서경대학교교수 ) 이상홍 ( 정보통신기술진흥센터센터장 ) 이상회 ( 동서울대학교교수 ) 이승훈 ( 서강대학교교수 ) 이윤종 ( DB하이텍부사장 ) 이재훈 ( 유정시스템 사장 ) 인치호 ( 세명대학교교수 ) 임 혁 ( 광주과학기술원교수 ) 장태규 ( 중앙대학교교수 ) 정은승 ( 삼성전자 사장 ) 정 준 ( 쏠리드대표이사 ) 정진용 ( 인하대학교교수 ) 조상복 ( 울산대학교교수 ) 최승원 ( 한양대학교교수 ) 허 영 ( 한국전기연구원본부장 ) 호요성 ( 광주과학기술원교수 ) 상임이사 공준진 ( 삼성전자 Master) - 산학연 권종원 ( 한국산업기술시험원선임연구원 ) - 논문 (SC) 김동규 ( 한양대학교교수 ) - 논문 (SD) 김동식 ( 인하공업전문대학교수 ) - 사업 (IE) 김선욱 ( 고려대학교교수 ) - 총무 김소영 ( 성균관대학교교수 ) - 정보화 김수찬 ( 한경대학교교수 ) - 사업 (SC) 김승천 ( 한성대학교교수 ) - 논문 (CI) 김원종 ( 한국전자통신연구원실장 ) - 표준화 노원우 ( 연세대학교교수 ) - 재무 백광현 ( 중앙대학교교수 ) - 논문총괄 범진욱 ( 서강대학교교수 ) - 사업 (SD) 송병철 ( 인하대학교교수 ) - 사업 (SP) 신오순 ( 숭실대학교교수 ) - 논문 (TC) 심동규 ( 광운대학교교수 ) - SPC 편집 유창동 (KAIST 교수 ) - 국제협력 /ICCE-Asia 유회준 (KAIST 교수 ) - JSTS 편집 윤석현 ( 단국대학교교수 ) - 사업 (TC) 이강윤 ( 성균관대학교교수 ) - 사업총괄 이채은 ( 인하대학교교수 ) - 홍보 이충용 ( 연세대학교교수 ) - 기획 이혁재 ( 서울대학교교수 ) - 학술 ( 하계 ) 임재열 ( 한국기술교육대학교교수 ) - 교육 정영모 ( 한성대학교교수 ) - 회지편집 정종문 ( 연세대학교교수 ) - 회원 /ICCE-Asia 조도현 ( 인하공업전문대학교수 ) - 논문 (IE) 한종기 ( 세종대학교교수 ) - 논문 (SP) ` 황성운 ( 홍익대학교교수 ) - 사업 (CI) 황인철 ( 강원대학교교수 ) - 학술 ( 추계 ) 산업체이사고요환 ( 매그나칩반도체전무 ) 김태진 ( 더즈텍사장 ) 김현수 ( 삼성전자 상무 ) 박동일 ( 현대자동차 전무 ) 송창현 ( 네이버 CTO) 오의열 (LG 디스플레이 연구위원 ) 윤영권 ( 삼성전자 마스터 ) 조영민 ( 스카이크로스코리아사장 ) 조재문 ( 삼성전자 부사장 ) 차종범 ( 구미전자정보기술원원장 ) 최승종 (LG 전자 전무 ) 최진성 ( 도이치텔레콤부사장 ) 함철희 ( 삼성전자 Master) 홍국태 (LG 전자 연구위원 ) 이 사 강동구 ( 한국전기연구원선임연구원 ) - 홍보 공배선 ( 성균관대학교교수 ) - 학술 ( 하계 ) 권기룡 ( 부경대학교교수 ) - 학술 ( 추계 ) 권종기 ( 한국전자통신연구원책임연구원 ) - 사업 김대순 ( 전주비전대학교교수 ) - 지부 ( 전북 ) 김상철 ( 국민대학교교수 ) - 회원

9 김성진 ( 경남대학교교수 ) - 지부 ( 부산경남울산 ) 김성호 ( 한국산업기술평가관리원팀장 ) - 학술 ( 하계 ) 김영선 ( 대림대학교교수 ) - 회원 김용신 ( 고려대학교교수 ) - 학술 ( 추계 ) 김재곤 ( 한국항공대학교교수 ) - 국문논문 (SP) 김종옥 ( 고려대학교교수 ) - 정보화 김지훈 ( 이화여자대학교교수 ) - 총무 / 학술 ( 하계 ) 김진상 ( 경희대학교교수 ) - 사업 (SD) 김진수 ( 한밭대학교교수 ) - 지부 ( 대전충남 ) 김창수 ( 고려대학교교수 ) - 회지 김태욱 ( 연세대학교교수 ) - 기획 김태원 ( 상지영서대학교교수 ) - 홍보 남일구 ( 부산대학교교수 ) - 학술 ( 추계 ) 노태문 ( 한국전자통신연구원책임연구원 ) - 학술 ( 하계 ) 동성수 ( 용인송담대학교교수 ) - 사업 류수정 ( 삼성전자 상무 ) - 산학연 박인규 ( 인하대학교교수 ) - 회지 박철수 ( 광운대학교교수 ) - SPC 편집 박현창 ( 동국대학교교수 ) - 교육 배준호 ( 가천대학교교수 ) - 표준화 변경수 ( 인하대학교교수 ) - 홍보 서춘원 ( 김포대학교교수 ) - 기획 성해경 ( 한양여자대학교교수 ) - 정보화 송상헌 ( 중앙대학교교수 ) - 교육 송진호 ( 연세대학교교수 ) - 회원 심정연 ( 강남대학교교수 ) - 회지 유성철 (LG 히다찌본부장 ) - 사업 (IE) 윤지훈 ( 서울과학기술대학교교수 ) - 국문논문 (TC) 이민호 ( 경북대학교교수 ) - 사업 (CI) 이성수 ( 숭실대학교교수 ) - 기획 이승호 ( 한밭대학교교수 ) - 국문논문 ( 총괄 ) 이윤식 (UNIST 교수 ) - 홍보 이찬수 ( 영남대학교교수 ) - 사업 ( 총괄 ) 이창우 ( 가톨릭대학교교수 ) - 회지 이한호 ( 인하대학교교수 ) - 사업 (SD)/ 산학연 장길진 ( 경북대학교교수 ) - 국제협력 장익준 ( 경희대학교교수 ) - 학술 ( 하계 ) 정진곤 ( 중앙대학교교수 ) - 국문논문 ( 총괄 ) 제민규 (KAIST 교수 ) - 교육 차철웅 ( 전자부품연구원책임연구원 ) - 표준화 채영철 ( 연세대학교교수 ) - 재무 최재식 (UNIST 교수 ) - 국제협력 한영선 ( 경일대학교교수 ) - 총무 /SPC 편집 홍성훈 ( 전남대학교교수 ) - 광주전남지부 협동이사 강대성 ( 동아대학교교수 ) - 지부 ( 부산경남울산 ) 강윤희 ( 백석대학교교수 ) - 호서지부 고병철 ( 계명대학교교수 ) - 사업 (CI) 권구덕 ( 강원대학교교수 ) - 학술 ( 추계 ) 김경기 ( 대구대학교교수 ) - 국제협력 김광수 (KAIST 교수 ) - 국제협력 김도현 ( 제주대학교교수 ) - 기획 김동현 (ICTK 사장 ) - 산학연 김만배 ( 강원대학교교수 ) - 국문논문 (SP) 김상완 ( 아주대학교교수 ) - 홍보 김준모 (KAIST 교수 ) - 국제혐력 김진성 ( 선문대학교교수 ) - 학술 ( 하계 ) 김 짐 ( 한국산업기술평가관리원선임연구원 ) - 사업 김 현 ( 서울대학교교수 ) - 홍보 남기창 ( 동국대학교교수 ) - 회원 류성한 ( 한남대학교교수 ) - 학술 ( 추계 ) 박기찬 ( 건국대학교교수 ) - 표준화 박성욱 ( 강릉원주대학교교수 ) - 학술 ( 하계 ) 박수현 ( 국민대학교교수 ) - 회지 박영훈 ( 숙명여자대학교교수 ) - 학술 ( 하계 ) 박원규 ( 한국나노기술원팀장 ) - 표준화 박종선 ( 고려대학교교수 ) - 사업 (SD) 박형민 ( 서강대학교교수 ) - 사업 (CI) 변대석 ( 삼성전자 Master) - 산학연 변영재 (UNIST 교수 ) - 회지 선우경 ( 이화여자대학교교수 ) - 정보화 안태원 ( 동양미래대학교교수 ) - 국문논문 ( 총괄 ) 엄우용 ( 인하공업전문대학교수 ) - 국제협력 연규봉 ( 자동차부품연구원팀장 ) - 사업 오병태 ( 한국항공대학교교수 ) - 사업 ( 총괄 ) 윤성로 ( 서울대학교교수 ) - 회원 이문구 ( 김포대학교교수 ) - 교육 이우주 ( 명지대학교교수 ) - 국문논문 ( 총괄 ) 이재성 ( 한국교통대학교교수 ) - 학술 ( 하계 ) 이종호 ( 가천대학교교수 ) - 국문논문 (TC) 이주헌 ( 동아방송예술대학교교수 ) - 교육 이태동 ( 국제대학교교수 ) - 학술 ( 하계 ) 이형민 ( 고려대학교교수 ) - 학술 ( 추계 ) 정승원 ( 동국대학교교수 ) - SPC/ 학술 ( 추계 ) 정재필 ( 가천대학교교수 ) - 산학연 조성현 ( 힌양대학교교수 ) - 사업 채관엽 ( 삼성전자 박사 ) - 학술 ( 추계 ) 최강선 ( 한국기술교육대학교교수 ) - SPC 편집 최재원 ( 다음소프트이사 ) - 사업 (CI) 하정우 ( 네이버 Tech Leader) - 홍보 한태희 ( 성균관대학교교수 ) - 교육 허재두 ( 한국전자통신연구원본부장 ) - ICCE-Asia 황인정 ( 명지병원책임연구원 ) - 사업 (CI) 지부장명단 강원지부 김남용 ( 강원대학교교수 ) 광주 전남지부 원용관 ( 전남대학교교수 ) 대구 경북지부 최현철 ( 경북대학교교수 ) 대전 충남지부 주성순 ( 한국전자통신연구원박사 ) 부산 경남 울산지부 이상훈 ( 경남대학교교수 ) 전북지부 송제호 ( 전북대학교교수 ) 제주지부 김경연 ( 제주대학교교수 ) 충북지부 최영규 ( 한국교통대학교교수 ) 호서지부 장은영 ( 공주대학교교수 ) 일 본 백인천 (AIZU대학교교수 ) 미 국 최명준 ( 텔레다인박사 ) 러시아지부 Prof. Edis B. TEN (National University of Science and Technology)

10 The Magazine of the IEIE 자문위원회 위원회명단 위 원 장 홍승홍 ( 명예회장 ) 부위원장 이문기 ( 명예회장 ) 위 원 고성제 ( 고려대학교교수 ) 구용서 ( 단국대학교교수 ) 김덕진 ( 명예회장 ) 김도현 ( 명예회장 ) 김성대 (KAIST 교수 ) 김수중 ( 명예회장 ) 김영권 ( 명예회장 ) 김재희 ( 연세대학교교수 ) 김정식 ( 대덕전자회장 ) 나정웅 ( 명예회장 ) 문영식 ( 한양대학교교수 ) 박규태 ( 명예회장 ) 박성한 ( 명예회장 ) 박진옥 ( 명예회장 ) 박항구 ( 소암시스텔회장 ) 서정욱 ( 명예회장 ) 성굉모 ( 서울대학교명예교수 ) 윤종용 ( 삼성전자상임고문 ) 이상설 ( 명예회장 ) 이재홍 ( 서울대학교교수 ) 이진구 ( 동국대학교석좌교수 ) 이충웅 ( 명예회장 ) 이태원 ( 명예회장 ) 임제탁 ( 명예회장 ) 전국진 ( 서울대학교교수 ) 전홍태 ( 중앙대학교교수 ) 정정화 ( 한양대학교석좌교수 ) 홍대식 ( 연세대학교교수 ) 기획위원회 위 원 장 이충용 ( 연세대학교교수 ) 위 원 김지훈 ( 이화여자대학교교수 ) 김태욱 ( 연세대학교교수 ) 노원우 ( 연세대학교교수 ) 백상헌 ( 고려대학교교수 ) 박영준 ( 한양대학교교수 ) 서춘원 ( 김포대학교교수 ) 양준성 ( 성균관대학교교수 ) 장익준 ( 경희대학교교수 ) 조성현 ( 한양대학교교수 ) 채영철 ( 연세대학교교수 ) 학술연구위원회 - 하계 위 원 장 이혁재 ( 서울대학교교수 ) 위 원 강문식 ( 강릉원주대학교교수 ) 공배선 ( 성균관대학교교수 ) 김성호 ( 한국산업기술평가관리원팀장 ) 김지훈 ( 이화여자대학교교수 ) 김진성 ( 선문대학교교수 ) 김 현 ( 서울대학교교수 ) 노태문 ( 한국전자통신연구원책임연구원 ) 동성수 ( 용인송담대학교교수 ) 박성욱 ( 강릉원주대학교교수 ) 박영훈 ( 숙명여자대학교교수 ) 이재성 ( 교통대학교교수 ) 이채은 ( 인하대학교교수 ) 이태동 ( 국제대학교교수 ) 장익준 ( 경희대학교교수 ) 정윤호 ( 한국항공대학교교수 ) 학술연구위원회 - 추계 위 원 장 황인철 ( 강원대학교교수 ) 위 원 권구덕 ( 강원대학교교수 ) 권기룡 ( 부경대학교교수 ) 김용신 ( 고려대학교교수 ) 남일구 ( 부산대학교교수 ) 류성한 ( 한남대학교교수 ) 이형민 ( 고려대학교교수 ) 정승원 ( 동국대학교교수 ) 채관엽 ( 삼성전자박사 ) 한영선 ( 경일대학교교수 ) 논문편집위원회 위 원 장 백광현 ( 중앙대학교교수 ) 위 원 권종원 ( 한국산업기술시험원선임연구원 ) 김동규 ( 한양대학교교수 ) 김만배 ( 강원대학교교수 ) 김승천 ( 한성대학교교수 ) 김재곤 ( 한국항공대학교교수 ) 신오순 ( 숭실대학교교수 ) 안태원 ( 동양미래대학교교수 ) 윤지훈 ( 서울과학기술대학교교수 ) 이승호 ( 한밭대학교교수 ) 이우주 ( 명지대학교교수 ) 이종호 ( 가천대학교교수 ) 정진곤 ( 중앙대학교교수 ) 조도현 ( 인하공업전문대학교수 ) 한종기 ( 세종대학교교수 ) 국제협력위원회 위 원 장 유창동 (KAIST 교수 ) 위 원 김경기 ( 대구대학교교수 ) 김광수 (KAIST 교수 ) 김준모 (KAIST 교수 ) 송상헌 ( 중앙대학교교수 ) 엄우영 ( 인하공업전문대학교수 ) 장길진 ( 경북대학교교수 ) 최재식 (UNIST 교수 ) 허재두 ( 한국전자통신연구원본부장 ) 산학연협동위원회 위 원 장 공준진 ( 삼성전자 Master) 위 원 김동현 (ICTK 사장 ) 김익균 ( 한국전자통신연구원그룹장 ) 류수정 ( 삼성전자상무 ) 민경식 ( 국민대학교교수 ) 박종선 ( 고려대학교교수 ) 변대석 ( 삼성전자 Master) 이영주 ( 광운대학교교수 ) 이한호 ( 인하대학교교수 ) 정재필 ( 가천대학교교수 ) 최두호 ( 한국전자통신연구원실장 ) 한태희 ( 성균관대학교교수 ) 회원관리위원회 위 원 장 정종문 ( 연세대학교교수 ) 위 원 김상철 ( 국민대학교교수 ) 김영선 ( 대림대학교교수 ) 김진상 ( 경희대학교교수 ) 남기창 ( 동국대학교교수 ) 박종일 ( 한양대학교교수 ) 송진호 ( 연세대학교교수 ) 신종원 ( 광주과학기술원교수 ) 유정봉 ( 공주대학교교수 ) 윤성로 ( 서울대학교교수 ) 정용규 ( 을지대학교교수 )

11 회지편집위원회 위 원 장 정영모 ( 한성대학교교수 ) 위 원 권종원 ( 한국산업기술시험원선임연구원 ) 김수찬 ( 한경대학교교수 ) 김영선 ( 대림대학교교수 ) 김창수 ( 고려대학교교수 ) 김 현 ( 부천대학교교수 ) 박수현 ( 국민대학교교수 ) 박인규 ( 인하대학교교수 ) 박종선 ( 고려대학교교수 ) 변영재 (UNIST 교수 ) 심정연 ( 강남대학교교수 ) 윤지훈 ( 서울과학기술대학교교수 ) 이종호 ( 가천대학교교수 ) 이찬수 ( 영남대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 정찬호 ( 한밭대학교교수 ) 사업위원회 총괄위원장 이강윤 ( 성균관대학교교수 ) C I 위원장 황성운 ( 홍익대학교교수 ) I E 위원장 김동식 ( 인하공업전문대학교수 ) S C 위원장 김수찬 ( 한경대학교교수 ) S D 위원장 범진욱 ( 서강대학교교수 ) S P 위원장 송병철 ( 인하대학교교수 ) T C 위원장 윤석현 ( 단국대학교교수 ) 위 원 강석주 ( 서강대학교교수 ) 고병철 ( 계명대학교교수 ) 권종기 ( 한국전자통신연구원책임연구원 ) 김용운 ( 옴니C&S 대표 ) 김원준 ( 건국대학교교수 ) 김진상 ( 경희대학교교수 ) 김진태 ( 건국대학교교수 ) 김 짐 ( 한국산업기술평가관리원선임연구원 ) 김현진 ( 단국대학교교수 ) 동성수 ( 용인송담대학교교수 ) 박종선 ( 고려대학교교수 ) 박형민 ( 서강대학교교수 ) 신철호 ( 한국전자통신연구원실장 ) 연규봉 ( 자동차부품연구원팀장 ) 오병태 ( 한국항공대학교교수 ) 유성철 (LG 히다찌본부장 ) 이민재 ( 광주과학기술원교수 ) 이민호 ( 경북대학교교수 ) 이윤구 ( 광운대학교교수 ) 이찬수 ( 영남대학교교수 ) 이한호 ( 인하대학교교수 ) 임승옥 ( 전자부품연구원센터장 ) 조성현 ( 한양대학교교수 ) 최 욱 ( 인천대학교교수 ) 최재원 ( 다음소프트이사 ) 황인정 ( 명지병원책임연구원 ) 교육위원회 위 원 장 임재열 ( 한국기술교육대학교교수 ) 위 원 동성수 ( 용인송담대학교교수 ) 박현창 ( 동국대학교교수 ) 송상헌 ( 중앙대학교교수 ) 이문구 ( 김포대학교교수 ) 이주헌 ( 동아방송예술대학교교수 ) 이찬호 ( 숭실대학교교수 ) 최강선 ( 한국기술교육대학교교수 ) 홍보위원회 위원장이채은 ( 인하대학교교수 ) 위원강동구 ( 한국전기연구원선임연구원 ) 김상완 ( 아주대학교교수 ) 김태원 ( 상지영서대학교교수 ) 김현 ( 서울대학교교수 ) 변경수 ( 인하대학교교수 ) 이윤식 (UNIST 교수 ) 하정우 ( 네이버 Tech Leader) 표준화위원회 위 원 장 김원종 ( 한국전자통신연구원실장 ) 간사 / 위원 배준호 ( 가천대학교교수 ) 위 원 강성원 ( 한국전자통신연구원본부장 ) 권기원 ( 성균관대학교교수 ) 김동규 ( 한양대학교교수 ) 김시호 ( 연세대학교교수 ) 박기찬 ( 건국대학교교수 ) 박원규 ( 한국나노기술원본부장 ) 변지수 ( 경북대학교교수 ) 송영재 ( 성균관대학교교수 ) 송용호 ( 한양대학교교수 ) 연규봉 ( 자동차부품연구원센터장 ) 이상근 ( 성균관대학교교수 ) 이서호 ( 한국기계전기전자시험연구원과장 ) 이성수 ( 숭실대학교교수 ) 이종묵 (SOL 대표 ) 이하진 ( 한국기초과학지원연구원책임연구원 ) 이해성 ( 전주대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 좌성훈 ( 서울과학기술대학교교수 ) 차철웅 ( 전자부품연구원책임연구원 ) 한태수 ( 국가기술표준원 / 디스플레이산업협회표준코디 ) 홍용택 ( 서울대학교교수 ) 정보화위원회 위 원 장 김소영 ( 성균관대학교교수 ) 위 원 김종옥 ( 고려대학교교수 ) 김진태 ( 건국대학교교수 ) 선우경 ( 이화여자대학교교수 ) 이윤명 ( 성균관대학교교수 ) 이후진 ( 한성대학교교수 ) 장익준 ( 경희대학교교수 ) 황진영 ( 한국항공대학교교수 ) 지부담당위원회 위 원 장 이장명 ( 부산대학교교수 ) 위 원 김경연 ( 제주대학교교수 ) 김남용 ( 강원대학교교수 ) 백인천 (AIZU대학교교수 ) 송제호 ( 전북대학교교수 ) 원용관 ( 전남대학교교수 ) 이상훈 ( 경남대학교교수 ) 장은영 ( 공주대학교교수 ) 주성순 ( 한국전자통신연구원박사 ) 최명준 ( 텔레다인박사 ) 최영규 ( 한국교통대학교교수 ) 최현철 ( 경북대학교교수 ) Prof. Edis B. TEN (National University of Science and Technology 교수 )

12 The Magazine of the IEIE 선거관리위원회 위 원 장 성굉모 ( 서울대학교명예교수 ) 위 원 김선욱 ( 고려대학교교수 ) 김지훈 ( 이화여자대학교교수 ) 노원우 ( 연세대학교교수 ) 이충용 ( 연세대학교교수 ) 이혁재 ( 서울대학교교수 ) 정종문 ( 연세대학교교수 ) 포상위원회 위 원 장 문영식 ( 한양대학교교수 ) 간사 / 위원 김선욱 ( 고려대학교교수 ) 위 원 노원우 ( 연세대학교교수 ) 백광현 ( 중앙대학교교수 ) 이혁재 ( 서울대학교교수 ) 최천원 ( 단국대학교교수 ) 재정위원회 위원장백준기 ( 중앙대학교교수 ) 위원노원우 ( 연세대학교교수 ) 문영식 ( 한양대학교교수 ) 박병국 ( 서울대학교교수 ) 박찬구 ( 인피니언테크놀로지스파워세미텍대표이사 ) 이재훈 ( 유정시스템대표이사 ) 정교일 ( 한국전자통신연구원책임연구원 ) 최승종 (LG 전자전무 ) 최천원 ( 단국대학교교수 ) 한대근 ( 실리콘웍스교수 ) 인사위원회 위 원 장 백준기 ( 중앙대학교교수 ) 위 원 김선욱 ( 고려대학교교수 ) 노원우 ( 연세대학교교수 ) 이충용 ( 연세대학교교수 ) 최천원 ( 단국대학교교수 ) SPC 위원회 위 원 장 심동규 ( 광운대학교교수 ) 부위원장 박철수 ( 광운대학교교수 ) 위 원 강석주 ( 서강대학교교수 ) 김영민 ( 광운대학교교수 ) 김창수 ( 고려대학교교수 ) 김태석 ( 광운대학교교수 ) 김 현 ( 서울대학교교수 ) 신원용 ( 단국대학교교수 ) 유양모 ( 서강대학교교수 ) 이재훈 ( 고려대학교교수 ) 이채은 ( 인하대학교교수 ) 정승원 ( 동국대학교교수 ) 조성현 ( 한양대학교교수 ) 최강선 ( 한국기술교육대학교교수 ) 한영선 ( 경일대학교교수 ) JSTS 위원회 위 원 장 Hoi-Jun Yoo (KAIST) 부위원장 Dim-Lee Kwong (Institute of Microelectronics) 위 원 Akira Matsuzawa (Tokyo Institute of Technology) Byeong-Gyu Nam (Chungnam National Univ.) Byung-Gook Park (Seoul National Univ.) Cary Y. Yang (Santa Clara Univ.) Chang sik Yoo (Hanyang Univ.) Chennupati Jagadish (Australian National Univ.) Deog-Kyoon Jeong (Seoul National Univ.) Dong S. Ha (Virginia Tech) Eun Sok Kim (USC) Gianaurelio Cuniberti (Dresden Univ. of Technology) Hi-Deok Lee (Chungnam Univ.) Hong June Park (POSTECH) Hyoung sub Kim (Sungkyunkwan Univ.) Hyun-Kyu Yu (ETRI) Jamal Deen (McMaster University, Canada) Jin wook Burm (Sogang Univ.) Jong-Uk Bu (Sen Plus) Jun young Park (UX Factory) Kofi Makinwa (Delft Univ. of Technology) Meyya Meyyappan (NASA Ames Research Center) Min-kyu Song (Dongguk Univ.) Moon-Ho Jo (POSTECH) Nobby Kobayashi (UC Santa Cruz) Paul D. Franzon (North Carolina State Univ.) Rino Choi (Inha Univ.) Sang-Hun Song (Chung-Ang Univ.) Sang-Sik Park (Sejong Iniv.) Seung-Hoon Lee (Sogang Univ.) Shen-Iuan Liu (National Taiwan Univ.) Shi ho Kim (Yonsei Univ.) Stephen A. Campbell (Univ. of Minnesota) Sung Woo Hwang (Korea Univ.) Tadahiro Kuroda (Keio Univ.) Tae-Song Kim (KIST) Tsu-Jae King Liu (UC Berkeley) Vojin G. Oklobdzija (Univ. of Texas at Dallas) Weileun Fang (National Tsing Hua Univ.) Woo geun Rhee (Tsinghua Univ.) Yang-Kyu Choi (KAIST) Yogesh B. Gianchandani (Univ. of Michigan, Ann Arbor) Yong-Bin Kim (Northeastern Univ.) Yuhua Cheng (Peking Univ.)

13 통신소사이어티 Society 명단 회 장 이흥노 ( 광주과학기술원교수 ) 부 회 장 김선용 ( 건국대학교교수 ) 김재현 ( 아주대학교교수 ) 김진영 ( 광운대학교교수 ) 김 훈 ( 인천대학교교수 ) 오정근 ( ATNS 대표이사 ) 유명식 ( 숭실대학교교수 ) 윤석현 ( 단국대학교교수 ) 이인규 ( 고려대학교교수 ) 허 준 ( 고려대학교교수 ) 감 사 이재진 ( 숭실대학교교수 ) 이호경 ( 홍익대학교교수 ) 협동부회장 김병남 ( 에이스테크놀로지연구소장 ) 김연은 ( 브로던대표이사 ) 김영한 ( 숭실대학교교수 ) 김용석 ( 답스대표이사 ) 김인경 (LG 전자상무 ) 류승문 (( 사 ) 개인공간서비스협회수석부의장 ) 박용석 ( LICT 대표이사 ) 방승찬 ( 한국전자통신연구원부장 ) 연철흠 (LG 텔레콤상무 ) 이승호 ( 하이게인부사장 ) 이재훈 ( 유정시스템대표이사 ) 정진섭 ( 이노와이어리스부사장 ) 정현규 ( 한국전자통신연구원부장 ) 이 사 김성훈 ( 한국전자통신연구원박사 ) 김정호 ( 이화여자대학교교수 ) 노윤섭 ( 한국전자통신연구원박사 ) 방성일 ( 단국대학교교수 ) 서철헌 ( 숭실대학교교수 ) 성원진 ( 서강대학교교수 ) 신요안 ( 숭실대학교교수 ) 윤종호 ( 한국항공대학교교수 ) 윤지훈 ( 단국대학교교수 ) 이재훈 ( 동국대학교교수 ) 이종창 ( 홍익대학교교수 ) 이종호 ( 가천대학교교수 ) 임종태 ( 홍익대학교교수 ) 장병수 ( 이노벨류네트웍스부사장 ) 조인호 ( 에이스테크놀로지박사 ) 최진식 ( 한양대학교교수 ) 최천원 ( 단국대학교교수 ) 허서원 ( 홍익대학교교수 ) 간 사 신오순 ( 숭실대학교교수 ) 김중헌 ( 중앙대학교교수 ) 조성현 ( 한양대학교교수 ) 연구회위원장 김광순 ( 연세대학교교수 ) - 통신 유태환 ( 한국전자통신연구원팀장 ) - 스위칭및라우팅 조춘식 ( 한국항공대학교교수 ) - 마이크로파및전파전파 이철기 ( 아주대학교교수 ) - ITS 김동규 ( 한양대학교교수 ) - 정보보안시스템 김강욱 ( 경북대학교교수 ) - 군사전자 - 방송ㆍ통신융합기술 허재두 ( 한국전자통신연구원본부장 ) - 무선 PAN/BAN 김봉태 ( 한국전자통신연구원소장 ) - 미래네트워크 반도체소사이어티 회 장 전영현 ( 삼성SDI 사장 ) 자문위원 권오경 ( 한양대학교교수 ) 선우명훈 ( 아주대학교교수 ) 신윤승 ( 삼성전자고문 ) 신현철 ( 한양대학교교수 ) 우남성 ( 삼성전자사장 ) 임형규 (SK 부회장 ) 수석부회장 조중휘 ( 인천대학교교수 ) 감 사 김경기 ( 대구대학교교수 ) 최중호 ( 서울시립대학교교수 ) 연구담당부회장 조경순 ( 한국외국어대학교교수 ) 사업담당부회장 김진상 ( 경희대학교교수 ) 학술담당부회장 범진욱 ( 서강대학교교수 ) 총무이사 공준진 ( 삼성전자마스터 ) 김동규 ( 한양대학교교수 ) 박종선 ( 고려대학교교수 ) 이한호 ( 인하대학교교수 ) 편집이사 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 한태희 ( 성균관대학교교수 ) 학술이사 강진구 ( 인하대학교교수 ) 김영환 ( 포항공과대학교수 ) 김재석 ( 연세대학교교수 ) 김철우 ( 고려대학교교수 ) 노정진 ( 한양대학교교수 ) 노원우 ( 연세대학교교수 ) 박성정 ( 건국대학교교수 ) 박홍준 ( 포항공과대학교수 ) 변영재 (UNIST 교수 ) 송민규 ( 동국대학교교수 ) 신현철 ( 광운대학교교수 ) 유창식 ( 한양대학교교수 ) 이혁재 ( 서울대학교교수 ) 전민용 ( 충남대학교교수 ) 정연모 ( 경희대학교교수 ) 정원영 ( 태성에스엔이이사 ) 정진균 ( 전북대학교교수 ) 정진용 ( 인하대학교교수 ) 정항근 ( 전북대학교교수 ) 차호영 ( 홍익대학교교수 ) 최우영 ( 연세대학교교수 ) 사업이사 강성호 ( 연세대학교교수 ) 공배선 ( 성균관대학교교수 ) 권기원 ( 성균관대학교교수 ) 김동순 ( 전자부품연구원센터장 ) 김소영 ( 성균관대학교교수 ) 김시호 ( 연세대학교교수 ) 송용호 ( 한양대학교교수 ) 엄낙웅 ( 한국전자통신연구원소장 ) 윤광섭 ( 인하대학교교수 ) 조대형 ( 스위스로잔연방공대총장수석보좌관 ) 조상복 ( 울산대학교교수 ) 조태제 ( 삼성전기마스터 ) 최윤경 ( 삼성전자마스터 ) 최준림 ( 경북대학교교수 ) 산학이사 강태원 ( 넥셀사장 ) 김경수 ( 넥스트칩대표 ) 김달수 (TLI 대표 ) 김동현 (ICTK 사장 ) 김보은 ( 라온텍사장 ) 김준석 (ADT 사장 ) 변대석 ( 삼성전자마스터 ) 손보익 ( 실리콘웍스대표 ) 송태훈 ( 휴인스사장 ) 신용석 ( 케이던스코리아사장 ) 안흥식 (Xilinx Korea 지사장 ) 이도영 ( 옵토레인사장 ) 이서규 ( 픽셀플러스대표 ) 이윤종 ( 동부하이텍부사장 ) 이장규 ( 텔레칩스대표 ) 이종열 (FCI 부사장 ) 정해수 (Synopsys 사장 ) 최승종 (LG 전자전무 ) 허 염 ( 실리콘마이터스대표 ) 황규철 ( 삼성전자상무 ) 황정현 ( 아이닉스대표 ) 재무이사 김희석 ( 청주대학교교수 ) 임신일 ( 서경대학교교수 ) 회원이사 이광엽 ( 서경대학교교수 ) 최기영 ( 서울대학교교수 ) 간 사 강석형 (UNIST 교수 ) 김영민 ( 광운대학교교수 ) 김종선 ( 홍익대학교교수 ) 김형탁 ( 홍익대학교교수 ) 문 용 ( 숭실대학교교수 ) 백광현 ( 중앙대학교교수 ) 이강윤 ( 성균관대학교교수 ) 이성수 ( 숭실대학교교수 ) 연구회위원장 오정우 ( 연세대학교교수 ) - 반도체소자및재료 이상신 ( 광운대학교교수 ) - 광파및양자전자공학 김동규 ( 한양대학교교수 ) - SoC설계 유창식 ( 한양대학교교수 ) - RF집적회로 정원영 ( 태성에스엔이이사 ) - PCB&Package

14 The Magazine of the IEIE 컴퓨터소사이어티 회 장 강문식 ( 강릉원주대학교교수 ) 명예회장 김승천 ( 한성대학교교수 ) 김형중 ( 고려대학교교수 ) 박인정 ( 단국대학교교수 ) 박춘명 ( 한국교통대학교교수 ) 신인철 ( 단국대학교교수 ) 안병구 ( 홍익대학교교수 ) 안현식 ( 동명대학교교수 ) 이규대 ( 공주대학교교수 ) 허 영 ( 한국전기연구원본부장 ) 홍유식 ( 상지대학교교수 ) 자문위원 남상엽 ( 국제대학교교수 ) 이강현 ( 조선대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 감 사 심정연 ( 강남대학교교수 ) 이강현 ( 조선대학교교수 ) 부 회 장 김도현 ( 제주대학교교수 ) 윤은준 ( 경일대학교교수 ) 정용규 ( 을지대학교교수 ) 황성운 ( 홍익대학교교수 ) 협동부회장 권호열 ( 강원대학교교수 ) 김영학 ( 한국산업기술평가관리원본부장 ) 박수현 ( 국민대학교교수 ) 우운택 (KAIST 교수 ) 조민호 ( 고려대학교교수 ) 최용수 ( 성결대학교교수 ) 총무이사 박성욱 ( 강릉원주대학교교수 ) 박영훈 ( 숙명여자대학교교수 ) 재무이사 황인정 ( 명지병원책임연구원 ) 홍보이사 이덕기 ( 연암공과대학교교수 ) 편집이사 강병권 ( 순천향대학교교수 ) 기장근 ( 공주대학교교수 ) 김진홍 ( 성균관대학교교수 ) 변영재 (UNIST 교수 ) 이석환 ( 동명대학교교수 ) 정혜명 ( 김포대학교교수 ) 진성아 ( 성결대학교교수 ) 학술이사 강상욱 ( 상명대학교교수 ) 권태경 ( 연세대학교교수 ) 김선욱 ( 고려대학교교수 ) 김천식 ( 세종대학교교수 ) 성해경 ( 한양여자대학교교수 ) 이문구 ( 김포대학교교수 ) 이민호 ( 경북대학교교수 ) 이찬수 ( 영남대학교교수 ) 이후진 ( 한성대학교교수 ) 한규필 ( 금오공과대학교교수 ) 한태화 ( 연세대의료원연구팀장 ) 사업이사 김홍균 ( 다스파워기술고문 ) 박세환 ( 한국과학기술정보연구원전문연구위원 ) 박승창 ( 유오씨사장 ) 조병순 ( 시엔시인스트루먼트사장 ) 산학이사 김대휘 ( 한국정보통신대표이사 ) 노소영 ( 월송출판대표이사 ) 서봉상 ( 올포랜드이사 ) 송치봉 ( 웨이버스이사 ) 오승훈 ( 주얼린대표이사 ) 유성철 (LG 히다찌산학협력팀장 ) 조병영 ( 태진인포텍전무 ) 논문편집위원장 진 훈 ( 경기대학교교수 ) 연구회위원장 윤은준 ( 경일대학교교수 ) - 융합컴퓨팅 이민호 ( 경북대학교교수 ) - 인공지능 / 신경망 / 퍼지 이후진 ( 한성대학교교수 ) - 멀티미디어 진 훈 ( 경기대학교교수 ) - 휴먼ICT 김도현 ( 제주대학교교수 ) - M2M/IoT 우운택 (KAIST 교수 ) - 증강휴먼 황성운 ( 홍익대학교교수 ) - CPS보안 신호처리소사이어티 회 장 김창익 (KAIST 교수 ) 자문위원 김정태 ( 이화여자대학교교수 ) 김홍국 ( 광주과학기술원교수 ) 이영렬 ( 세종대학교교수 ) 전병우 ( 성균관대학교교수 ) 조남익 ( 서울대학교교수 ) 홍민철 ( 숭실대학교교수 ) 감 사 한종기 ( 세종대학교교수 ) 이영렬 ( 세종대학교교수 ) 부 회 장 김문철 (KAIST 교수 ) 박종일 ( 한양대학교교수 ) 심동규 ( 광운대학교교수 ) 협동부회장 강동욱 ( 정보통신기술진흥센터 CP) 김진웅 ( 한국전자통신연구원그룹장 ) 백준기 ( 중앙대학교교수 ) 변혜란 ( 연세대학교교수 ) 신원호 (LG 전자상무 ) 양인환 (TI Korea 이사 ) 오은미 ( 삼성전자 Master) 이병욱 ( 이화여자대학교교수 ) 지인호 ( 홍익대학교교수 ) 최병호 ( 전자부품연구원센터장 ) 이 사 강현수 ( 충북대학교교수 ) 권기룡 ( 부경대학교교수 ) 김남수 ( 서울대학교교수 ) 김창수 ( 고려대학교교수 ) 김해광 ( 세종대학교교수 ) 박구만 ( 서울과학기술대학교교수 ) 박인규 ( 인하대학교교수 ) 서정일 ( 한국전자통신연구원선임연구원 ) 신지태 ( 성균관대학교교수 ) 엄일규 ( 부산대학교교수 ) 유양모 ( 서강대학교교수 ) 이상근 ( 중앙대학교교수 ) 이상윤 ( 연세대학교교수 ) 이창우 ( 가톨릭대학교교수 ) 임재열 ( 한국기술교육대학교교수 ) 장길진 ( 경북대학교교수 ) 장준혁 ( 한양대학교교수 ) 한종기 ( 세종대학교교수 ) 협동이사 강상원 ( 한양대학교교수 ) 강제원 ( 이화여자대학교교수 ) 구형일 ( 아주대학교교수 ) 권구락 ( 조선대학교교수 ) 김기백 ( 숭실대학교교수 ) 김기백 ( 숭실대학교교수 ) 김상효 ( 성균관대학교교수 ) 김용환 ( 전자부품연구원선임연구원 ) 김원준 ( 건국대학교교수 ) 김응규 ( 한밭대학교교수 ) 김재곤 ( 한국항공대학교교수 ) 박상윤 ( 명지대학교교수 ) 박현진 ( 성균관대학교교수 ) 박호종 ( 광운대학교교수 ) 서영호 ( 광운대학교교수 ) 신재섭 ( 픽스트리대표이사 ) 신종원 ( 광주과학기술원교수 ) 양현종 (UNIST 교수 ) 이기승 ( 건국대학교교수 ) 이상철 ( 인하대학교교수 ) 이종설 ( 전자부품연구원책임연구원 ) 임재윤 ( 제주대학교교수 ) 장세진 ( 전자부품연구원센터장 ) 전세영 (UNIST 교수 ) 정찬호 ( 한밭대학교교수 ) 최강선 ( 한국기술교육대학교교수 ) 최승호 ( 서울과학기술대학교교수 ) 최준원 ( 한양대학교교수 ) 홍성훈 ( 전남대학교교수 ) 총무간사 허용석 ( 아주대학교교수 ) 연구회위원장 김무영 ( 세종대학교교수 ) - 음향및신호처리 송병철 ( 인하대학교교수 ) - 영상신호처리 이찬수 ( 영남대학교교수 ) - 영상이해 예종철 (KAIST 교수 ) - 바이오영상신호처리

15 시스템및제어소사이어티 회 장 김영철 ( 군산대학교교수 ) 부 회 장 김수찬 ( 한경대학교교수 ) 유정봉 ( 공주대학교교수 ) 이경중 ( 연세대학교교수 ) 주영복 ( 한국기술교육대학교교수 ) 감 사 김영진 ( 생산기술연구원박사 ) 남기창 ( 동국대학교교수 ) 총무이사 권종원 ( 한국산업기술시험원선임연구원 ) 김용태 ( 한경대학교교수 ) 재무이사 김준식 (KIST 박사 ) 최영진 ( 한양대학교교수 ) 학술이사 김용권 ( 건양대학교교수 ) 서성규 ( 고려대학교교수 ) 편집이사 남기창 ( 동국대학교교수 ) 이수열 ( 경희대학교교수 ) 기획이사 이덕진 ( 군산대학교교수 ) 최현택 ( 한국해양과학기술원책임연구원 ) 사업이사 고낙용 ( 조선대학교교수 ) 양연모 ( 금오공과대학교교수 ) 이석재 ( 대구보건대학교교수 ) 산학연이사 강대희 ( 유도 박사 ) 조영조 ( 한국전자통신연구원박사 ) 홍보이사 김재욱 ( 한국한의학연구원박사 ) 김호철 ( 을지대학교교수 ) 박재병 ( 전북대학교교수 ) 여희주 ( 대진대학교교수 ) 회원이사 권오민 ( 충북대학교교수 ) 김기연 ( 한국산업기술시험원주임연구원 ) 김종만 ( 전남도립대학교교수 ) 김지홍 ( 전주비전대학교교수 ) 문정호 ( 강릉원주대학교교수 ) 박명진 ( 경희대학교교수 ) 변영재 (UNIST 교수 ) 송철규 ( 전북대학교교수 ) 이상준 ( 선문대학교교수 ) 이태희 ( 전북대학교교수 ) 이학성 ( 세종대학교교수 ) 정재훈 ( 동국대학교교수 ) 최수범 (KISTI 연구원 ) 자문위원 김덕원 ( 연세대학교교수 ) 김희식 ( 서울시립대학교교수 ) 박종국 ( 경희대학교교수 ) 서일홍 ( 한양대학교교수 ) 오상록 (KIST 분원장 ) 오승록 ( 단국대학교교수 ) 오창현 ( 고려대학교교수 ) 정길도 ( 전북대학교교수 ) 허경무 ( 단국대학교교수 ) 연구회위원장 한수희 (POSTECH 교수 ) - 제어계측 이성준 ( 한양대학교교수 ) - 회로및시스템 남기창 ( 동국대학교교수 ) - 의용전자및생체공학 김규식 ( 서울시립대학교교수 ) - 전력전자 김영철 ( 군산대학교교수 ) - 지능로봇 이석재 ( 대구보건대학교교수 ) - 국방정보및제어 이덕진 ( 군산대학교교수 ) - 자동차전자 오창현 ( 고려대학교교수 ) - 의료영상시스템 권종원 ( 한국산업기술시험원선임연구원 ) - 스마트팩토리 산업전자소사이어티 회 장 이병선 ( 김포대학교교수 ) 명예회장 원영진 ( 부천대학교교수 ) 자 문 단 윤기방 ( 인천대학교명예교수 ) 강창수 ( 유한대학교교수 ) 이원석 ( 동양미래대학교교수 ) 이상회 ( 동서울대학교교수 ) 남상엽 ( 국제대학교교수 ) 이상준 ( 수원과학대학교교수 ) 최영일 ( 조선이공대학교총장 ) 김용민 ( 충청대학교교수 ) 윤한오 ( 경주스마트미디어센터교수 ) 김종부 ( 인덕대학교교수 ) 진수춘 ( 한백전자대표 ) 장 철 ( 우성정보기술대표 ) 한성준 ( 아이티센부사장 ) 감 사 김은원 ( 대림대학교교수 ) 이시현 ( 동서울대학교교수 ) 부 회 장 김동식 ( 인하공업전문대학교수 ) 상임이사 김 현 ( 부천대학교교수 ) 김상범 ( 폴리텍인천교수 ) 김영로 ( 명지전문대학교수 ) 김영선 ( 대림대학교교수 ) 김태용 ( 구미대학교교수 ) 김태원 ( 상지영서대학교교수 ) 동성수 ( 용인송담대학교교수 ) 서춘원 ( 김포대학교교수 ) 성해경 ( 한양여자대학교교수 ) 송도선 ( 우송정보대학교교수 ) 안태원 ( 동양미래대학교교수 ) 엄우용 ( 인하공업전문대학교수 ) 우찬일 ( 서일대학교교수 ) 윤중현 ( 조선이공대학교교수 ) 이문구 ( 김포대학교교수 ) 이태동 ( 국제대학교교수 ) 정재필 ( 가천대학교교수 ) 조도현 ( 인하공업전문대학교수 ) 최의선 ( 폴리텍아산캠퍼스교수 ) 협동상임이사 강현웅 ( 핸즈온테크놀로지대표 ) 김세종 (SJ정보통신부사장 ) 김응연 ( 인터그래텍대표 ) 김진선 ( 청파이엠티본부장 ) 김태형 ( 하이버스대표 ) 박현찬 ( 나인플러스EDA 대표 ) 서봉상 ( 올포랜드이사 ) 성재용 ( 오픈링크시스템대표 ) 송광헌 ( 복두전자대표 ) 송치봉 ( 웨이버스이사 ) 유성철 (LG 히다찌본부장 ) 이영준 ( 비츠로시스본부장 ) 전한수 ( 세림티에스지이사 ) 조규남 ( 로봇신문사대표 ) 조병용 ( 태진인포텍부사장 ) 조한일 ( 에이블정보기술상무 ) 최석우 ( 한국정보기술상무 ) 재무이사 강민구 ( 경기과학기술대학교교수 ) 강희훈 ( 여주대학교교수 ) 곽칠성 ( 재능대학교교수 ) 김경복 ( 경복대학교교수 ) 문현욱 ( 동원대학교교수 ) 안성수 ( 명지전문대학교수 ) 이용구 ( 한림성심대학교교수 ) 이종하 ( 전주비전대학교교수 ) 주진화 ( 오산대학교교수 ) 학술이사 구자일 ( 인하공업전문대학교수 ) 김덕수 ( 동양미래대학교교수 ) 김용중 ( 한국폴리텍대학교수 ) 김종오 ( 동양미래대학교교수 ) 이동영 ( 명지전문대학교수 ) 이영종 ( 여주대학교교수 ) 이영진 ( 을지대학교교수 ) 이종용 ( 광운대학교교수 ) 장경배 ( 고려사이버대학교교수 ) 정경권 ( 동신대학교교수 ) 사업이사 고정환 ( 인하공업전문대학교수 ) 김영우 ( 두원공과대학교교수 ) 김윤석 ( 상지영서대학교교수 ) 박진홍 ( 혜전대학교교수 ) 방극준 ( 인덕대학교교수 ) 변상준 ( 대덕대학교교수 ) 심완보 ( 충청대학교교수 ) 오태명 ( 명지전문대학교수 ) 장성석 ( 영진전문대학교수 ) 산학연이사 서병석 ( 상지영서대학교교수 ) 성홍석 ( 부천대학교교수 ) 원우연 ( 폴리텍춘천교수 ) 이규희 ( 상지영서대학교교수 ) 이정석 ( 인하공업전문대학교수 ) 이종성 ( 부천대학교교수 ) 정환익 ( 경복대학교교수 ) 최홍주 ( 상지영서대학교교수 ) 한완옥 ( 여주대학교교수 ) 협동이사 강현석 ( 로보웰코리아대표 ) 고강일 ( 이지테크대표 ) 김민준 ( 베리타스부장 ) 김연길 ( 대보정보통신본부장 ) 김창일 ( 아이지대표 ) 김태웅 ( 윕스부장 ) 남승우 ( 상학당대표 ) 박정민 ( 오므론과장 ) 오재곤 ( 세인부사장 ) 유제욱 ( 한빛미디어부장 ) 이요한 ( 유성SDI 대표 ) 이진우 ( 글로벌이링크대표 )

16 The Magazine of the IEIE 제22대평의원명단 강동구 ( 한국전기연구원책임연구원 ) 강문식 ( 강릉원주대학교교수 ) 강성원 ( 한국전자통신연구원부장 ) 강진구 ( 인하대학교교수 ) 강창수 ( 유한대학교교수 ) 고성제 ( 고려대학교교수 ) 고영채 ( 고려대학교교수 ) 고요환 ( 매그나칩반도체 전무 ) 고정환 ( 인하공업전문대학교수 ) 공배선 ( 성균관대학교교수 ) 공준진 ( 삼성전자 마스터 ) 구용서 ( 단국대학교교수 ) 구원모 ( 전자신문사대표이사 ) 권기룡 ( 부경대학교교수 권기원 ( 성균관대학교교수 ) 권순철 ( 기가코리아사업단단장 ) 권오경 ( 한양대학교교수 ) 권종기 ( 한국전자통신연구원책임연구원 ) 권종원 ( 한국산업기술시험원선임연구원 ) 권호열 ( 강원대학교교수 ) 김경기 ( 대구대학교교수 ) 김경연 ( 제주대학교교수 ) 김광순 ( 연세대학교교수 ) 김기남 ( 삼성전자 사장 ) 김남용 ( 강원대학교교수 ) 김달수 ( 티엘아이대표이사 ) 김대순 ( 전주비전대학교교수 ) 김덕진 ( 명예회장 ) 김도현 ( 명예회장 ) 김도현 ( 제주대학교교수 ) 김동규 ( 한양대학교교수 ) 김동순 ( 전자부품연구원센터장 ) 김동식 ( 인하공업전문대학교수 ) 김동현 (ICTK 사장 ) 김만배 ( 강원대학교교수 ) 김봉태 ( 한국전자통신연구원본부장 ) 김부균 ( 숭실대학교교수 ) 김상철 ( 국민대학교교수 ) 김상태 ( 한국산업기술평가관리원본부장 ) 김상효 ( 성균관대학교교수 ) 김선용 ( 건국대학교교수 ) 김선욱 ( 고려대학교교수 ) 김성대 (KAIST 교수 ) 김성우 ( 서울대학교교수 ) 김성호 ( 한국산업기술평가관리원팀장 ) 김소영 ( 성균관대학교교수 ) 김수중 ( 명예회장 ) 김수찬 ( 한경대학교교수 ) 김수환 ( 서울대학교교수 ) 김승천 ( 한성대학교교수 ) 김시호 ( 연세대학교교수 ) 김영권 ( 명예회장 ) 김영로 ( 명지전문대학교수 ) 김영선 ( 대림대학교교수 ) 김영진 ( 한국생산기술연구원수석연구원 ) 김영철 ( 군산대학교교수 ) 김영학 ( 한국산업기술평가관리원본부장 ) 김영환 ( 포항공과대학교교수 ) 김용민 ( 충청대학교교수 ) 김용석 ( 성균관대학교교수 ) 김용신 ( 고려대학교교수 ) 김원종 ( 한국전자통신연구원실장 ) 김은원 ( 대림대학교교수 ) 김재곤 ( 한국항공대학교교수 ) 김재석 ( 연세대학교교수 ) 김재현 ( 아주대학교교수 ) 김재희 ( 연세대학교교수 ) 김정식 ( 대덕전자회장 ) 김정태 ( 이화여자대학교교수 ) 김정호 ( 이화여자대학교교수 ) 김종대 ( 한국전자통신연구원소장 ) 김종선 ( 홍익대학교교수 ) 김종옥 ( 고려대학교교수 ) 김준모 ( 한국과학기술원교수 ) 김지훈 ( 이화여자대학교교수 ) 김진상 ( 경희대학교교수 ) 김진수 ( 한밭대학교교수 ) 김진영 ( 광운대학교교수 ) 김 짐 ( 한국산업기술평가관리원선임연구원 ) 김창수 ( 고려대학교교수 ) 김창익 ( 한국과학기술원교수 ) 김태연 ( 삼성전자 상무 ) 김태욱 ( 연세대학교교수 ) 김태원 ( 상지영서대학교교수 ) 김태진 ( 더즈텍사장 ) 김 현 ( 부천대학교교수 ) 김현수 ( 삼성전자 상무 ) 김형중 ( 고려대학교교수 ) 김형탁 ( 홍익대학교교수 ) 김호철 ( 을지대학교교수 ) 김홍국 ( 광주과학기술원교수 ) 김 훈 ( 인천대학교교수 ) 김휘용 ( 한국전자통신연구원책임연구원 ) 김희석 ( 청주대학교교수 ) 나정웅 ( 명예회장 ) 남기창 ( 동국대학교교수 ) 남상엽 ( 국제대학교교수 ) 남상욱 ( 서울대학교교수 ) 남일구 ( 부산대학교교수 ) 노원우 ( 연세대학교교수 ) 노태문 ( 한국전자통신연구원책임연구원 ) 동성수 ( 용인송담대학교교수 ) 류수정 ( 삼성전자 상무 ) 문병인 ( 경북대학교교수 ) 문영식 ( 한양대학교교수 ) 문 용 ( 숭실대학교교수 ) 민경식 ( 국민대학교교수 ) 박광로 ( 한국전자통신연구원부장 ) 박규태 ( 명예회장 ) 박민호 ( 숭실대학교교수 ) 박병국 ( 서울대학교교수 ) 박성민 ( 이화여자대학교교수 ) 박성욱 (SK하이닉스 부회장 ) 박성한 ( 명예회장 ) 박수현 ( 국민대학교교수 ) 박영훈 ( 숙명여자대학교교수 ) 박인규 ( 인하대학교교수 ) 박종선 ( 고려대학교교수 ) 박종일 ( 한양대학교교수 ) 박진옥 ( 명예회장 ) 박찬구 ( 인피니언테크놀로지스파워세미텍대표이사 ) 박청원 ( 전자부품연구원원장 ) 박춘명 ( 한국교통대학교교수 ) 박항구 ( 명예회장 ) 박현창 ( 동국대학교교수 ) 박형무 ( 동국대학교교수 ) 박홍준 ( 포항공과대학교교수 ) 방성일 ( 단국대학교교수 ) 배준호 ( 가천대학교교수 ) 백광현 ( 중앙대학교교수 ) 백만기 ( 김 & 장법률사무소변리사 ) 백상헌 ( 고려대학교교수 ) 백준기 ( 중앙대학교교수 ) 백흥기 ( 전북대학교교수 ) 범진욱 ( 서강대학교교수 ) 변경수 ( 인하대학교교수 ) 변대석 ( 삼성전자 마스터 ) 변영재 ( 울산과학기술대학교교수 ) 서성규 ( 고려대학교교수 ) 서승우 ( 서울대학교교수 ) 서정욱 ( 명예회장 ) 서철헌 ( 숭실대학교교수 ) 서춘원 ( 김포대학교교수 ) 선우경 ( 이화여자대학교교수 ) 선우명훈 ( 아주대학교교수 ) 성굉모 ( 명예회장 ) 성해경 ( 한양여자대학교교수 )

17 손광준 ( 한국산업기술평가관리원 PD) 손보익 ( 실리콘웍스대표이사 ) 송문섭 (( 유 ) 엠세븐시스템대표이사 ) 송민규 ( 동국대학교교수 ) 송병철 ( 인하대학교교수 ) 송상헌 ( 중앙대학교교수 ) 송용호 ( 한양대학교교수 ) 송제호 ( 전북대학교교수 ) 송진호 ( 연세대학교교수 ) 송창현 ( 네이버 CTO) 신오순 ( 숭실대학교교수 ) 신요안 ( 숭실대학교교수 ) 신지태 ( 성균관대학교교수 ) 신현철 ( 한양대학교교수 ) 신현철 ( 광운대학교교수 ) 심동규 ( 광운대학교교수 ) 심정연 ( 강남대학교교수 ) 안병구 ( 홍익대학교교수 ) 안승권 (LG 사이언스파크대표 ) 안태원 ( 동양미래대학교교수 ) 안현식 ( 동명대학교교수 ) 엄낙웅 ( 한국전자통신연구원소장 ) 엄우용 ( 인하공업전문대학교수 ) 엄일규 ( 부산대학교교수 ) 연규봉 ( 자동차부품연구원팀장 ) 예종철 ( 한국과학기술원교수 ) 오상록 ( 한국과학기술연구원책임연구원 ) 오성목 (KT 사장 ) 오승록 ( 단국대학교교수 ) 오은미 ( 삼성전자 마스터 ) 오창현 ( 고려대학교교수 ) 우운택 ( 한국과학기술원교수 ) 원영진 ( 부천대학교교수 ) 원용관 ( 전남대학교교수 ) 유명식 ( 숭실대학교교수 ) 유성철 (LGH 본부장 ) 유창동 ( 한국과학기술원교수 ) 유창식 ( 한양대학교교수 ) 유태환 ( 한국전자통신연구원책임연구원 ) 유현규 ( 한국전자통신연구원책임연구원 ) 유회준 ( 한국과학기술원교수 ) 윤광섭 ( 인하대학교교수 ) 윤기방 ( 인천대학교명예교수 ) 윤석현 ( 단국대학교교수 ) 윤성로 ( 서울대학교교수 ) 윤영권 ( 삼성전자 마스터 ) 윤은준 ( 경일대학교교수 ) 윤일구 ( 연세대학교교수 ) 윤종용 ( 삼성전자 비상임고문 ) 윤지훈 ( 서울과학기술대학교교수 ) 이강윤 ( 성균관대학교교수 ) 이강현 ( 조선대학교교수 ) 이경중 ( 연세대학교교수 ) 이광엽 ( 서경대학교교수 ) 이규대 ( 공주대학교교수 ) 이문구 ( 김포대학교교수 ) 이문기 ( 명예회장 ) 이문석 ( 부산대학교교수 ) 이민영 ( 한국반도체산업협회본부장 ) 이민호 ( 경북대학교교수 ) 이병선 ( 김포대학교교수 ) 이병욱 ( 이화여자대학교교수 ) 이상근 ( 중앙대학교교수 ) 이상설 ( 명예회장 ) 이상신 ( 광운대학교교수 ) 이상준 ( 수원과학대학교명예교수 ) 이상홍 ( 정보통신기술진흥센터 ( 전 ) 센터장 ) 이상회 ( 동서울대학교교수 ) 이상훈 ( 경남대학교교수 ) 이석희 (SK하이닉스 사장 ) 이성수 ( 숭실대학교교수 ) 이성철 ( 전자부품연구원수석연구원 ) 이승호 ( 한밭대학교교수 ) 이승훈 ( 서강대학교교수 ) 이원석 ( 동양미래대학교교수 ) 이윤식 ( 울산과학기술대학교교수 ) 이윤종 ( DB하이텍부사장 ) 이인규 ( 고려대학교교수 ) 이장명 ( 부산대학교교수 ) 이재진 ( 숭실대학교교수 ) 이재홍 ( 서울대학교교수 ) 이재훈 ( 유정시스템 사장 ) 이종호A ( 서울대학교 ( 바이오 ) 교수 ) 이종호B ( 서울대학교 ( 반도체 ) 교수 ) 이진구 ( 명예회장 ) 이찬수 ( 영남대학교교수 ) 이찬호 ( 숭실대학교교수 ) 이창우 ( 카톨릭대학교교수 ) 이채은 ( 인하대학교교수 ) 이천희 ( 전임회장 ) 이충용 ( 연세대학교교수 ) 이충웅 ( 명예회장 ) 이태원 ( 명예회장 ) 이필중 ( 포항공과대학교명예교수 ) 이한호 ( 인하대학교교수 ) 이혁재 ( 서울대학교교수 ) 이호경 ( 홍익대학교교수 ) 이후진 ( 한성대학교교수 ) 이흥노 ( 광주과학기술원교수 ) 이희국 ( LG 상임고문 ) 이희덕 ( 충남대학교교수 ) 인치호 ( 세명대학교교수 ) 임성빈 ( 숭실대학교교수 ) 임신일 ( 서경대학교교수 ) 임재열 ( 한국기술교육대학교교수 ) 임제탁 ( 명예회장 ) 임형규 (SK텔레콤고문 ) 임혜숙 ( 이화여자대학교교수 ) 장길진 ( 경북대학교교수 ) 장은영 ( 공주대학교교수 ) 장익준 ( 경희대학교교수 ) 장태규 ( 중앙대학교교수 ) 전경훈 ( 삼성전자 부사장 ) 전국진 ( 서울대학교교수 ) 전병우 ( 성균관대학교교수 ) 전영현 ( 삼성SDI 대표이사 ) 전홍태 ( 중앙대학교교수 ) 정교일 ( 한국전자통신연구원책임연구원 ) 정길도 ( 전북대학교교수 ) 정연모 ( 경희대학교교수 ) 정영모 ( 한성대학교교수 ) 정원영 ( 태성에스엔이이사 ) 정은승 ( 삼성전자 사장 ) 정정화 ( 명예회장 ) 정제창 ( 한양대학교교수 ) 정종문 ( 연세대학교교수 ) 정 준 ( 쏠리드대표이사 ) 정진곤 ( 중앙대학교교수 ) 정진균 ( 전북대학교교수 ) 정진용 ( 인하대학교교수 ) 정항근 ( 전북대학교교수 ) 제민규 ( 한국과학기술원교수 ) 조경록 ( 충북대학교교수 ) 조경순 ( 한국외국어대학교교수 ) 조남익 ( 서울대학교교수 ) 조도현 ( 인하공업전문대학교수 ) 조상복 ( 울산대학교교수 ) 조성현 ( 한양대학교교수 ) 조승환 ( 삼성전자 부사장 ) 조재문 ( 삼성전자 부사장 ) 조중휘 ( 인천대학교교수 ) 조진웅 ( 전자부품연구원수석연구원 ) 주성순 ( 한국전자통신연구원박사 ) 주영복 ( 한국기술교육대학교교수 ) 진 훈 ( 경기대학교교수 ) 차철웅 ( 전자부품연구원책임연구원 ) 채관엽 ( 삼성전자 수석연구원 ) 채영철 ( 연세대학교교수 ) 천경준 ( 씨젠회장 ) 최강선 ( 한국기술교육대학교교수 )

18 The Magazine of the IEIE 최기영 ( 서울대학교교수 ) 최성현 ( 서울대학교교수 ) 최승원 ( 한양대학교교수 ) 최승종 (LG 전자 전무 ) 최영규 ( 한국교통대학교교수 ) 최영진 ( 한양대학교교수 ) 최윤경 ( 삼성전자 마스터 ) 최재식 (UNIST 교수 ) 최정환 ( 삼성전자 마스터 ) 최준림 ( 경북대학교교수 ) 최중호 ( 서울시립대학교교수 ) 최진성 ( 도이치텔레콤 부사장 ) 최천원 ( 단국대학교교수 ) 최해철 ( 한밭대학교교수 ) 최현철 ( 경북대학교교수 ) 한동석 ( 경북대학교교수 ) 한수희 ( 포항공과대학교교수 ) 한영선 ( 경일대학교교수 ) 한종기 ( 세종대학교교수 ) 한태희 ( 성균관대학교교수 ) 함철희 ( 삼성전자 마스터 ) 허경무 ( 단국대학교교수 ) 허서원 ( 홍익대학교교수 ) 허 염 ( 실리콘마이터스대표이사 ) 허 영 ( 한국전기연구원본부장 ) 허재두 ( 한국전자통신연구원본부장 ) 허 준 ( 고려대학교교수 ) 호요성 ( 광주과학기술원교수 ) 홍국태 (LG 전자 연구위원 ) 홍대식 ( 연세대학교교수 ) 홍민철 ( 숭실대학교교수 ) 홍승홍 ( 명예회장 ) 홍용택 ( 서울대학교교수 ) 홍유식 ( 상지대학교교수 ) 홍인기 ( 경희대학교교수 ) 황성운 ( 홍익대학교교수 ) 황승구 ( 한국전자통신연구원소장 ) 황승훈 ( 동국대학교교수 ) 황인정 ( 명지병원책임연구원 ) 황인철 ( 강원대학교교수 ) 황인태 ( 전남대학교교수 ) 사무국직원명단송기원국장 - 대외업무, 업무총괄, 기획, 자문, 산학연, 선거, 지부이안순부장 - 국내학술, 총무, 포상, 임원관련, 시스템및제어소사이어티배지영부장 - 국제학술, 국문논문, 교육, 컴퓨터소사이어티, 산업전자소사이어티배기동차장 - 사업, 표준화, 용역, 회원관리, 홍보, 신호처리소사이어티변은정차장 - 재무 ( 본회 / 소사이어티 / 연구회 ), 학회지, 통신소사이어티김천일차장 - 정보화, 반도체소사이어티장다희서기 - 국제학술, 국제업무, SPC/JSTS 영문지발간

19 신규회원가입현황 (2018 년 7 월 7 일 년 8 월 13 일 ) 정회원이병찬 (( 주 ) 에이디텍 ), 최성빈 (( 주 ) 에이디텍 ), 류동열 (( 주 ) 에이디텍 ), 임현자 ( 국방과학연구소 ), 강민성 ( 디지스트 ), 김주혜 ( 풍산기술연구원 ), 최선열 ( 한화시스템 ), 이승훈 ( 한화시스템 ), 하진혁 ( 한화시스템 ) 이상 9명학생회원김태구 ( 경북대학교 ), 뉴엔반비엣 ( 동국대학교 ), 최진태 ( 서울시립대학교 ), 최승진 ( 서울시립대학교 ), 안이은 ( 성균관대학교 ), 노재현 ( 세종대학교 ), 김지환 ( 세종대학교 ), 심성준 ( 세종대학교 ), 남형석 ( 숭실대학교 ), 오녹덕 ( 숭실대학교 ), 당두이닌 ( 숭실대학교 ), 최준호 ( 인하대학교 ), 이승현 ( 인하대학교 ), 김영선 ( 한국과학기술원 ), 전재훈 ( 한국과학기술원 ), 천수경 ( 한국교통대학교 ), 홍은영 ( 한국외국어대학교 ), 박현진 ( 한국항공대학교 ), 최도영 ( 한밭대학교 ), 이희열 ( 한양대학교 ) 이상 20명 13 전자공학회지 _ 661

20 학회일지 The Institute of Electronics and Information Engineers 2018년 7월 17일 ~ 2018년 8월 10일 1. 회의개최 회의명칭일시장소주요안건 제 4 차추계조직위원회의 7.20 (07:30) 쉐라톤서울팔래스강남호텔 - 학술대회프로그램구성및진행논의외 ITC-CSCC 2019 운영위원회의 7.20 (17:00) 학회회의실 - 조직위원구성및주요일정논의외 제 3 차 SPC 운영위원회의 7.26 (07:30) 쉐라톤서울팔래스강남호텔 - 논문인용활성화방안마련및 SCIE 신청추진검토 662 _ The Magazine of the IEIE 14

21 특 집 편 집 기 AR/VR 을위한비전기술및 Deep Learning 최신동향 이찬수편집위원 ( 영남대학교 ) 최근 4 차산업혁명이중요한 사회적이슈가되고있으며, 관 련하여영상이해분야도급속도 로발전하고있다. 더불어최근 에는가상현실 (Virtual Reality) 및증강현실 (Augumentred Reality) 기술을적용한다양한 기술들이개발되고, 사업화가진 행되고있다. 이러한상황에서 2018 년 2 월에개최되었던영상이해연구회겨울학교에서발 표되었던내용을중심으로하여최신의 AR/VR 을위한비 전기술및 Deep Learning 최신기술동향에대한소개 를통하여관련된분야에대한연구에대한이해를높이고 자본특집호를준비하게되었다. 이와관련하여 3 편의 AR/ VR 관련기술전문가의논문과 3 편의 Deep Learning 최신 동향에대한논문으로구성되어있다. 첫째, 딥러닝을이용한영상기반 3 차원얼굴복원기법의 기술동향 ( 박인규 ) 에서인간행동인식관련해서는 비디오기 반행동인식연구동향 ( 고병철 ) 에서 AR/VR 기술의발전과 더불어 3 차원영상의생성이중요한이슈가되는데, 특히 3 차원얼굴영상복원관련하여기존모델및 CNN 기반의방 법들을소개한다. 둘째, 시선추적기술의소개 ( 조성현 ) 을 통하여, 가상현실시장의확대와더불어부상하고있는시선추적의다양한기술및관련기술및하드웨어구성을소개한다. 셋째, 360도영상을이용한 AR/VR 콘텐츠생성 ( 호요성 ) 에서는방송에서중요하게다루어지는다시점영상및 360 영상의촬영및전송과관련된최신동향을살펴본다. 3편의 Deep Learning 최신동향논문에서는첫째, 저용량프로세서를위한딥러닝레이어압축기법과응용 ( 고병철 ) 에서최근에 Deep Leaning의네트워크구조가복잡하고 Layer가증가하면서파라미터가많이증가하는데, 이러한파라미터수및연산량을줄이기위한최신기술을소개한다. 둘째, 의미적분할을위한약지도기계학습 ( 곽수하 ) 에서는최근 Deep Learning 구조의수많은계층과파라미터를학습하기위하여요구되는방대한레이블데이터에대한해결방안으로약지도학습에의한접근방법을제시한다. 마지막으로 Structured Prediction in Computer Vision( 장주용 ) 에서는 Structured Prediction을위한확률모델을소개한다. 바쁜일정중에본특집호를위하여옥고를보내주신집필진여러분께감사드리며, 본특집호가인간행동분석및이해와관련된기술교류및협력을위한발판이되고, 관련기술발전의새로운계기가되기를기원한다. 15 전자공학회지 _ 663

22 특집 딥러닝을이용한영상기반 3 차원얼굴복원기법의기술동향 딥러닝을이용한영상기반 3 차원얼굴복원기법의 기술동향 Ⅰ. 서론 원소미인하대학교정보통신공학과이정우인하대학교정보통신공학과박인규인하대학교정보통신공학과 주어진영상으로부터의 3차원얼굴복원은얼굴분석, 애니메이션및인식등의많은컴퓨터비전및그래픽스응용분야에서중요한역할을하고있으며, 특히증강현실과가상현실분야의핵심기술로촉망받고있다. Blanz 와 Vetter가 3차원얼굴복원을위해 3D morphable model(3dmm) [1] 의사용을제안한이후로 3DMM을기반으로한 3차원얼굴복원은가장널리쓰이는방식이되었다. 그로부터지난이십여년간의연구는 3D 얼굴모델의평균형상과입력영상간의대응점을찾고비선형최적화함수를통해 3DMM의형상및표정계수를회귀분석하는방식이대부분이었다. 그러나이러한방법들은랜드마크의정확도에크게의존하므로다양한조명, 자세및가려짐과같은극한의조건하의영상에대한 3차원얼굴복원은여전히도전과제로남게되었다. CNN 기반의딥러닝방식이물체추적, 영상분할등의여러컴퓨터비전분야에서성공적으로적용되어온것과같이, 3차원얼굴복원분야에서도최근 CNN을통해주어진입력영상으로부터 3차원얼굴을복원하는방식이개발되었다 [2-6]. CNN 기반의방식은여러측면에서 3차원얼굴복원능력을향상시킨다. [35, 36] 에서는영상으로부터보다강인하게랜드마크를탐색하는방법을학습하고, 3DMM 계수를계산한다. [7, 8, 9, 10, 11] 은단하나의네트워크를통해얼굴랜드마크나드러난특징들을사용하지않고도직접적으로영상에서 3DMM의형상및표정계수를학습하도록하였다. 최근에 [12, 13] 에서는 CNN을통해영상의화소들을 3D 얼굴구조에직접매핑하는방식을제안하였다. 본기고문은딥러닝을통한 3차원얼굴복원의최근동향을소개한다. 기고문의구성은다음과같다. 2장에서는 3DMM을이용한전통적 664 _ The Magazine of the IEIE 16

23 딥러닝을이용한영상기반 3 차원얼굴복원기법의기술동향 인얼굴형상복원기법을소개하고장단점을살펴본다. 3장에서는딥러닝을이용한최신 3차원얼굴복원기법을소개한다. 4장에서는향후연구전망을제시한다. Ⅱ. 3 차원얼굴형상복원을위한전통적기법 딥러닝기법이활발히이용되기이전의전통적인 3차원얼굴복원기법은크게 3D morphable model(3dmm) 기반 [1,14-15,17-19] 과 3D 메쉬템플릿기반 [21,27] 의두가지방식으로나뉠수있다. 1. 3D Morphable Model (3DMM) 기반방식 Vetter와 Blantz는 3차원얼굴을표현하기위해주성분분석 (principal components analysis, PCA) 기반의 3D morphable face model (3DMM) 을고안했다. 이방식에서는개개인의얼굴은강한형태의유사성을지니므로, 낮은차원의공간에서사람의다양한얼굴변화를포착하는통계적형태의모델이얼굴의복원을위해사용된다. 몇가지모델에서는중립적표정의형상만을포착 [1,8,14] 하거나또는표정을추가 [26,35] 하기도한다. 일반적으로얼굴모델은아래와같이쌍선형표현으로나타내진다. (1) 식 (1) 에서는평균 3차원얼굴형상, 는어떠한 3 차원얼굴데이터베이스를 PCA 분석하여얻은번째얼굴형상의기저벡터그리고는번째얼굴표정의기저벡터를나타낸다. 은형상과표정계수의차원을의미한다. 이방식의목표는입력된영상에최대한가깝게 3DMM을변경할수있는개의매개변수를추정해내는것이다. < 그림 1> 은 3DMM의형상및표정 < 그림 1> 3D morphable face model (3DMM). 형상과표정매개변수를추정하여입력영상과변형된 3 차원얼굴을일치시킨다. 매개변수의역할을보여주고있다. 3DMM의매개변수를추정하기위해대부분의기존의방식은입력영상과 3차원평균모델간의랜드마크나국부적특징의대응점간의일치성을확립하고자한다. 이방식에서는비선형최적화함수를풀기위해대응점간의거리를기준으로식 (2) 와같은에너지함수를설정하고카메라자세, 얼굴의형상및표정매개변수를반복적으로추정한다. (2) 여기서첫번째항은회귀모델의데이터항이며, 는스케일, 는이동벡터그리고은회전행렬을나타낸다. 는 3DMM의 k번째키포인트의좌표이며는그에해당하는 2차원영상의랜드마크이다. 는정규화 (regularization) 항의가중치이다. 는번째형상계수, 는번째표정계수이다. 와는 SVD로얻어진특이값이다. 적절한에너지최소화기법을활용하여카메라자세, 형상과표정계수를반복적으로추정하여최적의값으로수렴시킨다. 지난십수년간많은연구자들은다양한입력영상에대해얼굴랜드마크와지역특징점을정확하게얻거나 3DMM 계수를정확히결정하기위한강인한피팅방법을만들기위해노력하였다. 3DMM을사용하는가장큰장점은해공간이제한되어문제를단순화한다는것이다. 그러나 PCA 기반의방식은개략적인얼굴형상의표현은가능하지만피부주름과같은얼굴의세부적인형상표현은제한된다. 게다가랜드마크를일치시키는방식은특징점검출기의정확도에크게의존하는단점을가진다. 2. 템플릿기반방식템플릿기반방식 [21,27] 은입력영상과일치하도록 3 차원얼굴메쉬모델의템플릿을변형시켜서문제를해결하는대안적접근법이다. 주목할만한논문은 Kemelmacher 와 Basri의논문 [27] 이다. 이논문에서는참조모델을입력영상과결합하고, shade-fromshading (SfS) 기법을사용하여입력영상에일치하는참조모델의표면반사특성을조정한다. 저자는이를위 17 전자공학회지 _ 665

24 원소미, 이정우, 박인규 존한다. < 그림 2> 에 3DMM 기반방식과템플릿기반의방식간의차이를나타내었다. Ⅱ. 딥러닝을이용한 3 차원얼굴형상복원기법 < 그림 2> 3DMM 기반방식과템플릿기반방식의비교. ( 좌 ) 입력영상, ( 중 ) 3DMM 방식으로모델링한결과 [35], ( 우 ) 템플릿방식으로모델링한결과 [27]. 음영정보를결합함으로써템플릿기반의방식은얼굴의세부묘사를더잘할수있다. 해 Lambertian 반사모델, 무한광원, 그리고참조모델간의대략적인정렬을가정하였다. 얼굴영상의형성은다음과같이나타낼수있다. (3) 여기서는무한대에놓인단일점광원의방향과강도를나타내는 3차원벡터, 는각표면점에서표면법선벡터, 은 2차구면조화함수 (spherical harmonics function) 벡터이고, 는각지점의표면반사율이다. 참조모델을사용하여조명및자세를추정할수있고, 이것들은표면반사율의초기추정치를제공한다. 결과적으로반사율함수는미지의표면법선의함수가된다. 가정점의깊이일때, 로인해표면반사율방정식은편미 분방정식이되고그깊이를계산할수있게된다. 이에음영정보를결합함으로써이방식은이론적으로는얼굴영상의주름과같은세부정보를복구할수있다. 그러나이방식은위에언급했듯이광원과얼굴반사율등에대해강한가정을하였고이러한가정은실제적인적용범위를제한한다. Hassner [20] 는입력영상과템플릿모델간의외형과깊이의유사도를최대화하는방식을제안하였다. 템플릿기반 3차원얼굴복원방식은입력영상의세부묘사를복원하는데에보다효과적이지만템플릿초기화에크게의 지난수년간컴퓨터비전분야에서 CNN이성공적으로적용되면서연구자들은입력된영상으로부터 3차원얼굴을복원하는문제에도 CNN을적용하기시작했으며여러부분에서비약적인성능향상이이루어졌다. 1. CNN 기반의얼굴특징점정렬 (alignment) 얼굴특징점정렬은얼굴영상을정규화할수있는기준인 눈꼬리, 코끝 그리고 턱중심 등과같은얼굴의기준점들을찾는것을목표로한다. 이는많은얼굴분석작업들을위한필수적인전처리단계이다. 기존의 3DMM 기반의방식은대개얼굴정렬로부터시작하여얼굴랜드마크와대응되는투영된 3차원정점간의오차를최소화하는식으로 3DMM 계수를회귀분석하여추정한다. 딥러닝이출현하기이전에는점진적회귀분석이 2 차원얼굴정렬 [28-29] 에서최첨단기술로쓰였다. 이러한방법은최근 LFPW [30], Helen [19] 및 300-W [25] 등과같은자세변화가제어된 2차원얼굴정렬문제를통해대략적으로 해결 된것으로간주된다. [16] 에서제안한방식은직렬로연결된 CNN을통해얼굴랜드마크의위치를회귀분석하였다. 최근에제안된 [23] 의방식은발전된랜드마크지역화구조와잔차블록 (residual block) 을합성하여고성능의네크워크를구축하였다. 이를대용량의 2차원얼굴랜드마크데이터셋으로훈련시킨후다른모든 2차원얼굴랜드마크데이터셋과비교하였다. 얼굴정면에대한 2차원랜드마크에서의큰성공에도불구하고다양한포즈를가진얼굴들은스스로가려지는효과에의해일부랜드마크가보이지않기에여전히도전적인과제로남아있게된다. 최근연구 [2-3] 에서는 3차원얼굴랜드마크정렬방식을제안하였으며 CNN을사용하여입력영상에반복적으로 3차원변형가능모델을적용 666 _ The Magazine of the IEIE 18

25 딥러닝을이용한영상기반 3 차원얼굴복원기법의기술동향 < 그림 4> 랜드마크를사용하지않는 3 차원복원을위한순차연결된 (cascade) 네트워크구조 [6]. CoarseNet, FineNet 과렌더링층을결합하였다. < 그림 3> 기존의얼굴정렬알고리즘에서는다루힘든극단적인자세에서의 [23] 의결과들. 빨간선은참값 (ground truth), 흰색선은 [23] 의예측값을나타낸다. [23] 의예측값이참값보다정확하다. < 표 1> 다양한기법의정량적성능비교. 300W 실험데이터에서의곡선아래영역 (area-under-the-curve, AUC) 과실패율 (0.08 의입계값으로정규화 ) 의비교결과로서수치는 [37] 에서발췌함. AUG 는높은값이우수한성능임. 알고리즘 평균오차 (%) AUC 실패율 (%) ESR [28] ERT [31] LBF [32] SDM++ [29] MDM [33] DAN [34] 하고정점을 2차원영상에투영하여랜드마크의위치를추정하였다. [23] 에서는 3차원얼굴정렬을위한네트워크를훈련시키고새로이만들어진 3차원랜드마크가표시된약 230,000여개의영상데이터셋에서이를평가하였다. < 그림 3> 은 [23] 의얼굴특징점정렬결과를보인다. CNN 기반의얼굴정렬방식은어려운자세와가려짐에대한강한이점을나타내고있다. < 표 1> 은서로다른얼굴정령방식들의성능을보여주고있다. CNN 기반의방식이자세나가려짐에의해어려운영상에서더나은성능을보이고있음을알수있다. 얼굴특징점정렬이후, 3DMM과영상간의대응점이설정될수있으며, 그에따라비선형최적화함수를풀어서얼굴복원을위한형상과표정계수를추정할수있게된다. 2. CNN 기반의 3DMM 얼굴형태와얼굴표정계수학습최근의연구들은 CNN을통해 3DMM의얼굴형상과표정계수를추정한다. [2, 3, 5] 는연속적으로연결된 입력영상 [6] [27] [4] [35] [6] [27] [4] [35] < 그림 5> 입력영상에대한서로다른네가지 ([6][27][4][35]) 3차원얼굴복원방식들의결과를두개의시점에서표현한결과의비교. 실험결과는 [6] 에서발취함. CNN 구조를사용하여랜드마크의위치와 3DMM 계수를반복적으로구하였다. 최근에는랜드마크기반의방식뿐아니라랜드마크를사용하지않는딥러닝을이용한 3차원얼굴복원방식도좋은성능을보이고있다. [6] 에서는단일네트워크를사용하여 3DMM 계수를추측한다. 이는 < 그림 4> 에서와같이네트워크의이전출력을나타내는피드백채널을일련의특징지도로추가하여수행한다. 하나의특징지도는현재정점의 RGB 채널을 x, y, z 좌표가일치하는평균모델의정점을사용해페인팅하여계산된다. 다른특징지도는정점에서의법선벡터를 RGB값으로사용하는데에사용된다. 특징지도는얼굴형태의다양한표현과계수의회귀분석을돕는다. [8] 에서는형상매개변수의탐지를직접학습하는깊은네트워크인 reset101을사용하였다. 이러한깊은네트워크를훈련시키기위해저자는 50만여개의영상을사용하였다. [11] 은이연구를확장하여랜드마크탐색없이표정계수들을학습하도록하였다. 이전에도언급했듯이 3DMM을통해서는세부정보를표한하기가어렵다. 따라서 3DMM의계수를추청한후, [11] 은얼굴기하정보를개선하기위해새로운네트워크를추가하고두네트워크를연결하기위한새로운렌더링층을만들었다. < 그림 5> 는서로다른방식들에대한비교 19 전자공학회지 _ 667

26 원소미, 이정우, 박인규 결과를보이고있다. < 그림 5> 에서볼수있듯이 CNN 기반의방식은효율성과정확성측면에서뛰어난결과를나타내고있다. 3. CNN 기반의영상으로부터 3차원모델직접학습기법모델기반방식은모델형상공간에제약이있는제한된형상을생성한다. 널리사용되는 Basel Face Model (BFM) [1] 은무표정으로제약된조건에서촬영한 200개의피사체로만들어졌으며, 표정베이스는주로 FaceWarehouse 데이터셋 [26] 을사용한다. 적은트레이닝세트는얼굴형상의다양성에한계를가져온다. 한편 3차원변형가능얼굴모델은평균얼굴과기초의선형조작을통해표현할수있다. 이때, 선형행렬연산으로볼수있는최적화알고리즘을사용하여새로운 3차원메쉬를생성하는계수를추정한다. 그러므로 3DMM은얼굴모델을입력영상과완벽하게정렬하는데에는성능이제한적이다. 이문제를해결하기위해 [12] 는 3차원복셀볼륨을제안하고 해상도의복셀볼륨을생성하는 volumetric regression network (VRN) 을사용하였다. 먼저 3DMM을모두 3차원볼륨으로바꾸고얼굴복원문제를 3차원공간분할문제로변환한다. 저자는하나의 2차원영상에서 3차원얼굴기하학의체적표현을직접회귀분석하는 CNN인 VRN을구축하였다. < 그림 6> 은영상과 3차원볼륨구조로훈련된네트워크를보이고있다. 이논문은얼굴복원을위한사전작업으로서의얼 < 그림 6> VRN 의네트워크구조 [12]. 입력된 2 차원영상과출력된 3 차원볼륨구조를보여줌. < 그림 7> VRN 의얼굴복원결과 ([12] 에서발췌함 ). 첫번째행은입력된 2 차원영상이고두번째행은출력된 3 차원볼륨구조이다. 굴정렬을필요로하지않는다. 이방식은 3차원얼굴복원문제에서 CNN의가능성을보여주는개척자의역할을하고있다. < 그림 7> 은 3차원얼굴복원의결과를보여주고있으며, 그림에서볼수있듯이 3차원모델이형상과표정모두입력영상과잘일치한다. [13] 은완전한 3차원얼굴구조의표현으로 UV 위치지도를제안하였다. UV 위치지도는 UV 공간에서 3DMM의정점 3차원좌표를기록하는 2차원영상이다. 저자는입력된 2차원영상을완전한 3차원얼굴구조로회귀분석하는순차연결네트워크를구축하였다. 두방법모두기존의 3DMM 및맞춤방식의한계를뛰어넘는다. 딥러닝을통해화소를직접 3차원점에매핑하므로두방식들은모델공간을기반으로한방법이아니다. 위의이유로 3차원모델이 2차원영상에거의완벽하게정렬된다 [24]. 또한선형 3DMM 얼굴모델의한계를다루며기존의선형 3DMM 보다더우수한표현능력을갖는비선형모델을학습하는기법을제안하였다. Ⅳ. 향후연구전망 기존의 3차원얼굴복원에비하여 CNN 기반의방식은다양한자세와같은어려운조건에서영상으로부터의 3DMM 계수의회귀분석에서더뛰어난성능을보인다. 또한딥러닝네트워크는기존의선형 3DMM 모델의한계를넘어입력얼굴영상의화소로부터직접 3차원점의위치를추정해낼수있다. 그러나 CNN 네트워크는많은양의데이터셋을통한지도적학습을받아야하며입력영상의해상도가상대적으로낮게고정된다는단점이있다. 향후의연구는지도학습의주석이달린데이터셋의부족에대한문제를보완하기위해 GAN (generative adversarial network) 등을이용한비지도학습에초점이맞춰질것이다. 게다가극단적인조명, 심한얼굴의가려짐등의극한의상황에서의얼굴복원또한해결되어야할문제로남아있다. 최근논문 [12-13] 은입력된 2차원영상으로부터직접적으로 3차원구조를학습하는최근의경향을보여준다. 이는 3차원변형가능얼굴모델의한계를뛰어넘는다. 그러나본방법은여전히출력된 3차 668 _ The Magazine of the IEIE 20

27 딥러닝을이용한영상기반 3 차원얼굴복원기법의기술동향 원구조가입력영상으로부터의세부사항을복구할수없으며, 일반적으로입력해상도가작은크기로고정되는등의단점을가지고있다. 이것은미래연구에서해결해야할문제점이다. 참고문헌 [1] V. Blanz and T. Vetter, A morphable model for the synthesis of 3D faces, Proc. ACM SIGGRAPH, 1999 [2] A. Jourabloo and X. Liu, Large-pose face alignment via CNN-based dense 3D model fitting, Proc. IEEE CVPR, [3] X. Zhu, Z. Lei, X. Liu, H. Shi, and S. Z. Li, Face alignment across large poses: A 3D solution, Proc. IEEE CVPR, [4] E. Richardson, M. Sela, and R. Kimmel, 3D face reconstruction by learning from synthetic data, Proc. 3DV, 2016 [5] F. Liu, D. Zeng, Q. Zhao, and X. Liu, Joint face alignment and 3D face reconstruction, Proc. ECCV, 2016 [6] E. Richardson, M. Sela, R. Or-El, and R. Kimmel, Learning detailed face reconstruction from a single image, Proc. IEEE CVPR, [7] P. Dou, S. K. Shah, and I. A. Kakadiaris, End-to-end 3D face reconstruction with deep neural networks, Proc. IEEE CVPR, [8] A. T. Tuan, T. Hassner, I. Masi, and I. Medioni, Regressing robust and discriminative 3D morphable models with a very deep neural network, Proc. IEEE CVPR, 2017 [9] A. Jourabloo and X. Liu, Pose-invariant 3D face alignment, Proc. IEEE ICCV, 2015 [10] S Laine, T Karras, T Aila, A Herva, and J Lehtinen. Facial performance capture with deep neural networks, arxiv preprint arxiv: , 2016 [11] F.-J. Chang, A. Tran, T. Hassner, I. Masi, R. Nevatia, and G. Medioni, ExpNet: Landmark free, deep, 3D facial expressions, Proc. IEEE FGR, 2018 [12] A. S. Jackson, A. Bulat, V. Argyriou, and G. Tzimiropoulos Large pose 3D face reconstruction from a single image via direct volumetric CNN regression, Proc. IEEE CVPR, 2017 [13] Y. Feng, F. Wu, X. Shao, Y. Wang, X. Zhou, Joint 3D face reconstruction and dense alignment with position map regression Network, arxiv preprint arxiv: , 2018 [14] V. Blanz, K. Scherbaum, T. Vetter, and H. Seidel, Exchanging faces in images, Computer Graphics Forum, [15] B. Chu, S. Romdhani, and L. Chen, 3D-aided face recognition robust to expression and pose variations, Proc. IEEE CVPR, 2014 [16] Y. Sun, X. Wang, and X. Tang, Deep convolutional network cascade for facial point detection, Proc. IEEE CVPR, 2013 [17] S. Romdhani and T. Vetter, Efficient, robust and accurate fitting of a 3D morphable model. Proc. IEEE ICCV, 2003 [18] H. Tang, Y. Hu, Y. Fu, M. Hasegawa-Johnson, and T. S. Huang, Real-time conversion from a single 2d face image to a 3D text-driven emotive audio-visual avatar, Proc. IEEE ICME, 2008 [19] V. Le, J. Brandt, Z. Lin, L. Bourdev, and T. S. Huang, Interactive facial feature localization, Proc. ECCV, 2012 [20] T. Hassner and R. Basri, Example based 3D reconstruction from single 2D images, Proc. IEEE CVPR Workshops, 2006 [21] T. Hassner. Viewing real-world faces in 3D, Proc. IEEE ICCV, [22] Y. Taigman, M. Yang, M. Ranzato, and L. Wolf. Deepface: Closing the gap to human-level performance in face verification, Proc. IEEE CVPR, [23] A Bulat and G Tzimiropoulos, How far are we from solving the 2D&3D face alignment problem? (and a dataset of 230,000 3D facial landmarks), Proc. IEEE CVPR, 2013 [24] L. Tran and X. Liu, Nonlinear 3D face morphable model, Proc. IEEE CVPR, 2018 [25] C. Sagonas, G. Tzimiropoulos, S. Zafeiriou, and M. Pantic, A semi-automatic methodology for facial landmark annotation, Proc. IEEE CVPR, [26] C. Cao, Y. Weng, S. Zhou, Y. Tong, and K. Zhou, FaceWarehouse: A 3D facial expression database for visual computing, IEEE TVCG, 전자공학회지 _ 669

28 원소미, 이정우, 박인규 [27] I. Kemelmacher-Shlizerman and R. Basri, 3D face reconstruction from a single image using a single reference face shape, IEEE TPAMI, [28] X. Cao, Y. Wei, F. Wen, and J. Sun, Face alignment by explicit shape regression, Proc. IEEE CVPR, 2012 [29] X. Xiong and F. DelaTorre, Supervised descent method and its applications to face alignment, Proc. IEEE CVPR, 2013 [30] P. Belhumeur, D. Jacobs, D. Kriegman, and N. Kumar, Localizing parts of faces using a consensus of exemplars, Proc. CVPR, [31] V. Kazemi and J. Sullivan, One millisecond face alignment with an ensemble of regression trees, Proc. IEEE CVPR, [32] S. Ren, X. Cao, Y. Wei, and J. Sun, Face alignment at 3000 fps via regressing local binary features, Proc. IEEE CVPR, 2014 [33] G. Trigeorgis, P. Snape, M. A. Nicolaou, E. Antonakos, and S. Zafeiriou, Mnemonic descent method: A recurrent process applied for end-to-end face alignment, Proc IEEE CVPR, 2016 [34] M. Kowalski, J. Naruniec, and T. Trzcinski, Deep alignment network: A convolutional neural network for robust face alignment, Proc. IEEE CVPR Workshops, [35] Zhu, X., Lei, Z., Yan, J., Yi, D., Li, S.Z, High fidelity pose and expression normalization for face recognition in the wild, Proc. IEEE CVPR, [36] Grewe, C.M., Zachow. S, Fully automated and highly accurate dense correspondence for facial surfaces, Proc. IEEE ECCV [37] Y. Chen, C. Shen, H. Chen, X. S. Wei, L. Liu, J. Yang, Adversarial Learning of Structure Aware Fully Convolutional Networks for Landmark Localization, arxiv preprint arxiv: , 원소미 2016 년 8 월후난대학교컴퓨터공학과학사 2016 년 9 월 ~ 현재인하대학교정보통신공학과석사과정 < 관심분야 > 컴퓨터비전및그래픽스, deep learning 이정우 2018 년 8 월인하대학교정보통신공학과학사 2018 년 9 월 ~ 현재인하대학교정보통신공학과석사과정 < 관심분야 > 컴퓨터비전및그래픽스, deep learning 박인규 1995 년 2 월서울대학교제어계측공학과학사 1997 년 2 월서울대학교제어계측공학과석사 2001 년 8 월서울대학교전기컴퓨터공학부박사 2001 년 9 월 ~2004 년 3 월삼성종합기술원전문연구원 2007 년 1 월 ~2008 년 2 월미국 MERL 방문연구원 2014 년 9 월 ~2015 년 8 월 MIT 미디어랩방문부교수 2004 년 3 월 ~ 현재인하대학교정보통신공학과교수 < 관심분야 > 컴퓨터비전및그래픽스 (computational photography, light field, 영상기반얼굴 / 바디모델링 ), GPGPU 670 _ The Magazine of the IEIE 22

29 특집 시선추적기술의소개 시선추적기술의소개 Ⅰ. 서론 조성현 DGIST 정보통신융합전공 시선추적기술은사람의눈동자를관찰하여그사람이어디를보고있는지를알아내는기술을의미한다. 시선추적기술은사람의시선을파악함으로써사람이외부의시각적인자극에어떻게반응하는지를알아낼수있을뿐만아니라기계와사람사이의새로운인터페이스를가능하게하기때문에심리학이나신경과학, 마케팅연구등의다양한응용분야에서사용되어왔다. 또한최근에는운전중인사람의시선을파악하여운전자가졸거나피곤함을느끼는상태인지를파악하기위한시도들이있으며, 전신을움직일수없는장애인을위한안구마우스와같은시선추적기반의인터페이스등도사용되고있다. 시선추적기술의발전과더불어최근에는시선추적기술을게임과같은좀더대중화된분야에적용하기위한시도들이많이진행되고있다. 독일의 Tobii 사와같은경우자사의시선추적장치를게임에적용하기위한시도를활발히하고있으며, 시선추적장치뿐만아니라자사의홈페이지 1) 를통해시선추적기술이적용된게임들을 100여개이상제공하고있다. 최근몇년간의가상현실시장의성장과더불어시선추적기술역시가상현실로의적용이활발히시도되고있다. 일반적으로가상현실을체험하기위해서는헤드마운트디스플레이 (Head-Mount Display) 를장착해야하는데, 헤드마운트디스플레이를장착한상황에서는주변환경이보이지않기때문에사용자가키보드나마우스등의전통적인사용자인터페이스를사용할수없다. 이렇게제한적인환경에서시선추적은새로운종류의유저인터페이스를제공할수있다. < 그림 1> 1) 23 전자공학회지 _ 671

30 조성현 Ⅱ. 시선추적기술의분류 < 그림 1> Tobii 사의가상환경상에서의시선추적을이용한유저인터랙션데모 < 그림 2> FOVE 사의시선추적용헤드마운트디스플레이 에서와같이가상현실내에서사용자는자신이바라보고싶은방향을바라보기만하면시선추적센서가사용자의시선을감지하고이를통해메뉴를선택하는등의다양한인터랙션을가능케할수있다. 실제로이를위해최근몇년간가상현실용헤드마운드디스플레이에시선추적센서를통합한제품들이꾸준히등장하였다. 일본의스타트업기업인 FOVE사의경우 2014년부터시선추적장치를포함한헤드마운트디스플레이를개발하여큰관심을모았으며 (< 그림 2>), Tobii나독일의스타트업인 Pupil-labs, 국내스타트업인 VisualCamp 등여러업체에서시선추적기술을헤드마운트디스플레이에적용한기술들을선보였다. 또한 2016년에는오큘러스가시선추적기술기업인 Eye Tribe를인수한뉴스와구글이역시시선추적스타트업인 Eyefluence VR을인수한뉴스등이큰화제가되었다 [1-3]. 본글에서는이처럼점점더일반사용자에게가까이다가오고있는시선추적기술의작동원리에대해소개한다. 또한시선추적기술의구현방법및하드웨어구성에따른분류를알아본다. 그리고시선추적기술중가장많이사용되는기술인근적외선기반의시선추적기술의동작원리에대해서구체적으로소개한다. 시선추적기술은시선추적을위해사용하는하드웨어구성요소등에의해다양한방식으로분류할수있다. 우선사용자의눈영역을촬영하기위하여어떤파장의빛을이용하느냐에따라근적외선기반의방식과가시광선기반의방식으로구분할수있다. 근적외선기반의방식은 < 그림 3> 과같이사용자의눈영역을근적외선을이용하여촬영한다. 근적외선기반의방식은주로실내에서정밀한시선추적을위해사용된다. 근적외선기반의시선추적을위해서는근적외선영상을촬영할수있는카메라와근적외선광원이필요하다. 사람의눈에는어둡지않은실내라하더라도근적외선파장의빛은없을수있기때문에사용자의눈을정상적인밝기로촬영하기위해근적외선광원은필수적이다. 또한근적외선시선추적기술은헤드마운트디스플레이안에장착하는시선추적을위해서도가장적합한기술이다. 헤드마운트디스플레이안은다른광원이없이어둡기때문에사용자의눈을정상적으로촬영하기위해서는부가적인조명이있어야하는데가시광선조명과달리근적외선조명은사용자의시야에방해가되지않는다는장점이있다. 근적외선광원은 3장에서설명하듯이조명이외에도시선추적을위한추가적인정보를제공하는데사용되기도한다. 근적외선기반의시선추적은대신야외에서는정상적으로작동하지않을수있다는단점이있는데, 야외에서는태양광에지나치게많은근적외선이존재하기때문에이로인해시선추적을위한근적외선광원이방해를받기때문이다. 근적외선기반의시선추적은사용자의눈영역을근적외선으로촬영한뒤영상에서동공을검출하여시선추 < 그림 3> 근적외선으로촬영된눈영상. 가운데검은원이동공이고그주위의어두운원이홍채이다. 동공안의밝은점은근적외선광원이각막에반사된반사광이다. 672 _ The Magazine of the IEIE 24

31 시선추적기술의소개 < 그림 4> 가시광선으로촬영된눈영상. 동공과홍채가모두어두운색으로나타난다. 적에이용한다. 사람의눈에는홍채와동공이있는데일반적으로가시광선에서사람의눈을촬영하면홍채의색이짙은경우동공과홍채를쉽게구분할수없다. 하지만근적외선영상에서는홍채가비교적밝게촬영되고동공은뚜렷하게검은원으로촬영된다. 근적외선기반의시선추적에서는이검은원을검출하여동공을검출한다. 동공은눈꺼풀이나속눈썹에의해가려지지않고온전히보이는경우가많기때문에동공의중심의정확한위치를측정하기가비교적쉽다. 이러한점덕분에근적외선기반의시선추적은비교적높은정확도를얻을수있다. 가시광선기반의시선추적기술은이름그대로사용자의눈영역을가시광선을이용하여촬영한다 (< 그림 4>). 가시광선기반의시선추적기술은가시광선이충분하기만하면부가적인광원이필요없다는장점이있다. 또한태양광아래의야외에서도시선추적이가능하다는장점이있다. 그러나정확도는근적외선기반의시선추적에비해떨어지는편이다. 가시광선으로촬영된영상에서는홍채역시많은경우어두운색을띄기때문에동공과홍채를구분하기가쉽지않다. 따라서가시광선기반의시선추적기술은동공대신홍채영역을검출하는등의다른방식을시선추적에활용한다. 그러나이런방식은동공검출에비해정확도가떨어지는단점이있다. 예를들어홍채와같은경우일부분이눈꺼풀등에의해가려지기때문에정확한중심위치의파악이어렵다. 또한적외선기반의시선추적에서처럼부가적인광원에서얻을수있는추가정보의활용도어렵기때문에시선추적의정확도가상대적으로떨어진다. 이러한이유로높은정확도를요구하는대부분의상용시선추적장치들은적외선기반의시선추적기술을활용한다. 시선추적기술은시선추적센서와사용자와의거리에 < 그림 5> Tobii 사의시선추적용원격시스템 ( 상 ) 과 Pupil-Labs 사의헤드마운트시스템 ( 하 ). 원격시스템에서는디스플레이의아래쪽에시선추적센서가설치되어있다. 아래의헤드마운트시스템에서는오른쪽눈의아래에눈을바라보는카메라가있으며, 눈의위에사용자가바라보는장면을촬영하는카메라가설치되어있다. 따라원격시스템과헤드마운트시스템으로도분류할수있다 (< 그림 5>). 원격시스템은일반적으로사용자가컴퓨터모니터와같은디스플레이를바라보고있는환경에서디스플레이의아래에설치되며, 원격에서사용자의눈을촬영하고이를통해사용자가디스플레이의어느지점을바라보고있는지를추정한다. 원격시스템은사용자가특별히장비를직접착용하지않아도된다는장점이있으나카메라와사용자의눈사이의거리로인해정확도가떨어질수있다는단점이있다. 또한사용자의머리의움직임에따라시선추적결과가영향을받을수있다는단점이있다. 헤드마운트시스템은사용자가시선추적장치를실제로착용하고사용한다. 일반적으로는 < 그림 2> 에서처럼헤드마운트디스플레이와통합되어헤드마운트디스플레이안쪽에시선추적용카메라와조명이설치되어있는형태가있으며, 또는 < 그림 5> 와같이안경과같은형식으로사용자가가상현실이아닌실제현실에서보는시선을추적하는방식이있다. 헤드마운트시스템은시선추적을위해서는사용자가직접장비를착용해야한다는단점이있다. 그러나시선추적장비가사용자의머리에고정되어있기때문에머리의움직임에영향을덜받게되어원격시스템에비해더높은정확도를기대할수있다. 헤드마운트시스템역시더높은정확도를얻을수있는근적외선기반의방식이가시광선기반의방식에비 25 전자공학회지 _ 673

32 조성현 해더많이사용되고있다. Ⅱ. 근적외선기반의시선추적 본글에서는앞서소개한대로시선추적기술중높은정확도로인하여가장많이이용되는기술인근적외선기반의시선추적방식의동작방식에대해좀더자세히알아본다. 근적외선기반의시선추적을위해서는 < 그림 6> 과같이일반적으로한대또는그이상의근적외선카메라와 LED와같은하나이상의근적외선광원이필요하다. 카메라는사용자의눈영역을촬영하는데사용되며, 추가적인카메라를활용하는경우에는양눈을모두촬영하거나 < 그림 5> 의헤드마운트시스템에서처럼사용자가바라보는장면을파악하기위해사용된다. 근적외선광원은일반적으로두가지목적을위해사용된다. 하나는눈영역의촬영을위한조명역할이며또하나의목적은시선추정을위한부가적인정보를제공하는것인데, 이에대해서는나중에설명한다. 근적외선광원역시하나또는그이상의광원을이용하는데, 높은정확도의시선추적을위해서두개이상의광원을사용할수있다. 이는광원이시선추정을위해제공하는부가적인정보때문인데이에대해서도나중에설명한다. 근적외선기반의시선추적기술은크게두단계로구성되어있다. 첫번째단계는사용자의눈영역을촬영한근적외선영상으로부터동공및근적외선반사광을검출한다. 두번째단계에서는검출된동공및근적외선반사광을이용하여사용자가실제로바라보는시선의위치를추정한다. 근적외선반사광이란 glint 또는 corneal reflection이라고도하며근적외선광원이눈의각막에서 반사된빛을뜻한다. 이반사광의위치와검출된동공의중심의위치를이용하여실제로사용자가바라보는시선의위치를추정하게된다. 다음의각절에서는동공검출과반사광의검출, 그리고시선추정에대해보다자세하게설명한다. 1. 동공검출동공은일반적으로눈에서가장어둡게나타나는영역으로홍채의중심에있으며눈에서빛을받아들이는구멍이다. 외부에서온빛은눈의동공을통과하여안구뒤쪽의망막에맺힌다. 따라서동공이어느방향으로향해있는지를알게되면사람이어느방향으로바라보고있는지를알수있게된다. 근적외선기반의시선추정에서는사용자의눈영상에서동공을검출하는데이는동공의방향을통하여사용자의시선을알아낼수있을뿐아니라근적외선영상에서동공의검출이상대적으로쉽다는이유도있다. 가시광선으로촬영한눈영상에서는동공과홍채의구분이어려운반면근적외선영상에서는동공은어둡게나타나지만홍채는상대적으로밝게나타나동공의검출이용이해진다. 이는매우큰장점으로앞서설명한것과같이동공은눈꺼풀등에의한가림이적기때문에보다정확한위치를검출할수있어시선추적의정확도를높일수있다. 동공검출은크게 dark pupil 효과를이용한기법과 bright pupil 효과를이용한기법의두가지기법으로나눌수있다 (< 그림 7>). dark pupil 효과는광원이카메라의광축과일치하지않는경우에동공이어둡게촬영되는현상을의미한다. bright pupil 효과는광원이카메라의광축상에존재할때동공이밝게촬영되는현상을의미한다. dark pupil 효과를이용하는경우에는동공촬영영 < 그림 6> 근적외선기반의시선추적을위한환경. 근적외선 (IR) 카메라와근적외선광원 (IR LED) 가사용된다. < 그림 7> dark pupil 효과와 bright pupil 효과 [17] 674 _ The Magazine of the IEIE 26

33 시선추적기술의소개 상에서가장어두운원을찾는방식으로동공을찾는다. dark pupil 효과와 bright pupil 효과를동시에이용하는기법으로는다음과같은방식이있다. 우선카메라의광축상에있는조명을켠상태에서눈영상을찍어동공이밝게나타난영상을얻는다. 다시카메라의광축상에있는조명을끈상태에서눈영상을찍어동공이어둡게나타난영상을얻는다. 두영상의차이를구하면동공의위치를비교적쉽게구할수있다. 그러나이러한방식은카메라의광축상의조명과카메라사이의동기화가필요하고, 또한카메라의프레임레이트 (frame rate) 를반으로떨어트리는효과가있어 dark pupil 기법에비해덜사용된다. dark pupil 효과를이용한동공검출기법은지금까지많은연구가되어왔으나대부분의방법이에지검출이나영상의이진화와같은휴리스틱한알고리즘에기반한경우가많다. 대표적인예제중하나는 Li et al. 이 2005년에발표한 Starburst 알고리즘이다 [4]. Starburst 알고리즘은동공경계에해당하는특징점들을검출하여동공의위치를구하는알고리즘으로근적외선으로촬영된동공영상을입력으로받아동공의중심점을출력한다. 이알고리즘은크게두단계로이루어져있다. 첫번째단계에 < 그림 8> Starburst 알고리즘. 동공중심점에대한초기추정위치에서사방으로광선을쏘아동공경계를찾는다. 서는동공의경계에해당하는특징점들을검출하고두번째단계에서는검출된특징점들을이용하여동공의경계에해당하는타원을찾는다. Starburst 알고리즘의첫번째단계는동공의중심에대한초기값을입력으로받는다. 이초기값은이전프레임에서의동공의중심의위치가될수도있고, 또는현재프레임에서영상의밝기성분을이용하여추정한위치나프레임의중심위치를사용할수도있다. 이초기값으로부터 < 그림 8> 과같이모든방향으로광선 (ray) 를쏜후각광선상에서영상의밝기가급격히바뀌는지점을특징점으로찾는다. 이특징점이동공의내부에서외부로바뀌는지점에대응된다. 이러한특징점들의중심위치로동공의중심의위치를업데이트한후다시이점을중심으로특징점들을찾는다. 이러한과정을반복하여동공의중심의위치를반복적으로업데이트해간다 (< 그림 9>). Starburst 알고리즘의두번째단계에서는첫번째단계에서최종적으로찾은특징점들을이용하여동공의경계에대응하는타원을찾는다 (< 그림 10>). 첫번째단계에서찾은특징점중에서는동공의경계가아닌다른영역에서검출된특징점도있기에모든특징점을단순히피팅 (fitting) 하는타원을최소자승법을이용하여찾는다면잘못검출된특징점에의해잘못된타원을찾을수있다. 잘못된특징점을제거하고정확한특징점만을이용하여타원을피팅하기위해 Starburst 알고리즘에서는이상치 (outlier) 를제외하며모델을피팅하는알고리즘인 RANSAC [5] 을이용하여타원을피팅한다. 이렇게찾은타원의중심점이바로동공의중심점이된다. Starburst 알고리즘외에도지금까지다양한동공검출알고리즘들이개발되었다 [6-10]. 대부분의알고리즘들 < 그림 9> Starburst 알고리즘. 동공경계에해당하는특징점을찾고이를이용해동공중심의위치를업데이트한다. 초록색은동공경계에해당하는특징점. 노란색은동공중심점의초기추정위치. 빨간색은업데이트된동공중심위치. < 그림 10> Starburst 알고리즘. RANSAC 을이용하여특징점중아웃라이어를걸러내고동공의경계에해당하는타원을찾는다. 27 전자공학회지 _ 675

34 조성현 은 Starburst 알고리즘과유사하게특징점을검출한다거나동공의경계에해당하는에지를검출하여동공을찾는다. 그러나최근에는 PupilNet [11-12] 과같은딥러닝기반의방식도소개되고있다. 앞서소개한것처럼지금까지다양한동공검출알고리즘들이개발되었다. 각각의알고리즘들은서로다른특성들로인해다른정확도및성능을보여준다. 따라서각각의알고리즘의성능을정확히평가하기위한시도들역시있었다. Fuhl et al. [13] 은기존에공개된네개의동공검출용데이터셋들을이용하여여섯개의최신동공검출알고리즘들을비교하였다. 네개의동공검출용데이터셋은총 20만개이상의눈영상을포함하고있으며안경과같은다양한원인으로동공검출이극히어려운상황도포함하고있다. 이로인해최신동공검출기법들이악조건속에서도얼마나안정적으로동공검출을할수있는지를평가할수있다 (< 그림 11>). 동공검출은지금까지많은연구가이루어져왔지만여전히어려운점이존재한다. 일반적으로동공검출에서는근적외선눈영상에서동공이가장어두운원또는타원이라는가정을이용한다. 그러나 < 그림 11> 에서보듯이조명의배치등으로인해동공이외에도눈주위에그림자가발생하거나동공이눈꺼풀이나속눈썹에의해가리는경우에는정확한동공검출이어려워질수있다. 이외에도컨택트렌즈나안경도동공검출을방해하는요소이며, 짙은마스카라와같은화장도동공검출을방해할수있다. 이러한어려운점은동공검출의정확도를심각 < 그림 11> LPW 데이터셋 [14] 하게떨어트리는문제들이면서시선추적에서실제로종종발생하는문제들이다. 따라서안정적인시선추적을위해서는이러한문제점들을극복하기위한연구들이필요하다. 2. 반사광검출적외선광원은앞서설명한것처럼적외선기반의시선추적에서눈영상촬영에적절한광량을제공하는역할과더불어시선추정에서정확한시선을파악하기위한추가정보를제공하는역할을하기도한다. 시선추정알고리즘에따라반사광을시선추정에이용하지않거나또는두개이상의반사광을이용할수있다. 반사광의위치를이용하지않고동공의위치만이용하여시선추정을하는경우에는반사광검출을따로하지않을수도있다. 반사광검출은동공검출과독립적으로동공검출전또는후에수행할수있다. 예를들어앞에서소개한 Starburst에서는동공검출전에반사광을검출한후반사광을제거한영상에서동공검출을수행한다. 반사광은일반적으로면적이매우작은밝은원형태로존재하기때문에영상내의밝기성분등을이용한기본적인영상처리알고리즘을통해서쉽게검출이가능하다. 3. 시선추정시선추정은사용자가바라보고있는시선의방향이나위치를추정하는것을의미한다. 시선추정은크게 2D 회귀분석기반의방식과 3D 모델기반의방식으로구분할수있다. 2D 회귀분석기반의방식은일반적으로간단하고구현이쉽지만, 물리적인모델을기반으로하지않기때문에정확도가떨어진다는단점이있다. 특히사용자의머리움직임에취약하여, 사용자의머리가움직이는경우정확도가심하게떨어질수있다. 이에반해 3D 모델기반의방식은사용자의안구와주변환경에대한물리적인모델링을기반으로시선을추정하며, 이로인해구현이상대적으로복잡하다는단점이있지만더높은정확도를구현할수있다. 2D 회귀분석기반의방식은다시반사광의사용여부및사용방법에따라여러방식으로구분할수있다. 반 676 _ The Magazine of the IEIE 28

35 시선추적기술의소개 사광을사용하지않는방식은단순히검출된동공의중심위치만을이용하여사용자의시선을추정한다. 다음은이러한방식의한예로 Starburst [4] 에서사용한방식이다. 이식에서는영상에서검출된동공중심점의위치이고는사용자가보는장면상의시선의위치이다. s는 homogeneous 좌표계에서같은 Euclidean 좌표를갖는좌표들을표현하기위한상수이다. 앞의식에서호모그래피 (homography) 행렬의원소들인 a,b,c,d,e,f,g,h를얻기위해서는캘리브레이션 (calibration) 과정이필요하다. 캘리브레이션을위해서는 < 그림 12> 의예시에서처럼일반적으로화면상에미리지정된 4개나 8개, 또는 9개의지점들을사용자가바라보게하여, 각지점의위치및그에대응하는사용자의동공의위치를얻는다. 그후, 최소자승법을이용하면호모그래피행렬의원소들을계산할수있다. 반사광을이용하지않는방식은적외선광원의위치에특별한제약이없기때문에하드웨어구성이단순해질뿐만아니라반사광을검출해야하는과정도필요없어지기때문에구현도단순하다. 그러나정확도에있어서문제가있다. 예를들어원격시스템에서사용자의머리가움직여서위치가바뀌게되면사용자가화면상의같은지점을바라보더라도검출된동공의위치는크게바뀌게되며, 결과적으로시선추정의결과도크게틀어지게된다. 이러한문제는헤드마운트시스템에서도동일하게발생할수있다. 가령사용자가헤드마운트시스템을벗었다가다시쓰게되면카메라와안구사이의상대적인위치가바뀌기때문에더이상동공의절대적인위치를이용하여정확한시선추정을할수없게된다. 이러한문제를개선하고자적외선반사광을이용하는방식들이사용되었다. 적외선반사광은적외선광원이눈의각막에서반사되는것을뜻한다. 사용자가특정지점을바라보기위해서안구를회전할때, 동공의중심점대비반사광의위치는상대적으로덜변하기때문에반사광의위치대비동공중심점의상대적인위치를이용하여시선추정을하는방법들이개발되었다. 적외선카메라로촬영된영상에서검출된동공의중심점의위치를라고하고, 반사광의위치를라고하자. 이때동공의상대적인위치를나타내는벡터는다음과같이정의할수있다. 이벡터를화면상의사용자가바라보는지점으로변환함으로써시선추정을할수있다. 시선추정을위해서지금까지다양한변환이소개되었으며, 그중한예로다음과같은변환이있다. 이변환에서의파라미터들역시앞에서설명한것과비슷한캘리브레이션과정을통해서구할수있다. 반사광의위치와동공의중심점의위치의차이를이용하여사용자의시선을추정하는방식은동공의중심점만이용하는방식에비하여상대적으로사용자의머리움직임에조금더강인한편이다. 하지만여전히물리적인모델에기반하지않기때문에정확도및안정성에있어서취약한편이다. 2D 기반의방식에비해상대적으로높은정확도및안정성을얻을수있는 3D 모델기반의시선추정은사용 < 그림 12> 9 개의점을이용한캘리브레이션예시 < 그림 13> 3D 모델기반의시선추정 29 전자공학회지 _ 677

36 조성현 자의안구와주변환경에대한정밀한기하학적모델링을기반으로한다. 3D 모델기반의시선추정기법중대표적인방법은 Guestrin과 Eizenman [15] 이제안한방법이있다. 이방법에서는 < 그림 13> 에서묘사한것과같이 3차원공간상에서의실제안구의크기및위치, 방향및적외선광원의위치, 그리고카메라의위치및방향, 렌즈의초점거리, 디스플레이의위치및크기등을정교하게모델링한후, 이모델링을기반으로실제안구의위치및방향을추정하여사용자가바라보는시선의위치를추정한다. 모델링이정교하고실제와유사할수록더욱더높은정확도를얻을수있다. 3D 모델기반의시선추정기법에서는카메라가한대인경우, 두개이상의적외선광원이있어야시선추정이가능하다. 그이유는다음과같다. 이미적외선광원의위치와카메라의위치및방향을알고있다고가정하자. 이때광원에서출발한빛이각막에도달한후, 각막에서반사되어카메라의센서에맺힌다. 이렇게맺힌빛이적외선반사광으로검출된다. 따라서이를통해카메라센서상의적외선반사광의위치와카메라렌즈의주점을잇는직선상에안구가위치하는알수있다. 그러나적외선광원이하나만존재하는경우에는안구가직선상의어느지점에위치하는지까지는파악할수없다. 그러나만약적외선광원이하나더있다면카메라의센서에는두개의반사광이맺히게되고, 이두반사광을잇는직선들로부터 3차원공간상의안구의위치를정확히파악할수있다. 3차원공간상의안구의위치를파악한후에는동공의중심점이카메라에맺힌위치를찾는다. 이를통해다시 3차원공간상에서동공의위치를파악할수있다. 반사광을통해파악한안구의위치와 3차원상의동공의중심점의위치를이용하면안구가 3차원공간상에서어느방향으로회전되어있는지를파악할수있다. 안구의위치로부터안구의방향으로직선을그은후, 3차원공간상의디스플레이와만나는지점을찾는다. 이지점이바로사용자가바라보는시선의위치가된다. 앞에서설명한것처럼 3D 모델기반의시선추정기법은안구, 카메라, 광원, 그리고디스플레이의정교한모 델링을통해사용자의시선을정밀하게추정할수있다. 그러나이를가능하게하기위해서는실제안구및카메라, 광원, 디스플레이의위치및크기, 방향등물리적인구조에대한정확한정보가필요하다. 이를위해서 3D 모델기반의시선추정기법은세가지의캘리브레이션이필요하다. 각각카메라캘리브레이션과기하학적캘리브레이션, 눈파라미터캘리브레이션이다. 카메라캘리브레이션에서는카메라의초점거리와같은카메라내부파라미터 (intrinsic parameter) 를찾는다. 기하학적캘리브레이션에서는 3차원공간상에서의카메라의위치및광원의위치, 디스플레이의위치및크기와같은기하학적인파라미터를찾는다. 이를위해서는버니어캘리퍼스와같은장비를이용하여직접장비의위치를잰다. 이두가지캘리브레이션은시선추적시스템마다한번씩수행되면된다. 눈파라미터캘리브레이션은시선추적시스템의사용자마다필요한과정으로사용자눈의각막의곡률, 동공의중심으로부터안구의절점 (nodal point) 사이의거리, 안구수양액의굴절률과같은파라미터를측정한다. 이과정은 2D 회귀분석기반의시선추정방법과마찬가지로사용자가화면상의미리지정된지점들을바라보게하는것을통해수행된다. 시선추정역시동공검출과마찬가지로그동안많은연구가이루어졌지만여전히다양한종류의어려운점이있다. 첫번째로는시선추정을위해서는동공및반사광의검출이정확히이루어져야한다는점이다. 여러반사광을사용하는경우조명과안구의상대적인위치에따라반사광중하나가눈꺼풀등에의해가려져제대로검출이되지않을수있으며, 또한반사광의위치가동공의위치와근접하기때문에반사광에의해동공검출이방해를받을수도있다. 이러한검출이제대로되지않는환경에서는시선추정역시어려워진다. 또다른문제로는사용자의머리움직임에의해시선추정의정확도가훼손될수있다는점이다. 앞에서도언급했듯이 2D 회귀분석기반의방법은사용자의머리움직임에의해시선추정의정확도가심하게훼손될수있다. 3D 모델기반의방법은정교한모델링을통해이러한문제점을어느정도극복할수있지만, 모델과실제안구및 678 _ The Magazine of the IEIE 30

37 시선추적기술의소개 하드웨어간의오차를완전히없애는것은매우어려운일이다. 이러한오차로인해 3D 모델기반의시선추정에서도여전히사용자의머리움직임에따라시선추정의오차가발생할수있다. 세번째로는캘리브레이션과정이다. 미리지정된지점을바라봐야하는캘리브레이션과정에서도사용자가완벽하게그지점을바라보기란어렵다. 이러한과정에서발생된오차는실제시선추정에서도오차를발생시킬수있다. 또한캘리브레이션을정확하게수행할수있는성인이아닌어린아이나유아와같은경우캘리브레이션과정자체를수행하는것이매우어려울수있다. 마지막으로물리적인한계로인해발생하는오차이다. 3D 모델기반의시선추정에서살펴봤듯이사용자가특정지점을바라본다는것은 3차원공간상에서특정위치에있는안구가특정방향으로회전된상태에서그회전된방향을감지해내는것을뜻한다. 이때회전된각도를추정함에있어미세한오차가발생했다면이는실제디스플레이상에서의시선위치에서는큰오차를일으킬수있다. Ⅴ. 전망과결론 본글에서는최근가상현실의발전과더불어관심을얻고있는시선추적기술에대해알아보고시선추적이실제로어떤식으로이루어지는지에대해살펴보았다. 시선추적기술에대한보다광범위한분류및조사는 [16] 을참고하기바란다. 시선추적은그동안많은연구가진행되어왔다. 또한실제제품으로의적용도최근들어활발히진행되고있다. 그러나앞서살펴본것과같이아직까지는그한계가명확히있다. 보다다양한상황에서시선추적이사용되기위해서는이를극복하기위한후속연구들이진행되어야할것이다. 참고문헌 [1] M. Brian, Google buys eye-tracking startup to boost its VR hardware, Engadget, Oct. 25, 2016, com/2016/10/25/google-buys-eye-tracking-startupeyefluence-vr/ [2] S. Buckley, Oculus now owns an eye-tracking company, Engadget, Dec. 28, 2016, com/2016/12/28/oculus-now-owns-an-eye-trackingcompany/ [3] J. Purcher, Apple introduces a 3D component to assist head and eye tracking in future desktops, Dec. 22, 2016, [4] D. Li, D. Winfield, and D. J. Parkhurst, Starburst: a hybrid algorithm for video-based eye tracking combining featurebased and model-based approaches, In Proc. IEEE CVPR Workshops 2005 [5] M. A. Fischler, and R. C. Bolles, Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Comm. ACM, vol. 24, no. 6, pp , 1981 [6] L. Swirski, A. Bulling, and N. Dodgson, Robust real-time pupil tracking with highly off-axis images, In Proc. ACM Symp. Eye Tracking Research & Applications, 2012 [7] W. Fuhl, T. Kubler, K. Sippel, W. Rosenstiel, and E. Kasneci, ExCuSe: robust pupil detection in real-world scenarios, In Proc. Computrer Analysis of Images and Patterns, 2015 [8] W. Fuhl, T.C. Santini, T. Kubler, and E. Kasneci, ElSe: ellipse selection for robust pupil detection in real-world environments, In Proc. ACM Symp. Eye Tracking Research & Applications, 2016 [9] M. Kassner, W. Patera, and A. Bulling, Pupil: an open source platform for pervasive eye tracking and mobile gaze-based interaction, In. Proc. ACM International Joint Conference on Pervasive and Ubiquitous Computing, 2014 [10] A.H. Javadi, Z. Hakimi, M. Barati, V. Walsh, and L. Tcheang, Set: a pupil detection method using sinusoidal approximation, Frontiers in neuroengineering 8 [11] W. Fuhl, T. Santini, G. Kasneci, and E. Kasneci, PupilNet: 31 전자공학회지 _ 679

38 조성현 convolutional neural networks for robust pupil detection, arxiv, 2016 [12] W. Fuhl, T. Santini, G. Kasneci, W. Rosenstiel, and E. Kasneci, PupilNet v2.0: convolution neural networks for CPU based real time robust pupil detection, arxiv, 2017 [13] W. Fuhl, M. Tonsen, A. Bulling, and E. Kasneci, Pupil detection for head-mounted eye tracking in the wild: an evaluation of the state of the art, Machine Vision and Applications, vol. 27, no. 8, 2016 [14] M. Tonsen, X. Zhang, Y. Sugano, and A. Bulling, Labelled pupil in the wild: a dataset for studying pupil detection in unconstrained environments, In Proc. ACM Symp. Eye Tracking Research & Applications, 2016 [15] E. D. Guestrin, and M. Eizenman, General theory of remote gaze estimation using the pupil center and corneal reflections, IEEE Transactions on Biomedical Engineering, vol. 53, no. 6, 2006 [16] D. W. Hansen, and Q. Ji, In the eye of the beholder: a survey of models for eyes and gaze, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 3, 2010 [17] A. Krolak, and P. Strumillo, Eye-blink detection system for human-computer interaction, Universal Access in the Information Society, vol. 11, 2011 조성현 2012 년 2 월포스텍컴퓨터공학과박사졸업 2005 년 8 월포스텍컴퓨터공학과학사졸업 2017 년 4 월 ~ 현재 DGIST 정보통신융합전공조교수 2014 년 4 월 ~2017 년 4 월삼성전자책임연구원 2012 년 3 월 ~2014 년 3 월 Adobe Research 연구원 2010 년 7 월 ~2010 년 11 월 Adobe Research 인턴 2006 년 8 월 ~2007 년 2 월 Microsoft Research Asia 인턴 < 관심분야 > 컴퓨터비전, 컴퓨터그래픽스, 영상처리, 계산사진학 680 _ The Magazine of the IEIE 32

39 특집 360 도영상을이용한 AR/VR 콘텐츠생성 360 도영상을이용한 AR/VR 콘텐츠생성 Ⅰ. 서론 호요성 GIST 전기전자컴퓨터공학부 방송시스템이과거아날로그방식에서지금의디지털방식으로전환되면서동영상국제표준화기구인 MPEG(moving picture experts group) 에서는 1988년부터영상데이터를효율적으로부호화하기위한국제표준화작업을수행해오고있다. 2000년대에들어서 MPEG은단일시점을갖는 2차원영상의부호화뿐만이아니라다시점영상을부호화 (multi-view video coding, MVC) 하는표준화작업도진행했으며, 2010년대초반에는 MVC에깊이영상부호화를추가한 3차원영상부호화 (3D video coding, 3DVC) 의표준화작업을수행했다 [1-2]. MPEG 그룹은또다른동영상국제표준화기구인 ITU-T 산하의 VCEG(video coding experts group) 과함께 JCT-VC(joint collaborative team on video coding) 라는공동작업팀을만들어동영상부호기를개발하기도했다. 그대표적인부호기로는현재널리사용되고있는 H.264/AVC 표준이있으며, 2013년에는 HD(high definition) 보다 4배이상의해상도를갖는 UHD(ultra high definition) 영상의부호화를위해 H.265/HEVC(high efficiency video coding) 표준을만들었다. H.265/HEVC 표준은이전영상부호기인 H.264/AVC 표준보다약 2배이상의높은압축효율을갖는다. 또한 HEVC의기능을확장해다시점영상과 3차원영상을부호화하는 MV-HEVC와 3D-HEVC 부호기가개발되기도했다. UHD 영상에대한부호기가개발되고이를활용하는실감방송콘텐츠가증가함에따라가정에서이러한콘텐츠를시청하는사람들의수도증가하게되었다. 이에따라많은사람들은기존의콘텐츠보다시간적이나공간적제약으로부터자유로운실감방송콘텐츠를원하게되었다. 이러한이유로최근많은콘텐츠제작기업또는연구기관에서는 33 전자공학회지 _ 681

40 호요성 < 그림 1> AR/VR 디스플레이기기 증강현실 (augmented reality, AR) 과가상현실 (virtual reality, VR) 을활용한몰입형영상콘텐츠제작에힘을쏟고있다 [3]. AR 영상콘텐츠는실제환경에가상의 3차원영상을혼합해보여준다. 반면, VR 영상콘텐츠는오로지가상의 3차원영상만을사용해제작된다. 이러한 AR/VR 콘텐츠들은디스플레이기기인 HMD(head mounted display) 를통해사용자들이더욱실감나는체험을할수있게해주었으며, 많은사람들이일상생활에서 AR/ VR 영상콘텐츠를더많이접할수있도록해주었다. < 그림 1> 에나온 Microsoft의 HoloLens와 Sony에서만든 PlayStation VR은각각 AR/VR 디스플레이의대표적인기기이다 [4-5]. HMD를통한영상콘텐츠시청은사용자가체감하는시점의자유도가높아기존의디스플레이기기보다영상콘텐츠를더욱실감나게체험할수있다. 이러한 HMD의장점을활용하기위해최근여러회사에서다양한 360도영상콘텐츠를제작하고있다. 360도영상콘텐츠의종류로는현실세계를 360도카메라시스템으로촬영해만든것과 AR/VR을기반으로만든것들이있다. 360도영상콘텐츠는시간과장소에구애받지않아음악, 미술과같은예술및교육분야에유용하게사용될수있다. 이처럼각분야의 360도영상콘텐츠수요가증가함에따라, 최근 MPEG에서도 360도영상의효율적인전송을위해 360도영상부호화에대한표준화논의가진행되고있다. Ⅱ. 360 도영상촬영시스템 < 그림 2> 360도영상의등방향투영법변환결과가상환경이아닌실제환경에서 360도영상을획득하기위해서는전방위시점의영상을촬영할수있는카메라시스템이필요하다. 초기의 360도카메라시스템은 < 그림 3> 처럼 Google 의 Jump 카메라와같이여러대의액션카메라를하나의리그 (rig) 에장착해만들었다 [6]. Facebook에서도 Google Jump와같이동기화된여러대의색상카메라로 360도영상을촬영하는하드웨어를개발했다 [7]. 이후, Facebook에서는 < 그림 4> 와같은더작은카메라리그를사용해만든구형태의새로운 Surround 360을제작했다 [8]. 새로운 Surround 360은 24대의카메라로만들어진 x24와 6대의카메라로구성된 x6, 두종류의형태가있으며, 새로운 Surround 360 은영상의깊이정보도제공한다. 따라서이카메라를활용해 360도영상콘텐츠를제작할경우, 사용자는고개를상, 하, 좌, 우로움직일수있을뿐만아니라몸을앞뒤로도움직일수있는 6DoF(degree of freedom) 영상콘텐츠를체험할수있다. 최근에는어안렌즈를사용한 360도카메라시스템이 < 그림 3> Google의 Jump 360도영상콘텐츠는 < 그림 2> 와같이콘텐츠를시청하는사용자를기준으로전방위시점의영상을제공한다. < 그림 2> 는 360도영상을등방향투영법 (equirectangular projection, ERP) 으로변환시킨결과를보여준다. 이처럼 x6 x24 < 그림 4> Facebook 의 Surround 360 최신모델 682 _ The Magazine of the IEIE 34

41 360 도영상을이용한 AR/VR 콘텐츠생성 < 그림 5> 삼성의 Gear 360(2017) < 그림 7> Intel 의 HypeVR < 그림 6> Kodak의 SP360 4K 개발되고있다. 이러한카메라시스템은 Google의 Jump 처럼여러대의카메라를직접사용하지않고단일하드웨어로 360도영상을촬영할수있다. < 그림 5> 는국내기업중하나인삼성전자에서출시한 360도카메라 Gear 360이다. Gear 360은 2016년에최초공개되었고, 2017 년에 < 그림 5> 에나온새로운버전의 Gear 360을공개했다. 2016년도에출시된 Gear 360은 2개의어안렌즈를내장하고있으며, 3,840 1,920 크기의 360도영상을초당 30 프레임 (30 fps) 속도로촬영한다 [9]. 2017년도 Gear 360은더큰해상도인 4,096 2,048 크기의 360 도영상을 24 fps 속도로촬영한다 [10]. 미국의 Kodak에서도 < 그림 6> 과같이 4K 해상도의 360도영상을촬영하는 SP360 4K [11] 를제작했으며, 삼성의 Gear 360과같이두개의렌즈를내장한 ORBIT360 4K [12] 도개발했다. 삼성의 Gear 360과 Kodak의 SP360, ORBIT360 기기들은어안렌즈와같은곡선형태의렌즈를사용하기때문에다수의카메라를사용해만든 360도카메라보다상대적으로하드웨어의크기가작다. 따라서어안렌즈를이용한카메라들은휴대성이좋아액션카메라로많이활용되고있다. 360도영상을이용해서실감나는 AR/VR 영상콘텐츠를제작하기위해서는촬영된영상의깊이정보가필요하다. 일반적으로평행하게배열된다수의카메라로획득한색상영상의깊이정보는인접하는두시점의영상에스테레오정합을적용해얻는다. 하지만 < 그림 3> 처 럼다수의카메라가방사형으로묶여있는시스템의경우기존의스테레오정합알고리즘을적용하는데어려움이있다. Intel에서는이러한문제를고려해기존의 360도카메라시스템에 LiDAR(light detection and ranging) 센서를접목시켜깊이정보를획득하는방법을제시했다 [13]. < 그림 7> 은 Intel에서개발한 HypeVR 카메라다. HypeVR 카메라는여러대의색상카메라를이용해색상영상을촬영함과동시에장착된 LiDAR로주변환경의 3 차원포인트클라우드좌표를획득한다. Ⅲ. 360 도영상의표준화활동 최근의영상콘텐츠들은과거와는달리다시점영상, 깊이영상과같이다양한정보를포함하고있으며, 영상콘텐츠의해상도또한매우높아서한정된대역폭으로많은양의데이터를전송하는데한계가있다. 따라서최근 MPEG 그룹에서는전방향 360도영상, 라이트필드영상과같이실감콘텐츠제작에많이사용되는영상을대상으로표준화작업을진행하고있다. 이와관련된작업으로지난 115차 MPEG 회의에서 360도영상과 VR 영상의부호화를목적으로하는 OMAF(omnidirectional media application format) 을발의했다 [14]. 116차회의에서는 360도영상과같은몰입형 (immersive) 비디오를위한 MPEG-I 표준화에대한논의를시작했으며, 117차회의에서 2017년부터 2021년까지의표준화로드맵을제시했다 [15-16]. 1. MPEG-I Phase 몰입형영상부호화의표준화작업을위한그룹인 MPEG-I는 5개의하위파트로구성되어있다. MPEG-I 는부 / 복호화되는데이터의종류, 양, 그리고시점자유 35 전자공학회지 _ 683

42 호요성 (a) 3DoF (b) 3DoF+ (c) 6DoF < 그림 8> 다양한시야각의자유도 도에따라서 Phase 1.a, Phase 1.b, 그리고 Phase 2와같이 3단계로구분된다. 이중에서 Phase 1은 MPEG-I 의하위파트중제1부와제2부를포함한다. 이때제1부에서는몰입형미디어의기술적인부분을다루며, 제2부에서는 360도전방향영상에대한부 / 복호화표준기술개발을다룬다. < 그림 8> 은 MPEG-I Phase를구분하는기준들중하나인시야각의자유도 (degeree of freedom, DoF) 를보여준다. < 그림 8(a)> 의 3DoF는사람의머리를 3차원공간의 x, y, z축방향으로움직이는자유도를나타낸다. 각축의회전방향은 yaw, pitch, roll로표현되며시청자의위치는고정되어있어서시야각이매우한정적이다. 반면에 < 그림 8(b)> 의 3DoF+ 는기존의 3DoF에서시청자의위치를상하 / 좌우로몸을조금움직일수있는자유도를뜻한다. 따라서기존의 3DoF보다는좀더자유로운시야각을갖는다. < 그림 8(c)> 는 6DoF 시야각을보여준다. 6DoF는시청자의위치를상하좌우전방향으로제한없이움직이는것이가능하며머리를모든방향으로회전시킬수있다. 따라서 6DoF 영상은자유로운시점으로감상이가능하다. MPEG-I Phase 1은 Phase 1.a와 Phase 1.b로구분이되는데, Phase 1.a는주로 3DoF에한정된영상의부호화를다루고 Phase 1.b는조금더자유로운 3DoF+ 영상을다룬다 [17]. Phase 1에해당되는 360도영상의부호화는단일시점, 양안시점, 그리고어안시점으로구분되어부호화된다. 이중에서단일시점과양안시점 360도영상의경우, 부호화를위해서는영상스티칭과 2차원평면으로의투영작업이필요하다. < 그림 9> 와 < 그림 10> 은 Phase 1.a와 Phase 1.b의전체적인과정을나타내며, 그중, < 그림 9> 는단일시점과양안시점 360도영상콘텐츠의부 / 복호화과정을보여준다 [18]. < 그림 9> 단일 / 양안시점 360도영상의부 / 복호화흐름도 < 그림 10> 어안시점 360도영상의부 / 복호화흐름도 < 그림 9> 에서단일시점과양안시점의 360도영상을부호화하기위해서는우선촬영된영상을하나의 360도영상으로만들기위한영상스티칭작업이필요하다. 그후, 360도영상의효율적인부호화및전송을위해서 < 그림 3> 과같이 2차원평면으로투영시킨후투영된 360도영상에영역단위로패킹을적용한다. 이러한과정을거친정보는메타데이터 (metadata) 로써부호기로넘어간다. 이때메타데이터는투영된영상의포맷, 360도영상의표면영역정보, 전역좌표축과지역좌표축사이의변환을위한회전정보, 그리고영역단위의패킹정보와영역단위의품질을포함한다. 부호화과정에서는영상신호와함께음성신호의부호화도동시에진행된다. 부호화된정보는네트워크를통해복호기로전달되며, 사용자가바라보는시점에맞게복호화과정을거친후 360도영상으로렌더링된다. 어안렌즈로촬영한어안시점 360도영상의경우에는 < 그림 10> 과같이부 / 복호화작업을수행한다. 단일시점과양안시점의 360도영상을부호화하는과정에서영상스티칭작업이사용되는반면, 어안시점 360도영상은 684 _ The Magazine of the IEIE 36

43 360 도영상을이용한 AR/VR 콘텐츠생성 < 표 1> 360 도영상의 2 차원평면투영방법 식별값 0x01 0x02 0x03 투영법 Cube Octahedron Icosahedron < 그림 11> Phase 2 의부 / 복호화흐름도 < 그림 12> 정육면체표면으로의투영방법 스티칭작업이필요하지않다. 따라서바로 2차원평면으로투영시킨후부호화한다. 이때, 영역단위의패킹작업도어안시점 360도영상의부호화과정에는사용되지않는다. 단일 / 양안시점 360도영상과마찬가지로 2차원평면에투영된영상정보는메타데이터로써부호기에전달된다. 어안시점 360도영상의메타데이터는렌즈왜곡보정파라미터, 렌즈명암보정파라미터, 디스플레이되는 FoV(field of view) 정보및카메라외부파라미터를포함한다. Phase 2에서는몰입형영상부호화의최종목표인아무런시점의제한이없는 6DoF 영상을시청자에게제공하려고한다 [19]. 따라서 < 그림 11> 과같이 Phase 2에서는기존의 360도영상의부 / 복호화와더불어 2차원배열의다시점영상으로이루어진라이트필드 (lightfield) 영상과 3차원공간의점군집합및깊이정보를고려한부 / 복호화표준화작업을수행한다. 이에관련된작업으로 MPEG-I에서는 MPEG-I Visual이라는하위그룹을만들어라이트필드영상과제한된 6DoF인 windowed 6DoF의표준화작업을수행하고있다. 2. MPEG-I 표준화기술동향 360도영상은기본적으로구형좌표계와같은형태로표현된다. MPEG-I에서는이러한영상정보를효율적으로부호화하기위해서 2차원평면에 360도영상을투영한후부호화를수행한다. 115차 MPEG 회의에서는구형좌표계로표현되는 360도영상을플라톤입체모형의정의에따라서 < 표 1> 에정리된것과같이정육면체 (cube), 정팔면체 (octahedron), 정이십면체 (icosahedron) 와같이 3종류의평면에투영시켜부호화하는방법을논의했다 [14]. 정육면체형태의평면에 360도영상을투영시키는방법은 < 그림 12> 와같이나타낼수있다. 360도영상을하나의구형태라고가정하고 360도영상을 < 그림 11> 의정육면체로감싸면 360도영상이가장인접한정육면체의표면에투영된다. < 그림 12> 처럼 2차원평면에투영된 6개의표면은영역단위의재배열을통해 < 그림 13> 처럼패킹된후부호기로전송된다. 정팔면체와정이십면체로의투영법도정육면체투영법과동일하게수행된다. 118차 MPEG 회의에서는 < 그림 14> 처럼적도면의원통형투영법 (equatorial cylindrical projection, ECP) 을사용해 360도영상을 2차원평면에투영시켜부호화하는방법을논의했으며. 최근에진행된 122차회의에서는표 2처럼 ERP와정육면체투영법만을활용해 360도영상을 2차원평면에투영하는방법을논의했다 [18, 20]. 또한, 360도영상부호화의표준화작업이진행되면서부호화에사용되는표준소프트웨어를만드는작업도수행되고있다. 122차 MPEG 회의에서는 OMAF를위한표준소프트웨어의작업계획이논의되었다 [21]. MPEG-I에서는기존의 360도영상부호화의표준화작업과더불어다시점영상을기반으로하는라이트필드영상의표준화와 3DoF+ 영상의표준화, 그리고제한된 6DoF 영상인 windowed 6DoF에대한표준화작업을진행하는 MPEG-I Visual 그룹이있다. 122차 MPEG 회의 37 전자공학회지 _ 685

44 호요성 < 그림 13> 정육면체투영법의영역단위패킹방법 < 그림 16> Poznan 대학의전방향라이트필드영상 < 그림 14> ECP 의 3 2 영역단위패킹방법 < 표 2> 최근 2 차원평면투영방법 식별값투영법 0 Equirectangular projection 1 Cubemap projection 중 MPEG-I Visual 그룹에서는 Philips와 Technicolor 가 3DoF+ 의 CfT(call for testing) 를위한실험영상으로 < 그림 15> 와같은콘텐츠를제공했다 [22-23]. Philips에서제작한 ClassroomVideo 콘텐츠의경우, 총 15시점의전방향영상으로구성되었으며각시점의 ERP 영상해상도는 이다. Technicolor 에서제작한 TechnicolorMuseum은 Philips의 ClassroomVideo보다작은 크기의 ERP 영상해상도를갖는다. 촬영에사용된카메라구조는 < 그림 4> 에나온 Facebook x24와동일한시스템을사용했다. ClassroomVideo(Philips) TechnicolorMuseum < 그림 15> 3DoF+ 실험영상 < 그림 17> Orange Labs의전방향라이트필드영상 Poznan 대학에서는전방향 6DoF 영상콘텐츠제작을위해서 < 그림 16> 과같은카메라시스템으로전방향라이트필드영상을촬영했다 [24]. 촬영에사용된카메라시스템은라이트필드배열의카메라를고정된지지대에설치한후, 모터를사용해 360도회전시키면서영상을촬영한다. Orange Labs에서도방사형카메라배열을활용해전방향 6DoF 영상콘텐츠를제작했으며, 제작된영상을활용해깊이값예측및중간시점을생성하는실험을수행했다 [25]. < 그림 17> 은 Orange Labs에서제작한전방향영상인 WhiteRoom과촬영에사용된카메라시스템을보여준다. INRIA와 ULB에서는 < 그림 18> 과같이라이트필드영상콘텐츠를만들어관련기고서를 122차 MPEG 회의에서발표했다 [26]. INRIA와 ULB는마이크로렌즈를사용한라이트필드카메라로영상을촬영했으며, 5 5 배열의카메라시점을제공한다. < 그림 18> 에서각콘텐츠 686 _ The Magazine of the IEIE 38

45 360 도영상을이용한 AR/VR 콘텐츠생성 < 그림 18> INRIA/ULB에서제작한라이트필드영상 < 그림 19> ETRI의 Chef 의이름은좌측부터 ChessPieces, Boxer-IrishMan- Gladiator, 그리고 ChessPieces-MovingCamera 이다. 한국의 ETRI에서도 windowed 6DoF를위한영상콘텐츠인 Chef를제작해 122차회의에서관련기고서를발표했다 [27]. < 그림 19> 는 ETRI에서촬영한영상콘텐츠와촬영에사용된카메라시스템을보여준다. 영상촬영을위해사용된카메라는총 25대를 5 5 배열로설치되었다. 각카메라는 크기의 Full HD 해상도를갖는다. Ⅳ. 전망과결론 최근영상콘텐츠의해상도가높아지고디스플레이기기의기술이향상됨에따라다양한실감영상콘텐츠에대한수요도증가하고있다. 이와관련해서 2009년에개봉한영화 아바타 를시작으로지금까지많은 3차원영화가제작되었고, 최근에는 AR/VR 영상콘텐츠와같이사용자와콘텐츠사이에상호작용이가능한몰입형영상콘텐츠도개발되고있다. 동영상국제표준화기구인 MPEG에서는이러한변화에발맞추어몰입형영상부호화의표준화작업을논의하고있다. MPEG-A에서논의되던몰입형영상부호화의표준화작업은 116차 MPEG 회의에서 MPEG-I가만들어지면서더욱구체적으로논의되기시작했다. MPEG-I는 5개의하위파트로구성되어있으며, 2017년부터 2021년까지 5년간의표준화로드맵을제시했다. MPEG-I는하위그룹인 MPEG-I Visual을만들어 360도전방향영상부호화의표준화작업뿐만아니라다시점영상기반의라이트필드영상과전방향 6DoF, windowed 6DoF, 3DoF+ 영상부호화의표준화작업도수행하고있다. 최근에진행된 122차 MPEG 회의에서는 OMAF를위한표준소프트웨어의작업계획을논의했으며, 123차 MPEG 회의에서는 OMAF 표준소프트웨어에대한워킹드래프트가논의되었다. MPEG-I의하위그룹인 MPEG-I Visual에서도 123차 MPEG 회의에서라이트필드영상의압축에대한 EE(exploration experiment) 를논의했으며, 3DoF+ 와 6DoF에대한표준소프트웨어개발도다루었다. 360도영상을활용한 AR/VR 콘텐츠는디스플레이기기인 HMD를사용하면사용자와영상콘텐츠사이에상호작용이가능하기때문에몰입도가높으며다양한분야에적용할수있다. 하지만그만큼영상콘텐츠의데이터양도증가하기때문에이를효율적으로다루기위한부호기개발이필요하다. 지난몇년간 MPEG 회의에서는 360도영상부호화를위한 2차원영상투영법과영역기반의패킹방법등몰입형영상을위한부호기개발에대한작업이적극적으로이루어졌다. 또한, 최근 MPEG-I에서는표준화로드맵에따라작업을완료하기위해표준소프트웨어에대한논의도활발히진행되고있다. 이처럼몰입형영상부호화의표준화작업에대한국제적인관심이높아지고있기때문에국내의여러연구기관에서도관련주제에대한연구개발이필요하다. 참고문헌 [1] Description of Core Experiments in MVC, ISO/IEC JTC1/ SC29/WG11, N8019, Jul [2] Vision on 3D Video, ISO/IEC JTC1/SC29/WG11, N10357, Feb [3] X. Li, B. Xu, Y. Teng, Y. Ren, and Z. Hu, Comparative Research of AR and VR Technology based on User Experience, ICMSE, pp , Aug [4] [5] [6] 39 전자공학회지 _ 687

46 호요성 [7] introducing-facebook-surround-360-an-open-high-quality- 3d-360-video-capture-system/ [8] [9] [10] [11] sp3604k/ [12] orbit3604k/ [13] [14] WD on ISO/IEC Omnidirectional Media Application Format, ISO/IEC JTC1/SC29/WG11, N16189, Jun [15] New Work Item Proposal on Coded Representation of Immersive Media, ISO/IEC JTC1/SC29/WG11, N16541, Oct [16] MP20 Roadmap, ISO/IEC JTC1/SC29/WG11, N16719, Jan [17] MPEG-I Phase 1 Use Cases, ISO/IEC JTC1/SC20/WG11, N17504, Apr [18] WD 1 OF ISO/IEC OMAF 2nd edition, ISO/IEC JTC1/SC20/WG11, N17584, Apr [19] MPEG-I Phase 2 Use Cases, ISO/IEC JTC1/SC20/WG11, N17683, Apr [20] Projections under Considerations for ISO/IEC Omnidirectional MediA Format, ISO/IEC JTC1/SC20/WG11, N16828, Apr [21] Workplan on Reference Software and Conference for OMAF, ISO/IEC JTC1/SC29/WG11, N17585, Apr [22] 3DoF+ Test Sequence ClassroomVideo, ISO/IEC JTC1/ SC29/WG11, M42415, Apr [23] Technicolor 3DoFPlus Test Materials, ISO/IEC JTC1/SC29/ WG11, M42349, Apr [24] Omnidirectional Lightfield Test Image Poznan_Lab_360, ISO/IEC JTC1/SC29/WG11, M42307, Apr [25] Depth Estimation and View Synthesis with 360 Divergent Content, ISO/IEC JTC1/SC29/WG11, M42484, Apr [26] Light Field Video Dataset Captured by a R8 Raytrix Camera, ISO/IEC JTC1/SC29/WG11, M42468, Apr [27] Camera Array based Windowed 6-DoF Moving Picture Contents, ISO/IEC JTC1/SC29/WG11, M42542, Apr 호요성 1981 년 2 월서울대학교전자공학과 ( 학사 ) 1983 년 2 월서울대학교전자공학과 ( 석사 ) 1990 년 3 월미국 UCSB 전기전산공학 ( 박사 ) 1983 년 3 월 ~1995 년 9 월한국전자통신연구원선임연구원 1990 년 1 월 ~1993 년 5 월미국필립스연구소선임연구원 1995 년 9 월 ~ 현재광주과학기술원교수 2003 년 9 월 ~ 현재 GIST 실감방송연구센터센터장 2007 년 1 월 ~ 현재 IEEE Fellow < 관심분야 > 영상처리, 영상압축, DTV/HDTV/UHDTV, AR/VR, 3DTV 688 _ The Magazine of the IEIE 40

47 특집 저용량프로세서를위한딥러닝레이어압축기법과응용 저용량프로세서를위한 딥러닝레이어압축기법과 응용 Ⅰ. 서론 고병철 계명대학교컴퓨터공학부 최근딥러닝 (Deep learning) 알고리즘의성능이크게향상되어얼굴인식, 음성인식, 지능형자동차등의다양한응용분야에서수요가증가하고있다. 심층신경망의인식률을좌우하는중요한요소는딥러닝의레이어수 ( 구조 ), 학습데이터의수, GPU와메모리등하드웨어의성능이라고할수있다. 딥러닝알고리즘은레이어가깊어질수록높은성능을갖지만많은파라미터를요구함에따라메모리요구량과처리속도가증가하는단점이있다. 예를들어 AlexNet의경우파라미터가 61M( 백만 ) 개필요하고컨벌루션을위해 725 M번의연산이필요하다. AlexNet에비해인식율이더우수한 VGG-16의경우파라미터수가 138M, 컨벌루션에 15,484M연산을요구한다. 최근에우수한성능으로주목을받은 GoogLeNet [1] 의경우필요한파라미터수가 6.9M, 컨벌루션수가 1566M로 VGG-16에비해서는상당한파라미터와연산량을줄였지만경량화시스템에서적용하기에는아직무리가있다 [2]. 연구보고에따르면, 딥러닝알고리즘의연산은상당부분조밀한컨벌루션과완전연결레이어 (fully connected layer) 에서이루어지는것으로알려지고있다. < 그림 1> 은 GPU와 CPU를별개로사용하여딥러닝연산을시행한결과로서두플랫폼에서유사한동작패턴을보이는것을알수있다. 따라서딥러닝알고리즘이다양한저사양응용분야에적용되기위해서는컨벌루션연산과완전연결레이어에필요한파라미터의수와연산량을줄여야한다. 최근에는딥러닝레이어의수, 파라미터수를줄이면서도원래네트워크와유사한성능을내기위한연구가시도되고있다. 이러한방식중에서는 Parameter pruning and sharing, Low-rank 41 전자공학회지 _ 689

48 고병철 < 그림 1> 딥러닝알고리즘을 GPU 와 CPU 에서각가적용했을경우각레이어별연산량의비교 (ImageNet 사용, batch size 256) [3] < 그림 2> Pruning 적용후의시냅스와뉴런들의변화 [5] < 표 1> 네트워크압축을위한알고리즘요약 [4] 모델압축기법방법적용레이어 Parameter pruning and sharing [5-10] Low-rank factorization [11-12] Transferred/compact convolutional filters [13-16] Teacher-student model [17-19] 성능에영향을주지않는중복된파라미터를제거유익한파라미터를추정하기위해행렬 / 텐서분해 (decomposition) 방법을적용파라미터수를줄이기위해특별한구조의컨벌루션필터를설계대형모델의정제된지식 (distilled knowledge) 를이용하여경량화된신경망을학습 컨벌루션레이어, 완전연결레이어 컨벌루션레이어, 완전연결레이어 컨벌루션레이어 컨벌루션레이어, 완전연결레이어 factorization, Transferred/compact convolutional filters, Teacher-student networks 방식들이있다. 각방법론에대한간단한요약과설명은 < 표 1> 과같다. 본논문에서는각딥러닝압축기법에대해간단히리뷰하고특히많은학습데이터와깊은레이어를기반으로높은성능을갖는큰규모의 teacher 네트워크를구성하고이를기반으로동등한성능을갖는작은규모의 student 네트워크를구성하는 teacher-student networks 방법에대해초점을맞춰설명하도록한다. 이와더불어이러한압축기법이실제로적용된사례에대해소개하도록한다. (over-fitting) 문제가발생할수있는문제점이있다. Han 등은 [5] 3단계학습파이프라인기법을통해전체네트워크에서파라미터와연산수를효과적으로줄일수있는방법을제안하였다. 첫번째단계에서정상적인네트워크학습방법을통해노드들을연결하고가중치를설정한다. 두번째단계에서연결된링크중에서가중치가낮은연결은가지치기 (pruning) 한다. 이러한과정을통해네트워크는조밀한네트워크에서희소 (sparse) 네트워크로변하게된다. 세번째단계에서는남은희소네트워크연결에대해최종가중치를학습할수있도록재트레이닝시킨다. 몇몇연구자들 [6-7] 은양자화 (quantization) 방법을이용하여필터의파라미터수를줄이는알고리즘을제안하였다. 양자화기반방법에서는 K-mean 스칼라양자화방법이나 8-bit 양자화방법들을통해정확성의손실을최소화하면서연산속도를높이기위한파라미터축소방법을일반적으로사용한다. 여러가지양자화기반압축방법에서 Han등은 [7] < 그림 3> 과같이먼저초기필터의초기가중에서 K-mean 알고리즘을통해계수들을 4개의클러스터로구분하고클러스터인덱스와클러스터의중심계수값만을기억시켜파라미터의수를줄인다. 학 Ⅱ. 모델압축방법 1. Parameter pruning and sharing 방법이방법은모델파라미터들의중복성을체크하고중요하지않으면서반복되는파라미터들을제거하는방법이다. 이방법은 < 그림 2> 와같이네트워크구조에서반복적이면서불필요한파라미터를제거함으로써네트워크를경량화시킬수있는장점이있지만이로인해오버피팅 < 그림 3> K-mean 스칼라양자화에의한파라미터압축방법 [7], ( 위 ) 스칼라양자화, ( 아래 ) 센트로이드 fine-tuning 690 _ The Magazine of the IEIE 42

49 저용량프로세서를위한딥러닝레이어압축기법과응용 < 그림 4> 첫번째컨벌루션레이어에서얻어진이진가중치필터의예 [9] 습에서는 back propagation 과정에서필터의 gradient 를구하고클러스터링정보에따라그룹화한뒤, 이값을원래센트로이드값과결합하여센트로이드값을 finetuning 한다. 스칼라양자화방법을변형하여필터의가중치를 0/1 혹은 +1/-1의이진값으로학습시키는 BinaryConnect [8], BinaryNet [9], XNORNetworks [10] 등의알고리즘도제안되었다. 이진화방법에서는가중치와 activation에대해 +1 또는 1값만갖도록제한시키는데이렇게이진화된가중치는특히하드웨어측면에서딥러닝알고리즘을학습시키고구현하는데매우많은장점을가지고있다. 하지만필터의가중치가단순하기때문에깊은 CNN을구현할때정확도가상당히떨어지는단점이있다. 2. Low-rank factorization 방법이방법은컨벌루션레이어의차원을저차원으로변경시킴으로써네트워크의압축율을높이고전체적인학습속도를개선하는방법이다 [11-12]. 이방법은텐서분해 (decomposition) 에기반하고있는데 4D텐서 ( 컨벌루션필터 ) 에서많은중복이발생하는것을제거하는방법으로 차원을축소하여연산을수행하는방법을사용한다. < 그림 5(a)> 와같이 dxd크기의 S개의필터로부터연산된값이결합되어한개의특징맵의값을결정하는일반적인컨벌루션연산과는다르게 < 그림 5(b)> 에서는 S개의필터를가로세로방향으로나누어연산하는방법을사용하였다. < 그림 5(c)> 에서는 S개의필터를가로세로의단위조각으로분할하여컨벌루션을시도하였다. 이렇게컨벌루션필터의크기를낮은차원으로줄임으로써보다빠른연산을기대할수있다. 3. Transferred/compact convolutional filters 방법이방법은입력 x를 transform ( ) 에의해변형하고네트워크나레이어 ( ) 를통과시키면결국 x를 ( ) 에먼저매핑하고 transform ( ) 에의해변형한결과가같다는수식 (1) 을기본개념으로하고있다 [13-16]. (1) 여기서레이어나필터 ( ) 를변형시키면전체네트워크를압축할수있다. 예를들어 Dieleman [16] 등은 < 그림 6> 과같이많은수의컨벌루션필터를사용하는대신에작은수의기본베이스필터에특정변형함수 ( ) 를적용하는방법을사용하였는데, 기본필터의각도를 90, 180, 270와같이변형하여다양한필터를만들어적용하였다. (a) (b) 4. Teacher-Student 모델압축방법 Teacher-Student모델방법은 teacher의깊은네트워크에서학습된결과로부터동일한성능을갖는얕은 student 네트워크를학습시키는방법이다. 이방법은 Hinton 등 [17] 에의해 knowledge distillation (KD) 라는알고리즘으로처음으로제안되었다. 이방법에서는 teacher 네트워크로부터얻어진 soften된출력값을이 (c) < 그림 5> Low-rank factorization 방법의예, (a) 완전컨벌루션, (b) 2 개구성요소분해방법 [11], (c) CANDECOMP/PARAFAC 분해방법 [12] < 그림 6> 기본베이스필터를 3 개의방향으로회전시켜변형한네트워크 [16] 43 전자공학회지 _ 691

50 고병철 용하여 student 네트워크를학습시킨다. 이때중요한것은 student 네트워크를학습시킬때는학습데이터에서주어진 true label뿐만아니라 teacher네트워크에서주어지는세밀한확률값을동시에이용함으로써 student 네트워크가 teacher의성능을모방하면서도보다유연한 ( 일반화성능이우수한 ) 출력값을낼수있도록하는것이목적이다. KD알고리즘에서는하드타겟과소프트타겟이라는용어가사용되는데, 하드타켓은학습데이터A의각요소들이 0/1로레이블되어있는경우를말하고, 소프트타겟은학습데이터 A의각요소들이 0~1 사이의클래스확률값으로레이블되어있는것을의미한다. 먼저 teacher 네트워크는일반적으로깊고넓은네트워크로구성되고하드타겟으로학습이된다. 이때 teacher 네트워크의 softmax함수는 temperature라는상수값이추가되는데이값은클래스별출력값이보다부드러운값을갖도록조정하는역할을한다. 수식 (2) 에서가 temperature를나타내는값으로 1일경우는일반적인 softmax를나타내고 1보다큰값을가질수록클래스별확률값은더부드러운분포를보인다. (2) 예를들어 < 그림 7(a)> 와같이학습데이터에대해클래스레이블이주어진경우일반적인 softmax 함수를적용하여학습한경우 (b) 와같이클래스별차이가큰값을갖게된다. 하지만실제로 cat클래스는 dog클래스와어느정도유사한특성을갖고있음으로이러한각클래스별객체의연관성을고려하기위해수식 (2) 를적용하여학습하면 (c) 와같이클래스별로부드러운분포를갖는 (a) (b) (c) < 그림 7> 하드타겟클래스분포와일반소프트맥스출력값, temperature 를적용한소프트맥스출력값 소프트타겟확률분포를구할수있다. 이렇게새롭게소프트타겟으로레이블된학습데이터 A는보다얕은레이어로구성된 student 네트워크에적용되게된다. 마찬가지로수식 (2) 를변형한 student 네트워크용 softmax함수를적용하여학습과정을거쳐 teacher 네트워크의성능과유사한얕은 student 네트워크를구성할수있데된다. KD방법에서는 student 네트워크를학습시키기위해수식 (3) 과같은 loss function 을사용하고있다. (3) 수식 (3) 에서 H는 cross-entropy를의미하고, 는두개의 cross-entropy사이에균형을맞추기위한조정가능한파라미터이다. 는 student 네트워크의출력값과실제데이터에레이블된하드타겟사이의 cross-entropy를의미하고는 teacher네트워크에서출력한소프트타겟확률값과 student 네트워크에서얻어진확률값과의 cross-entropy를의미한다. KD방법은얕은네트워크를이용하더라도깊은네트워크와유사한성능을갖는네트워크를구성할수있다는장점이있지만실제로 teacher로사용된네트워크가아주깊은네트워크가아니었기때문에실제문제에서도동일한성능을낼수있을지에대한검증이필요하다. 이러한문제점을해결하기위해 Romero등 [18] 은 KD알고리즘을개선하여 FitNets이라는네트워크압축기법을제안하였다. FitNets은기본적으로 teacher에비해얇지만깊은네트워크를구성하는것이목적이다. 주로연산량은네트워크의깊이보다는각레이어의노드 ( 특징맵 ) 수에영향을더많이받기때문에 FitNets을사용했을때파라미터의수를 10배까지줄일수있었다. FitNets의기본아이디어는 KD처럼 true 레이블과출력값이아니라중간은닉층 (intermediate hidden layers (hints) 를닮도록훈련시키는것이다. FitNets은 < 그림 8> 과같은구조로되어있다. 결국 < 그림 8(b)> 가 < 그림 8(a)> 의레이어와비슷해지도록훈련시키는것이목적이다. 하지만 student는 teacher보다얇기때문에 regressor 692 _ The Magazine of the IEIE 44

51 저용량프로세서를위한딥러닝레이어압축기법과응용 < 그림 8> FitNets 을이용한모델압축방법, (a) 중간은닉층을포함하는 teacher network, (b) 목표로하는 student network [18] 를하나만들어서차원을확장시킨다음에그결과값이비슷해지도록만들어주기위한추가적인과정이필요하다. < 표 2> 는 FitNets을이용한실험예를보여주고있는데, CIFAR-10을이용하여학습한결과, 레이어가깊을수록오히려성능이더증가하는것을알수있다. 대신각레이어마다노드의수를줄였기때문에파라미터의수와연산량이획기적으로줄어들었다. 하지만레이어의수를늘리면서노드의수도늘인경우, FitNet2, 3, 4와같이파라이터의개수와연산량이상대적으로늘어난것을알수있다. 마지막으로 Price 등 [19] 은 soft target training 학습법을제안하였다. 이방법은 KD알고리즘과유사하게많은학습데이터와깊은레이어를기반으로높은성능을갖는큰규모의 teacher 네트워크를구성하고이를기반으로동등한성능을갖는작은규모의 student 네트워크를구성하는소프트타겟학습방법이다. < 그림 9> 와같이 student 네트워크는학습과정에서학습데이터의클래스레이블대신에 teacher 네트워크의 softmax에의해추출된확률값을사용하여 student 네트워크를생성하게된다. 학습데이터에대해클래스레이블 ( 하드타겟 ) 대신에확률값 ( 소프트타겟 ) 을사용함으로써클래스간의상호관계를고려할수있다. 네트워크 < 표 2> FitNet 구성에따른속도및정확률 [15] 레이어수 파라미터수 연산회수 정확률 연산속도 압축률 Teacher 5 9M 725M 90.18% 1 1 FitNet K 30M 89.01% FitNet K 108M 91.06% FitNet M 392M 91.10% FitNet M 382M 91.61% < 그림 9> 심층신경망을위한소프트타겟학습방법 ( : n 번째영상에대한 teacher, student 입력, : softmax 출력값 ) Soft target방법에서는깊은층을가진본래의딥러닝네트워크를 teacher 네트워크라칭하고학습데이터와학습데이터의레이블 (Label) 을가진데이터셋 A를하드타겟이라고칭한다. 반대로레이블이존재하지않는학습데이터셋을 B라고칭한다. Teacher 모델은학습데이터셋 A로학습을수행하게되고 Teacher 네트워크의 fully connected 층에서산출된특징값을이용해 teacher 네트워크를학습하여클래스별확률값을산출한다. 다시한번소프트타겟학습데이터셋 B를이용하여학습데이터셋 A를이용한학습과정과동일한과정을수행한다. 결과적으로소프트타겟학습데이터셋 B를이용하여 teacher 모델에서데이터에대한해당레이블에속할확률값을계산하고 teacher 모델의학습을마무리한다. Teacher 모델의학습을마무리한후 student 모델을학습시키기위해서 teacher 모델에서산출된레이블에속할확률값 ( 소프트타겟 ) 과학습데이터셋 B를이용하여 teacher 모델과동일한성능을갖는얕은 student를학습시킨다. (4) 수식 (4) 는 soft target알고리즘에서 student 네트워크를학습시키기위한 cross-entropy를나타낸다. 는 teacher 네트워크에의한출력확률분포를나타내고, 는학습된 student 네트워크에서출력된확률분포를나타낸다. S는출력레이어의총클래스개수를나타내고 N은학습데이터세트의샘플개수를나타낸다. Soft target방법에서는일반적인오류역전파방법을사용하여학습이진행되고학습을종료시키기위해최소분류율을사용하는것보다 cross-entropy의비용을모니터 45 전자공학회지 _ 693

52 고병철 링하면서최소화되는경우학습을종료시키는방법을사용하고있다. Ⅲ. 결론및전망 딥러닝알고리즘에대한관심이증가하면서영상분류나객체검출과같은컴퓨터비전분야의최신알고리즘성능은인간의인지능력과유사한수준이거나오히려뛰어넘는성능을보여주고있다. 최고수준의딥네트워크시스템들은일반적으로매우넓고깊은네트워크를가지며더불어많은수의파라미터와연산량을필요로한다. 다수의 GPU를갖는대용량병렬컴퓨터에서는이러한깊은네트워크를대량의학습데이터를활용하여학습하고테스트하는것이가능하지만추론에필요한연산량과메모리사용으로인해다양한저사양의시스템에서는적용의한계가있다. 예를들어 Inception알고리즘의경우 3 B( 십억 ) 번의 flop(the number of floating point operations to compute that layer s activations) 연산과 6M의파라미터가필요한데, 이러한알고리즘을임베디드시스템에서동작시킨다고한다면연산시간, 메모리부족, 배터리부족등의문제를일으킬수있다. 이러한임베디드시스템의한계를극복하기위해 NVIDIA Kepler GPU를탑재한 Jetson TK1 임베드디보드등이개발되었지만여전히딥러닝알고리즘을실시간으로처리하기에는문제가많이있다. 따라서본논문에서는딥러닝네트워크의구조를간단하게하면서도원래네트워크의성능을유지하기위한네가지방법론에대해살펴보았다. 첫번째로 Parameter pruning and sharing 방법은반복되는필터를제거하는방법으로파라미터의수를줄이거나양자화 / 이진화방법들을통해파라미터수를줄이는방법을채택하였다. 특히이진화방법의경우는성능은원래네트워크만큼보장할수없지만단순한필터의구조로인해하드웨어로구현하기쉬운장점을가졌다. 두번째로 Lowrank factorization방법에서는 3차원커널을낮은차원으로분해하여연산하는방법으로연산시간을상당히줄일수있는방법이다. 세번째로 Transferred/compact convolutional filters 방법은여러개의필터를설계하지않고기본베이스필터에회전등의변형 (transform) 을가하여필터의개수를조절하는방법이다. 네번째로 Teacher-student 압축방법은깊고넓은 teacher 네트워크를구성하고학습데이터를적용하여클래스별확률값으로구성된소프트타겟을만들고이를기반으로얕으면서도 teacher와유사한성능을낼수있는 student 네트워크를학습시키는방법을제안하였다. 본논문에서소개한압축기법이외에도지속적으로딥러닝네트워크압축기법들이개발되고있다. 이렇게개발된압축모델들은다양한임베디드시스템에적용되어자율자동차, 스마트폰, 홈네트워크등의응용분야에사용될수있다. 향후딥러닝알고리즘은보다복잡한네트워크를통해인간인지시스템을능가하는방향으로발전할것이며동시에다양한임베디드시스템에적용하기위한압축기법개발로이어질것으로전망한다. 참고문헌 [1] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich, Going deeper with convolutions, CVPR, 2015 [2] 김용덕, Compressing CNN for mobile device, Samsung S/W R&D Center, 2015 [3] Y. Jia, Learning Semantic Image Representations at a Large Scale, University of California, Berkeley PhD thesis, 2014 [4] Y. W. Qiang, Constrained Deep Transfer Feature Learning and Its Applications, CVPR 2016 [5] S. Han, H. Mao, W. J. Dally, Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding, NIPS 2016 [6] M.Courbariaux, Y. Bengio, J.-P. David, BinaryConnect: training deep neural networks with binary weights during propagations, NIPS 2015 [7] M.Courbariaux, Y. Bengio, BinaryNet: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1, ArXiv _ The Magazine of the IEIE 46

53 저용량프로세서를위한딥러닝레이어압축기법과응용 [8] M.Rastegari, V. Ordonez, J. Redmon, A. Farhadi, XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks, ArXiv [9] Y. Cheng, A Survey of Model Compression and Acceleration for Deep Neural Networks, IEEE Signal Processing Magazine, 2017 [10] S. Han, J. Pool, J. Tran, W. J. Dally, Learning both Weights and Connections for Efficient Neural Networks, NIPS, 2015 [11] M. Jaderberg, A. Vedaldi and A. Zisserman, Speeding up Convolutional Neural Networks with Low Rank Expansions, BMVC 2014 [12] V. Lebedev, Y. Ganin, M. Rakhuba, I. Oseledets, V. Lempitsky, Speeding-up Convolutional Neural Networks Using Fine-tuned CP-Decomposition, ICLR 2015 [13] S. Zhai, Y. Cheng, and Z. M. Zhang, Doubly convolutional neural networks, NIPS 2016 [14] W. Shang, K. Sohn, D. Almeida, and H. Lee, Understanding and improving convolutional neural networks via concatenated rectified linear units, arxiv [15] H. Li, W. Ouyang, and X. Wang, Multi-bias non-linear activation in deep neural networks, arxiv preprint arxiv [16] S. Dieleman, J. De Fauw, and K. Kavukcuoglu, Exploiting cyclic symmetry in convolutional neural networks, ICML 16, 2016 [17] G. E. Hinton, O. Vinyals, and J. Dean, Distilling the knowledge in a neural network, CoRR, vol. abs/ , 2015 [18] A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, Fitnets: Hints for thin deep nets, CoRR, vol. abs/ , [19] R. Price, K.-I. Iso and K. Shinoda, Wise teachers train better DNN acoustic models, EURASIP Journal on Audio, Speech, and Music Processing 2016 고병철 1998 년 2 월경기대학교전자계산학과학사 2000 년 2 월연세대학교컴퓨터과학과석사 2004 년 2 월연세대학교컴퓨터과학과박사 2004 년 3 월 ~2005 년 8 월삼성전자통신연구소책임연구원 2005 년 9 월 ~ 현재계명대학교컴퓨터공학부교수 < 관심분야 > 보행자검출및추적, 비디오기반행동인식, ADAS, 화재검출 47 전자공학회지 _ 695

54 특집 의미적분할을위한약지도기계학습 의미적분할을위한약지도 기계학습 Ⅰ. 서론 곽수하 POSTECH 컴퓨터공학과 영상인식은이미지나비디오와같은영상정보의내용을이해하는인공지능의한갈래를의미한다. 특히영상에클래스를부여하는영상분류 (image classification) 작업, 영상내객체의위치를추정하는객체검출 (object detection), 그리고객체의픽셀단위영역까지추론하는의미적분할 (semantic segmentation) 등은기본적이고중요한영상인식문제들로여겨진다. 이러한기술들은더고차원적인영상인식시스템을구축하기위한기반기술로써활용되며, 또한지능형증강현실, 자율주행자동차, 의료진단보조시스템과같은다양한미래먹거리기술들에게핵심적인지능을제공한다. 영상인식기술들은최근딥러닝 (deep learning), 특히영상과같은공간정보를다루는데적합한합성곱신경망 (Convolutional Neural Network, CNN) 의발전에힘입어큰성능향상을이루었다. CNN은데이터로부터학습되는영상표현을제공하는데, 이영상표현이사람이직접설계한영상표현대비계층적이고더욱풍부한정보를제공하기때문에딥러닝이전시기의영상인식기술들의여러한계들을뛰어넘을수있었다. 이러한최신딥러닝모델들은보통학습시방대한양의데이터와정답의쌍을요구한다. 이모델들은대체로수많은계층들과파라미터 (parameter) 들로이루어져있기때문에이많은수의파라미터들을올바르게추정하기위해서는그에걸맞게많은수의데이터와정답이필요하고, 데이터가부족한경우에는쉽게과적화 (overfitting) 에빠지기때문이다. 이러한문제를해결하기위해여러대규모영상데이터셋들이구축되고공개되었으나, 그중다수는영상분류와같이간단한영상인식을위해설계되었다. 그이유는복잡한영상인식기능을학습하기 696 _ The Magazine of the IEIE 48

55 의미적분할을위한약지도기계학습 < 그림 1> 영상인식을위한학습데이터셋의크기비교. 간단한작업인영상분류를위해제공되는데이터셋은깊은신경망을학습시키기에충분히크지만, 좀더고차원적인작업인객체검출과의미적분할을위해제공되는학습데이터는그양이상대적으로매우제한적이다. 위해서는그만큼복잡한정답을제공해야하며그에따라정답을생성하기위한사람의노동력이더많이투입되기때문이다. 그결과복잡한영상인식문제일수록학습을위한데이터셋을얻기는오히려어려워지는상황이발생하며, 의미적분할과같은고차원적인문제의경우타영상인식문제들보다학습데이터가대단히부족하게된다 (< 그림 1>). 위문제를해결하기위해, 학습데이터가부족한상황에서도딥러닝모델들을올바르게학습하기위한다양한기계학습기법들이제안되었다. 전이학습 (transfer learning) 과준지도학습 (semi-supervised learning) 이그예인데, 전이학습은정답이충분히주어지는도메인 (domain) 에서학습한모델을그렇지않은도메인에서활 용할수있도록, 서로다른도메인사이에서모델을전이시키는방법을일컫는다. 준지도학습의경우, 가지고있는학습데이터의일부만이정답을가지고있는상황을가정하며, 정답이주어진데이터와그렇지않은데이터를모두활용하여모델의성능을끌어올리는것을목표로한다. 약지도학습 (weakly supervised learning) 또한같은동기로부터시작된연구분야이다. 약지도학습에서는학습데이터들에필요한수준보다낮은수준의정답이제공된다고가정한다. 예를들어, 의미적분할모델을학습하기위해영상단위클래스정보나객체위치정보정도만이주어진다면약지도학습상황으로볼수있다. 약지도학습은보다낮은수준의정답만이제공되는데이터셋을활용함으로써학습데이터가부족한문제를해결할수있다. < 그림 1> 에서볼수있듯이낮은수준의정답이제공되는데이터일수록그양이상대적으로많기때문이다. 대신모델이학습할개념보다낮은수준의정보만이학습시주어지기때문에그간극을메우기위한기술을필요로한다. 본논문에서는의미적영상분할을위한약지도학습기술들을소개한다. < 그림 2> 에서와같이의미적분할은픽셀단위의클래스영역을추론하는것이목표이며 [1-2], 그에따라요구하는정답이매우복잡하기때문에학습데이터가부족한문제가상대적으로더심각해진다. 따라서다른영상인식분야들보다약지도학습이적용되기에더적합하다. < 그림 3> 에서와같이, 의미적분할을위한약한지도정보로써영상단위의클래스정보 [3-5], 클래스 < 그림 2> 의미적분할의예. 픽셀별로클래스정보를추론하고같은의미를갖는픽셀들을하나로묶어, 클래스별영역을픽셀단위로얻을수있다. < 그림 3> 의미적분할의학습을위한약한지도정보로써영상단위의클래스정보, 클래스가부여된점, 박스등이활용될수있다. 본논문에서는이중가장약하지만쉽게얻을수있는영상단위의클래스정보를활용한다. 49 전자공학회지 _ 697

56 곽수하 가부여된점 [6], 박스 [7-8] 등다양한형태의정답들이활용될수있다. 특히본논문에서는가장약한수준의지도정보라고할수있는영상단위의클래스정보만을활용하여의미적분할모델을학습하는기술들을다룬다. 영상단위의클래스정보는기존의대규모영상분류데이터셋이나웹에서검색한영상들을의미적분할의학습을위해활용하는것을가능하게만들어주기때문에, 이에기반을두는약지도학습기술들은사람의추가적인노동력을전혀요구하지않고도다양한객체클래스들에대한의미적분할을학습할수있도록돕는다. 의미적분할을위한대부분의약지도학습방식들은픽셀단위의클래스정보를숨겨진정보로간주하고의미적분할모델과함께학습하거나, 또는픽셀단위의클래스정답을추론하는모델을개별적으로학습한뒤그모델이생성한의미적분할정답을통해기존의의미적분할모델들을학습하는방식을가진다. 최근우수한성능을보이는방식들은대부분후자를따르기때문에, 본논문에서는픽셀단위의클래스정보를만들어내는최신모델들을소개한다. Ⅱ. Class Attention Map 영상단위의클래스정보만으로는영상분류를위한신경망이상의모델은학습할수없다. 하지만 Zhou et al. [9] 은영상분류를위한신경망이영상내객체들의대략적인위치와형태를추론할수있음을보였다. 구체적으로, 영상을정확하게분류하기위해영상의어느부분에주목해야하는지를파악함으로써 < 그림 4> 와같은결과를얻을수있다. 이러한정보를 Class Attention Map(CAM) 이라한다. CAM은보통 Global Average Pooling (GAP) 을통해 CNN의특징지도 (feature map) 를하나의벡터로만든뒤이를객체클래스로분류하는신경망계층을학습하고, 이분류를위한계층의파라미터들을 GAP 이전의특징지도에바로적용함으로써계산할수있다. CAM은영상단위의클래스정보만으로학습이가능하며객체의대략적인위치와형태를추정할수있다는점 < 그림 4> Class Attension Map(CAM) 의예에서, 약지도학습상황에서의미적분할정답을생성하기위한핵심정보로활용될수있다. 하지만, CAM은보통해상도가매우낮고, 객체전체가아니라객체의작은일부분만을찾아내는경우가잦기때문에의미적분할정답생성을위해직접적으로활용하기에는적합하지않다. 이러한이유로뒤이어설명할세가지신경망모델들을포함한최근대부분의약지도의미적분할방법들은, 의미적분할정답을더욱정교하게생성하기위해 CAM을어떻게개선하고활용할것인지에집중한다. Ⅲ. Superpixel Pooling 기반의신경망 CAM은낮은해상도때문에객체의형태를정교하게추론할수없고, 또한영상분류를위해학습되었기때문에분류에도움이되지않는객체영역들은종종무시하곤한다. 이러한문제를완화하기위해사용할수있는단서중하나는영상이가지고있는낮은차원의구조, 즉윤곽선이나그로감싸여있는균일한영역이다. 즉, 불완전하고낮은해상도의 CAM을강한윤곽선으로둘러싸인영역안에서전파시킴으로써높은해상도에서의섬세한객체형태를추정할수있다. 위의사실을반영하기위한한가지방법으로 Superpixel Pooling Network(SPN) 이설계되었다. SPN 은기언급된낮은차원의영상정보를신경망구조내부에직접부여하기위해 superpixel을이용하는데, 특히 pooling을위한각각의구획을정의하기위해활용한다. 이를통해 CNN의특징지도로부터 superpixel 단위의특징벡터를얻고, 그뒤의개별 superpixel을분류할수있게된다. 즉, 기존의 CAM이단순히영상내성긴좌표들을분류한다면 SPN은 superpixel 단위의분류를수행 698 _ The Magazine of the IEIE 50

57 의미적분할을위한약지도기계학습 < 그림 5> Superpixel Pooling Network 의구조 한다. 이러한방식이더효과적인이유는 superpixel이원래의영상해상도에서정의된개념이고대체로객체의윤곽선을잘유지하기때문에 CAM과는달리객체의형태를고해상도에서정교하게잡아낼수있다는점이다. 또한 superpixel은사람의추가적인지도를필요로하지않는비지도기술을통해취득할수있기때문에, 이를활용하는 SPN 역시여전히영상단위의클래스정보만활용하는약지도학습모델이된다. < 그림 5> 는이러한 SPN의전체적인구조와결과를보여준다. 기본적으로는 CNN의특징지도와 GAP 사이에 superpixel pooling 계층을둔, CAM의진화된형태라고볼수있으나, superpixel pooling에들어가기전의특징지도의해상도가너무낮을경우 superpixel pooling의결과가지나치게산란되기때문에이를방지하기위한특징지도의해상도를높여주는 deconvolution network [2] 을추가로배치한다. 또한 superpixel pooling에의해 CNN의특징지도가지나치게변형되는것을막기위해특징지도에바로연결된영상분류계층을덧붙인다. SPN은영상단위의클래스정보만으로학습되지만개별 superpixel들을분류할수있는능력을가지고있으며, 이를통해 CAM 대비정교한객체영역을추론할수있다. SPN가내놓은 superpixel 별분류점수를임계값을통해구분하여객체클래스별의미적분할정답을생성할수있으며, 이렇게생성된정답을이용하여기존의지도학습기반의미적분할모델을학습한다. SPN을통한약지도의미적분할학습은발표당시존재하는다른방식들대비가장좋은성능을보여주었다. Ⅳ. 웹동영상을활용하는약지도학습 의미적분할을위한약지도학습에서성능을향상시킬수있는방법중하나는기존의데이터셋이갖지못한정보를보유하고있는새로운외부데이터를활용하는것이다. 이를위한방법들중하나는웹에존재하는동영상데이터를활용하는것이다. 동영상에는기존의정지영상들에는존재하지않는움직임정보가있고, 이를올바르게활용한다면지도정보없이도객체들을구분하고분할할수있다 [10-11]. 그리고웹에서동영상을취득하고이를정제하며프레임간움직임을계산하는일련의과정이사람의추가적인도움을필요로하지않기때문에, 여전히영상단위의클래스정보이외에는필요로하지않는약지도학습모델을구축할수있다. 웹동영상은 YouTube 등과같은사이트에서검색스크립트를통해자동으로내려받을수있다. 하지만중의적의미를갖는검색어혹은잘못된제목등으로인해검색결과로제시된동영상들에우리가찾는객체클래스가존재한다는것을보장할수없다. 따라서, 먼저검색된동영상들의대표이미지 (thumbnail) 들을먼저분류하여목표객체클래스가대표이미지에존재하는경우에만동영상을내려받는다. 또한, 내려받은비디오의전체시간구간에우리가찾는객체클래스가등장하는것은아니기때문에실제목표객체가등장하는시간적위치를특정하기위해동영상의키프레임 (key frame) 들을분류하고올바르게분류된키프레임근처의짧은시간구간만을잘라낸다. 이와같은방식으로정제한짧은동영상들에움직임정보까지계산하여 [12] 의미적분할모델을학습하기위한학습데이터로활용한다. < 그림 7> 은이와같은웹동영상정제과정을도식화한다. 51 전자공학회지 _ 699

58 곽수하 < 그림 6> 웹비디오를이용하여의미적분할을학습하는약지도신경망모델의구조찰할수있게해주기때문에그이후의신경망계층들이 검색어가아닌클래스 를배경으로보는대신단순히무시할수있게만들어준다. 지금까지설명한개념과기능들은모두단일 CNN 모델안에구현될수있으며, < 그림 6> 은그구조는설명한다. 제안하는신경망구조및학습방식은발표당시존재했던영상단위클래스정보를활용하는약지도학습신경망모델들보다더좋은성능을보였으며, 동영상을활용하는타약지도의미적분할모델대비큰성능향상을이루었다. < 그림 7> 학습에사용할웹동영상들을정제하는과정취득한동영상들에의미적분할정답을부여하기위해먼저각프레임에 SPN에서와마찬가지로 CAM 과 superpixel을함께적용하여모든프레임들의 superpixel들이클래스정보를갖도록한다. 이에더해프레임들사이의움직임정보를이용하여, 시간상에서인접한두프레임사이의 superpixel들이움직임을통해잘연결된다면그둘이비슷한클래스정보를갖도록강제한다. 이후특정클래스에속하는 superpixel들을선택하는방식을통해객체클래스별분할을수행하는데, 이과정은잘알려진 Graph-Cut 방식을통해구현된다. 동영상의분할은매프레임의객체영역을제공하므로, 프레임과객체영역의쌍을통해지도학습기반의의미적분할모델을학습할수있다. 다만, 특정클래스를검색어로동영상을받았다고해도해당영상에다른클래스의객체도함께나타날수있기때문에, 단순한지도학습을활용하면검색어와관련없는객체를배경으로인식하게되는문제가발생한다. 이문제를해결하기위해, 제안하는신경망구조는중간에 CAM을입력으로받는다. CAM은동영상검색어클래스에해당하는영역만을관 Ⅴ. 영상좌표사이의의미적유사도추정 의미적분할을위한대부분의약지도학습모델들은 CAM에의존하는데, CAM 자체가가지고있는한계들, 즉해상도가낮고객체전체가아닌일부만을표시하는문제들때문에의미적분할에혹은분할정답을만드는데바로사용할수가없다. 이러한한계들을보완하고자앞서설명한바와같이초픽셀 [3,14] 이나동영상에서의움직임 [4,13] 을추가로활용하거나, 영상의두드러짐 (saliency) 을검출하는알고리즘을활용하기도한다 [15]. 즉, 위와같은방식들은 CAM을개선하기위해추가적인데이터나외부알고리즘을가져오는데, 이러한이유로약지도학습모델의성능이그러한외부데이터및알고리즘에종속된다. 또한외부데이터는수집을위해추가적인컴퓨팅자원을소모하며취득한데이터가잡음을수반한다는단점이있고, 외부알고리즘은의미적분할이아닌다른목적으로사람이직접설계한모델이기때문에약지도학습과정전체를의미적분할을위해최적화하기어렵다. 이러한문제를해결하기위해서는 CAM을개선하는모델을신경망으로학습해야한다. 특히영상단위의클래 700 _ The Magazine of the IEIE 52

59 의미적분할을위한약지도기계학습 < 그림 8> AffinityNet 의구조 ( 위 ) 와이를학습하기위한지도정보생성방법 ( 아래 ) 스정보만으로도학습이가능한모델을제시할필요가있다. 이러한목적을달성하기위해, 영상내인접한좌표들사이의의미적유사도를측정하는 CNN인 AffinityNet을제안한다. < 그림 8> 은 AffinityNet의구조와그러한모델을학습하는방법을묘사한다. AffinityNet은기본적으로특징지도를생성하는 CNN인데, 특징벡터들이다양한크기의영역들을고려할수있도록마지막세개의신경망계층그룹들의특징지도들을하나의특징지도로이어붙인다. 이특징지도위의특징벡터들은, 같은객체클래스에서나왔다면서로가깝고그렇지않다면서로멀도록학습된다. 즉, 두개의인접한특징벡터사이의거리를통해, 그들에대응하는두영상좌표간의의미적유사도를측정하게된다. 이런역할을수행하는 AffinityNet 을영상단위클래스정보만으로학습하기위해 CAM을활용한다. 먼저 CAM 위의점수들을분석하여매우높은가능성으로객체클래스혹은배경클래스일것으로추정되는영역들을판별한다. 이위에서, 같은클래스의영역에서나온영상좌표쌍은의미적유사도 1을, 다른클래스의영역에서나온쌍은유사도 0을부여하여학습한다. 그리고두좌표중하나라도객체와배경클래스어디에도속하지않는경우에는좌표쌍은학습에활용하지않는다. 위와같이학습한 AffinityNet은입력영상의인접한좌표들사이에서의의미적유사도를추정하고, 이를통해불완전한 CAM을유의미한곳으로전파시키는데활용한다. CAM의전파는영상좌표사이의무작위걸음 (random walk) 알고리즘 [16] 을통해구현되며, 이알고리즘의상태변이확률행렬을 AffinityNet이추론한의미 < 그림 9> AffinityNet 을이용한 CAM 개선의예. (a) 입력영상, (b) 실제분할정답, (c)cam, (d)affinitynet 이학습한좌표간유사도를특징지도의미분영상으로형상화한결과, (e) AffinityNet 을통해개선된 CAM 적유사도를통해유도한다. CAM과 AffinityNet 기반의무작위걸음알고리즘을결합하여 < 그림 9> 에서와같이매우정교한분할정답을외부정보나외부알고리즘없이계산할수있으며, 이를통해높은성능의의미적분할신경망을학습할수있다. 제안하는방법을통해최종적으로학습된의미적분할모델은현재같은수준의지도를받는모델중가장좋은성능을보이고있으며, 또한초기의지도학습기반의미적분할 CNN인 FCN [1] 이상의정확도를보장한다. Ⅵ. 결론 대부분의성공적인영상인식모델들은지도학습에기반을두고있다. 하지만의미적분할과같이정답을부여 53 전자공학회지 _ 701

60 곽수하 하는데대단히많은노동력과시간을필요로하는분야에서, 학습데이터의부족을해결하고모델이다루는객체클래스의다양성을보장하기위해약지도학습방법들이제안되었다. 약지도학습환경에서는학습데이터는충분하지만지도정보가부족한데, 이를메우기위해초픽셀이나동영상에서의움직임과같은외부정보및알고리즘을활용하거나, 혹은직접적으로도움이될만한정보를추론하는신경망을학습할수있다. 약지도학습은앞으로정답부여에필요한노동력을줄이거나의료영상과같은정답자체를얻기어려운분야에서요긴하게활용될것으로기대한다. 참고문헌 [1] J. Long, E. Shelhamer, and T. Darrell, Fully convolutional networks for semantic segmentation, in Proc. CVPR, [2] H. Noh, S. Hong, and B. Han, Learning deconvolution network for semantic segmentation, in Proc. ICCV, [3] S. Kwak, S. Hong, and B. Han, Weakly supervised semantic segmentation using superpixel pooling network, in Proc. AAAI, [4] S. Hong, D. Yeo, S. Kwak, H. Lee, and B. Han, Weakly supervised semantic segmentation using web-crawled videos, in Proc. CVPR, [5] J. Ahn and S. Kwak, Learning pixel-level semantic affinity with image-level supervision for weakly supervised semantic segmentation, in Proc. CVPR, [6] A. Bearman, O. Russakovsky, V. Ferrari, and L. Fei- Fei, What s the point: Semantic segmentation with point supervision, in Proc. ECCV, [7] J. Dai, K. He, and J. Sun, BoxSup: Exploiting bounding boxes to supervise convolutional networks for semantic segmentation, in Proc. ICCV, [8] A. Khoreva, R. Benenson, J. Hosang, M. Hein, and B. Schiele, Exploiting saliency for object segmentation from image level labels, in Proc. CVPR, [9] B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba, Learning deep features for discriminative localization, in Proc. CVPR, [10] B. Drayer and T. Brox, Object detection, tracking, and motion segmentation for object-level video segmentation, in Proc. ECCV, [11] A. Papazoglou and V. Ferrari, Fast object segmentation in unconstrained video, in Proc. ICCV, [12] L. Bao, Q. Yang, and H. Jin, Fast edge preserving patch match for large displacement optical flow, IEEE Transactions on Image Processing, [13] P. Tokmakov, K. Alahari, and C. Schmid, Learning semantic segmentation with weakly-annotated videos, in Proc. ECCV, [14] P. O. Pinheiro and R. Collobert, From image-level to pixellevel labeling with convolutional networks, in Proc. CVPR, [15] S. J. Oh, R. Benenson, A. Khoreva, Z. Akata, M. Fritz, and B. Schiele, Exploiting saliency for object segmentation from image level labels, in Proc. CVPR, [16] L. Lovsz, Random walks on graphs: A survey, 곽수하 2007 년 2 월 POSTECH 컴퓨터공학과학사 2014 년 2 월 POSTECH 컴퓨터공학과박사 2014 년 4 월 ~2016 년 3 월 E cole Normale Supe rieure 박사후연구원 2016 년 4 월 ~2016 년 7 월 POSTECH 컴퓨터공학과박사후연구원 2016 년 8 월 ~2018 년 1 월 DGIST 정보통신융합전공조교수 2018 년 2 월 ~ 현재 POSTECH 컴퓨터공학과조교수 < 관심분야 > 컴퓨터비전, 기계학습, 딥러닝 702 _ The Magazine of the IEIE 54

61 특집 Structured Prediction in Computer Vision Structured Prediction in Computer Vision I. 서론 장주용 광운대학교전자통신공학과 컴퓨터비전 (Computer Vision) 의많은문제는입력으로부터출력을예측 (Prediction) 하는문제로정식화될수있으며, 추가적으로이는 Simple Prediction과 Structured Prediction의두가지로구분될수있다. 먼저 Simple Prediction은입력로부터출력를예측하는함수를구하는것이핵심이다. 이때출력이이산적 (Discrete) 이냐혹은연속적 (Continuous) 이냐에따라서이러한예측문제를 Classification 혹은 Regression이라고부른다. Simple Prediction에속한대표적인문제로입력영상으로부터그영상에속한물체의범주를추정해야하는 Image Classification을들수있다. Simple Prediction에비해 Structured Prediction의정의는다소모호한데, 출력가복잡한 (Complex) 혹은구조지워진 (Structured) 대상일경우를일반적으로 Structured Prediction이라고부른다 [1]. 예를들어입력영상으로부터그영상에속한물체들의위치와범주를추정해야하는 Object Detection 문제를들수있다. 이경우각물체의범주를나타내는이산적인숫자와그물체의영상내위치와범위를표현하는 Bounding Box, 즉네개의연속적인숫자들을예측해야한다. 또한영상에포함된물체의개수가고정되지않았으므로예측해야하는출력변수들의개수또한변동가능하다. 사실 Object Detection 뿐만아니라입력영상으로부터영상내사람의자세 (Pose) 를표현하는관절들 (Joints) 의좌표를계산해야하는 Human Pose Estimation, 입력영상의각픽셀마다그픽셀이속한대상의범주를추정하여범주정보를담고있는새로운영상을출력해야하는 Semantic Segmentation 등컴퓨터비전의대부분의문제들이 Structured Prediction에속한다고볼수있다. 55 전자공학회지 _ 703

62 장주용 인모델이다. 본논문에서는컴퓨터비전에서잘사용되지않는 BN에대한논의를제외한다. < 그림 1> PGM의종류 Structured Prediction의경우출력변수를고차원확률변수로간주하여다음과같은양극단의경우를생각해볼수있다. 먼저예측하고자하는변수들이서로독립인경우 Structured Prediction 문제는결국각각의변수들에대한 Simple Prediction 문제들의집합이된다. 반대로출력변수들사이에어떠한독립 (Independence) 관계도성립하지않는경우는문제가매우복잡해진다. 우리는출력변수들사이에적절한의존성 (Dependency) 을가정하여모델이너무간단하지않도록만드는동시에현실을반영할수있을정도의복잡성은유지할필요가있다. 확률변수들사이의다양한의존성을잘표현할수있는모델로서컴퓨터비전에서매우활발하게사용되어온방법론이바로 Probabilistic Graphical Model(PGM) 이다. 본논문에서는 Structured Prediction 문제를다룰수있는대표적인모델인 PGM에대해서소개하고자한다. II. Probabilistic Graphical Model PGM은우리가관심을가지는확률변수들에대한확률분포함수를그래프를통해정의한다. 그러한확률변수는주어진입력, 예측해야하는출력, 혹은문제에서드러나지않은잠재변수 (Latent Variable) 들을모두포함할수있다. 각변수들은그래프의노드를구성하며, 그러한변수들사이의조건부독립관계들이그래프를통해표현된다고할수있다. 이러한 PGM은크게세가지종류, 즉, Markov Random Fields(MRFs), Bayesian Networks(BNs), 그리고, Factor Graphs(FGs) 로나눌수있다. < 그림 1> 에서볼수있듯이 MRF와 BN은각각 Undirected Edges와 Directed Edges로구성되며, 표현할수있는확률분포함수의범위가일치하지않는다. 반면 FG의경우 MRF와 BN을모두포괄할수있는일반적 1. Markov Random Fields (MRFs) n개의확률변수들의집합 이주어졌을때 그러한변수들로구성된식을 Factor라고한다. 이제그 러한 Factor들의집합 이주 어졌다고하자. 여기서 는번째 Factor 를구성하는변수들의집합이다. 이제확률변수 의 Unnormalized Distribution 이 와같다고가정하자. 이경우우리는그 러한 Distribution 이 Factors 로 Factorize 되 었다고표현하며, 를 Distribution 의 Factorization이라고부른다. 이러한 를일반적인확 률분포함수로사용하기위해서는 Normalization 과정 이필요하다. 예를들어이산확률변수를가정할경우 를정의하고, 이를사용하 여확률분포함수 를 으 로정의할수있다. 여기서 는확률분포함수가 0에서 1사이의값을가지도록만드는역할을하며 Partition Function이라불린다. 앞서정의한확률분포함수의 Factorization은그래 프를사용해서직관적으로표현할수있다. 이를위해 Induced Graph를정의한다. 어떤 Factorization 에대 응하는 Induced Graph 에는동일한 Factor에포함된 두변수 Pair에대해서항상그에대응하는 Edge가존재 한다. 다시말해서 Induced Graph는동일한 Factor에 속한모든 Node의 Pairs를 Edges로연결하여구성된다. 이는 < 그림 2> 에나타나있다. 이제어떤 Factor들의집 합가존재하여 이고, H가의 Induced Graph < 그림 2> 확률변수 A,B,C,D 에대한 Factorization 과그에대응하는 Induced Graph H 704 _ The Magazine of the IEIE 56

63 Structured Prediction in Computer Vision 라면우리는확률분포함수 P가그래프 H로 Factorize 된다고표현한다. 이때 H가 P의구체적인식을결정하지는않으며, 다만 Factorization의패턴을표현한다는것에주의하라. 확률변수들사이의조건부독립관계또한그래프를통해표현이가능한데, 이를나타내는것이분리 (Separation) 개념이다. 쉽게말해서그래프 H에서확률변수 X와 Y를연결하는경로 (Path) 들이모두 Z를포함해야한다면, 즉, Z를지나지않고는 X와 Y가서로연결될수없다면, Z에대해 X와 Y가서로분리되었다 (Separated) 고말한다. 이제우리는다음과같은정리를증명할수있다. 정리 1. 어떤확률분포함수 P가그래프 H로 Factorize 되고, Z에대해 X와 Y가서로분리되었다면, Z가주어졌을때 X와 Y는서로독립이다 ( ). 예를들어 < 그림 2> 의확률분포함수는그래프 H로 Factorize 되는데, 그래프 H에서확률변수 A와 D는 B, C에대해서분리되었으므로, B, C가주어졌을때 A와 D 는서로독립이라는결론 ( ) 을내릴수있다. 정리 1을통해우리는그래프를매개로하여어떤확률분포함수의 Factorization으로부터확률변수들사이의조건부독립관계들을이끌어낼수있다. 이제그역또한성립함을증명할수있는데, 이것이바로잘알려진 Hammersley Clifford 정리 [2] 이다. 정리 2(Hammersley Clifford). 만약그래프 H가확률분포함수 P의모든조건부독립관계들을포함한다면, P는 H로 Factorize 된다. 우리는위정리 2를사용하여확률변수들사이의조건부독립관계들을그래프를통해직관적으로정의한후이를만족하는확률분포함수의형태 (Form) 를직접이끌어낼수있다. 예를들어 < 그림 3> 은격자구조를가지는확률변수에대해서조건부독립관계들을표현하는두가지그래프 H 1 과 H 2 을보여준다. 그래프 H 1 의경우모든변수들이서로독립이다. 그리고정리 2에의해 서이를만족하는확률분포함수는의형태를가질수있음을알수있다. 그래프 H 2 의경우어떤확률변수의조건부확률이그변수의이웃변수들에게만의존해야한다는, 소위 Markov Property를나타낸다. 그리고정리 2에의해서이를만족하는확률분포함수는의형태를가질수있다. 이것이컴퓨터비전에서많이사용되는 Pairwise MRF의확률분포함수이며, 하나의확률변수에만의존하는를 Unary Term, 인접한두확률변수들에의존하는를 Pairwise Term이라고부른다. 2. Factor Graphs (FGs) MRF의단점중의하나는그래프가표현하는확률분포함수의형태가유일하게결정되지않는다는것이다. 이를보완하기위해 Factor Graph는변수에대한 Variable Node와변수들이구성하는 Factor에대한 Factor Node 를구분한다. 즉, 어떤그래프를구성하는모든변수들의집합을, 그리고모든 Factor들의집합을라고하자. Edge는변수와 Factor를연결하여형성되며그러한 Edge들의집합을라고하자. 이제어떤 Factor의범위 (Scope) 는로정의되며, 이는 Factor F를구성하는모든변수들의집합을의미한다. 이제어떤 FG G가나타내는 Unnormalized Distribution은모든 Factor들의곱인로표현되며, 확률분포함수는 Partition Function 를사용하여로정의된다. 예를들어 < 그림 4> 는두 FGs H 2 와 H 3 를보여준다. H 2 와 H 3 에대응하는확률분포함수는각각, < 그림 3> 확률변수 X 11,X 12,,X HW 에대한그래프 57 전자공학회지 _ 705

64 장주용 < 그림 4> MRF H 1 은두 FGs H 2, H 3 가될수있다. 원형은 Variable Node, 사각형은 Factor Node 이다. < 그림 6> 조건부확률 P(Y X) 를나타내는두 FGs. 흰색, 회색 Node 는각각출력, 입력변수를의미한다. < 그림 5> 입력및출력변수 X={X ij } 와 Y={Y ij } 에대한일반적인 Pairwise MRF 에대응하는 FG 그리고으로표현할수있다. 하지만이둘은모두하나의 MRF H 1 에대응한다. 따라 서, FG는확률분포함수의 Factorization Pattern을좀더명시적으로구분할수있다. 서론에서언급하였듯이컴퓨터비전의많은문제들은변수 X가주어졌을때구하고자하는변수 Y를예측하는형태를가진다. MRF는그러한두변수 X와 Y에대한결합확률분포 (Joint Probability Distribution) P(X,Y) 을모델링할수있도록해준다. 격자구조의입력및출력변수 X, Y에대한일반적인 Pairwise MRF에대응하는 FG는 < 그림 5> 에잘나타나있다. 3. Conditional Random Fields (CRFs) 입력과출력변수들의결합확률분포의모델링을위한 MRF와달리 CRF는입력 X가주어졌을때의출력 Y에대한조건부확률분포를모델링할수있도록해준다. 입출력 X와 Y에대한 MRF를통해결합확률분포가정의되었다고가정하자. 이제주어진입력 X를확률변수가아닌고정된상수로간주하여조건부확률분포를구할수있다. 이때 Partition Function은가되는데, 상수였던 MRF의경우와는 달리입력 X 에대한함수가된다. 입출력확률변수에대한결합확률분포 P(X,Y) 를모델링하는 MRF는 Generative Model에속하는반면, 출력에대한조건부확률을모델링하는 CRF는 Discriminative Model에속한다. 그리고, CRF는긴범위의종속성 (Long-range Dependency) 을허용하여출력변수가다수의멀리떨어져있는입력변수들에의존하도록할수있다. 예를들어 < 그림 6> 의 H 1, H 2 는모두조건부확률를모델링하는 Pairwise CRF 이다. 하지만결합확률분포 P(X,Y) 의관점에서는 H 1 는 Pairwise MRF이지만 H 2 는출력변수가긴범위의입력변수에의존하므로 Pairwise MRF가아니다. 종합하자면 CRF는변수들간의복잡한상호작용을허용하는동시에출력변수에대한확률분포만을고려함으로써간단한 Factorization Pattern을유지할수있는장점을가진다. Pairwise CRF는위에언급한장점들로인해많은컴퓨터비전문제들을위해활발히사용되어왔는데, 그일반적인형태는이다. 보통입력 X는영상인경우가많다. Image-dependent Unary Term 는입력영상으로부터각출력변수의가능성값을계산하는역할을하며 Likelihood Term이라고도불린다. Image-independent Pairwise Term인와는입력영상과는상관없이출력변수들사이의관계에대한사전정보를제공하는 Prior Term의역할을한다. Ⅲ. Inference 앞의 II 장에서우리는 Structured Prediction 문제 706 _ The Magazine of the IEIE 58

65 Structured Prediction in Computer Vision 를확률적으로모델링하기위한 PGM을살펴보았다. 이제그러한모델을사용하여실제문제에대한해답을구할수있는데이러한과정을일반적으로추론 (Inference) 이라고부른다. 여러가지의추론형태가가능한데, 예를들어 Partition Function의계산, 입력변수가관찰되고난후특정출력변수에대한사후확률 (Posterior Probability) 계산, 그리고, 그러한사후확률의최대화등을들수있다. 1. Partition Function 계산 Partition Function은 Unnormalized Distribution 의확률변수이가질수있는값들의모든조합에대한합으로정의된다. 0 에서 1 사이의값을가지는실질적인확률값을얻기위해서는이런 Partition Function의계산이필요하다. 각각의확률변수가 M개의값을가질수있는이산변수인경우 Partition Function은확률변수들이가질수있는모든경우의수에비례하는의연산을통해계산가능하다. 이러한지수적복잡도 (Exponential Complexity) 는그래프가특별한구조를가질경우에다항복잡도 (Polynomial Complexity) 로줄어들수있다. 예를들어 < 그림 7(a)> 의경우체인 (Chain) 구조의 FG로서그 Partition Function은의형태를가진다. 각각의확률변수는이산집합의값을취할수있다고가정하자. 계산량을줄이기위한기본적인아이디어는 Partition Function Z를다음과같이표현하는것이다 :. 이제맨오른쪽의를먼저계산가능하다. 이는각각의에대해서모든에대 한의합을계산하는것으로의계산량을가지며, 이를통해변수에대한일종의함수가얻어진다. 이를 H 노드에서노드로의 Message 라고부르며라고표현하자. 이제이렇게계산된 Message를 G Factor와합쳐서다음과같이수정된 Partition Function을얻을수있다 :. 결과적으로의연산을통해변수하나, 즉, 가제거되었고, 이를통해전체문제의복잡도가감소하였다. 이제동일한아이디어를반복적으로적용하여 Partition Function 이두개의변수로표현되도록만들수있다. 그리고두개의변수를포함하는 Partition Function의계산은의연산으로가능하기때문에결국전체계산량은에서으로감소한다. 이러한과정은 < 그림 7> 에잘나타나있다. 앞서설명한아이디어는 Tree 구조를가지는 FG에도적용이가능하다. 예를들어 < 그림 8(a)> 의 FG에대한 Partition Function은와같다. 그리고이는 으로다시표현할수있다. 이제우리는 H 노드에서노드로의 Message 와 I 노드에서노드로의 Message 를계산하여 Partition Function을 로변환할수있다. 여기서 Factor 노드 G 로들어오는 Factor-to-Variable Message들의곱을 Variable-to-Factor Message라고정의할수있다. 즉, 노드에서 G 노드로의 Message는 < 그림 7> Message Passing 을통한 Partition Function 계산과정 < 그림 8> Tree 구조의 FG 에대한 Message Passing 59 전자공학회지 _ 707

66 장주용 라고정의된다. 그러면 Partition Function은가되고, 이후의과정은체인구조의경우와동일하다. 이과정은 < 그림 8> 에나타나있다. 정리하자면우리는적절한 Variable-to-Factor 그리고 Factor-to-Variable Message들을계산하여 Partition Function의값을구할수있다. 2. Marginal Function 계산때때로우리는모든변수가아니라특정변수에대한확률값을계산할필요가있다. 이를위해그변수를제외한나머지변수들에대한 Unnormalized Distribution의합산 (Summation) 을통해서 Marginal Function을계산해야한다. 예를들어 < 그림 7(a)> 의 FG에서변수에대한확률값계산을위해 Marginal Function 을구해야한다고가정하자. Partition Function과다른점은변수에대한합산이제외된것임을확인할수있다. 이제위의식은으로재배열될수있고, F 노드에서노드로의 Message 와 H 노드에서노드로의 Message 를사용하여으로간략화될수있다. 결국기본적인아이디어는목표변수를포함하는 Factor( 예를들어, 위의경우는 ) 만남기고나머지변수들은모두제거하는것이다. 직관적으로볼때 Message는 Message가전달되어온방향에존재하는모든변수들이포함된 Factor들의합산에대한정보를가지고있다고볼수있다. 따라서우리가관심을가지는변수를포함하는 Factor와그 Factor 를향해들어오는모든 Message들의곱을계산하는것이중요하다. 그러한곱으로부터목표변수를제외한나머지변수들에대해합산을하여 Marginal Function을구할수있고, 모든변수들에대한합산을통해 Partition Function 또한얻을수있다. 결국 PGM에있어서추론을위한핵심은 Message 들의계산이다. 그리고주어진 FG의모든 Message들 < 그림 9> Tree 구조의 FG 에대한 Belief Propagation 과정. 숫자가 Message 계산의순서를의미한다. 을체계적으로계산하는방법이바로잘알려진 Belief Propagation(BP) 알고리즘이다. 직관적으로 Factorto-Variable Message는어떤 Factor에서목표변수를제외한변수들을합산을통해소거한함수를목표변수를향해서전달하는것이다. Variable-to-Factor Message는목표 Factor를제외한나머지 Factor로부터전달된 Factor-to-Variable Message들을모두곱한후목표 Factor로보내는것이다. BP 알고리즘은이러한 Message 계산과정을반복적으로적용하게되는데, 빠른수렴을위해서는 Message 계산순서가중요하다. 양쪽끝에 A, B 두개의노드를가지는체인구조의 FG에대해서는먼저 A에서 B방향으로, 그리고 B에서 A방향으로 Message들을업데이트한다. Tree 구조의경우에는 < 그림 9> 에서와같이하나의노드를 Root 노드로선택한후, 먼저 Leaf-to-Root 방향, 그리고 Root-to-Leaf 방향으로 Message들을업데이트하여모든 Message들을올바르게계산할수있다. 3. Maximum a Posteriori 추론입력이주어졌을때출력변수를예측하는문제는 PGM이적절히모델링된경우입력에대한출력의조건부확률을최대화하는출력변수를계산함으로써해결할수있다. 이것이바로 Maximum a Posteriori (MAP) 방법으로다음과같이 CRF를사용하여정식화된다 :. 여기서는원래 Partition Function 를분모로포함하지만입력가주어진경우는상수가되어최대화과정에서고려하지않아도된다. 결국 MAP 방법은 708 _ The Magazine of the IEIE 60

67 Structured Prediction in Computer Vision Unnormalized Distribution를최대화하는출력변수의조합을찾는것이라고할수있다. 출력변수가가질수있는모든조합의수는출력변수의개수에대해지수함수적으로증가하므로단순히모든경우를조사하는전략은실현가능 (Feasible) 하지않다. 대신우리는 Partition Function의계산에사용된아이디어를통해 Unnormalized Distribution의최대값을구할수있다. 자세한설명은생략하겠지만우리는 III장 2절에서설명한 BP와비슷한알고리즘을구성할수있다. 차이점은기존의경우 Factor들의곱 (Product) 을모두합하는것이었다면본절에서고려대상인 MAP의경우 Factor들의곱의최대값을구하는것으로기존알고리즘에서 Σ 기호가 max 기호로바뀌게된다. 따라서 Partition Function이나 Marginal Function의계산을위한알고리즘을 Sum-product BP라부르고, MAP을위한알고리즘을 Max-product BP라고한다. 우리는기존의 Marginal Function에대응하는개념으로 Max-marginal Function을정의할수있다 :. 이는변수를제외한나머지변수들에대해서최대화를수행한것으로의함수이다. 이제 MAP Estimate 는 Max-marginal Function 을사용하여다음과같이얻어진다 :. 지금까지우리는체인이나 Tree와같이고리 (Loop) 를가지지않는 PGM에대한추론을살펴보았다. 만약고리를가질경우에는어떻게해야하는가? 놀랍게도그러한경우에도 BP 알고리즘을사용할수있음이알려져있다. 기본적인아이디어는 BP의 Message 업데이트절차를수렴할때까지반복하는것이다. 이를 Loopy BP 알고리즘 [3] 이라부르며 Stereo Matching, Human Pose Estimation 등컴퓨터비전의여러실제적인문제들에성공적으로활용되어왔다. 본다. 각샘플들이독립적이고, 동일하게분포된 (IID) 확률변수일경우학습데이터의 Likelihood 는각샘플들의 Likelihood의곱인으로표현된다. 이것을최대화하는 Parameter를구하는것이바로 Parameter Learning을위한보편적인방법인 Maximum Likelihood(ML) 원리이다. 이는더다루기쉬운 Log-Likelihood 의최대화문제로도변환가능하다. 그렇다면는어떤형태를가져야하는가? 즉, 확률분포함수는어떻게 Parameterize 되어야하는가? 특정조건아래에서절약의원리 (Principle of Parsimony) 를만족시키는확률분포함수의형태가 Log-Linear Model임이알려져있다 :. 여기서는번째 Parameter이고, 는입력로부터계산된번째 Feature이다. 즉, Log-Linear Model의 Factor는로서 Log를적용하였을때 Feature에대한 Linear 형태를가지게된다. Log-Linear Model의 Log-Likelihood는임을쉽게증명할수있다. 여기서는 Log-Partition Function으로입력의모든경우에대한합을계산해야한다. Log-Partition Function을제외하면 Log-likelihood가파라메터에대한선형함수임에주목하라. 이제 Log-Likelihood를최대화하는파라메터를찾는문제는다음과같은연속최적화 Ⅳ. Learning 본장에서는학습데이터 가주어졌 을때그데이터를설명하는 PGM 의 Parameter 를구하는소위 Parameter Learning에대해서살펴 < 그림 10> MRF 와 CRF 의그래디언트계산의차이 61 전자공학회지 _ 709

68 장주용 (Continuous Optimization) 문제로간주할수있다 :. 이러한최적화문제를풀기위해서는다음정리가도움이된다. 정리 2. Log-Linear Model의 Log-Partition Function 의일차미분은이고, 이차미분은이다. 좀더쉽게표현하자면 Log-Partition Function 을 Parameter 으로편미분한것은현재확률분포함수아래에서 Feature 에대한기대값이된다는것이다. 이러한기대값은 Feature 에포함된변수에대한 Marginal Function과 Partition Function을통해계산할수있다. 결국 Log-Linear Model의 Log-Likelihood에대한일차미분, 혹은그래디언트 (Gradient) 값을계산하기위해서는 PGM에대한추론을수행해야한다. 현재 Parameter에서의 Log-Likelihood의그래디언트를계산할수있으므로 Gradient Descent 혹은 L-BFGS와같은 Quasi-Newton Method를사용하여최적화문제를풀수있다. 위의정리 2에따르면 Hessian Matrix가 Covariance Matrix가되고, 이는 Log-Likelihood가 Parameter에대한 Concave 함수가된다는것을의미한다. 따라서우리는그래디언트기반의방법을통해최적의해를구할수있다. 위의정리 2 를사용하면 Log-Likelihood의편미분은다음과같다 :. 여기서첫번째항인은주어진학습데이터로부터계산된 M개의 Feature들에대한 Empirical Expectation 으로해석할수있다. 따라서최 적의 Parameter 에대한다음과같은정리를얻을수있다. 의모델에의한 Analytic Expectation 이같아야함을의 미한다. 다시말해최적의모델은관찰된 Feature 들을완 벽히설명해야한다. CRF 의경우는조금달라진다. 이는근본적으로 CRF 의 Partition Function 은입력변수에의존 하기때문이다. CRF 에대한 Log-Linear Model 은 라서주어진학습데이터 와같다. 따에대 한 Conditional Log-Likelihood 는다음과같다 : 이식의편미분을계산해보면다음과같다 : 래디언트를계산하기위해서는각각의샘플 Feature.. 결국, 그 에대한 의 Analytic Expectation 을구해야 하고, 이는 BP 알고리즘을샘플의수 M 만큼반복해야함 을의미한다. Parameter Learning 에있어서의 MRF 와 CRF 의이러한차이점은 < 그림 10> 에요약되어있다. Ⅴ. 결론 지금까지 Structured Prediction 을위한확률모델 인 PGM 과그추론및학습방법들에대해서개략적으 로살펴보았다. < 그림 11> 은 Human Pose Estimation 을위한 CRF 모델을보여준다. 입력변수는영상 전체를나타내고, 출력변수 는 M 개의 2D 관 절좌표를의미한다. Human Pose Estimation 의목 표는입력영상으로부터 2D 관절좌표를추정하는것 이며, 이를위해 CRF 모델은조건부확률 정리 3. 가 ML Estimation이라는것과다음조건은동치이다 :. 이는직관적으로각 Feature의데이터 D에의한 Empirical Expectation과으로 Parameterize된현재 < 그림 11> Human Pose Estimation 을위한 CRF 모델의예 710 _ The Magazine of the IEIE 62

69 Structured Prediction in Computer Vision 을정의한다. 여기서은 Unary Term으로관절의 Appearance Feature 의 Score를의미한다. 그리고, 는 Pairwise Term으로이웃한관절사이의 Compatibility를나타낸다. Unary Term은입력영상이제공하는각각의관절위치에대한정보라고할수있고, Pairwise Term은관찰된영상과는상관없이관절들이자체적으로만족해야하는 Prior Constraint라고볼수있다. 사실본논문에서언급한 BP 알고리즘과 ML 원리에기반한 Parameter Learning 알고리즘은 PGM의추론및학습방법들중의극히기본적인일부분에불과하다. 이외의더많은방법들에대해서살펴보고자한다면관련문헌 [4] 을참고하라. 참고문헌 [1] Sebastian Nowozin and Christoph H. Lampert, Structured learning and prediction in computer vision, Foundations and Trends in Computer Graphics and Vision, [2] J. M. Hammersley and P. Clifford, Markov fields on finite graphs and lattices, [3] Judea Pearl, Probabilistic reasoning in intelligent systems: networks of plausible inference, Morgan Kaufmann, [4] Daphne Koller and Nir Friedman, Probabilistic graphical models: principles and techniques, MIT press, 장주용 2001 년 2 월서울대학교공과대학전기공학부학사 2008 년 2 월서울대학교전기컴퓨터공학부박사 2008 년 2 월 ~2009 년 1 월미국 Mitsubishi Electric Research Lab. 박사후연구원 2009 년 4 월 ~2011 년 1 월삼성전자 DMC 연구소책임연구원 2011 년 4 월 ~2012 년 2 월서울대학교 BK 연구교수 2012 년 3 월 ~2017 년 2 월한국전자통신연구원선임연구원 2017 년 3 월 ~ 현재광운대학교부교수 < 관심분야 > Computer Vision and Machine Learning 63 전자공학회지 _ 711

70 The Institute of Electronics and Information Engineers 전자공학회논문지제 55 권 8 호발행 논문지논문목차 [ 통신 ] Multimode OFDM 시스템의설계와성능평가이준구, 유흥균 통신분야 컴퓨터분야 [ 멀티미디어 ] SNS 업 다운스케일링영상의히스토그램분포를이용한미디언필터링포렌식판정이강현 [ 유비쿼터스시스템 ] 상황인식기반스마트음악재생앱개발김인태, 황성운 효율적인계층적술어암호김인태, 황성운 [ 융합컴퓨팅 ] UWAC 를활용한 Pearl spot 어종의성장예측을위한 RIL 기반접근법델핀라즈, 신수영, 남궁정일, 박수현 해시테이블을이용한레벨셋데이터의효율적인저장과검색정승한, 권오봉 신호처리분야 [ 영상신호처리 ] Mean-shift 클러스터링기반객체분리를통한가금류무게측정시스템구현박호범, 김나리, 한영준, 한헌수 컬러조작검출성능개선을위한효율적인블록선택방법전종주, 엄일규 712 _ The Magazine of the IEIE 64

71 논문지논문목차 하프톤패턴을이용한모바일디스플레이의야외시인성향상최봉석, 하영호, 이철희 [ 음향및신호처리 ] 능동소나시스템에서고속탐색을위한신호송신기법분석손우성, 서영광, 김완진, 김형남 계단주파수레이더에서 VMD 방식을이용한이동표적의속도추정및도플러주파수보상기법분석심재훈, 배건성 시스템및제어분야 [ 제어계측 ] 화재안전성확보를위한전기매트의인체감지센서성능개선연구이재훈, 김희식 완구형드론의안전관리방안도출에관한연구이재훈, 김희식 [ 국방정보및제어 ] 디지털 I/Q 를이용한진폭비교방식모노펄스수신기에관한연구최영익, 홍상근, 고재헌, 박진태, 장연수 산업전자분야 [ 신호처리및시스템 ] DS3 와 ARIA 알고리즘을이용한인터페이스다중연동보안장치의구현정성, 손채봉 65 전자공학회지 _ 713

72 박사학위논문초록 오현우 Oh Hyun Woo 학위논문제목 국문 : 비접촉표면형상측정에서사용되는 PZT 의고정밀도위치제어방법에관한연구 영문 : A Study on High Precision Position Control Method of PZT for Non-Contact Surface Shape Measurement 학위취득광운대학교취득년월 2018 년 8 월 지도교수 KEY WORD 김복기 piezo-electric, hysteresis, creep, position calibration, position control < 논문요약 > The core components required for semiconductor packaging require a precision of PZT used in inspection equipment because these are required small and precise inspection methods ranging in size and height from several to dozens of micrometers. PZT is a device which can easily convert energy by external force, however, it is affected by electric field intensity and direction, piezoelectric constant, applied tensile force and causes mechanical deformation when an electric field is applied. Because of the mechanical deformation of PZT, high precision position control efficiency of the PZT is deteriorated due to various dynamic errors such as hysteresis characteristic, creep phenomenon, controller error and disturbance of the PZT driving part. Many studies have been carried out based on mathematical models such as the Preisach model, the Bout- Wen model, the Prandtl-Lshlinskii model and the Takagi-Suzeno based model for high precision position control of PZT. However, there is a difficulty in methods of precise control to improve non-linearity of PZT for rapid measurements and performance at nanometer resolution is still unsatisfactory. Because of these reasons, it is necessary to reduce the driving error of PZT in order to perform rapid measurement and precise position control. Therefore, this dissertation designed PZT driving position calibration control board for PZT repeat measurement error reduction and high speed measurement and high precision position control. The developed control board used a P-I gain value based feedback system to calculate the gain value, a suitable tuning of PZT performed and then it calculates the PZT driving distance compared to the target position using the laser interferometer. As a result of calculating the position correction value for the PZT driven error and inputting it to the control board, the error accuracy from several to dozen of nanometers was calculated. The result shows that the performance of PZT for high precision position control is improved by using the developed control board. The proposed method can be applied to various industries such as precision measuring instruments, semiconductor industry and nano-technology and is expected to be used to the field. 714 _ The Magazine of the IEIE 66

73 The Magazine of the IEIE 국내외학술행사안내 국 내외에서개최되는각종학술대회 / 전시회를소개합니다. 게재를희망하시는분은간략한학술대회정보를이메일로보내주시면게재하겠습니다. 연락처 : edit@theieie.org 2018 년 9 월 일자학술대회명개최장소홈페이지 / 연락처 IEEE 8th International Conference on Consumer Electronics - Berlin Berlin, Germany th International Conference on Lightning Protection (ICLP) Rzeszow, Poland ESSCIRC IEEE 44th European Solid State Circuits Conference (ESSCIRC) Dresden, Germany XIII International Conference on Electrical Machines (ICEM) Ramada Plaza Thraki, Alexandroupoli, Greece IEEE 12th International Conference on Self-Adaptive and Self-Organizing Systems (SASO) Trento, Italy th International Teletraffic Congress (ITC 30) Vienna, Austria rd IEEE/ACM International Conference on Automated Software Engineering (ASE) Montpellier, France th European Signal Processing Conference (EUSIPCO) Roma, Italy st IEEE International System-on-Chip Conference (SOCC) Crystal City, Virginia, USA th International Workshop on Content-Based Multimedia Indexing (CBMI) La Rochelle, France rd International Universities Power Engineering Conference (UPEC) Glasgow, United Kingdom th International Conference on Virtual Worlds and Games for Serious Applications (VS-Games) Würzburg, Germany Würzburg, Germany th International Workshop on Semantic and Social Media Adaptation and Personalization (SMAP) Zaragoza, Spain North American Power Symposium (NAPS) Fargo, North Dakota, USA IEEE 29th Annual International Symposium on Personal, Indoor and Mobile Radio Communications (PIMRC) Bologna, Italy rd International Conference on Infrared, Millimeter, and Terahertz Waves (IRMMW-THz2018) Nagoya, Japan Forum on specification & Design Languages (FDL) Garching, Germany International Conference on Smart Energy Systems and Technologies (SEST) Sevilla, Spain th France-Japan and 10th Europe-Asia Congress on Mechatronics Tsu, Japan IEEE International Conference on Cluster Computing (CLUSTER) Belfast, United Kingdom International Conference on Electromagnetics in Advanced Applications (ICEAA) Cartagena des Indias, Colombia 67 전자공학회지 _ 715

74 일자학술대회명개최장소홈페이지 / 연락처 International Conference on Applied Electronics (AE) Pilsen, Czech Republic th Annual Conference of the Society of Instrument and Control Engineers of Japan (SICE) Nara, Japan IEEE 12th International Symposium on Embedded Multicore/Many-core Systems-on-Chip (MCSoC) Hanoi, Vietnam IEEE International Conference on Vehicular Electronics and Safety (ICVES) Madrid, Spain ACM/IEEE International Symposium on Empirical Software Engineering and Measurement (ESEM) Oulu, Finland IEEE XXVII International Scientific Conference Electronics (ET) Sozopol, Bulgaria IEEE 16th International Symposium on Intelligent Systems and Informatics (SISY) Subotica, Serbia IEEE East-West Design & Test Symposium (EWDTS) Kazan, Russia th International Symposium on High-Current Electronics (ISHCE) Tomsk, Russia conferences/shce.html IEEE International Semiconductor Laser Conference (ISLC) Santa Fe, New Mexico, USA th Euro-Asian Pulsed Power Conference (EAPPC) and 22nd International Conference on High-Power Particle Beams (BEAMS) Changsha, China nd International Conference on Ion Implantation Technology (IIT) Würzburg, Germany IEEE 23rd International Workshop on Computer Aided Modeling and Design of Communication Links and Networks (CAMAD) Barcelona, Spain China International Conference on Electricity Distribution (CICED) Tianjin, China IEEE 28th International Workshop on Machine Learning for Signal Processing (MLSP) Aalborg, Denmark IEEE AUTOTESTCON National Harbor (Oxon Hill), Maryland, USA Joint IEEE 8th International Conference on Development and Learning and Epigenetic Robotics (ICDL-EpiRob) Tokyo, Japan th ACM International Conference on Nanoscale Computing and Communication (NanoCom) Reykjavik, Iceland th European Conference on Power Electronics and Applications (EPE'18 ECCE Europe) Riga, Latvia th Electronic System-Integration Technology Conference (ESTC) Dresden, Germany International Symposium on Computers in Education (SIIE) Jerez (Cadiz), Spain International Conference on Advances in Computing, Communications and Informatics (ICACCI) Bangalore, India International Workshop on Big Geospatial Data and Data Science (BGDDS) Wuhan, China Condition Monitoring and Diagnosis (CMD) Perth, Australia IEEE/AIAA 37th Digital Avionics Systems Conference (DASC) London, United Kingdom IEEE Energy Conversion Congress and Exposition (ECCE) Portland, Oregon, USA European Conference on Optical Communication (ECOC) Rome, Italy th International Symposium on Discharges and Electrical Insulation in Vacuum (ISDEIV) Greifswald, Germany _ The Magazine of the IEIE 68

75 일자학술대회명개최장소홈페이지 / 연락처 IEEE International Conference on Software Maintenance and Evolution (ICSME) Madrid, Spain International Conference on Simulation of Semiconductor Processes and Devices (SISPAD) Austin, Texas, USA Thirteenth International Conference on Digital Information Management (ICDIM) Berlin, Germany IEEE Petroleum and Chemical Industry Technical Conference (PCIC) Cincinnati, Ohio, USA th International Symposium on Environment-Friendly Energies and Applications (EFEA) Rome, Italy International Conference on Indoor Positioning and Indoor Navigation (IPIN) Nantes, France IEEE 26th International Conference on Network Protocols (ICNP) Cambridge, United Kingdom IEEE 26th International Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS) Milwaukee, Wisconsin, USA IEEE 9th International Workshop on Applied Measurements for Power Systems (AMPS) Bologna, Italy International Conference of the Biometrics Special Interest Group (BIOSIG) Darmstadt, Germany First International Conference on Artificial Intelligence for Industries (AI4I) Laguna Hills, California, USA IEEE International Conference on RFID Technology & Application (RFID-TA) Macau, Macao rd International Workshop on Thermal Investigations of ICs and Systems (THERMINIC) Stockholm, Sweden IEEE/ACM International Conference on Connected Health: Applications, Systems and Engineering Technologies (CHASE) Washington, District of Columbia, USA chase2018/ International Conference on Computing, Power and Communication Technologies (GUCON) Greater Noida, Uttar Pradesh, India IEEE Cybersecurity Development (SecDev) Cambridge, Massachusetts, USA IEEE International Symposium on Workload Characterization (IISWC) Raleigh, North Carolina, USA IEEE Photonics Conference (IPC) Reston, Virginia, USA IEEE International Symposium on Precision Clock Synchronization for Measurement,Control, and Communication (ISPCS) Geneva, Switzerland Embedded Systems Week (ESWeek) Torino, Italy 년 10 월 Sixth International Conference on Enterprise Systems (ES) Limassol, Cyprus Eleventh International Conference "Management of largescale system development" (MLSD) Moscow, Russia IEEE International Systems Engineering Symposium (ISSE) Rome, Italy Open Innovations (OI) South Africa IEEE 43rd Conference on Local Computer Networks (LCN) Chicago, Illinois, USA IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC) Lisbon, Portugal IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) Madrid, Spain 69 전자공학회지 _ 717

76 일자학술대회명개최장소홈페이지 / 연락처 nd International Conference On Quran-Hadith, Information Technology and Media: Challenges and Opportunities (ICONQUHAS) Bandung, Indonesia IEEE 37th Symposium on Reliable Distributed Systems (SRDS) Salvador, Brazil XIV International Scientific-Technical Conference on Actual Problems of Electronics Instrument Engineering (APEIE) Novosibirsk, Russia International Conference on Applied Engineering (ICAE) Batam, Indonesia International Conference on Promising Electronic Technologies (ICPET) Deir El-Balah, Palestine AEIT International Annual Conference Bari, Italy Congreso Internacional de Innovación y Tendencias en Ingeniería (CONIITI) Bogota, Colombia International Conference on Automation and Computational Engineering (ICACE) Greater Noida, India IEEE Frontiers in Education Conference (FIE) San Jose, California, USA th International Conference on Telecommunication Systems, Services, and Applications (TSSA) Bandar Lampung, Indonesia Twelfth IEEE/ACM International Symposium on Networkson-Chip (NOCS) Torino, Italy International Ural Conference on Green Energy (UralCon) Chelyabinsk, Russia International Conference on Applied and Theoretical Electricity (ICATE) Craiova, Romania Eleventh International Conference on Mobile Computing and Ubiquitous Network (ICMU) Auckland, New Zealand IEEE 59th Annual Symposium on Foundations of Computer Science (FOCS) Paris, France th IEEE International Conference on Image Processing (ICIP) Athens, Greece IEEE PES Asia-Pacific Power and Energy Engineering Conference (APPEEC) Kota Kinabalu, Malaysia IEEE International Conference on Systems, Man, and Cybernetics (SMC) Miyazaki, Japan IEEE 36th International Conference on Computer Design (ICCD) Orlando, Florida, USA International Integrated Reliability Workshop (IIRW) South Lake Tahoe, California, USA IEEE International Symposium on Defect and Fault Tolerance in VLSI and Nanotechnology Systems (DFT) Chicago, Illinois, USA IEEE-SA Ethernet & Automotive Technology Day (E&IP@ATD) London, United Kingdom th Biennial Baltic Electronics Conference (BEC) Tallinn, Estonia International Conference on Advanced Science and Engineering (ICOASE) Duhok, Kurdistan Region, Iraq International Scientific-Practical Conference Problems of Infocommunications. Science and Technology (PIC S&T) Kharkiv, Ukraine Conference on Design and Architectures for Signal and Image Processing (DASIP) Porto, Portugal IEEE Electrical Power and Energy Conference (EPEC) Toronto, Ontario, Canada IEEE Workshop on Complexity in Engineering (COMPENG) Florence, Italy _ The Magazine of the IEIE 70

77 일자학술대회명개최장소홈페이지 / 연락처 rd International Conference on Contemporary Computing and Informatics (IC3I) Gurgaon, India New Trends in Signal Processing (NTSP) Liptovský Mikuláš, Slovakia International Conference on Smart Systems and Technologies (SST) Osijek, Croatia China International SAR Symposium (CISS) Shanghai, China IEEE International Conference on Smart Materials and Spectroscopy (SMS) Hammamet, Tunisia th International Conference on Renewable Energy Research and Applications (ICRERA) Paris, France IEEE 27th Conference on Electrical Performance of Electronic Packaging and Systems (EPEPS) San Jose, California, USA rd International Conference on Communication and Electronics Systems (ICCES) Coimbatore, India th International Conference on Wireless and Mobile Computing, Networking and Communications (WiMob) Limassol, Cyprus IEEE 13th Nanotechnology Materials and Devices Conference (NMDC) Portland, Oregon, USA IEEE SOI-3D-Subthreshold Microelectronics Technology Unified Conference (S3S) Burlingame, California, USA IEEE International Conference on Imaging Systems and Techniques (IST) Krakow, Poland IEEE Radio and Antenna Days of the Indian Ocean (RADIO) Mauritius IEEE Third Ecuador Technical Chapters Meeting (ETCM) Cuenca, Ecuador nd International Conference on Electrical Engineering and Informatics (ICon EEI) Batam, Indonesia th International Symposium on Pervasive Systems, Algorithms and Networks (I-SPAN) Yichang, China th International Conference on Wireless Networks and Mobile Communications (WINCOM) Marrakesh, Morocco IEEE 12th International Conference on Application of Information and Communication Technologies (AICT) Almaty, Kazakhstan IEEE Biomedical Circuits and Systems Conference (BioCAS) Cleveland, Ohio, USA Conference Grid, Cloud & High Performance Computing in Science (ROLCG) Cluj-Napoca, Romania IEEE International Conference on Automation/XXIII Congress of the Chilean Association of Automatic Control (ICA- ACCA) Concepcion, Chile International Workshop on Power Supply on Chip (PwrSoC) Hsinchu, Taiwan International Conference on Information and Communication Technology Convergence (ICTC) Jeju Island, Korea (South) th International Conference on Reliability, Maintainability, and Safety (ICRMS) Shanghai, China International Conference and Exposition on Electrical And Power Engineering (EPE) Iasi, Romania IEEE 17th International Symposium on Network Computing and Applications (NCA) Cambridge, Massachusetts, USA IEEE 4th International Conference on Collaboration and Internet Computing (CIC) Philadelphia, Pennsylvania, USA th International Conference on Information Technology in Medicine and Education (ITME) Hangzhou, China 71 전자공학회지 _ 719

78 일자학술대회명개최장소홈페이지 / 연락처 st Annual IEEE/ACM International Symposium on Microarchitecture (MICRO) Fukuoka, Japan IECON th Annual Conference of the IEEE Industrial Electronics Society D.C., District of Columbia, USA IEEE Conference on Electrical Insulation and Dielectric Phenomena (CEIDP) Cancun, Mexico IEEE International Workshop on Signal Processing Systems (SiPS) Cape Town, South Africa IEEE International Ultrasonics Symposium (IUS) Kobe, Japan International Topical Meeting on Microwave Photonics (MWP) Toulouse, France th International Conference on Universal Village (UV) Boston, Massachusetts, USA International Symposium on Antennas and Propagation (ISAP) Busan, Korea (South) IV International Conference on Information Technologies in Engineering Education (Inforino) Moscow, Russia International Conference on Orange Technologies (ICOT) Nusa Dua, BALI, Indonesia th International Conference on Control Engineering & Information Technology (CEIT) Istanbul, Turkey IEEE 3rd International Conference on Computing, Communication and Security (ICCCS) Kathmandu, Nepal IEEE/ACM Symposium on Edge Computing (SEC) Seattle, Washington, USA Fourth International Conference on Advances in Computing, Communication & Automation (ICACCA) Subang Jaya, Malaysia th Biennial Conference on Electromagnetic Field Computation (CEFC) Hangzhou, China TENCON IEEE Region 10 Conference Jeju, Korea (South) International Electronics Symposium on Engineering Technology and Applications (IES-ETA) Lombok, Indonesia IEEE 18th International Conference on Bioinformatics and Bioengineering (BIBE) Taichung, Taiwan 년 11 월 rd International Innovative Applications of Computational Intelligence on Power, Energy and Controls with their Impact on Humanity (CIPECH) Ghaziabad, India th International Conference on Renewable Energies for Developing Countries (REDEC) Beirut, Lebanon IEEE 21st International Multi-Topic Conference (INMIC) Karachi, Pakistan International Conference on Computer, Control, Informatics and its Applications (IC3INA) Tangerang, Indonesia International Conference on Health Informatics and Clinical Analytics (IC-HICA) Kathmandu, Nepal th International Conference on Knowledge and Systems Engineering (KSE) Ho Chi Minh City, Vietnam IEEE 9th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON) Vancouver, British Columbia, Canada IEEE Asia Pacific Conference on Wireless and Mobile (APWiMob) BALI, Indonesia International Symposium on Industrial Electronics (INDEL) Banja Luka, Bosnia and Herzegovina _ The Magazine of the IEIE 72

79 일자학술대회명개최장소홈페이지 / 연락처 th IEEE Uttar Pradesh Section International Conference on Electrical, Electronics and Computer Engineering (UPCON) Gorakhpur, India IEEE 2nd International Electrical and Energy Conference (CIEEC) Beijing, China IEEE International Conference on Intelligent Transportation Systems (ITSC) Maui, Hawaii, USA International Automatic Control Conference (CACS) Taoyuan, Taiwan th International Symposium on Plant Growth Modeling, Simulation, Visualization and Applications (PMA) Hefei, China page/ IEEE 30th International Conference on Tools with Artificial Intelligence (ICTAI) Volos, Greece IEEE Asian Solid-State Circuits Conference (A-SSCC) Tainan, Taiwan IEEE Conference on Network Function Virtualization and Software Defined Networks (NFV-SDN) Verona, Italy IEEE/ACM International Conference on Computer-Aided Design (ICCAD) San Diego, California, USA International Conference on Numerical Simulation of Optoelectronic Devices (NUSOD) Hong Kong, China nd East Indonesia Conference on Computer and Information Technology (EIConCIT) Makassar, Indonesia International Conference on Wind Energy and Applications in Algeria (ICWEAA) Algiers, Algeria International Conference on Power System Technology (POWERCON) Guangzhou, China Asia-Pacific Microwave Conference (APMC) Kyoto, Japan IEEE/OES Autonomous Underwater Vehicle Workshop (AUV) Porto, Portugal Latin American Robotic Simposium, 2018 Brazilian Symposium on Robotics (SBR) and 2018 Workshop on Robotics in Education (WRE) João Pessoa, Brazil th International Conference on Data and Software Engineering (ICoDSE) Mataram, Lombok, Indonesia International Conference on Signal Processing and Information Security (ICSPIS) DUBAI, United Arab Emirates Argentine Conference on Automatic Control (AADECA) Buenos Aires, Argentina IEEE 38th Central America and Panama Convention (CONCAPAN XXXVIII) San Salvador, El Salvador IEEE 4th Global Electromagnetic Compatibility Conference (GEMCCON) Stellenbosch, South Africa IEEE International Autumn Meeting on Power, Electronics and Computing (ROPEC) Ixtapa, Mexico IEEE International Conference on Electrical Systems for Aircraft, Railway, Ship Propulsion and Road Vehicles & International Transportation Electrification Conference (ESARS- ITEC) Nottingham, United Kingdom IEEE International Conference on Rebooting Computing (ICRC) McLean, Virginia, USA IEEE Latin American Conference on Computational Intelligence (LA-CCI) Gudalajara, Mexico Eighth International Conference on Image Processing Theory, Tools and Applications (IPTA) Xi'an, China th International Conference on Electrical, Electronics and System Engineering (ICEESE) Kuala Lumpur, Malaysia IEEE International Conference on Artificial Intelligence in Engineering and Technology (IICAIET) Kota Kinabalu, Malaysia 73 전자공학회지 _ 721

80 일자학술대회명개최장소홈페이지 / 연락처 International Symposium on Electronics and Telecommunications (ISETC) Timisoara, Romania th IEEE Annual Ubiquitous Computing, Electronics & Mobile Communication Conference (UEMCON) New York City, New York, USA Medical Technologies National Congress (TIPTEKNO) Magusa, Cyprus IEEE International Conference on Intelligence and Security Informatics (ISI) Miami, Florida, USA JCCO Joint International Conference on ICT in Education and Training, International Conference on Computing in Arabic, and International Conference on Geocomputing (JCCO: TICET- ICCA-GECO) Tunisia / Hammamet, Tunisia Ninth International Conference on Intelligent Control and Information Processing (ICICIP) Wanzhou, China IEEE Conference on Technologies for Sustainability (SusTech) Long Beach, California, USA IEEE Nuclear Science Symposium and Medical Imaging Conference (NSS/MIC) Sydney, Australia International Conference on Sustainable Information Engineering and Technology (SIET) Malang, Indonesia IEEE Symposium on Product Compliance Engineering (SPCEB-Boston) Boston, Massachusetts, USA International conference on Computing, Electronic and Electrical Engineering (ICE Cube) Quetta, Pakistan Loughborough Antennas and Propagation Conference (LAPC) Loughborough, United Kingdom cfm?origin=ieee th Asia-Pacific Conference on Communications (APCC) Ningbo, China IEEE 59th International Scientific Conference on Power and Electrical Engineering of Riga Technical University (RTUCON) Riga, Latvia IEEE Electronic Power Grid (egrid) Charleston, South Carolina, USA Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC) Honolulu, Hawaii, USA World Engineering Education Forum - Global Engineering Deans Council (WEEF-GEDC) Albuquerque, New Mexico, USA rd International Conference on Information Technology, Information System and Electrical Engineering (ICITISEE) Yogyakarta, Indonesia Future Technologies Conference (FTC) Vancouver, British Columbia, Canada IEEE International Symposium on Technology and Society (ISTAS) Washington DC, District of Columbia, USA event/2018-ieee-international-symposiumtechnology-society-istas/ Cyber Resilience Conference (CRC) Putrajaya, Malaysia Global Smart Industry Conference (GloSIC) Chelyabinsk, Russia IEEE Avionics and Vehicle Fiber-Optics and Photonics Conference (AVFOP) Portland, Oregon, USA Military Communications and Information Systems Conference (MilCIS) Canberra, Australia rd Conference of Open Innovations Association (FRUCT) Bologna, Italy IEEE Nanotechnology Symposium (ANTS) Albany, New York, USA th Spanish Conference on Electron Devices (CDE) Salamanca, Spain IEEE 10th Latin-American Conference on Communications (LATINCOM) Guadalajara, Jalisco, Mexico 722 _ The Magazine of the IEIE 74

81 일자학술대회명개최장소홈페이지 / 연락처 IEEE 9th Power, Instrumentation and Measurement Meeting (EPIM) Salto, Uruguay IEEE International Multidisciplinary Conference on Engineering Technology (IMCET) Beirut, Lebanon International Conference on Fuzzy Theory and Its Applications (ifuzzy) Daegu, Korea (South) th International Conference on Emerging elearning Technologies and Applications (ICETA) Starý Smokovec, Slovakia rd International Conference on Inventive Computation Technologies (ICICT) Coimbatore, India IEEE International Conference on Communication, Networks and Satellite (Comnetsat) Medan, Indonesia International Conference In Kyrgyzstan on Wireless and Optical Communications Networks (WOCN2018KG) Bishkek, Kyrgyzstan th Edition of International Conference on Wireless Networks & Embedded Systems (WECON) Rajpura (near Chandigarh), India IEEE International Conference on Advanced Manufacturing (ICAM) Yunlin, Taiwan th International Symposium on Geoinformatics (ISyG) Malang, Indonesia IEEE International Conference on Big Knowledge (ICBK) Singapore IEEE 37th International Performance Computing and Communications Conference (IPCCC) Orlando, Florida, USA International Conference on Innovations in Information Technology (IIT) Al Ain, United Arab Emirates IEEE Symposium Series on Computational Intelligence (SSCI) Bangalore, India th International Conference on the Network of the Future (NOF) Poznan, Poland php IEEE 23rd International Conference on Digital Signal Processing (DSP) Shanghai, China IEEE CPMT Symposium Japan (ICSJ) Kyoto, Japan IEEE 7th Palestinian International Conference on Electrical and Computer Engineering (PICECE) Gaza, Palestine IEEE Conference on Big Data and Analytics (ICBDA) Langkawi Island, Malaysia IEEE Conference on Wireless Sensors (ICWiSe) Langkawi, Malaysia New Generation of CAS (NGCAS) Valletta, Malta th International Conference on ICT and Knowledge Engineering (ICT&KE) Bangkok, Thailand th International Telecommunication Networks and Applications Conference (ITNAC) Sydney, Australia IEEE International Conference on Technology Management, Operations and Decisions (ICTMOD) Marrakech, Morocco International Symposium on Advanced Electrical and Communication Technologies (ISAECT) Rabat, Morocco th Biomedical Engineering International Conference (BMEiCON) Chiang Mai, Thailand International Workshop on Computing, Electromagnetics, and Machine Intelligence (CEMi) Stellenbosch, South Africa Fourth International Conference on Research in Computational Intelligence and Communication Networks (ICRCICN) Kolkata, India 75 전자공학회지 _ 723

82 일자학술대회명개최장소홈페이지 / 연락처 rd International Conference and Workshops on Recent Advances and Innovations in Engineering (ICRAIE) Jaipur, India th International Conference on Green Technology and Sustainable Development (GTSD) Ho Chi Minh City, Vietnam International Conference on System Modeling & Advancement in Research Trends (SMART) Moradabad, India IEEE 9th International Conference on Software Engineering and Service Science (ICSESS) Beijing, China International Conference on Applied Smart Systems (ICASS) Medea, Algeria th International Conference on Communication Systems and Network Technologies (CSNT) Bhopal, India Global Wireless Summit (GWS) Chiang Rai, Thailand International Conference on Computer Engineering, Network and Intelligent Multimedia (CENIM) Surabaya, Indonesia International Conference on Signal, Image, Vision and their Applications (SIVA ) Guelma, Algeria th European Workshop on Visual Information Processing (EUVIP) Tampere, Finland IEEE Global Conference on Signal and Information Processing (GlobalSIP) Anaheim, California, USA IEEE International Forum on Smart Grids for Smart Cities (SG4SC) Genk, Belgium IEEE Student Conference on Research and Development (SCOReD) Selangor, Malaysia ITU Kaleidoscope: Machine Learning for a 5G Future (ITU K) Santa Fe, Argentina th International Symposium on Chinese Spoken Language Processing (ISCSLP) Taipei City, Taiwan IEEE 5th International Conference on Smart Instrumentation, Measurement and Application (ICSIMA) Bangkok, Thailand th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS) Auckland, New Zealand IEEE Real-Time Systems Symposium (RTSS) Nashville, Tennessee, USA International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS) Ishigaki, Okinawa, Japan Congreso Argentino de Ciencias de la Informática y Desarrollos de Investigación (CACIDI) Ciudad Autónoma de Buenos Aires, Argentina IEEE MTT-S International Microwave and RF Conference (IMaRC) Kolkata, India th National and 3rd International Iranian Conference on Biomedical Engineering (ICBME) Qom, Iran IEEE Women in Engineering (WIE) Forum USA East White Plains, New York, USA IEEE 10th International Conference on Humanoid, Nanotechnology, Information Technology,Communication and Control, Environment and Management (HNICEM) Baguio City, Philippines IEEE International Electron Devices Meeting (IEDM) San Francisco, California, USA 년 12 월 IEEE 13th International Conference on Industrial and Information Systems (ICIIS) Rupnagar, India IEEE 8th International Conference on Underwater System Technology: Theory and Applications (USYS) Wuhan, China _ The Magazine of the IEIE 76

83 일자학술대회명개최장소홈페이지 / 연락처 th International Platform on Integrating Arab e-infrastructure in a Global Environment (e-age) Amman, Jordan International Conference on Unconventional Modelling, Simulation and Optimization - Soft Computing and Meta Heuristics - UMSO Kitakyushu, Japan IEEE 12th International Conference on Nano/Molecular Medicine and Engineering (NANOMED) Waikiki Beach, Hawaii, USA IEEE 7th International Conference on Power and Energy (PECon) Kuala Lumpur, Malaysia International Conference on ReConFigurable Computing and FPGAs (ReConFig) Cancun, Mexico th International Symposium on Antennas, Propagation and EM Theory (ISAPE) Hangzhou, China th International Conference on Sensing Technology (ICST) Limerick, Ireland IEEE/WIC/ACM International Conference on Web Intelligence (WI) Santiago, Chile IEEE-EMBS Conference on Biomedical Engineering and Sciences (IECBES) Sarawak, Malaysia IEEE 10th International Symposium on Turbo Codes & Iterative Information Processing (ISTC) Hong Kong, Hong Kong turbocodes2018/istc_2018/home.html nd International Conference for Engineering, Technology and Sciences of Al-Kitab (ICETS) Karkuk, Iraq International Conference on Smart Grid (icsmartgrid) Nagasaki, Japan th International Conference on Information and Communication Technologies for Disaster Management (ICT-DM) Sendai, Japan IEEE 20th Electronics Packaging Technology Conference (EPTC) Singapore, Singapore IEEE International Conference on Teaching, Assessment, and Learning for Engineering (TALE) Wollongong, Australia International Conference on Electronics, Control, Optimization and Computer Science (ICECOCS) Kenitra, Morocco IEEE Global Conference on Internet of Things (GCIoT) Alexandria, Egypt International Conference on Control, Electronics, Renewable Energy and Communications (ICCEREC) BALI, Indonesia th International Conference on Mechatronics - Mechatronika (ME) Brno, Czech Republic th ESA Workshop on Satellite Navigation Technologies and European Workshop on GNSS Signals and Signal Processing (NAVITEC) Noordwijk, Netherlands QuickEventWebsitePortal/18c04---navitec/ site IEEE Vehicular Networking Conference (VNC) Taipei, Taiwan IEEE 49th Semiconductor Interface Specialists Conference (SISC) San Diego, California, USA Joint 10th International Conference on Soft Computing and Intelligent Systems (SCIS) and 19th International Symposium on Advanced Intelligent Systems (ISIS) Toyama, Japan International Conference on Intelligent and Innovative Computing Applications (ICONIC) Pointe aux Piments, Mauritius IEEE International Symposium on Signal Processing and Information Technology (ISSPIT) Louisville, Kentucky, USA IEEE 6th Region 10 Humanitarian Technology Conference (R10-HTC) Malambe, Sri Lanka IEEE Recent Advances in Intelligent Computational Systems (RAICS) Thiruvananthapuram, India Australian & New Zealand Control Conference (ANZCC) Melbourne, Australia 77 전자공학회지 _ 725

84 일자학술대회명개최장소홈페이지 / 연락처 IEEE Applied Signal Processing Conference (ASPCON) Kolkata, India IEEE 4th International Conference on Computer and Communications (ICCC) Chengdu, China th IEEE International Conference on Electronics, Circuits and Systems (ICECS) Bordeaux, France Winter Simulation Conference (WSC) Gothenburg, Sweden International Symposium on Micro-NanoMechatronics and Human Science (MHS) Nagoya, Japan mhs2018-top.html IEEE Visual Communications and Image Processing (VCIP) Taichung, Taiwan GLOBECOM IEEE Global Communications Conference Abu Dhabi, United Arab Emirates nd Borneo International Conference on Applied Mathematics and Engineering (BICAME) Balikpapan, Indonesia International Symposium on Semiconductor Manufacturing (ISSM) Tokyo, Japan IEEE 8th Power India International Conference (PIICON) Kurukshetra, India Digital Image Computing: Techniques and Applications (DICTA) Canberra, Australia IEEE Tenth International Conference on Technology for Education (T4E) Chennai, India IEEE Conference on Dependable and Secure Computing (DSC) Kaohsiung, Taiwan IEEE International Conference on Cloud Computing Technology and Science (CloudCom) Nicosia, Cyprus IEEE International Conference on Big Data (Big Data) Seattle, Washington, USA index.html IEEE Micro- and Nanoengineering in Medicine Conference (MNMC) Kauai, Hawaii, USA IEEE International Workshop on Information Forensics and Security (WIFS) Hong Kong, Hong Kong th IEEE International Conference on Wireless for Space and Extreme Environments (WiSEE) Huntsville, Alabama, USA Saudi Arabia Smart Grid (SASG) Jeddah, Saudi Arabia IEEE Real-Time Systems Symposium (RTSS) Nashville, Tennessee, USA TRON Symposium (TRONSHOW) Minato, Tokyo, Japan IEEE MTT-S Latin America Microwave Conference (LAMC) Arequipa, Peru rd Technology Innovation Management and Engineering Science International Conference (TIMES-iCON) Bangkok, Thailand IEEE British and Irish Conference on Optics and Photonics (BICOP) London, United Kingdom th International Symposium on Embedded Computing and System Design (ISED) Cochin, India IEEE Conference on Systems, Process and Control (ICSPC) Melaka, Malaysia IFAC Conference on Cyber-Physical & Human Systems (CPHS) Miami, Florida, USA IEEE 4th Information Technology and Mechatronics Engineering Conference (ITOEC) Chongqing, China International Conference on Production and Operations Management Society (POMS) Peradeniya, Sri Lanka _ The Magazine of the IEIE 78

85 일자학술대회명개최장소홈페이지 / 연락처 th National Power Systems Conference (NPSC) Tiruchirappalli, India th International Conference on Microelectronics (ICM) Sousse, Tunisia Asian Hardware Oriented Security and Trust Symposium (AsianHOST) Hong Kong, Hong Kong th IEEE International Conference on Emerging Electronics (ICEE) Bengaluru, India th International Conference on Signal Processing and Communication Systems (ICSPCS) Cairns, Australia html IEEE Conference on Decision and Control (CDC) Florida, USA th International Conference on Big Data and Information Analytics (BigDIA) Houston, Texas, USA bigdia/ International Conference on Frontiers of Information Technology (FIT) Islamabad, Pakistan IEEE International RF and Microwave Conference (RFM) Penang, Malaysia th International Conference on Electronic Materials and Packaging (EMAP) Clear Water Bay, Hong Kong th IEEE International Conference on Machine Learning and Applications (ICMLA) Orlando, Florida, USA IEEE/ACM 5th International Conference on Big Data Computing Applications and Technologies (BDCAT) Zurich, Switzerland Twentieth International Middle East Power Systems Conference (MEPCON) Cairo, Egypt Fifth International Conference on Millimeter-Wave and Terahertz Technologies (MMWaTT) Tehran, Iran IEEE Spoken Language Technology Workshop (SLT) Athens, Greece IEEE International Conference on Power Electronics, Drives and Energy Systems (PEDES) Chennai, India IEEE International Conference on Communication Systems (ICCS) Chengdu, China International Conference on Internet of Things, Embedded Systems and Communications (IINTEC) Hamammet, Tunisia nd European Conference on Electrical Engineering and Computer Science (EECS) Bern, Switzerland th International Conference on Electrical and Computer Engineering (ICECE) Dhaka, Bangladesh th International Conference on Power and Energy Systems (ICPES) Colombo, Sri Lanka 년 1 월 China-Qatar International Workshop on Artificial Intelligence and Applications to Intelligent Manufacturing (AIAIM) Doha, Qatar th International Conference on Computational Intelligence and Communication Networks (CICN) Honolulu, Hawaii, USA IEEE 19th International Symposium on High Assurance Systems Engineering (HASE) Hangzhou, China International Conference on Nascent Technologies in Engineering (ICNTE) Navi Mumbai, India IEEE 9th Annual Computing and Communication Workshop and Conference (CCWC) Las Vegas, Nevada, USA th International Bhurban Conference on Applied Sciences and Technology (IBCAST ) Islamabad, Pakistan International Conference on Information Networking (ICOIN) Kuala Lumpur, Malaysia 79 전자공학회지 _ 727

86 일자학술대회명개최장소홈페이지 / 연락처 Fifth Indian Control Conference (ICC) New Delhi, India International Conference on Robotics,Electrical and Signal Processing Techniques (ICREST) Dhaka, Bangladesh IEEE International Conference on Consumer Electronics (ICCE) Las Vegas, Nevada, USA Winter School on Biometrics (WSB) Shenzhen, China Joint Magnetism and Magnetic Materials - INTERMAG Conference Washington, District of Columbia, USA th MEC International Conference on Big Data and Smart City (ICBDSC) Muscat, Oman First International Symposium on Instrumentation, Control, Artificial Intelligence, and Robotics (ICA-SYMP) Bangkok, Thailand IEEE 12th International Conference on Global Security, Safety and Sustainability (ICGS3) London, United Kingdom icgs3-19/ International Conference on Computer, Electrical & Communication Engineering (ICCECE) Kolkata, India nd ARFTG Microwave Measurement Symposium (ARFTG) Orlando, Florida, USA th Asia and South Pacific Design Automation Conference (ASP-DAC) Tokyo, Japan th Annual Conference on Wireless On-demand Network Systems and Services (WONS) Wengen, Switzerland International Conference on Computer Communication and Informatics (ICCCI) Coimbatore, Tamil Nadu, India th International Conference on Knowledge and Smart Technology (KST) Phuket, Thailand Annual Reliability and Maintainability Symposium (RAMS) Orlando, Florida, USA IEEE 13th International Conference on Semantic Computing (ICSC) Newport Beach, California, USA icsc th International Workshop on Electric Drives: Improvement in Efficiency of Electric Drives (IWED) Moscow, Russia _ The Magazine of the IEIE 80

87 The Institute of Electronics and Information Engineers 제목 : 절대적가치 를창출하는 Executive CIO 의도전 - 디지털시대의경영전략저자 : 고쿠료지로 ( 国領二郎 ) 외펴낸곳 : 일본 BP 사 ( 日経 BP 社 ) 출판일 : 2017 년 3 월 31 일크기, 페이지수 : 19cm, 255p. 서평싱귤래러티 (Singularity) 라는단어가현실감을가지고말해지기시작했다. 원래특이점이란지금까지와같은룰을적용하는것이불가능한점, 전환점을의미한다. 인공지능이인간의지능을넘어설것인지아닌지는별도로두고라도정보기술의발전이종래의상식이나관습을크게뛰어넘는새로운기업경영의출현을촉진하기시작했다는것은틀림이없을것이다. 그리고지금더커다란변화의파도가다가오고있다. 즉, 단순한코스트삭감의도구의범주를넘어서정보기술자체가새로운가치창조를목적으로한무기로취급되어버렸다. 그가운데서도기업의정보전략은경영전략의실현플랜이상으로경영전략을근본적으로바꾸는것을요구할정도의기업경영의중핵이되었다. 정보기술의발전에의해이노베이션이생겨나는이유는 보이게하는것 에있다고생각한다. 센서기술의발달에의해인간과사물의상태에관한정보등, 지금까지의정보시스템이취급했던것과는전혀다른다양한정보즉지금까지보이지않았던정보가보이게된것이다. 또한, 정보유통및축적코스트가저하된것에의해통계적으로밖에취급되지않았던초대용량의데이터가전부있는그대로취급할수있게되었다. 이러한결과로예상도하지못했던것같은비즈니스가출현하기시작했다. 예를들면남아있는리소스를가지고그것을빌리고자하는사람과리소스를필요로하는사람이보이게됨에따라 Airbnb, Uber와같은서비스가생겨나게된것이다. 주변의장해물이나이동자등이 보이게되는것 에의해완전자율주행자동차가실현되어가고있는것이다. 정보를가진것자체가기업가치의원천이되는시대가왔다. 게다가정보는조합하는것에따라그가치를증대시켜간다. 많고, 다른정보를중복 조합하여고객의마음을사로잡는기분좋은체험을제공가능한서비스가창조될것이다. 당연한귀결로기업은단독이아닌타기업과의제휴를확대해나가는것이전략적으로유효할것이다. 서평작성자 : 이원규, 해동일본기술정보센터총괄처장 81 전자공학회지 _ 729

88 The Magazine of the IEIE 특별회원사및후원사명단 회원명 대표자 주소 전화 홈페이지 AP 위성통신 류장수 서울시금천구가산디지털2로 98 2동 9층 FCI 한상우 경기도성남시분당구판교로 255번길 35( 삼평동 ) 실리콘파크 B동 7층 I&C테크놀로지 박창일 경기도성남시분당구판교로 255번길 24 아이앤씨빌딩 KT 황창규 경기도성남시분당구정자동 LDT 정재천 충남천안시서북구한들1로 WE빌딩 LG전자 구본준 서울시영등포구여의도동 LIG 넥스원 이효구 서울시서초구강남대로 369( 서초동, 나라빌딩 ) RadioPulse 권태휘 경기도성남시분당구대왕판교로 660 유스페이스1A 1106호 ( 삼평동 ) SK Telecom 장동현 서울특별시중구을지로65( 을지로2가 ) SK T-타워 SK 하이닉스 박성욱 경기도이천시부발읍아미리산 국제종합측기 박재욱 서울특별시강남구강남대로 354 ( 역삼동 831, 혜천빌딩 10F, 12F) 나노종합기술원 이재영 대전광역시유성구대학로 291 ( 구성동, 한국과학기술원 ) 네이버 김상헌 경기도성남시분당구불정로 6 ( 정자동그린팩토리 ) 넥서스칩스 Douglas M. Lee 서울시강남구역삼동 넥스트칩 김경수 경기도성남시분당구판교로 323 벤처포럼빌딩 넥스파시스템 이상준 서울특별시성동구자동차시장1길 누리미디어 최순일 서울시영등포구선유로 63, 4층 ( 문래동 6가 ) 다빛센스 강영진 경기도성남시중원구사기막골로 124, Skn테크노파크비즈동 다우인큐브 이예구 경기도용인시수지구디지털벨리로 81 ( 죽전동디지털스퀘어 2층 ) 대구테크노파크 송인섭 대구시달서구대천동 대덕G.D.S 이희준 경기도안산시단원구산단로 63( 원시동 ) 대덕전자 김영재 경기도시흥시소망공원로 335 ( 정왕동 ) 대성전기 이철우 경기도안산시단원구산단로 31 ( 원시동, 8-27블럭 ) ( 재 ) 대전테크노파크 권선택 대전시유성구테크노9로 35 대전테크노파크 더즈텍 김태진 경기도안양시동안구학의로 292 금강펜테리움IT타워 A동 1061호 덴소풍성전자 김경섭 경남창원시성산구외동 동부하이텍 최창식 경기도부천시원미구수도로 동아일렉콤 손성호 경기도용인시처인구양지면남곡로 동운아나텍 김동철 서울시서초구서초동 아리랑타워 9층 디엠티 김홍주 대전광역시유성구테크노11로 라온텍 김보은 경기도성남시분당구황새울로360번길 42, 18층 ( 서현동 AK플라자 ) 라이트웍스 서인식 서울강남구테헤란로88길 14, 4층 ( 신도리코빌딩 ) 만도 성일모 경기도성남시분당구판교로 255번길 문화방송 안광한 서울시마포구성암로 삼성전자 김기남, 김현석, 고동진서울시서초구서초2동 삼성전자빌딩 삼화콘덴서 황호진 경기도용인시처인구남사면경기동로 227 ( 남사면북리 124) 서연전자 조명수 경기도안산시단원구신원로 세미솔루션 이정원 경기도용인시기흥구영덕동 1029 흥덕U타워지식산업센터 20층 2005호 세원텔레텍 김철동 경기도안양시만안구전파로44번길 수호이미지테크놀로지 김범준 서울시금천구가산동가산디지털1로 233 에이스하이엔드 9차 816호 _ The Magazine of the IEIE 82

89 회원명 대표자 주소 전화 홈페이지 스카이크로스코리아 조영민 경기수원시영통구영통동 디지털엠파이어빌딩 C동 801호 ( 주 ) 시솔 이우규 서울시강서구공항대로 61길 29 서울신기술센터 A동 202호 실리콘마이터스 허염 경기도성남시분당구대왕판교로 660 유스페이스-1 A동 8층 실리콘웍스 한대근 대전시유성구탑립동 싸인텔레콤 성기빈 서울시영등포구경인로 775, 문래동 3가에이스하이테크시티 1동 119호 ( 주 ) 쏠리드 정준, 이승희 경기도성남시분당구판교역로 220 쏠리드스페이스 씨자인 김정표 경기성남시분당구구미동 보명프라자 아나패스 이경호 서울시구로구구로동 신세계아이앤씨디지털센타 7층 아바고테크놀로지스 전성민 서울시서초구양재동 아이닉스 황정현 수원시영동구덕영대로 1556번길 16, C동 1004호 ( 영통동, 디지털엠파이어 ) 아이디어 황진벽 서울마포구연남동 번지대원빌딩 5층 아이언디바이스 박기태 서울강남구신사동 예영빌딩 402호 아이에이 김동진 서울송파구송파대로 22길 5-23 ( 문정동 ) 안리쓰코퍼레이션 토루와키나가 경기도성남시분당구삼평동 681번지 H스퀘어 N동 5층 502호 알파스캔디스플레이 류영렬 서울특별시강서구허준로 217 가양테크노타운 202호 에디텍 정영교 경기도성남시분당구삼평동 621번지판교이노벨리 B동 1003호 에스넷시스템 박효대 서울특별시강남구선릉로 514 ( 삼성동 ) 성원빌딩 10층 에스엘 이충곤 경북경산시진량읍신상리 에이치앤티테크 강임성 대전광역시유성구용산동 에이투테크 김현균 경기도성남시수정구복정동 상헌빌딩 3층 엠텍비젼 이성민 경기도성남시분당구판교로 255번길 58 6층 601호 오픈링크시스템 성재용 광주광역시서구치평로 112 정연하이빌 402호 우양신소재 윤주영 대구광역시북구유통단지로 8길 유라코퍼레이션 엄병윤 경기도성남시분당구삼평동 유텔 김호동 경기도군포시당정동 이노피아테크 장만호 경기도상남시중원구갈마치로 215 A동 405호 주식회사이디 박용후 경기도성남시중원구상대원동 ( 둔촌대로457번길 14) 자람테크놀로지 백준현 경기도성남시분당구야탑동 파인벤처빌딩 2층 , 전자부품연구원 박청원 경기도성남시분당구새나리로 25 ( 야탑동 ) 주식회사제이엔티이엔지 최승훈 경기도성남시중원구사기막골로 148, 701호 ( 상대원동, 중앙이노테크 ) 제퍼로직 정종척 서울강남구역삼1동 아주빌딩 1801호 지에스인스트루먼트 고재목 인천시남구길파로71번길 70 ( 주안동 ) 지엠테스트 고상현 충남천안시서북구직산읍군서1길 19( 군서리 134) 충북테크노파크 남창현 충북청주시청원구오창읍연구단지로 케이던스코리아 ( 유 ) 제임스해댓 경기도성남시분당구판교로 344 엠텍IT타워 9층 (main office)/2층 코아리버 배종홍 서울시송파구가락본동 78번지 IT벤처타워서관 11층 콘티넨탈오토모티브시스템선우현 경기도성남시분당구판교역로 220 솔리드스페이스빌딩 클레어픽셀 정헌준 경기도성남시분당구판교로 242 판교디지털센터 A동 301호 키움인베스트먼트 박상조 서울특별시영등포구여의나루로4길 18 키움파이낸스스퀘어빌딩 16층 텔레칩스 이장규 서울특별시송파구올림픽로35다길 42 ( 신천동, 루터빌딩 19층 ~23층 ) 티에이치엔 채석 대구시달서구갈산동 티엘아이 김달수 경기도성남시중원구양현로 405번길 12 티엘아이빌딩 파워큐브세미 강태영 경기도부천시오정구석천로397( 부천테크노파크쌍용3차 ) 103동 901호 페어차일드코리아반도체 김귀남 경기도부천시원미구도당동 전자공학회지 _ 731