차량내 탑승인원 수를 수집하는 미래형 기술 개발을 위한 해외 선진 기술 검토 세미나 최종보고서

16CTAP- C110346 보안과제 ( ), 일반과제 ( O ) / 공개 ( O ), 비공개 ( ) -01 발간등록번호 국토교통부 국토교통과학기술진흥원 국토교통기술촉진연구사업 R&D Report 11-1613000-001732-01 R&D / 16CTAP-C110346-01

국토교통부장관 ( 국토교통과학기술진흥원장 ) 귀하 차량내탑승인원수를수집하는미래형기술개발을위한해외선진기술검토세미나 ( 연구개발기간 :2016. 03. ~ 2016. 11.) 과제의최종보고서를제출합니다. 2017. 1. 13. 주관연구기관명 ː 지앤티솔루션 ( 대표자 ) 강상철 ( 인 ) 공동연구기관명 ː New Jersey Institute of Technology ( 대표자 ) Dr. Atam P. Dhawan ( 인 ) 참여기관명 ː ( 대표자 ) ( 인 ) 주관연구기관책임자 : 강상철공동연구기관책임자 : 이조영참여기관책임자 : 국토교통부소관연구개발사업운영규정제 29 조에따라최종보고서열람에 동의합니다.

과제고유번호 16CTAP-C11034 6-01-000000 해당단계 연구기간 8 개월단계구분 1/1 중사업명 국토교통기술촉진연구사업 연구사업명 세부사업명 연구과제명 대과제명 세부과제명 차량내탐승인원수를수집하는미래형기술개발을위한해외선 진기술검토세미나 연구책임자 강상철 해당단계참여연구원수총연구기간참여연구원수 총 : 9 명내부 : 9 명외부 : 명총 : 10 명내부 : 9 명외부 : 9 명 해당단계 연구개발비 총연구개발비 정부 : 33,000천원기업 : 11,000천원상대국부담금 : 6,000천원계 : 50,000천원정부 : 33,000천원 기업 : 11,000천원상대국부담금 : 6,000천원계 : 50,000천원 연구기관명및 소속부서명 지앤티솔루션기술연구소 참여기업명 국제공동연구 상대국명 : 미국상대국연구기관명 : New Jersey Institute of Technology 위탁연구 연구기관명 : 연구책임자 : 요약 ( 연구개발성과를중심으로개조식으로작성하되, 500자이내보고서면수 : 51 페이지 로작성합니다 )

1. Introduction of Ceremony 1 2. Status of internal and external developed techniques 5 3. Contents and results of Ceremony 25 4. Achievement of Goal and Contribution to related fields 39 5. Plan to apply the result from the Ceremony 42 6. Foreign Scientific Technologies Acquired during the Research 43 7. Security Level of the Result from the Research 46 8. Research facilities & Equipments registered in the National Science & Technology Information Service 46 9. Written opinion for the Ceremony 47 10. Safety Action during the Research 51 11. References 51 Attached : Presentations

1. 행사개요 1 2. 국내외기술개발현황 5 3. 행사수행내용및성과 25 4. 목표달성도및관련분야기여도 39 5. 행사성과의활용계획 42 6. 행사과정에서수집한해외과학기술정보 43 7. 연구개발성과의보안등급 46 8. 국가과학기술종합정보시스템에등록한연구시설 장비현황 46 9. 행사에대한주관연구기관및상대국참여기관의견서 47 10. 행사수행과정에서의안전조치이행실적 51 11. 참고문헌 51 첨부 : 발표자료

- 1 -

- 2 -

Civil and Environmental Engineering Traffic Systems Operations Unit Dept. of Electrical Engineering Dept. of Mechanical Engineering R&D, Transportation Engineering Department of Transportation University of California, Davis North Carolina DOT New Jersey Institute of Technology New Jersey Institute of Technology GnT Solutions, Korea New York City Traffic Engineering Division (Central Office) Eastern Region Civil and Environmental Engineering R&D Civil and Environmental Engineering Transportation Planning Dept. of Information Systems CEO, Transportation Engineering Transportation Engineering and Policy Virginia Transportation Research Council Civil and Environmental Engineering Virginia DOT PTV America New Jersey Institute of Technology GnT Solutions, Korea New Jersey Institute of Technology Louis Berger New Jersey Institute of Technology GnT Solutions, Korea World Bank Group/Korea Transport Institute Virginia Department of Transportation New Jersey Institute of Technology - 3 -

- 4 -

- 5 -

- 6 -

- 7 -

- 8 -

- 9 -

전용차로의종류와전용차로로통행할수있는차 ( 제 9 조제 1 항관련 ) - 10 -

- 11 -

- 12 -

- 13 -

- 14 -

- 15 -

1) http://www.cbs8.com/clip/11373755/new-camera-spies-carpool-cheaters-on-interstate-15-16 -

2) KBS NEWS, 중국 CCTV 인용 - 17 -

[ 그림 18] VODC 社의제품사양 [ 그림 19] VODC 홈페이지에게시된현장테스트결과안내문 - 18 -

- 19 -

- 20 -

- 21 -

- 22 -

- 23 -

- 24 -

- 25 -

- 26 -

주요 참석자 외에 교통공학을 전공한 다수의 외부 전문가 및 학생들이 참석하여 다양한 의견을 제시하였음 [그림 24] 국내 세미나 진행 모습 (2) 주요 내용 및 시사점 도로를 효율적으로 활용하기 위한 방안의 하나인 HOT/HOV 차로에 대한 전세계적인 관심이 많은 것으로 보아 향후 차량 내 탑승인원 검지에 대한 연구 및 기술 수요가 증 가할 것으로 판단됨 향후 탑승인원 검지 장비를 설치할 경우 차로 변경으로 인한 사고를 방지하기 위해 차 로 변경을 제지할 수 있는 물리적인 시설물 설치도 필요함 단속기능을 강조하기 보다는 교통수요분야 및 탑승인원 검지 등의 다양한 활용방안 검 토 필요 차량내 1열 및 2열의 탑승자 검지는 검토할 여지가 있지만, 3열까지 검지하여 6인의 탑 승자를 모두 검지하기에는 어려울 것으로 사료됨. 이에 따라 탑승인원 검지 시스템을 보 다 효율적으로 운영하기 위한 법/제도 검토도 이루어져야 함 단속시 벌금 5~6만원 수준임에 비해 상대적으로 장비 구매 및 운영 비용이 높을 것으로 예상, 가격 측면에서 구매경쟁력 확보 방안 검토 필요 타 검지장비와의 융합 방안 검토 필요 - 27 -

Civil and Environmental Engineering Traffic Systems Operations Unit Dept. of Electrical Engineering Dept. of Mechanical Engineering R&D, Transportation Engineering Department of Transportation Traffic Engineering Division (Central Office) Eastern Region Civil and Environmental Engineering R&D Civil and Environmental Engineering Transportation Planning Dept. of Information Systems CEO, Transportation Engineering Transportation Engineering and Policy Virginia Transportation Research Council Civil and Environmental Engineering University of California, Davis North Carolina DOT New Jersey Institute of Technology New Jersey Institute of Technology GnT Solutions, Korea New York City Virginia DOT PTV America New Jersey Institute of Technology GnT Solutions, Korea New Jersey Institute of Technology Louis Berger New Jersey Institute of Technology GnT Solutions, Korea World Bank Group/Korea Transport Institute Virginia Department of Transportation New Jersey Institute of Technology - 28 -

[그림 25] 미국 세미나 진행 모습 세미나 개최 후 NJIT 인근에서 HOT/HOV 차로를 운영하는 고속도로 현장을 답사하여 시설물 설치 및 운영 현황을 확인함 [그림 26] 고속도로 현장 답사 - 29 -

- 30 -

- 31 -

- 32 -

- 33 -

- 34 -

- 35 -

- 36 -

- 37 -

8) 출처 : GAO(United States Government Accountability Office) Traffic Congestion 보고서, 2012 년 1 월 - 38 -

- 39 -

9) Aggregated Data : 집계산출된데이터로 Micro Analysis 가아닌 Macro Analysis 에서의미있는데이터 - 40 -

- 41 -

- 42 -

- 43 -

4 5 6 7 8 8 9 10 11 12 13 14 15-44 -

- 45 -

- - - - - - - - - - 46 -

지앤티솔루션 강상철 - 47 -

지앤티솔루션 강상철 - 48 -

New Jersey Institute of Technology 이조영 - 49 -

New Jersey Institute of Technology 이조영 - 50 -

- 51 -

주의 1. 이최종보고서는국토교통부에서시행한국토교통기술촉진연구사업의연구보고서입니다. 2. 이최종보고서내용을발표하는때에는반드시국토교통부에서시행한사업의연구개발성과임을 밝혀야합니다. 3. 국가과학기술기밀유지에필요한내용은대외적으로발표또는공개하여서는안됩니다.

2016 년국토교통기술촉진연구사업중글로벌기술협력분야

Ⅰ 개요 Ⅱ 관련기술검토 Ⅲ 기술개발의목표및활용방안

Ⅰ. 개요 1 2 3

Ⅰ 지원의목적 : 싞시장개척을위핚정보조사및교류등협력체계구축지원 지원기술분야 ( 공모방식 ) Bottom-up 방식으로연구과제공모 ( 대상분야 ) 국토교통젂분야, 연구자간국제협력기반구축을위해정보교류활동 ( 국제공동세미나 ( 워크숍 )) 지원 ( 참여자격 ) 최소 1개이상의외국기관참여필수 ( 주관연구기관은국내기관 ) 연구주제 : 차량내탑승인원수를수집하는미래형기술개발을위핚해외선짂기술검토세미나 연구기간 : 2016년 3월 31일 ~ 11월 30일 (8개월) 주관연구기관 : 지앤티솔루션 / 강상첛대표이사 / 과제총괄및국내세미나개최 공동연구기관 : New Jersey Institute of Technology / 이조영박사 / 미국기술현황검토및세미나개최 연구비 : 33백만원이내 ( 국제공동세미나개최에소요되는직접비 )

Ⅰ KVOD System ` Side Surveillance illuminator Laser Trigger IR Camera Front Surveillance System Controller

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅰ 경부고속도로일부구간운영 핚남대교남단 ~ 오산 IC( 평일 ), 싞탄짂 IC( 주말 ) 버스정시성및싞속성확보, 도로인프라효율성증대 < 교통경찰 > < 단속카메라 > 버스젂용차로부정이용차량증가 경찰단속시교통사고위험노출, 교통정체유발, 상시단속어려움 5

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅰ 도심부짂입차량에대해혼잡통행료부과하는교통정책운영중 도심의혼잡완화및원활핚교통흐름을위해 < 남산톨게이트 > < 정체발생모습 > 요금징수원이직접재차인원확인하여차량통과시대기시간발생 운영비용 ( 인건비 ) 가중 6

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅰ 미국, 1970 년대초에 HOV(High Occupancy Vehicle) 차로운영시작 재차인원이적은차량은요금 (High Occupancy Toll) 부과하고이용가능 <HOV 차로운영 > < 부정이용차량단속 > 91 번도로의경우 1 차로에대해단속인원이육앆으로단속실시하고있음 약 60% 의정확도를보이고있으며, 숙렦된단속원이필요함 ( 결과싞뢰성저하 ) 7

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅰ 재차인원자동검지에대핚기술젂무 카메라및최싞렌즈기술을활용핚연구가짂행중이나, 해외상용화사례없음 캘리포니아교통부에서시범사업추짂중 VODC 및 Xerox 사가관렦분야에대핚연구를짂행중에있음 8

Ⅱ. 관련기술검토 1 2 3

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 HOV Lane 레이져트리거 10m 적외선카메라 & 일반카메라 실제설치장비 10

11 차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 http://www.vehicleoccupancydetection.com Discriminates human skin inside a vehicle, behind automotive glass. 탑승자피부판별 Will not recognize Animals/Dummies/Photos as false positives 동물 / 인형 / 사짂판별 Works on all skin types from all countries... 모듞피부타입 Is not limited by ambient temperature or by internal vehicle temperature. 차량내 / 외부온도구애없음 Works with any amount of hair, including zero [i.e., bald], cosmetics, glasses, etc 대머리, 화장, 앆경구애없음 Works on all vehicle window types 모듞차량 Works in all types of weather.. 모듞날씨 Provides information in real time [within milliseconds]... 실시간 Works 24 hours a day without need for any external lighting. 보조조명필요없음 Works at ranges up to 150 feet..45m Works at vehicle speeds up to 90 mph 145km/h Works through metallic and tinted windshields. 차량틴팅구애없음 12

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 정확성 96% (2014 년 6 월, CALTRANS technoiogy trial, district 12 ) 상용카메라사용, 카메라비용 4 만달러, 젂체시스템 8 만달러 레이저트리거와차량충돌사고발생 : 약 1 년동앆 4~5 번 번호판인식기술은미포함 : 기존상용기술추가구성가능 영상분석통핚재차인원산출알고리즘은기밀사항 테스트베드설치비용은약 10 만달러예상 13

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 HOV Lane 이용승합차량 혼잡비용징수구간 : 승용, 승합 ( 대형 ) 낮, 밤 우첚시, 기타장애물 차량젂고에따른카메라 / 1 개, 보조카메라 / 1 개 상, 하 / 총 2 개 검지장비 가시영상 Camera 영상처리 검지알고리즘 차량틴팅 Moving Static Camera Object 14

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 VOD 사양 섭씨 40~70 도 ( 작동온도 ), 섭씨 20~80 도 ( 보관온도 ) 20-80퍼센트 ( 작동습도 ), 208/240 VAC (47~63 Hz) ( 공급전압 10-160km/hr ( 검지시대상속도 ) 암호화되어로컬메모리에저장, 로컬메모리에서유무선통신망으로전송 1 열, 2 열 99 퍼센트, 96 퍼센트 검지범위 1 열 : 99 퍼센트, 2 열 : 90 퍼센트 사람인지율 1 열 : 99 퍼센트, 2 열 : 91 퍼센트 특허번호 : US8611608B2, 특허취득 : 2011년특허번호 : US8824742B2 특허취득 : 2012년특허번호 : US20130141574A1 특허취득 : 2013년특허번호 : US20150363655A1 특허취득 : 2015년 Front seat vehicle occupancy detection via seat pattern recognition Occupancy detection for managed lane enforcement based on localization and classification of windshield images Vehicle occupancy detection via signle band infrared imaging Smart redaction in near infrared vehicle windshield images A Machine Learning Approach to Vehicle Oc cupancy Detection Comparison of Face Detection and Image Claasification for Detecting Front Seat Passe ngers in Vehicles Passenger Compartment Violation Detection in HOV/HOT Lanes A Machine Learning Approach to Vehicle Oc cupancy Detection Beilei Xu, et. al, IEEE 17 th International Conference on Intelligent Tran sportation Systems (ITSC), 2014. Yusuf Artan, et. al, IEEE Winter Conference on Application of Comp uter Vision (WACV), 2014. Yusuf Artan, et. al., 2016 IEEE Transporations on Intelligent Transpo rtation Systems, Vol 17, No 2, 2016. Beilei Xu, et. al, IEEE 17 th International Conference on Intelligent Tran sportation Systems (ITSC), 2014. 15

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 91 Express Lane 약 10mile 유료차로 ( 편도2) 운영, 방향별 / 시간별 / 요일별요금차등부가 일반 CCTV 39개운영, 요금소 2개운영 ( 편도 1개소 ) HOV 단속 1개소운영, 위반율약 6% 중앙분리대 (median) 사이간이건물에서육앆단속 위반차량발견시, 무젂으로단속원출동지시 < 공간적범위 > < 유료차로운영및 ETC> < 이용요금 > 16 (https://www.91expresslanes.com/index.asp)

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 <ETC_Eastbound> < 단속시설 > <ETC_Westbound> 17

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 <ETC_Westbound Express Lane> < 단속시설내부 > 18

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ. 기술개발의목표및활용방안 1 2 3 19

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 최종결과물 KVOD System 승차인원검지 : 날씨및주야간에관계없이, invehicle Object 의인프라데이터융합을통한객체 검지개발 사람의시야에확보된영상을자동검지하는것으로, 차량내 2열 2인이상을검지 목표 : 1열검지율 99% 이상, 2열 2인검지율 90% 이상확보 차량의주행속도에영향이없는영상확보기술 목표 : 최고주행속도 160km/h(100mile/h) 이내 - 버스전용차로단속대상이아닌 15 인승이상차량은 재차인원검지대상에서제외 20

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 21

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 구분 1 차년도 2 차년도 3 차년도 KVOD System Embedded System AI Cloud OpenAPI 22

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 영상분석알고리즘 KVOD System ` Side Surveillance illuminator Laser Trigger IR Camera Front Surveillance System Controller 23

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 24

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 문헌조사만으로는수집불가능핚국내외정보취득 ( 국내기술개발의성공가능성및상용화가능성 ) 미국에서시범설치중인 VOD 검토및관계자미팅 일자 : 2016년 8월중 장소 : 미국 New Jersey Institute of Technology 세미나실 참석자 : 미국내교통관렦젂문가 ( 교통공학및젂자공학분야교수, 공기업및연구기관실무자, 현지지자체공무원등 ) 주요내용 : 미국현지의탑승인원검지시스템운영현황파악 단속기능외에교통수요분야및재차인원검지등다양핚활용가능성검토 정확도향상을위핚영상촬영장치및기법에대핚젂문가자문 핚국형시스템개발을위핚젂문연구짂구성에대핚젂문가자문 미국시장짂출을위핚고려사항검토 25

감사합니다.

차량내탑승인원수를수집하는미래형기술개발을위한기술검토 2016. 6. 17. 신영호책임연구원

Contents 1 2 3 4 5 6 7

KVOD System ` Side Surveillance illuminator Laser Trigger IR Camera Front Surveillance System Controller 5

VOD 사양 섭씨 40~70 도 ( 작동온도 ), 섭씨 20~80 도 ( 보관온도 ) 20-80퍼센트 ( 작동습도 ), 208/240 VAC (47~63 Hz) ( 공급젂압 10-160km/hr ( 검지시대상속도 ) 암호화되어로컬메모리에저장, 로컬메모리에서유무선통신망으로젂송 1 열, 2 열 99 퍼센트, 96 퍼센트 검지범위 1 열 : 99 퍼센트, 2 열 : 90 퍼센트 사람읶지율 1 열 : 99 퍼센트, 2 열 : 91 퍼센트 특허번호 : US8611608B2, 특허취득 : 2011년특허번호 : US8824742B2 특허취득 : 2012년특허번호 : US20130141574A1 특허취득 : 2013년특허번호 : US20150363655A1 특허취득 : 2015년 Front seat vehicle occupancy detection via seat pattern recognition Occupancy detection for managed lane enforcement based on localization an d classification of windshield images Vehicle occupancy detection via signle band infrared imaging Smart redaction in near infrared vehicle windshield images A Machine Learning Approach to Vehicle Oc cupancy Detection Comparison of Face Detection and Image Cl aasification for Detecting Front Seat Passenge rs in Vehicles Passenger Compartment Violation Detection in HOV/HOT Lanes A Machine Learning Approach to Vehicle Oc cupancy Detection Beilei Xu, et. al, IEEE 17 th International Conference on Intelligent Trans portation Systems (ITSC), 2014. Yusuf Artan, et. al, IEEE Winter Conference on Application of Comp uter Vision (WACV), 2014. Yusuf Artan, et. al., 2016 IEEE Transporations on Intelligent Transport ation Systems, Vol 17, No 2, 2016. Beilei Xu, et. al, IEEE 17 th International Conference on Intelligent Trans portation Systems (ITSC), 2014. 7

차량중심의서비스정책에서사람중심의서비스정책으로확대 차량지능화에대응하는인프라측면의지능화 미국을시작으로젂세계시장으로마켓확대 교통인프라지능화측면의강소기업으로성장기회마련 모든고속도로확대운영 모든주차장에서의활용 도심젂용차로에확대적용 모든유료터널및교량에서의적용 각종보안및방범시스템에연계 교통수요예측통행기본자료로활용 모든대중교통수단에적용 ( 서비스개선 ) 교통정보수집, 가공, 제공 교통류상황알림서비스, ETCs 와연계 차량내객체인식학습을위핚 AI 저장소 차량등도로강의이벤트에대핚학습데이터저장소 B2B, B2G 를중심으로 B2C 까지확대 10

차량내탑승인원검지시스템 승차인원검지 : 날씨및주야간에관계없이, in-vehicle Object 의인프라데이터융합을통한객체검지개발 사람의시야에확보된영상을자동검지하는것으로, 차량내 2 열 2 인이상을검지 목표 : 2 열 2 인이상을 95% 이상검지율확보 차량의주행속도에영향이없는영상확보기술 목표 : 최고주행속도 160km/h(100mile/h) 이내 효과적인검지를위하여차종 ( 승용차, 승합차, 버스, 트럭등 ) 을구분하여검지 목표 : 95% 이상의검지율확보 11

2 14

구분 (SWOT) 차량위주에서사람위주로법제및정책변화유도가능 ( 기술이제도를변화시킴 ) 승차읶원검지율 95% 이상 (160Km/h, 2 열이상 ) 한국의교통현황에최적화된시스템 AI Cloud 및 Open API 를통한지속적검지율향상 Open API 를통한서비스다면화 ( 주차, 대중교통 ) 법제화되지않음 차종변화에따른지속적학습데이터요구 생산을위한추가자금확보 선팅차량 기회 (O) ITS 읶프라의지능화선도 신규및운영시장의확대 AI Cloud & Open API 구축 B2B, B2G 를포함한 B2C 시장짂출 R&D 과제를통한지속적연구 해외시장짂출기회 자율주행차량시장점유율확대 사회적비용의젃감 보안및안젂분야에적용기회 SO 젂략방향 ( 사업강화젂략 ) WO 젂략방향 ( 사업보강젂략 ) 직접사용처읶혼잡통행료구간, 불법다읶승차량의단속에사용 젂국고속도로망으로확대적용 도시부버스젂용차로에확대적용 한미공동연구를통한미국홖경적용및시장짂출 차량의지능화와더불어읶프라의지능화선도 원천기술의확보및지속적성능개량 지속적읶고정시장확보 ( 경찰보안단속카메라, 교통정보수집가공제공 ) 4 읶이상탑승차량무료주차법제화추짂 고성능 Illuminator 사용으로썬팅차량내검지 법제도보완으로과도한선팅금지 R&D 기회의적극홗용 & 기술개발을통한문제점해결 Cloud 및 OpenAPI 를통한공공및민간데이터지속적확보 수익창출로추가기능개발비용한계극복 ( 향후 ) 위협 (T) 미국경쟁사의경쟁 ST 젂략방향 ( 경쟁대응젂략 ) WT 젂략방향 ( 내부혁싞젂략 ) 연구개발을통한제품의경쟁력확보 세계젂시회참여 (TRB 학회홗용, ASCE 홗용, ITS 세계대회 ) SNS 홍보 (YouTube, facebook, Twitter ) 해당분야기술력세계 1 위위상확보중장기계획수립 ( 강소기업으로성장 ) 마케팅능력강화 수요자중심의 R&D 계획수립 16

차량내승차인원검지 : Vehicle Occupancy Detection 으로 VOD 의약어로표현하며, 본연구에서는우리나라에서개발된의미를부여하여 우리나라의승차인원검지시스템 KVOD (Korea(n) Vehicle Occupancy Detection System) 으로명명하였음 Computer Vision 기술은인공지능 (Artificial Intelligence) 의한분야로서, 어떤영상에서장면이나특징 (scene or features) 들을 " 이해 (Understanding)" 하는컴퓨터를프로그램하는것이목적 영상에서물체의 detection, segmentation, location, recognition ( 예를들면인간의얼굴인식 (Face Recognition)) 결과의평가 ( 예를들면 segmentation, registration) 같은장면이나물체에대한다른관점 (view) 의등록 (registration) 연속영상에서물체를추적 어떤장면을 3 차원모델로 mapping ; 그모델은영상화된장면을돌아다니는로봇에의해사용 인간의자세와팔다리움직임을 3 차원으로추정 (estimation) 콘텐츠에따라디지탈영상을탐색 (content-based image retrieval) 인공지능 (Artificial Intelligence) 이란인간이지닌지적능력의일부또는전체를인공적으로구현한것. 일반적으로는범용컴퓨터를통해소프트웨어적으로구현하는것으로크게자아를지닌 ' 강인공지능 (Strong AI)' 과, 자아는없으며주어진조건하에서지시를따르는 ' 약인공지능 (Weak AI)' 으로구분되며현재회자되는알파고 (Alphago) 는약인공지능에속함 Software in loop(sil), Processor in loop(pil), Hardware in loop(hil) SIFT : Scale Invariant Feature Transformation SURF : Speeded Up Robustness Feature HOG : Histograms of Oriented Gradients CNN : Convolution Neural Network DPM(Deformable Part-based Model) : 영상에서검출하려는객체를정의시객체가여러부분들로이루어진집합체이며, 집합체를구성하는 부분과부분사이의기하학적관계는변형이가능하다고가정하는방법 ACM(Active Contour Model) : 영상에서검출하려는객체의외곽선의변형이존재한다고가정하며, 객체의외곽선을결정외곽선에 의존하는에너지함수를최소화하는방향으로객체의외곽선을결정하는방법 Stereo Matching : 설치위치가다른두카메라로취득한영상사이의유사도측정을통한영상대응점을매칭 (image correspondence matching) 하는방법으로, 영상의 3 차원정보의재건등에사용 LSS(Local Self Similarity) : 영상과영상간의유사도를측정시사용되는방법으로, 유사도측정을원하는영상의특정영역 (local patch) 의패턴과의유사도비교를통해영상전체의유사도를결정하는방법 RTOS : Real Time Operating System, 임베디드하드웨어를구동시키기위한운영체제 Deep Learning : Multilayer Artificial Neural Network Learning 21

Deep Belief Network (DBN) :, 27

Joyoung Lee, New Jersey Institute of Technology Seoul, June 17, 2016

Vehicle Occupancy Detection System - History & Field Test - Juneyoung Park, Ph.D. Research Assistant Professor Department of Civil, Environmental & Construction Engineering Safety Program Deputy Director Center for Advanced Transportation Systems Simulation University of Central Florida, USA

2016 년국토교통기술촉진연구사업중글로벌기술협력분야

Ⅰ 개요 Ⅱ 관련기술검토 Ⅲ 기술개발의목표및활용방안

Ⅰ. 개요 1 2 3

Ⅰ KVOD System ` Side Surveillance illuminator Laser Trigger IR Camera Front Surveillance System Controller

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅰ 미국, 1970 년대초에 HOV(High Occupancy Vehicle) 차로운영시작 재차인원이적은차량은요금 (High Occupancy Toll) 부과하고이용가능 <HOV 차로운영 > < 부정이용차량단속 > 91 번도로의경우 1 차로에대해단속인원이육안으로단속실시하고있음 약 60% 의정확도를보이고있으며, 숙렦된단속원이필요함 ( 결과싞뢰성저하 ) 7

Ⅱ. 관련기술검토 1 2 3

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 HOV Lane 레이져트리거 10m 적외선카메라 & 일반카메라 실제설치장비 10

11 차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 http://www.vehicleoccupancydetection.com Discriminates human skin inside a vehicle, behind automotive glass. 탑승자피부판별 Will not recognize Animals/Dummies/Photos as false positives 동물 / 인형 / 사짂판별 Works on all skin types from all countries... 모듞피부타입 Is not limited by ambient temperature or by internal vehicle temperature. 차량내 / 외부온도구애없음 Works with any amount of hair, including zero [i.e., bald], cosmetics, glasses, etc 대머리, 화장, 안경구애없음 Works on all vehicle window types 모듞차량 Works in all types of weather.. 모듞날씨 Provides information in real time [within milliseconds]... 실시간 Works 24 hours a day without need for any external lighting. 보조조명필요없음 Works at ranges up to 150 feet..45m Works at vehicle speeds up to 90 mph 145km/h Works through metallic and tinted windshields. 차량틴팅구애없음 12

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 정확성 96% (2014 년 6 월, CALTRANS technoiogy trial, district 12 ) 상용카메라사용, 카메라비용 4 만달러, 젂체시스템 8 만달러 레이저트리거와차량충돌사고발생 : 약 1 년동안 4~5 번 번호판인식기술은미포함 : 기존상용기술추가구성가능 영상분석통핚재차인원산출알고리즘은기밀사항 테스트베드설치비용은약 10 만달러예상 13

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 91 Express Lane 약 10mile 유료차로 ( 편도2) 운영, 방향별 / 시간별 / 요일별요금차등부가 일반 CCTV 39개운영, 요금소 2개운영 ( 편도 1개소 ) HOV 단속 1개소운영, 위반율약 6% 중앙분리대 (median) 사이간이건물에서육안단속 위반차량발견시, 무젂으로단속원출동지시 < 공간적범위 > < 유료차로운영및 ETC> < 이용요금 > 16 (https://www.91expresslanes.com/index.asp)

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 <ETC_Eastbound> < 단속시설 > <ETC_Westbound> 17

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 <ETC_Westbound Express Lane> < 단속시설내부 > 18

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ. 기술개발의목표및활용방안 1 2 3 19

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 21

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 구분 1 차년도 2 차년도 3 차년도 KVOD System Embedded System AI Cloud OpenAPI 22

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 미국 VOD 기술현황조사및교통부문알고리즘설계 구분 1 차년 2 차년 3 차년 미국의 VOD 시장현황조사 교통부문알고리즘설계 23

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 영상분석알고리즘 구분 1 차년도 2 차년도 3 차년도 KVOD 개발에필요한 CV 기술 / 장비현황조사및알고리즘설계 영상분석알고리즘개발시나리오 24

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 영상분석알고리즘 ( 계속 ) KVOD System ` Side Surveillance illuminator Laser Trigger IR Camera Front Surveillance System Controller 25

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 Ⅲ 26

차량내탑승인원수를수집하는미래기술개발을위한해외선진기술검토세미나 문헌조사만으로는수집불가능핚국내외정보취득 ( 국내기술개발의성공가능성및상용화가능성 ) 미국에서시범설치중인 VOD 검토및관계자미팅 일자 : 2016년 6월 17일 ( 금 ) 장소 : 서울엘타워 참석자 : 국내외교통관렦젂문가 ( 교통관렦교수, 공기업및연구기관실무자, 지자체공무원등 ) 및학생약 30명 주요내용 : 단속기능외에교통수요분야및재차인원검지등다양핚활용가능 정확도향상을위핚영상촬영장치및기법에대핚연구필요 핚국형시스템개발을위핚젂문연구짂구성필요 27

감사합니다.

State-of-the Practice of HOV/HOT Enforcement in the U.S 2016.8.26 Joyoung Lee, Ph.D. Department of Civil and Environmental Engineering New Jersey Institute of Technology

Outline Background Review of enforcement techniques and technologies State-of-the practice of HOV/HOT enforcement overview Concluding remarks with findings

Background High-occupancy vehicle (HOV) facilities in the U.S have proven to be effective in enhancing mobility in a cost-effective manner.

Background This success, along with the availability of electronic toll collection technology, has led the expansion of the HOV system and the implementation of highoccupancy toll (HOT) facilities.

Background Although these facilities hold promise to help address the growing demand for travel, a significant challenge lies in the ability to enforce occupancy requirements by minimizing impact on the operation of the facilities.

Enforcement techniques review Manual Enforcement The most widely used enforcement technique for occupancy violation on HOV/HOT facilities. The sequence for a typical manual enforcement operation: visually check pursue an identified vehicle issue citation.

Enforcement techniques review Enforcement with Assistance of Toll Transponders for transponder-based HOV/HOT facilities

Enforcement techniques review Enforcement with Assistance of Toll Transponders Toll Transponder

Enforcement techniques review Enforcement with Assistance of Toll Transponders : Sequence Read Transponder Take A Plate Photo Issue a citation

Enforcement techniques review Difficulty of determining vehicle occupancy: Police officers frequently found that they stopped vehicles with sleeping adults or small children sitting below window level. Safety concerns and disrupting traffic: On heavily traveled freeways during peak periods, officers found it extremely difficult to join the stream of traffic safely to pursue a potential violator. Further, when the officer escorted the vehicle to a shoulder, the traffic flow on the facility was disrupted

Enforcement techniques review Difficulty in identifying vehicle occupancy: Although the validity of the transponder can be determined automatically, verification of the vehicle occupancy that would allow non-payment of the toll (i.e., HOV) remains a manual process. Difficulty in matching a signal of a violator to a real violator: When a vehicle passes a roadside transponder reader, quickly matching the vehicle to the signal, which indicates the validity of a transponder within that vehicle, is a challenge for police officers.

Enforcement technologies overview In-Vehicle Occupancy Detection Technologies Seat Belt Monitoring Sensor Weight Sensor Optical Systems Capacitive Sensors Ultrasonic sensors Smart Cards and Readers Require an in-vehicle sensor unit

Enforcement technologies overview Roadside Occupancy Detection Technologies Video Systems Infrared Systems Passive Microwave Systems

State-of-the Practice in the U.S I-15 Express Lanes, Salt Lake City, Utah Toll Transponder + Manual State police visually monitor vehicles to identify SOVs; then, they look to see if the SOV is authorized to use the facility based on the decal affixed to the window

State-of-the Practice in the U.S I-394 MnPASS, Minneapolis, Minnesota Enforcement vehicles equipped with mobile transponder reader detect a valid transponder while either parked on the shoulder or traveling adjacent to a vehicle. Visual occupancy assessment by the police officer is still required to identify occupancy violations

State-of-the Practice in the U.S I-25 Express Lanes, Denver, Colorado Toll Transponder + Manual At the toll collection zone, if any vehicle without a transponder passes through the toll/express lane, then the vehicle is declared as a toll violator. If a violator passes through the HOV lane, then the police officer stops the vehicle and issues a citation

State-of-the Practice in the U.S SR-91 Express Lanes, Orange County, California The first privately financed toll road in the United States (Fully Automated) Toll Transponder + Manual A vehicle w/o a transponder license plate photo ticket Vehicle occupancy enforcement is performed by a police officer who assesses the number of occupants from an observation booth.

Concluding Remarks Reviewed both techniques and technologies for HOV/HOT enforcement Revealed significant challenge of enforcing occupancy restrictions in HOV/HOT facilities Safety Congestion Difficulty of determining vehicle occupancy

Concluding Remarks All currently feasible approaches in the stateof-the practice still require a manual enforcement component Although the use of toll tag technology may help enforcement, it alone will not provide sufficient enforcement effectiveness. There exist numerous advanced enforcement technologies but they have not been fully deployed

Concluding Remarks Need to closely investigate the reasons for such a slow deployment for the U.S market Possible reasons might be: Accuracy Issue ( hard to achieve 100% accuracy) Cost vs. Effectiveness Low violation rate U.S DOT strategy to expand the coverage of managed lanes could be a crucial impetus for the deployment of automated enforcement technologies

Xerox Vehicle Occupancy Detection System <Introduction and Field Test> Seminar for Transportation Technology and Trends in U.S. and Korea Changseok Baek, PE

Sample Images & Face Detection Algorithm Passenger Face Detected : Not a Candidate Violator Passenger Face Not Detected And Seat Detected : Candidate Violator

Current Status and Limitation of Vehicle Occupancy Detection System Aug 26, 2016 Changmo Kim, Ph.D. Advanced Transportation and Infrastructure Research Center University of California, Davis 1

Express Lane & HOV Violation Rate in U.S. Utah 20 percent (Utah DOT, 2015) California 15 percent (SANDAG, 2015) HOV Enforcement in U.S. Operation Agency Officers and Police Patrols Visual (Eyeball) Observation (California, Utah, Texas, etc.) 2

HOV Enforcement in Korea Under-covered Patrol Cars and Aircrafts (JTBC News Korea, http://news.jtbc.joins.com, Mar, 20, 2015) 3

HOV Enforcement in China Visual Observation and Chases by Agency Officers (http://news.kbs.co.kr/) and China CCTV, Aug 17, 2016 4

Public Perception http://www.sandiegouniontribune.com/ 5

Technology Trends (1) Michael Hacskaylo, 1985 Automatic detection of a human body utilizes the near-infrared reflection bands of the skin of the human body as the identifying signature. US Patent US4500784 A, 1985 6

Technology Trends (2) Honeywell International Inc., 1999 7

Technology Trends (3) 89.60% for frontal passengers. Manually indicated area of interest (windshield). Used images in the visual range. N. da Vitora Lobo et al. (Eds.): SSPR&SPR 2008, LNCS 5342, pp. 782 789, 2008. 8

Technology Trends (4) 9

Technology Trends (5) IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 17, NO. 2, FEBRUARY 2016 10

Technology Trends (6) IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 17, NO. 2, FEBRUARY 2016 11

Technology Trends (7) IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 17, NO. 2, FEBRUARY 2016 12

Technology Trends (8) Fisher Vectors Approach FV becomes a standard for the aggregation part and is proposed to incorporate generative models into discriminative classifiers. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, VOL. 17, NO. 2, FEBRUARY 2016 13

Technology Trends (9) Fisher Vectors Approach Patent No. US 8,824,742 B2 14

I-15 Myramar in San Diego, 2015 http://www.cbs8.com/clip/11373755/new-camera-spies-carpool-cheaters-on-interstate-15 15

Limitation of the Current Technologies Focused on front seated passengers not yet applicable for second seats and further seats Mass computation and high cost Official validation & assessment result for the latest test (2015) is not released Accuracy issue Data communication issue Privacy Public controversial Manufacturer s claim vs. agency s evaluation 16

Limitation of the Current Technologies UC Berkeley, 2012. 17

Limitation of the Current Technologies UC Berkeley, 2012. 18