(JBE Vol. 22, No. 2, March 2017) (Regular Paper) 22 2, 2017 3 (JBE Vol. 22, No. 2, March 2017) https://doi.org/10.5909/jbe.2017.22.2.234 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) a), a), a) Real-time Violence Video Detection based on Movement Change Characteristics Kwangsoo Kim a), Ungtae Kim a) and Sooyeong Kwak a).., SVM(Support Vector Machine). ViF(Violent Flow),. Abstract A real-time violence detection algorithm based on a new descriptor using the magnitude and direction changes of movement in images is proposed. The descriptor was developed from the observation that the changes of violent actions are much larger than those of normal movements. Descriptor feature vectors consisting of descriptor values during several frames are obtained and these are inputs to SVM(Support Vector Machine) classifier for discriminating violence actions from and non-violence actions. Comparison experiments between the ViF(Violent Flow) and the proposed algorithm were conducted with three different types of datasets. The experimental results show that the proposed algorithm outperforms the ViF in every case. Keyword : violence detection, movement descriptor, SVM classifier a) (Dept. of Electronics and Control Engineering, Hanbat National University) Corresponding Author : (Sooyeong Kwak) E-mail: sykwak@ hanbat.ac.kr Tel: +82-42-821-1167 ORCID: http://orcid.org/0000-0002-4064-5108 Manuscript received February 1, 2017; Revised March 13; Accepted March 13.. 1960 TV. Gerbner Copyright 2017 Korean Institute of Broadcast and Media Engineers. All rights reserved. This is an Open-Access article distributed under the terms of the Creative Commons BY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited and not altered.
2: (Kwangsoo Kim et al.: Real-time Violence Video Detection based on Movement Change Characteristics),, [1]., 2013, 334.4, [2]. [3]..,. Bermejo [4] MoSIFT(Motion Scale-Invariant Feature Transform) Hassner [5] ViF(Violent Flow), Wang [6] 3. Bermejo (NHL) MoSIFT. MoSIFT Motion SIFT HOG(Histogram of Oriented Gradients) HOF(Histogram of Oriented optical Flow). Bermejo. MoSIFT,. Hassner ViF. ViF. ViF. Wang 3. Wang Cuboids, Slow Feature. Wang,...,,.,.. 1. Fig 1. Flowchart for movement descriptor generation 1 4., 15x 15() (dense optical flow).
(JBE Vol. 22, No. 2, March 2017),...,. (1). max max. (2). cos., (3) (Motion Binary Map). if (4) T MBM. MBM 30. 2. 320x240 15x15 21x16. 336. SVM(Support Vec- tor Machine)... III. Hockey [7] Movie [8] 2. Fig 2. Movement descriptor feature vector
김광수 외 2인: 움직임 변화 특성기반의 실시간 폭력영상 검출 (Kwangsoo Kim et al.: Real-time Violence Video Detection based on Movement Change Characteristics) 를 담고 있는 Youtube 데이터를 실제로 수집하여 사용하였 금 더 낮은데, 이것은 Hockey 데이터의 경우 운동하는 장면을 촬영하다 보니 카메라가 빠르게 움직이고 카메라 앵글의 변화도 많아 상대적으로 이미지에 노이즈가 많이 포함되었기 때문으로 보인다. 대한 성능이 평균적으로 조 이터는 NHL 하키 리그 영상 중 폭력행위 데이터 500개와 비폭력행위 데이터 500개로 구성되어있다. Movie데이터는 영화장면의 폭력행위 개와 비폭력행위 개로 구성되 황 어있다. 두 데이터의 폭력행위는 특수한 상 에서의 폭력 행위 장면이기 때문에 별도로 Youtube에서 폭력데이터 를 추가로 구성하였다. 실시간 검출에 이용하기 위해 표 2. 데이터별 실험 결과 Youtube 데이터는 Hockey, Movie 데이터에 비해 더 긴 평 Table 2. Experimental results for each dataset 갖는 영상으로만 구성하였다. 그림 3은 각 실 험 데이터들의 영상을 하나씩 예로 보여준 것이다. 균재생시간을 표 1. 실험에 사용된 데이터 Table 1. Experiment dataset total videos average duration time(sec) Hockey 500 500 0 0.5 Movie 200 2.3 Youtube 200 10.4 (5) Pr Pr 개와 비폭력데이터개로 이루어진 200개의 데이터 number of non-violent videos 약 이터별 실험 결과를 표 2에 요 하였다. Hockey 데이터에 다. 사용된 데이터의 구성을 표 1에 나타내었다. Hockey 데 number of violent videos 237 Precision(%) Recall(%) F-measure(%) Hockey 80.6 79.0 79.8 Movie 81.2 81.1 81.1 Youtube 79.0 85.1 81.9 제안된 기법과 기존 방법의 성능 비교를 위해 실시간 검 져 있는 ViF 서술자 출이 되면서 성능이 우수하다고 알려 방법 과 제안된 방법의 성능을 비교하였다. 실험 데이터로 [5] 는 Youtube 데이터와 Hockey데이터를 이용하였고, 실험 결과를 그림 4에 나타내었다. 그림 4에서 보는 것과 같이 제안한 방법의 폭력영상 검출 precision이 서술자 방법의 precision은 제안된 기법의 폭력 검출 성능은 F-measure를 이용하여 약 79%이고, ViF 약 72%로써 제안하는 방법이 평가하였다. F-measure는 precision과 recall을 하나의 값으 더 우수한 성능을 보여주었다. 제안한 방법의 recall값도 로 표현할 수 있는 방법이며 식(5)과 같이 정의된다. 각 데 ViF 방법보다 약 5% 정도 높은 성능을 보여주었다. ViF (a) (b) (c) 그림 3. 실험 데이터의 예 (a) Hockey 데이터(b) Movie 데이터 (c) Youtube 데이터 Fig 3. Examples of experiment dataset (a)hockey data (b)movie data (c) Youtube data
(JBE Vol. 22, No. 2, March 2017) 4. Fig 4. Performance comparison between the proposed method and the ViF method 5. Fig 5. The examples of false alarm.. 1 15.,, 5.. IV..,. CCTV. (References) [1] G. Gerbner, and L. Gross, "Living with television: The violence profile," Journal of Communication, Vol. 26, No. 2, pp. 172~194, 1976.
2: (Kwangsoo Kim et al.: Real-time Violence Video Detection based on Movement Change Characteristics) [2] Korea Press Foundation, Survey of media audience, 2013 [3] J. Kang, and S. Kwak Violent Behavior Detection using Motion Analysis in Surveillance Video, Journal of broadcast engineering, Vol. 20 No. 3, pp. 430-439, 2015 [4] E.B. Nievas, O.D. Suarez, G.B. Garcia, and R. Sukthankar, Violence detection in video using computer vision techniques, Proceeding of International Conference on Computer Analysis of Images and Patterns, pp 332-339, 2011 [5] T. Hassner, Y. Itcher, and O. Kliper-Gross, Violent Flows: Real-time detection of violent crowd behavior, Proceeding of IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 1-6, 2012 [6] K. Wang, Z. Zhang, and L. Wang, Violence Video Detection by Discriminative Slow Feature Analysis, Communications in Computer and Information Science, Vol. 321, pp. 137-144, 2012 [7] I. Laptev and T. Lindeberg, Space-time Interest Points, International Journal of Computer Vision, Vol 64, No. 2, pp. 107-123. 2005 [8] I. Laptev, M. Marszałek, C. Schmid, and B. Rozenfeld,, Learning Human Actions from Movies, Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, 2008-2004 2 : - 2004 1 ~ 2007 3 : - 2007 4 ~ 2008 2 : - 2008 3 ~ : - ORCID : http://orcid.org/0000-0002-3011-2666 - :,, - 2013 2 : - 2016 2 : - 2016 3 ~ : - :, - 2010 2 : - 2010 3 ~ 2011 1 : - 2011 2 ~ : - ORCID : http://orcid.org/0000-0002-4064-5108 - :,,