2 : HEVC (Yumi Eom et al.: An analysis of Detection using HEVC coding additional information) (Special Paper) 20 6, 2015 11 (JBE Vol. 20, No. 6, November 2015) http://dx.doi.org/10.5909/jbe.2015.20.6.871 ISSN 2287-9137 (Online) ISSN 1226-7953 (Print) HEVC a), a), a) An analysis of Detection using HEVC coding additional information Yumi Eom a), Sangil Park a), and Chang Woo Chung a) UHD,,.., 4K (3820x2160) UHD UHD., HEVC. HEVC 4,., HEVC UHD. Abstract With the increase of mass contents data, a method of a scene change detection is required for analysis, indexing and editing. Although many researchers are studying a variety of scene change detection method, it is too difficult to accurately detect various movements of the cameras and scene changes. Also, earlier scene change detection methods take too much time to apply to UHD video contents. That is because the UHD video contents with 4K (3820x2160) resolution or higher have greater amount of data. Therefore a method for detecting a scene change by using the next-generation codec, HEVC, is required. In this paper, we propose four scene change detection methods using the coding additional information of HEVC, and a new pixel-based scene change detection system. Furthermore, through the experimental results, we check the possibility of detecting the scene changes of UHD videos encoded in HEVC format. Keyword : HEVC, change detection, contents indexing, UHD video a) IT(Electronic IT Media Engineering Dept., Seoul Natl. University of Science and Technology) Corresponding Author : (Sangil Park) E-mail: sangilparkmail@gmail.com Tel: +82-10-5330-2069 ORCID: ORCID: 0000-0002-2026-6848 2015. Manuscript received September 21, 2015; Revised November 9, 2015; Accepted November 9, 2015.
(JBE Vol. 20, No. 6, November 2015). 2013 11 ISO/IEC HEVC [1]. LG 7680x4320 8k UHD TV 4 HEVC. HEVC H.264/AVC 3 2 [2]. UHD,,, HEVC.,,. Davinci Resolve H.264/AVC... HEVC H.264/AVC 3., UHD. HEVC. I- P/B-, HEVC. UHD.. 2 HEVC, 3 I-, 4 P/B-. 5. 6 7.. HEVC 1. HEVC HEVC (Coding Unit), Wavefront Parallel Processing (WPP),,, Sample Adaptive Offset (SAO), Adaptive Loop Filtering (ALF) [3]. 1 H.264/ AVC. / tile WPP., 35 Advanced Motion Vector Prediction (AMVP), Motion merge. CABAC CAVLC, SAO, ALF [3]. 1. HEVC H.264/AVC Table 1. The comparison of HEVC and H.264/AVC HEVC H.264/AVC Coding Unit 4*4~64*64 4*4~16*16 Parallel coding Slice, tile, WPP Slice Luma Intraprediction Entropy Coding Loop filtering Motion parameters encoding, Motion merge mode CABAC, CAVLC (residual) Deblocking filter, SAO, ALF 2. HEVC Motion vectors encoding CAVLC, CABAC (optional) Deblocking filter HEVC.,
엄유미 외 인 부호화 부가정보를 이용한 장면전환 검출 연구 873 2 : HEVC (Yumi Eom et al.: An analysis of Detection using HEVC coding additional information) 그림 1. HEVC의 코딩 단위 구조 Fig. 1. Coding unit structure of HEVC 작은 블록을 사용함으로써 압축 효율을 높인다. 이러한 가 변크기 부호화 유닛을 사용하여 그림 1과 같이 프레임 내의 구조적 특징을 자세히 나타내어 줄 수 있다. 프레임 내의 구조적 특징은 장면전환 검출에 있어 중요한 요소가 될 수 있다. 또한 장면전환 상황이 일어나면 대부분의 CU (Coding Unit)는 인트라 모드로 부호화되므로, CU의 크기, 위치 뿐 아니라 예측모드의 비율도 장면전환 검출에 중요 한 요소가 될 수 있다. 또 하나의 HEVC 특징 중 하나는 그림 2에서 보이는 바 와 같이 인트라 예측 모드의 개수가 35가지로 늘어났다는 점이다. 장면전환 상황이 일어나면 프레임 내의 특징이 달 라지므로PU(Prediction Unit)의 인트라 예측 모드 분포가 달라지는 것을 예상할 수 있다. 또한, 벡터 예측도 AMVP (Adaptive Motion Vector Prediction), 움직임 병합 모드로 발전했으므로 이러한 특징들을 이용한다면, 이전 장면전환 검출 방법을 응용하는 것뿐만 아니라, 새로운 HEVC 부호 화 기반의 장면전환 검출 기법을 개발하는 것도 가능해 보 인다. 그러나, 대용량 비디오 컨텐츠의 경우 압축 효율이 좋은 HEVC를 사용해도 연산 복잡도가 매우 높기 때문에 모든 프레임을 복호화하여 장면전환 검출을 시행하기에는 너무 많은 연산량을 가지고 있다. 따라서, 최소한의 복호화에 따 른 부가정보를 이용하여 장면전환 검출을 하기 위해서는 프레임 특징에 따른 장면전환 검출 방법이 필요하다. 일반적으로 프레임은 I/P/B-프레임으로 나누어질 수 있 는데 I-프레임은 다른 프레임들과는 독립적으로 부호화 된 다. I-프레임은 시간적으로 앞, 뒤의 프레임을 참조하지 않 으므로 움직임 예측을 적용하지 않으며 화면 내 정보만을 사용해서 부호화하므로 프레임 내의 픽셀간의 상관관계가 중요한 정보로 이용된다. P-프레임은 이전의 I-프레임과 P프레임을 참조하여 부호화 된다. I프레임과 다르게 참조 프 레임이 있으므로 정지된 부분을 제외한 움직임이 있는 부 분만 부호화되며, 현재 프레임과 과거 프레임간의 상관관 계가 중요한 정보로 이용된다. 반면에 B-프레임은 이전의 I/P-프레임뿐만 아니라 이후의 I/P-프레임도 참조하여 부호 화된다. B-프레임의 경우 참조하는 프레임이 많아, 중복요 소를 가장 많이 제거할 수 있으므로 압축률이 가장 높다. 따라서, P/B-프레임은 화면 간 부호화, 화면 내 부호화, 스킵 모드 총 세 가지에 대한 부호화 과정을 거치고, I-프레 임은 화면 내 예측 모드에 대한 부호화 과정만 거치게 된다. 또한, 복호화 시 복잡도는 인코딩의 복잡도와 상관관계가 높은데, I-프레임의 경우 복호화 복잡도가 P/B-프레임보다 상대적으로 낮으므로 I-프레임은 전체 복호화, P/B-프레임 은 최소한으로 복호화하여 장면전환 정보를 찾는다면 빠른 검출이 가능할 것으로 보인다. [4] 그림 2. HEVC의 인트라 프리딕션 모드 Fig. 2. Intra prediction mode of HEVC
(JBE Vol. 20, No. 6, November 2015). HEVC I- 1. Intra Prediction Mode and CU Size HEVC CU CU. CU. 35,., CU [5]. C M åå i= 0 j= 0 (P(n) - P( n -1) ) cnt( CU ) + cnt( CU ) n n-1 (1) I- n I- n-1, C 5 CU, M 35. CU 4x4, 8x8, 16x16, 32x32, 64x64 5. Cnt(CUn) n CU, Cnt(CUn-1) n-1 CU. CU SSE(Sum of Squared Error) CU T. 1. 2 > T.. 1/16. If D = - P n - > 2 (P(n) ( 1) ) 35 Then: 1, Else : 0 H W åå i= 0 j= 0 D > (2) I- n I- n-1, D. D 35 1, 0. T. 2 3. 3. SSE Table 3. The results of Intensity and Sums of Squared Error No. Total Frame T T NC NF NM B 208 28 1,000,000 26 0 2 2. CU Table 2. The results of Intra prediction mode and CU size No. Total Frame T NC NF NM A 208 28 10 22 10 1 2. Intensity and Sums of Squared Error 3. SSE Fig. 3. The results of Intensity and Sums of Squared Error
2 : HEVC (Yumi Eom et al.: An analysis of Detection using HEVC coding additional information). HEVC P/B- 1. Intra, Inter, Skip mode and Threshold HEVC,,.,.,,,, [6]. S n Intra + 1 = > Inter + Skip + 1 (4) Sn n,,. 1. Sn T. 3, 4. T 2. Intra, Inter, Skip mode and Window size.,,.. Feng Jie,, [6]. S n = Intra + 1 Inter + Skip + 1 n- 1 n+ w S = S + S w n n n= n- w n= n+ 1 å å S w > S n 4,, Table 4 The results of Intra, Inter, Skip mode and Threshold No. Total Frame T NC NF NM C 9768 24 180 23 0 1 (5) Sn n,,, W. Sw n, Sn. Sn Sw. 4. 5.,, Table 5. the results of Intra, Inter, Skip mode and window size 4.,, Fig. 4. The results of Intra, Inter and Skip mode No. Total Frame D 9768 24 W NC NF NM 20 22 14 2 25 22 6 2 30 22 6 2 35 22 4 2 40 22 3 2 45 22 3 2
(JBE Vol. 20, No. 6, November 2015). PC Intel I7 4770 32GB ram, HM16.2(HEVC test Model) Opencv 2.4.9., Elecard HEVC analyzer. https://media.xiph. org bbb, 1920x1080p, YUV 4:2:0, 8bits, GOP(Group of picture) 48 IBBBBBIBBBBB. precision, recall, F1. F1 = Precision = Recall = NC N + N C C NC N + N 2 precision recall precision + recall M F (8)-(10) NC, NF, NM. precision, recall. F1 precision recall. 5. Table 5. results of experimentals No. Frame T/W Precision Recall F1 A 10 0.69 0.97 0.81 I 28 B 1,000,000 1 0.92 0.96 C 180 1 0.96 0.98 P/B 24 D 40 0.88 0.92 0.90 precision recall [7]. A CU B. C D,, C D. 4 91%, HEVC. A precision recall., CU. B..... C. C /.,,. D C.,,. 4
2 : HEVC (Yumi Eom et al.: An analysis of Detection using HEVC coding additional information).,.. 1. HEVC H.264/AVC, 100 1. HEVC H.264/ AVC 3. HEVC..,. 5. 5. Fig. 5. pixel based scene change detection system 6. 1/32 4k UHD Fig. 6. 1/32 downscald image of 4k UHD image
(JBE Vol. 20, No. 6, November 2015) P/B-.. I-., I-. 6 HEVC 4K, 32 1. 3840x2160 4K UHD. 6,. 4K 130Kbits, 32 1 133Mbits 1024 1., I-. P/B- I-. 2. HM16.6(HEVC test Model), Elecard HEVC analyzer. libde265.org, YCbCr 4:2:0, 8bits, GOP(Group of picture) 48. 5 I-., 3%.,,. 5. I- Table 5. Results of decode and downscaling time by frame Video Resolution Frame Decode(ms) 1/16(%) 1/32(%) Bbb 1920x1080 104 179.4 4 3 Elephants 1920x1080 104 204.7 3 3 Spreed 1920x1080 37 189.4 3 2 Sintel 1920x818 104 137.5 3 3 Tos 4096x1717 104 598.9 3 3. HEVC.. A CU B. C D,, C D. 4 91%, HEVC., CU HEVC.. I- HEVC. 3%, 4K., HEVC.
엄유미 외 인 부호화 부가정보를 이용한 장면전환 검출 연구 879 2 : HEVC (Yumi Eom et al.: An analysis of Detection using HEVC coding additional information) 참 고 문 헌 (References) [1] [2] [3] [4] Bross, B., et al. "High efficiency video coding (HEVC) text specification draft 10 (Doc. JCTVC-L1003)." (2013). Grois, D., Marpe, D., Mulayoff, A., Itzhaky, B., & Hadar, O. (2013). Performance comparison of H. 265/MPEG-HEVC, VP9, and H. 264/MPEG-AVC encoders. In PCS (pp. 394-397). Sullivan, Gary J., et al. "Overview of the high efficiency video coding (HEVC) standard." Circuits and Systems for Video Technology, IEEE Transactions on 22.12 (2012): 1649-1668. Ewerth, R., & Freisleben, B. (2003, September). Frame difference normalization: an approach to reduce error rates of cut detection algorithms [5] [6] [7] for MPEG videos. In Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference on (Vol. 2, pp. II-1009). IEEE. Bossen, F., Bross, B., Suhring, K., & Flynn, D. (2012). HEVC complexity and implementation analysis. Circuits and Systems for Video Technology, IEEE Transactions on, 22(12), 1685-1696. Jie, F., Aiai, H., & Yaowu, C. (2008, December). A novel scene change detection algorithm for H. 264/AVC bitstreams. In Computational Intelligence and Industrial Application, 2008. PACIIA'08. Pacific-Asia Workshop on (Vol. 1, pp. 712-716). IEEE. B. Giuseppe, C. Angelo, M. Vincenzo and P. Antonio, "Foveated shot detection for video segmentation." Circuits and Systems for Video Technology, IEEE Transactions, pp. 365-377, Mar. 2005. 저자소개 엄유미 년 월 서울과학기술대학교 전자IT미디어공학과 졸업(공학사) 년 월 현재 서울과학기술대학교 미디어IT공학과 석사과정 주관심분야 차세대 방송 실감방송 영상처리, 영상부호화 - 2014 2 : - 2014 3 ~ : - ORCID : 0000-0002-2677-0850 :,, 박상일 - 년 2월 : 연세대학교 전자공학과 졸업(공학사) 년 8월 : Kansas State University 전기전자공학과 졸업(석사) 년 2월 : University of New Mexico 전기전자공학과 졸업(박사) 년 1월 ~ 1988년 5월 : University of Pittsburgh 전자공학과 조교수 년 5월 ~ 1995년 5월 : MotorolaDSP SemiconductorDesign Manager 년 5월 ~ 2006년 11월 : 삼성전자 임원(반도체, 비서실, 본사기획실등) 년 11월 ~ 2012년 10월 : 스카이레이크인큐베스트투자팀 부사장 년 8월 ~ 2012년 10월 : 방송통신위원회 차세대 방송 PM 년 10월 ~ 현재 : 서울과학기술대학교 전자IT미디어공학과 교수 : 0000-0002-2026-6848 주관심분야 : 차세대 방송, 실감방송, 클라우드 플랫폼, 의료 전기전자 1977 1983 1987 1987 1988 1995 2006 2009 2012 ORCID 정창우 년 월 현재 서울과학기술대학교 미디어IT공학과 학사과정 주관심분야 시스템 프로그래밍 영상처리 - 2011 3 ~ : - ORCID : 0000-0003-3324-9606 :,