2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 37 논문 2008-45SP-2-5 다시점비디오부호화를위한개선된움직임 / 변이벡터예측 (n Improved Motion/isparity Vector Prediction for Multi-view Video oding ) 임성창 *, 이영렬 ** * (Sung-hang Lim and Yung-Lyul Lee ) 요 약 일반적으로움직임벡터는한카메라에서촬영된영상속에서의객체의움직임정보를나타내고, 변이벡터는서로다른카메라에서촬영된영상간객체의위치차이를나타낸다. 기존의 H.264/V 에서는단일시점영상을위한비디오부호화기술이기때문에변이벡터를고려하지않는다. 하지만, 다시점비디오부호화기술은 H.264/V 를기반으로하여시점간예측구조를지원하기때문에, 다른시점에서의영상을참조할때는움직임벡터대신변이벡터가고려된다. 따라서, 본논문에서는다시점비디오부호화기술을위해전역변이벡터대체방법과확장된주변블록예측방법을이용하여개선된움직임 / 변이벡터예측방법을제안한다. 제안하는방법을통해서움직임벡터탐색범위를 ±16 으로설정하고, 전역변이벡터탐색범위를 ±32 으로설정한경우평균 1.07% 의 (jøntegaard delta)- 비트율감소를얻었으며, 전역변이벡터탐색범위를 ±64 로설정한경우평균 1.32% 의 - 비트율감소를얻을수가있었다. bstract Generally, a motion vector and a disparity vector represent the motion information of an object in a single-view of camera and the displacement of the same scene between two cameras that located spatially different from each other, respectively. onventional H.264/V does not use the disparity vector in the motion vector prediction because H.264/V has been developed for the single-view video. ut, multi-view video coding that uses the inter-view prediction structure based on H.264/V can make use of the disparity vector instead of the motion vector when the current frame refers to the frame of different view. Therefore, in this paper, we propose an improved motion/disparity vector prediction method that consists of global disparity vector replacement and extended neighboring block prediction. From the experimental results of the proposed method compared with the conventional motion vector prediction of H.264/V, we achieved average 1.07% and 1.32% of (jøntegaard delta)-bitrate saving for ±32 and ±64 of global vector search range, respectively, when the search range of the motion vector prediction is set to ±16. Keywords : Multi-view Video oding, H.264/V, Motion Vector Prediction, Global isparity Vector Ⅰ. 서론 다시점비디오부호화 (multi-view video coding) 기술 [1 2] 은공간적으로서로다른위치에배치된카메라들로부터동일한시간에촬영된영상들에대해사용자 ** * 정회원, 평생회원, 세종대학교컴퓨터공학과 MS 연구실 (MS Lab., epartment of omputer ngineering, Sejong University) 본논문은서울시산학연협력사업 (11098) 의지원으로수행되었음. 접수일자 : 2007년8월30일, 수정완료일 : 2008년2월21일 가원하는시점의장면을볼수있도록시스템과사용자간의상호작용을가능하게하는미래의 3차원 TV, 자유시점비디오 (free viewpoint video), 3차원보안시스템 [3] 등을지원하기위한새로운형태의비디오부호화표준이다. 일반적으로, 다시점비디오영상 (multi-view video sequence) 은기존의단일시점비디오영상 (single-view video sequence) 에비해처리해야될데이터의양이촬영시사용된카메라의수, 영상크기등에비례해커지게되고, 단일시점비디오영상과는다른특성을가지는다시점비디오영상들에대한효율적인부호화방법이요구되어결국이러한다시점 (120)
38 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 비디오영상을처리하기위해 2개의국제비디오부호화표준단체 (MPG, VG) 에서다시점비디오영상을부호화하기위해요구되는사항들을충족시키기위한국제표준화작업을진행하고있다 [4]. 다시점비디오부호화는 H.264/V [5] 의단일시점비디오부호화구조에시점간예측구조 (inter-view prediction structure) [6] 를포함하여기본적인부호화 / 복호화구조를갖추었으며, 기존 H.264/V를이용해각시점들을독립적으로부호화하는동시부호화 (simulcast coding) 방법보다뛰어난부호화효율을얻기위해, 새로운형태의부호화 / 복호화방법들 [7 8] 을채택하고있다. 하지만, 앞서언급된시점간예측구조가기존의 H.261, H.263, MPG-1, MPG-2, MPG-4, H.264/V와같은단일시점비디오부호화에서는고려가되지않았기때문에, 기존단일시점비디오부호화에기반을둔다시점비디오부호화에새로운예측구조를적용하는데여러문제점이발생하게되었다. 공간적으로다른위치에서촬영된영상들사이에발생하는조명변화 (illumination change), 동일한시간에촬영되었지만서로다른시점에속한영상들에대한영상출력순서 (picture order count), 시점간예측구조가포함된참조영상리스트 (reference picture list) 관리방법, 영상출력순서에기반을둔시간적다이렉트모드 (temporal direct mode) 와가중예측 (weighted prediction) 이시점간예측구조에서시점간에서사용될때발생하는문제, 그리고, 기존의움직임벡터 (motion vector) 와는다른특성을지니는변이벡터 (disparity vector) 에대한처리방법등이다시점비디오부호화의표준을진행하면서발생한문제점들이다. 이러한문제점들과더불어새롭게나타난개념들에대한정의도추가되었는데, 기준영상 (anchor picture), 기본시점 (base view), V-IR (view-instantaneous decoding refresh) 등이이에포함된다 [1]. 이러한문제점들이나개념들중몇몇들은표준화과정중해결되거나정의되었지만, 움직임벡터와변이벡터를구분하여부호화효율을높이는방법에대해서는효율적인방법을통해해결하지못하고, 기존의 H.264/V에서사용되는움직임벡터예측방법을수정하지않고사용하고있다. 다시점비디오부호화에서의움직임 / 변이벡터예측을위해제안된 [9] 에서는현재부호화하는블록이시점간참조영상색인 (inter-view reference picture index) 을가지지만, 주변의모든블록 들은시간적참조영상색인 (temporal reference picture index) 만가질경우, 현재부호화하는블록의시간적참조영상들에서동일블록위치에있는블록의변이벡터들을움직임 / 변이벡터예측을위해사용하였다. [9] 의방법은현재부호화하는블록과주변모든블록들의참조영상종류가다른제한된조건에만수행되었다. [10 13] 에서는영상의변이벡터들을영역별로구분해서, 현재부호화하는블록이어느한영역에포함될경우그영역의변이벡터를움직임 / 변이벡터예측방법에사용했다. 이경우영역별로변이벡터를구하고, 현재부호화하는블록이어느영역에포함될지를결정해야되기때문에움직임 / 변이벡터예측과정외에추가적인계산복잡도가필요하다. [14 15] 에서는 H.264/V에서의움직임벡터예측이다시점비디오부호화에서도잘적용될수있도록참조영상을전역변이벡터 (global disparity vector) 만큼위치이동하는방법을사용했다. 이경우, 복호화기 (decoder) 에서위치이동된참조영상의저장에필요한추가적인메모리를필요로하게된다. 또한, 현재 JMVM (joint multi-view video model) 소프트웨어 [16] 에채택되어있는움직임생략모드 (motion skip mode) [8] 는전역변이벡터를이용해현재부호화하는시점블록과인접한시점에서대응되는블록의움직임정보를복사하여부호화효율을높였다. 본논문에서는다시점비디오부호화에서중요한정보가되는전역변이벡터와비슷한속성을지닌벡터로부터예측하도록예측범위를넓힌확장된주변블록예측방법을변이벡터를고려하지않는 H.264/V의움직임벡터예측방법에적용하여, 다시점비디오부호화기술을위한새로운움직임 / 변이벡터예측방법을제안한다. Ⅱ 장에서는 H.264/V에서사용되는움직임벡터예측방법을간략히소개하고, Ⅲ 장에서는전역변이벡터대체방법을이용한움직임 / 변이예측방법을제안하며, Ⅳ 장에서는확장된주변블록예측방법을이용한움직임 / 변이예측방법을제안한다. Ⅴ 장에서는기존다시점비디오부호화 / 복호화에서사용되는 H.264/V의움직임 / 변이예측방법과제안된방법과의비교실험결과가제시되며, Ⅵ 장의결론을끝으로본논문을마친다. Ⅱ. H.264/V 에서의움직임벡터예측다시점비디오부호화에서사용하고있는움직임벡 (121)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 39 표 1. H.264/V에서사용되는움직임벡터예측방법에따른조건 ( 중간값예측은다음의조건들을만족하지않을경우에사용 ) Table 1. onditions of prediction method for the motion vector prediction in H.264/V (median prediction is selected if all of the conditions are not met). 번호조건예측방법 1) 2) 3) 4) 5) 6) 현재블록에서고려되는참조영상색인이오직 의참조영상색인과같을경우 현재블록에서고려되는참조영상색인이오직 의참조영상색인과같을경우 현재블록에서고려되는참조영상색인이오직 혹은 의참조영상색인과같을경우 블록예측방법이 로부터만예측하게정해지고, 현재블록에서고려되는참조영상색인이블록 의참조영상색인과같을경우 블록예측방법이 로부터만예측하게정해지고, 현재블록에서고려되는참조영상색인이블록 의참조영상색인과같을경우 블록예측방법이 혹은 로부터만예측하게정해지고, 현재블록에서고려되는참조영상색인이블록 혹은 의참조영상색인과같을경우 블록 로부터만예측 블록 로부터만예측 블록 혹은 로부터만예측 블록 로부터만예측 블록 로부터만예측 블록 혹은 로부터만예측 7) 블록 와블록 가모두현재슬라이스에포함되지않은경우블록 로부터만예측 8) 그밖에현재매크로블록의파티션이각각 16x8 혹은 8x16으로나누어지며, 주변블록들의참조영상색인이현재매크로블록파티션들의참조영상색인과같을경우 그림 1 의 (c) 와 (d) 의방법 터예측방법은기본적으로 H.264/V의움직임벡터예측방법 [5] 과동일하다. 현재부호화하는블록에인접하고이전에부호화 / 복호화된주변블록의움직임벡터를고려하여현재블록의움직임벡터의비트수를감소하기위한 H.264/V의움직임벡터예측방법은그림 1과같이나타낼수있다. 그림 1의 (a) 는표 1에나타난 8가지조건들을만족하지않을경우현재블록 의주변블록,, 혹은 의수평 / 수직방향의움직임벡터의성분들에중간값필터 (median filter) 를적용하는중간값예측 (median prediction) 을통해현재블록의예측된움직임벡터 (predicted motion vector) 를계산한다. 또한, 그림 1의 (b) 처럼블록 가현재슬라이스 (slice) 에포함되지않을경우에만블록 가블록 를대체하여고려된다. 하지만, 일반적으로다시점비디오부호화에서움직임벡터와변이벡터는해당벡터를이용하여화면간혹은시점간예측 (inter/inter-view prediction) 이수행된다는것은동일하지만, 움직임벡터는한카메라에서촬영된영상속에서의객체의움직임정보를나타내고, (a) (c) X X (Unavailable) (b) 그림 1. H.264/V에서의움직임벡터예측 Fig. 1. Motion vector prediction in H.264/V. 변이벡터는다른카메라에서촬영된영상간의객체의위치차이를나타내기때문에기본적으로서로간의특성이다르다. 따라서본논문에서는이들간의서로다른특성을기반으로새로운움직임 / 변이벡터예측방법을기존의움직임벡터예측방법에적용한다. (d) (122)
40 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 Ⅲ. 전역변이벡터대체방법을이용한움직임 / 변이벡터예측방법현재 JMVM 소프트웨어에채택된움직임생략모드는전역변이벡터를사용하여현재시점에인접한주변시점들의매크로블록모드, 참조영상색인, 움직임벡터등의움직임정보를복사하여부호화효율을높이는방법이다. 여기서, 전역변이벡터가실제로슬라이스헤더 (slice header) 에서전송되기때문에, 전역변이벡터를움직임생략모드뿐만아니라움직임 / 변이예측방법에서도고려할수있다. 이는현재부호화하는영상이다른시점의영상을참조하고, 부호화하는블록의참조영상색인이주변블록들의참조영상색인들과같지않을경우, 참조영상색인이같지않은주변블록들의움직임 / 변이벡터를전역변이벡터로대체할수가있다. 그림 2는제안하는전역변이벡터를고려하는움직임 / 변이벡터예측방법을나타낸다. 여기서, ref_idx는참조영상색인을나타내며, GV는전역변이벡터를나타낸다. 제안하는전역변이벡터대체방법은현재부호화하는블록이동일한참조영상리스트지만, 다른시점의영상을참조할때만수행된다. 그림 2에서 (a) 의경우를예로설명하면현재부호화하는블록 의참조영상색인이 1이며, 시점간예측을수행할경우, 블록 의참조영상색인과동일한참조영상색인을가지는주변블록 와 혹은 의변이벡터와전역변이벡터로블록 의변이벡터를이용해기존의 H.264/V 에서사용하는움직임벡터예측과정에서의중간값예측을통해서현재블록 의예측된변이벡터 (predicted disparity vector) 를계산한다. 그림 2에서 (b) 와 (c) 의경우, (a) 의경우와유사한과정을거쳐서현재블록 의예측된변이벡터를계산한다. 그림 2의 with ) ref_idx with ) GV with ) with ) with ) (a) with ) (c) with ) GV ref_idx with ) with ) with ) ref_idx with ) ref_idx with ) GV GV ref_idx with ) (b) GV ref_idx with ) (e) with ) GV ref_idx with ) 그림 2. 제안하는전역변이벡터대체방법 Fig. 2. Proposed global disparity vector replacement. (d) 의경우에는주변모든블록들의참조영상색인이현재부호화하는블록 의참조영상색인들과같지않기때문에, 전역변이벡터가현재블록 의예측된변이벡터로결정된다. 제안하는움직임 / 변이벡터예측방법에서사용되는전역변이벡터는움직임생략모드 [8] 를위해제안된전역변이벡터계산식을변경하여아래식 (1) 과같이, 매크로블록단위 (16x16) 로계산되지않고픽셀단위로현재부호화하는시점의영상과현재영상에참조되는인접한다른시점의영상들과의영상단위로 M (mean absolute difference) 가최소가되는변이벡터를전역변이벡터로사용한다. X 1 Y 1 1 GV ( x, y) = argmin{ ( i, j) R( i x, j y)}. ( S )( S ) + + ( xy, ) SR X X Y Y i= SX j= SY where S is equal to 0 if x > 0, otherwise S is equal to x, X S is equal to 0 if y > 0, otherwise S is equal to y, Y is equal to FW x if x > 0, otherwise is equal to FW, X is equal to FH y if y > 0, otherwise is equal to FH. Y Y X Y X (1) POcur PO ahead GVcur = GVahead + ( GVbehind GVahead ). PObehind POahead (2) (123)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 41 Time nchor Picture Non-anchor Picture nchor Picture View ase View GV ahead GV cur GV behind with ) with ) with ) Non-base View ref_idx with ) (a) POahead POcur PObehind 그림 3. 비기준영상에서의전역변이벡터유도과정 Fig. 3. erivation process of global disparity vector at non-anchor picture. 여기서, (x,y) 와 R(x,y) 는각각현재영상과현재영 with ) ref_idx with ) with ) 상에참조되는인접한다른시점의영상을나타내며, SR은탐색범위를벡터로나타낸값들, FW와 FH는각각영상가로크기와세로크기를나타낸다. 그림 3 은 H.264/V에서복호화가능한기본시점, 다시점 with ) (b) 비디오부호화에서의부호화 / 복호화방법들이사용되는비기본시점 (non-base view), 시점간예측만사용할 수있는기준영상과시점간 / 내예측을사용할수있는 비기준영상 (non-anchor picture) 에대해서나타낸다. 식 (1) 을통한전역변이벡터는비기본시점에서의기 with ) with ) ref_idx with ) 준영상에서만계산되고, 계산된전역변이벡터는각기준영상의슬라이스헤더에서 signed integer exponential-golomb code로부호화되어전송된다. 그림 3에서기준영상들사이의비기준영상들을위 with ) (c) 한전역변이벡터는움직임생략모드 [8] 에서사용되는식 (2) 와같이영상출력순서를이용해크기조정 과정을거쳐서유도된다. 식 (2) 에서의 GV cur, GV ahead, GV behind, PO ahead, PO cur, PO behind 는각각그림 3에묘사하였으며, 현재영상을기준으로 ref_idx with ) ref_idx with ) ref_idx with ) 상대적인위치에서의전역변이벡터, 영상출력순서의값을나타낸다. ref_idx with ) Ⅳ. 확장된주변블록예측방법을이용한움직임 / 변이벡터예측방법앞서 Ⅱ 장에서언급된것과같이움직임벡터와변이벡터는서로다른특성을가지고있기때문에, 기존의 H.264/V의움직임벡터예측방법에서바로인접한주변블록의움직임벡터들만을예측된움직임벡 (d) 그림 4. 제안하는확장된주변블록예측방법 Fig. 4. Proposed extended neighboring block prediction. 터로이용하는것보다더많은주변블록들이고려될수있게인접한주변블록들의주변블록들까지움직임벡터예측방법의예비블록들로두면, 비슷한특성을가지는움직임벡터로부터현재블록의움직임벡터를 (124)
42 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 표 2. 제안하는확장된주변블록예측방법의상세한알고리즘 (O, X는블록 의참조영상색인이주변블록의참조영상색인과의같음과다름의여부를나타낸다.) Table 2. etailed lgorithm of proposed extended neighboring block prediction (O and X represent whether the reference index of block is same with that of neighboring block or not). 좌측블록 상단블록 우측상단블록혹은좌측상단블록 O O O O X X X O X X X O O O X O X O X O O X X X 예측방법해당블록의벡터를좌측블록, 상단블록, 우측상단블록혹은좌측상단블록을이용해중간값예측된값으로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를좌측블록의벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를상단블록의벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를우측상단블록혹은좌측상단블록의벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를좌측블록과상단블록의평균값벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를좌측블록과우측상단블록혹은좌측상단블록의평균값벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록의벡터를상단블록과우측상단블록혹은좌측상단블록의평균값벡터로대체하고, 블록,, 혹은 로부터중간값예측후예측된움직임벡터로사용해당블록을제외한블록 의주변블록들의평균값벡터를예측된움직임벡터로사용 효율적으로예측할수있다. 따라서이와같이비슷한특성을가지는벡터들을움직임벡터예측에사용하기위해서, H.264/V에서중간값예측에사용되는예비블록뿐만아니라, 이들예비블록들의주변블록들까지예비블록으로포함하는확장된주변블록예측방법을제안한다. 전역변이벡터대체방법은현재블록이변이벡터를예측할때 ( 다른시점이지만, 동일한참조영상리스트에서의영상을참조할때 ) 사용되며, 확장된주변블록예측방법은현재블록이움직임벡터를예측할때 ( 같은시점의동일한참조영상리스트에서의영상을참조할때 ) 사용된다. 그림 4는본논문에서제안하는확장된주변블록예측방법을나타낸다. 그림 4와같이기존의중간값예측에서사용되는예비 (candidate) 예측블록들,, 뿐만아니라, 이들예비예측블록들의주변블록들 (,,,,, ) 까지예비블록들을확장하여예측한다. 그림 4의 (a) 는현재부호화하는블록 가주변블록들 와 혹은 와동일한참조영상색인을가지지만, 블록 가블록 와다른참조영상색인을가질경우, 블록 의주변블록들, 와 혹은 를이용해서블록 의움직임벡터로계산한다. 그림 4의 (b) 와 (c) 는그림 4의 (a) 와유사한방법을통해서해당블록 와 혹은 에대한움직임벡터를계 (125)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 43 표 3. 제안하는움직임 / 변이벡터예측방법들이선택된비율 Table 3. The selection percentage of the proposed methods. 영상 Race1 xit 평균비율 혹은양자화 로부터 로부터 로부터매개변수예측예측예측 전역변이확장된중간값벡터대체주변블록전체예측방법예측방법 37 21.83% 10.23% 6.90% 45.42% 7.96% 7.66% 100% 32 23.16% 11.75% 7.10% 43.65% 6.88% 7.46% 100% 27 23.75% 12.17% 7.12% 44.42% 5.71% 6.83% 100% 22 23.79% 12.75% 7.56% 44.71% 4.57% 6.63% 100% 37 16.73% 10.20% 11.10% 42.18% 7.24% 12.54% 100% 32 17.67% 10.17% 11.74% 39.88% 7.92% 12.62% 100% 27 18.44% 11.10% 11.18% 39.63% 6.35% 13.31% 100% 22 18.10% 10.57% 10.03% 41.71% 4.37% 15.23% 100% 20.43% 11.12% 9.09% 42.70% 6.38% 10.29% 100% 산한다. 이때, 블록,, 혹은 의주변블록들중해당블록,, 혹은 와동일한참조영상색인을가지는블록이하나만존재할경우해당블록의움직임벡터를블록,, 혹은 의움직임벡터로대체한다. 동일한참조영상색인을가지는블록이 2개일경우, 이들블록들의평균값벡터를계산해서, 평균값벡터를블록,, 혹은 의움직임벡터로대체한다. 주변블록들이모두동일한참조영상색인을가질경우, 이들블록들의중간값벡터를블록,, 혹은 의움직임벡터로대체한다. 마지막으로, 주변블록들이모두다른참조영상색인을가질경우, 블록,,, 혹은 의움직임벡터를제외하고, 참조영상색인이같은블록 의주변블록들에대해평균값벡터를계산하고, 이벡터를현재부호화하는블록 의예측된움직임벡터로결정한다. 예외적으로그림 4의 (d) 의경우, 현재부호화하는블록 의참조영상색인과주변모든블록들의참조영상색인이같지않을경우, 그림 4의 (a), (b), (c) 에서고려되는각각해당블록들의주변모든블록들을움직임 / 변이벡터예측방법에사용한다. 그림 4의 (d) 의경우에서, 블록,, 혹은 중어느한블록의주변모든블록이현재부호화하는블록 의참조영상색인과같지않을경우, (0,0) 벡터를해당블록,, 혹은 의움직임벡터로대체한다. 그림 4의 (a), (b), (c) 에서사용되는제안하는확장된 주변블록예측방법은일반화되어표 2와같이상세히정리될수있다. 그림 4의 (d) 의경우, 블록,, 혹은 에대해각각확장된주변블록예측방법을수행후, 블록,, 혹은 에중간값예측을수행하여예측된움직임벡터를계산한다. Ⅴ. 실험결과표 3은 Race1과 xit 영상들에대해서본논문에서제안하는전역변이벡터대체방법, 확장된주변블록예측방법이선택된비율을나타낸다. 실험조건은다시점비디오부호화의표준화를위한실험조건 [16] 을기반으로모든시점에서의모든프레임 (frame) 에대한평균 PSNR (peak signal-to-noise ratio) 을나타냈으며, 다시점비디오표준화를위한실험영상들을사용했으며, 양자화매개변수 (quantization parameter) 로 22, 27, 32, 37와계층적 부호화를위한양자화매개변수들을 -프레임에사용했다. 실험한시점의숫자는기본시점을포함하여총 3개이고, 움직임벡터탐색범위는 ±16, 전역변이벡터탐색범위는 ±64로설정하였다. 실험결과본논문에서제안하는 2가지의방법에대해선택된비율은 15% 20% 정도이며, 이는 3개의시점중에제안하는방법들이사용되지않은기본시점이포함되어상대적으로제안하는방법들이선택된비율이낮게나타난다. (126)
44 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 표 4. 제안하는방법과 H.264/V 기반의움직임벡터예측방법의비교실험결과 Table 4. xperimental results between the proposed method and the motion vector prediction based on H.264/V. 영상 kko&kayo (640x480, 30Hz, 15 views) allroom (640x480, 25Hz, 8 views) reakdancers (1024x768, 15Hz, 8 views) xit (640x480, 25Hz, 8 views) Flamenco2 (640x480, 30Hz, 5 views) Race1 (640x480, 30Hz, 8 views) 평균 -itrate JMVM 4.0 JMVM 4.0 + 제안하는방법 (±32) JMVM 4.0 + 제안하는방법 (±64) 양자화 it -i it -i itrate PSNR itrate PSNR ΔPSNR itrate PSNR ΔPSNR 매개변수 Saving trate Saving trate (kbps) (d) (kbps) (d) (d) (kbps) (d) (d) (%) (%) (%) (%) 37 199.78 33.05 197.12 33.06-1.33 0.00 196.77 33.05-1.50-0.01 32 326.27 36.06 322.55 36.07-1.14 0.01 321.60 36.07-1.43 0.01-1.22-1.47 27 577.29 39.05 571.30 39.06-1.04 0.01 569.84 39.06-1.29 0.01 22 1099.16 41.74 1089.82 41.74-0.85 0.00 1087.49 41.75-1.06 0.01 37 204.81 31.68 203.49 31.68-0.64 0.00 203.35 31.68-0.72 0.00 32 367.72 34.45 366.15 34.46-0.43 0.00 365.92 34.46-0.49 0.01-0.52-0.58 27 708.55 37.08 705.39 37.08-0.45 0.00 705.17 37.08-0.48 0.00 22 1438.33 39.25 1435.00 39.26-0.23 0.00 1434.59 39.25-0.26 0.00 37 135.19 35.00 134.39 34.99-0.59-0.01 134.53 34.99-0.49-0.01 32 235.00 37.08 233.45 37.08-0.66 0.00 233.64 37.08-0.58 0.00-0.52-0.50 27 461.44 38.62 458.78 38.62-0.58 0.00 458.45 38.62-0.65 0.00 22 1149.12 39.84 1145.74 39.84-0.29 0.00 1145.86 39.84-0.28 0.00 37 114.18 34.37 111.84 34.37-2.05 0.00 111.27 34.37-2.55-0.01 32 192.78 36.65 189.78 36.65-1.56 0.01 189.06 36.65-1.93 0.00-1.53-1.82 27 368.48 38.51 363.81 38.51-1.27 0.00 362.49 38.51-1.62 0.00 22 864.41 40.00 858.69 40.00-0.66 0.00 857.56 40.00-0.79 0.00 37 239.61 33.32 235.13 33.31-1.87-0.01 232.45 33.31-2.99-0.01 32 436.50 36.20 427.93 36.21-1.96 0.01 423.85 36.21-2.90 0.01-1.83-2.66 27 808.97 39.07 796.93 39.08-1.49 0.01 791.59 39.08-2.15 0.01 22 1509.16 41.79 1487.44 41.80-1.44 0.01 1480.02 41.80-1.93 0.01 37 187.53 32.93 184.74 32.95-1.49 0.01 184.58 32.95-1.57 0.01 32 317.26 35.74 314.39 35.75-0.91 0.01 314.12 35.75-0.99 0.01-0.81-0.88 27 610.43 38.49 608.36 38.50-0.34 0.00 607.99 38.50-0.40 0.01 22 1230.09 41.17 1226.53 41.17-0.29 0.00 1226.32 41.17-0.31 0.00-1.07-1.32 제안하는전역변이벡터대체방법과확장된주변블록예측방법을 JMVM 4.0 소프트웨어 [17] 에구현하여 [16] 의실험조건을기반으로실험을진행하였다. 총 8 시점에대해서움직임벡터탐색범위는 ±16을사용하였고, 전역변이벡터탐색범위는각각 ±32, ±64로설정하였다. 기존의 H.264/V 기본움직임벡터예측방법과의실험결과를표 4에나타내었으며, 전역변이 벡터탐색범위가 ±32일경우에는 6개영상평균 1.07% 의 -비트율 (jøntegaard delta-bitrate) [18] 감소, 전역변이벡터탐색범위가 ±64일경우에는 6개영상평균 1.32% 의 -비트율감소를얻을수있었다. 그림 5는 xit 영상과 Flamenco2 영상에대해제안하는방법이적용되지않는기본시점을제외한실험결과의율-왜곡곡선을나타내며, 전역변이벡터탐색 (127)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 45 표 5. Race1 영상에서제안하는방법과 H.264/V 기반의움직임벡터예측방법의시점간격에따른비교실험결과 Table 5. xperimental results between the proposed method and the motion vector prediction based on H.264/V according to view distances in Race1 sequence. 영상 Race1 (640x480, 30Hz, 3 views, 20cm) Race1 (640x480, 30Hz, 3 views, 40cm) Race1 (640x480, 30Hz, 3 views, 60cm) 양자화 itrate PSNR itrate 매개변수 (kbps) (d) (kbps) JMVM 4.0 JMVM 4.0 + 제안하는방법 (±64) it PSNR ΔPSNR -itr Saving (d) (d) ate (%) (%) 37 283.95 32.12 283.22 32.11-0.26 0.00 32 479.75 34.87 473.34 34.86-1.34-0.01 27 892.43 37.68 887.35 37.70-0.57 0.01-0.82 22 1715.25 40.49 1711.50 40.49-0.22 0.00 37 322.98 32.38 328.90 32.35 1.83-0.03 32 540.64 35.19 524.06 35.24-3.07 0.04 27 977.28 38.04 978.09 38.02 0.08-0.03-0.97 22 1775.25 40.81 1773.49 40.80-0.10-0.01 37 367.04 31.82 355.02 31.83-3.28 0.01 32 630.44 34.66 583.26 34.70-7.48 0.03 27 1122.75 37.49 1077.04 37.50-4.07 0.02-5.88 22 2123.94 40.20 2036.92 40.26-4.10 0.06 범위가 ±32인경우에는 6개영상평균 1.26% 의 -비트율감소, 전역변이벡터탐색범위가 ±64일경우에는 6개영상평균 1.57% 의 -비트율감소를얻을수있었다. 그리고다시점비디오영상촬영시사용된카메라들간의배치간격이커진다면, 다시점비디오영상들을다시점비디오부호화를이용해부호화할때시점간예측에사용되는변이벡터의크기또한커지게된다. 이러한경우, 한영상내에서움직임벡터와시점간에서변이벡터의특성은더욱달라지며, 본논문에서제안하는방법들을통해서움직임벡터와변이벡터가부호화될때발생하는비트수를효율적으로감소할수있다. 표 5는 Race1 영상에서제안하는방법과 H.264/V 기반의움직임벡터예측방법의시점간격에따른비교실험결과를나타낸다. 이실험에서총 3개의시점들을사용했으며, 20cm 간격으로배치된 8개의시점을가지는 Race1 영상을기본시점인 0번시점을기준으로각각 20cm (0, 1, 2번시점 ), 40cm (0, 2, 4 번시점 ), 60cm (0, 3, 6번시점 ) 간격으로첫번째 GOP (group of picture) 에포함되는 16장의프레임만부호화했다. 또한, 표 4의실험조건을기반으로하고, 움직임 벡터탐색범위는 ±16, 제안하는방법에서의전역변이벡터탐색범위는 ±64로설정하였다. 표 5에서나타난바와같이시점간격이커질경우에제안하는방법을통해더큰부호화효율을얻을수가있었으며, 60cm 간격일경우 5.88% 의 -비트율감소를얻을수가있었다. 이를통해본논문에서제안하는방법이현재공간적으로좁은간격으로배치된카메라들로부터촬영된다시점비디오영상들에대해서는아주좋은성능을보이지는못하지만, 배치간격이어느정도큰카메라들로부터촬영된영상들에대해서는좋은성능을보일수있을것으로기대된다. Ⅵ. 결론본논문에서는변이벡터를고려하지않는 H.264/V에서의움직임벡터예측방법이사용되고있는다시점비디오부호화기술을위해개선된움직임 / 변이벡터예측방법을제안했다. 일반적으로움직임벡터는한카메라에서촬영된영상속에서의객체의움직임정보를나타내고, 변이벡터는서로다른카메라에서촬영된영상간객체의위치차이를나타내기때 (128)
46 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 (a) xit 영상 (b) Flamenco2 영상 그림 5. 제안하는방법과 H.264/V 기반의움직임벡터예측방법과의기본시점을제외한비교실험결과 Fig. 5. xperimental results between the proposed method and the motion vector prediction based on H.264/V except base view. (129)
2008 년 3 월전자공학회논문지제 45 권 SP 편제 2 호 47 문에, 이들간의서로다른특성을바탕으로본논문에서는현재부호화하는영상이다른시점의영상을참조하고, 부호화하는블록의참조영상색인이주변블록들의참조영상색인들과같지않을경우, 참조영상색인이같지않은주변블록들의움직임 / 변이벡터를전역변이벡터로대체하며, 기존의움직임벡터예측방법에서사용되는예비예측블록뿐만아니라, 이들예비예측블록의주변블록까지예비블록으로포함하여움직임벡터를예측하는개선된움직임 / 변이벡터예측방법을제안했다. 제안하는방법을통해서움직임벡터탐색범위를 ±16으로감소시키고, 전역변이벡터탐색범위를 ±32로설정한경우평균 1.07% 의 -비트율감소를얻었으며, 전역변이벡터탐색범위를 ±64로설정한경우평균 1.32% 의 -비트율감소를얻을수가있었다. 참고문헌 [1]. Vetro, P. Pandit, H. Kimata, and. Smolic, Joint raft 4.0 on Multiview Video oding, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-X209, Jul. 2007. [2]. Vetro, P. Pandit, H. Kimata, and. Smolic, Joint Multiview Video Model (JMVM) 5.0, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-X207, Jul. 2007. [3]. Smolic and. Mcutchen, 3V xploration of Video-ased Rendering Technology in MPG, I Trans. ircuits Syst. Video Technol., vol. 14, pp. 348-356, Mar. 2004. [4] Requirements on Multi-view Video oding v.7, ISO/I JT1/S29/WG11, oc. N8218, Jul. 2006. [5] ITU-T Recommendation H.264 and ISO/I 14496-10, dvanced Video oding for Generic udiovisual Services, May 2003. [6] K. Mueller, P. Merkle,. Smolic, and T. Wiegand, Multiview oding using V, ISO/I JT1/S29/WG11, oc. M12945, Jan. 2006. [7] Y.-L. Lee, J.-H. Hur, Y.-K. Lee, K.-H. Han, S. ho, N. Hur, J. Kim, J.-H. Kim, P.-L. Lai,. Ortega, Y. Su, P. Yin, and. Gomila, 11: Illumination ompensation, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-U052, Oct. 2006. [8] H.-S. Koo, Y.-J. Jeon, and.-m Jeon, MV Motion Skip Mode, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-W081, pr. 2007. [9] S.-H Lee, S. H. Lee, and N. I. ho, isparity vector prediction methods in MV, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-U040r1, Oct. 2006. [10] H. Yang, J. Huo, Y. hang, S. Lin, P. Zeng, and L. Xiong, Regional disparity st/omp for MV, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-U047, Oct. 2006. [11] H. Yang, J. Huo, Y. hang, S. Lin, P. Zeng, and L. Xiong, Regional isparity ased Motion and isparity Prediction for MV, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-V071r1, Jan. 2007. [12] P. Zeng, S. Lin, J. Zhou,. Hu, L. Xiong, n uxiliary Motion Vector prediction Scheme, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-V073r1, Jan. 2007. [13] H. Yang, J. Huo, Y. hang, S. Lin, S. Gao, and L. Xiong, MV/V prediction based on RV, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-W101r1, pr. 2007. [14] Y.-S. Ho, K.-J. Oh,. Lee, P.-K. Park, and. H. hoi, Global isparity ompensation for Multi-view Video oding, ISO/I JT1/S29/WG11, oc. M13581, Jul. 2006. [15] Y.-S. Ho, K.-J. Oh,. Lee, P.-K. Park, and. H. hoi, Global isparity ompensation for Multi-view Video oding, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-U100r1, Oct. 2006. [16] Y. Su,. Vetro,. Smolic, ommon Test onditions for Multiview Video oding, ISO/I JT1/S29/WG11 and ITU-T Q6/SG16, oc. JVT-U211, Oct. 2006. [17] from VS repository of JMVM: jvtuser@garcon.ient.rwth-aachen.de, Tag: JMVM_4_0. [18] G. jontegaard, alculation of average PSNR differences between R-curves, ITU-T Q6/SG16, oc. VG-M33, pr. 2001. (130)
48 다시점비디오부호화를위한개선된움직임 / 변이벡터예측임성창외 저자소개 임성창 ( 정회원 ) 2006 년세종대학교컴퓨터공학과학사졸업. 2008 년세종대학교컴퓨터공학과석사졸업. 2008 년한국전자통신연구원방송통신융합연구부문연구원 < 주관심분야 : 영상압축, 영상처리 > 이영렬 ( 평생회원 )- 교신저자 1985 년서강대학교전자공학과학사졸업. 1987 년서강대학교전자공학과석사졸업. 1999 년한국과학기술원전기전자공학과박사졸업. 1987 년 2001 년삼성전자 R& 센터 igital Media Lab. 수석연구원 2001 년 현재세종대학교컴퓨터공학과부교수 < 주관심분야 : 비디오코딩, 영상처리, 영상통신시스템, 멀티미디어전송 > (131)