(51) Int. Cl. (19) 대한민국특허청 (KR) (12) 공개특허공보 (A) H04N 7/24 (2006.01) (21) 출원번호 10-2008-0015144 (22) 출원일자 2008 년 02 월 20 일 심사청구일자 없음 전체청구항수 : 총 17 항 (54) 초고해상도영상인코딩및디코딩방법및장치 (11) 공개번호 10-2009-0089960 (43) 공개일자 2009년08월25일 (71) 출원인 엘지전자주식회사 서울특별시영등포구여의도동 20 번지 (72) 발명자 오승균 서울서초구우면동 16 번지 LG 전자전자기술원 (74) 대리인 허용록 (57) 요약 본발명은초고해상도영상을효율적으로압축및복원하는방법및이를이용한장치에관한것이다. 보다구체적으로, 초고해상도영상을압축및복원하기위해서는하나의픽쳐를복수개의서브픽쳐들로분할하여각서브픽쳐들에대해독립적으로압축및복원을수행하는데, 이때분할된각서브픽쳐들을각각매크로슬라이스로매핑함으로써, 단일의픽쳐내에서인접하는매크로슬라이스간의정보를공유할수있게되어매크로슬라이스경계의디블로킹필터링이가능하고움직임보상을좀더효율적으로수행할수있도록하는초고해상도영상인코딩및디코딩방법및그장치에관한것이다. 대표도 - 1 -
특허청구의범위청구항 1 하나의픽쳐를복수개의서브픽쳐들로분할하는단계 ; 상기분할된서브픽쳐를각각매크로슬라이스로매핑하는단계 ; 상기각매크로슬라이스를인코딩하는단계 ; 및상기인코딩에의해발생된비트스트림을다중화하는단계를포함하는것을특징으로하는초고해상도영상인코딩방법. 청구항 2 제1항에있어서, 상기분할된서브픽쳐들은동일한크기를갖는것을특징으로하는초고해상도영상인코딩방법. 청구항 3 제1항에있어서, 상기매크로슬라이스는하나이상의슬라이스를포함하는것을특징으로하는초고해상도영상인코딩방법. 청구항 4 제1항에있어서, 상기각매크로슬라이스의최우측매크로블록및최하단매크로블록은인트라모드로인코딩되는것을특징으로하는초고해상도영상인코딩방법. 청구항 5 제1항에있어서, 상기각매크로슬라이스의경계에존재하는매크로블록은상기각매크로슬라이스보다먼저인코딩되는것을특징으로하는초고해상도영상인코딩방법. 청구항 6 입력된비트스트림을매크로슬라이스단위로파싱하는단계 ; 상기파싱된각각의매크로슬라이스를디코딩하는단계 ; 및상기디코딩된영상을합성하는단계를포함하는것을특징으로하는초고해상도영상디코딩방법. 청구항 7 제6항에있어서, 상기각각의매크로슬라이스에대해디블로킹필터링을수행하는단계를더포함하는것을특징으로하는초고해상도영상디코딩방법. 청구항 8 제6항에있어서, 상기각매크로슬라이스의경계에존재하는매크로블록은상기각매크로슬라이스보다먼저디코딩되는것을특징으로하는초고해상도영상디코딩방법. 청구항 9-2 -
제6항에있어서, 상기각각의매크로슬라이스를디코딩하는단계는상기각각의매크로슬라이스의움직임보상을수행하는단계를더포함하고, 상기움직임보상을위한움직임벡터가매크로슬라이스의외부를가리키면해당매크로슬라이스의값을이용하여상기움직임보상을수행하는것을특징으로하는초고해상도영상디코딩방법. 청구항 10 제9항에있어서, 상기움직임보상을위한움직임벡터가픽쳐의외부를가리키면, 최외곽화소를패딩한값을이용하여상기움직임보상을수행하는것을특징으로하는초고해상도영상디코딩방법. 청구항 11 초고해상도영상을구성하는각픽쳐를복수개의서브픽쳐들로분할하는영상분할부 ; 상기영상분할부에의해분할된복수개의서브픽쳐들을각각매크로슬라이스로매핑하는매핑부 ; 상기매핑부에의해매핑된각각의매크로슬라이스를인코딩하여각각의비트스트림을생성하는영상압축부 ; 상기영상압축부에의해생성된비트스트림을수신하여다중화하는비트스트림다중화부 ; 및상기영상압축부에의해생성된비트스트림및각매크로슬라이스의경계에존재하는매크로블록의정보가저장되는메모리부를포함하는것을특징으로하는초고해상도영상인코딩장치. 청구항 12 제11항에있어서, 상기메모리부는, 각매크로슬라이스의경계에존재하는매크로블록의정보, 화소정보, 및포인터정보가저장되는임시메모리부 ; 상기임시메모리에저장된정보를참조하고, 상기각매크로슬라이스의영상이저장되는서브메모리부 ; 및상기각매크로슬라이스를포함하는전체픽쳐정보및상기매크로슬라이스레이어상위의신택스정보를저장되는메인메모리부를포함하는것을특징으로하는초고해상도영상인코딩장치. 청구항 13 제11항에있어서, 상기영상분할부에의해분할된상기복수개의서브픽쳐들은동일한크기를갖는것을특징으로하는초고해상도영상인코딩장치. 청구항 14 제11항에있어서, 상기각매크로슬라이스의최우측매크로블록및최하단매크로블록은인트라모드로인코딩되는것을특징으로하는초고해상도영상인코딩장치. 청구항 15 제11항에있어서, 상기매크로슬라이스레이어상위신택스에대한인코딩을수행하는메인압축부를더포함하고, 상기영상압축부는상기상위신택스를공유하는것을특징으로하는초고해상도영상인코딩장치. 청구항 16-3 -
수신되는비트스트림을매크로슬라이스단위로파싱하는매크로슬라이스파싱부 ; 상기매크로슬라이스파싱부에의해파싱된각각의매크로슬라이스를복원하는영상복원부 ; 상기영상복원부에서복원된매크로슬라이스를합성하여초고해상도영상을생성하는영상합성부 ; 및상기영상복원부 (700) 에서복원된영상정보, 매크로블록정보, 및화소정보를저장하는메모리부 (900) 를포함하는것을특징으로하는초고해상도영상디코딩장치. 청구항 17 제16항에있어서, 상기메모리부는, 상기영상복원부에서복원된영상정보를저장하는메인메모리부 ; 및매크로슬라이스경계에존재하는매크로블록의디블로킹정보를저장하는메인메모리제어부를포함하는것을특징으로하는초고해상도영상디코딩장치. 명세서 발명의상세한설명 <1> 기술분야 본발명은초고해상도영상을효율적으로압축및복원하는방법및이를이용한장치에관한것이다. <2> <3> <4> <5> <6> <7> <8> <9> <10> <11> 배경기술최근다양한기능및양질의화질을갖는영상매체들이급격하게발전하고있어, 이러한영상매체들을시청하는소비자의요구도함께증대됨에따라초고화질의영상에대한필요성이대두되고있다. 이러한상황에서, 현재방송되고있는 2K급 (1,920 1,080) 의 HD(High Definition) 방송을뛰어넘어, 디지털영상기술인디지털시네마 (Digital Cinema) 및초고해상도 TV(UHDTV; Ultra-High Definition Television) 에대한기술개발이활발히진행되고있다. 상기디지털시네마는 4K급 (4,096 2,096) 의해상도를가지며, 상기초고해상도 TV는 8K급 (7,680 4,320) 의해상도를갖는다. 이러한초고해상도의영상을시청하는시청자는더욱현실적이고사실적으로영상을감상할수있어, 영상제작자와소비자모두가긍정적인영향을얻을수있는효과가있다. 그러나, 이러한초고해상도영상을취급할때는아래의몇가지문제점이발생하게된다. 현재의기술로서는초고해상도영상을하나의시스템을이용하여단일단위로인코딩또는디코딩할수없기때문에, 시퀀스에포함된각픽쳐를복수개의서브픽쳐로분할하여각각독립적으로인코딩및디코딩과정을수행해야한다. 즉, 초고해상도카메라등에서입력받은초고해상도영상을복수개의서브픽쳐들로분할하고, 각서브픽쳐에대해서독립적으로압축시스템을이용하여인코딩을수행한후, 각영상비트스트림을다중화한뒤전송로를통해전송한다. 이때, 각각의영상압축부는다른영상압축부와독립적으로자기가담당하는서브픽쳐만을압축하고그에해당하는서브픽쳐비트스트림을출력하며각각의서브픽쳐를완전하게독립적으로관리하며작업을수행한다. 또한, 각각분할된서브픽쳐를시퀀스 (sequence) 로매핑 (mapping) 함으로써하나의픽쳐를구성하는각각의서브픽쳐가별개의독립적인시퀀스로간주된다. 따라서, 각각의서브픽쳐가별개의시퀀스로간주됨으로써, 분할된서브픽쳐의개수만큼단일의픽쳐가복수개의시퀀스들로분할되어인코딩및디코딩과정이수행된다. 이러한종래의구성은서브픽쳐간에서로독립적인압축시스템을사용하기때문에비트량이낭비된다. 예컨대, 현재주로사용하고있는 HD의 2K 압축시스템을이용하여 UHD의 8K 영상시스템을구성하려면, 2K 압 - 4 -
축시스템 16 개를필요로하기때문에영상처리속도가현격하게떨어진다. 또한, 각픽쳐당 16 개의픽쳐헤더 를필요로하기때문에부가적인비트량이증가하게된다. <12> <13> <14> <15> <16> <17> <18> <19> <20> <21> <22> <23> <24> <25> <26> 또한, H/264/AVC나 VC-1과압축표준을사용하는경우에있어서, 초고해상도영상은각서브픽쳐들에대해서독립적으로인코딩및디코딩작업을수행하므로, 분할된서브픽쳐의경계부근에서는디블로킹필터링을수행할수없다는문제점이있다. 따라서, 2K 압축시스템을이용하여 4K 또는 8K의영상을구현하는경우에, 영상경계에대해디블로킹필터링을수행하지못함으로인해경계부근이격자무늬로비추어질수있고, 이는화질의열화를일으키는주요한원인인된다. 후처리작업을통해서영상경계간의왜곡을어느정도감소시킬수는있지만, 상기후처리작업은영상복원루프안에서수행되는것이아니므로디블로킹필터링의효율이낮을수밖에없다. 또한, 각각분할된서브픽쳐의외곽부에서영상의외부를가리키는움직임벡터 (motion vector) 가설정되면, 종래의독립된인코딩및디코딩방식을이용하는구성에서는이웃한서브픽쳐의정보를이용할수없기때문에효율적으로움직임보상을수행할수없는문제점이있다. 도 1 내지도 3은종래기술에있어초고해상도영상을처리할때의문제점을설명한다. 도 1은종래기술에있어서, 고해상도영상의인코딩및디코딩과정에서분할된픽쳐의모습을나타낸개략도이다. 상기한바와같이, 초고해상도영상을구성하는하나의픽쳐 (10) 는복수개의서브픽쳐들 (11~16) 을포함하고, 각각의서브픽쳐는독립적으로인코딩및디코딩되어별개의시퀀스로취급된다. 따라서, 각서브픽쳐의경계에존재하는매크로블록은디블로킹필터링이수행되지않아서화질의열화를발생시킨다. 도 2는종래기술에있어서, 움직임벡터가서브픽쳐외부를향하는경우를설명하기위한도면이다. 초고해상도영상을이루는각픽쳐 (10) 는복수개의서브픽쳐들 (11~14) 을포함하고, 각각은독립적으로인코딩및디코딩이수행된다. 따라서, 다른서브픽쳐영역에있는정보들을이용할수없다. 예컨대, 도 2에도시된바와같이, N-1 픽쳐에서서브픽쳐0(11) 에존재하였던물체 (15) 가 N 픽쳐에서는 N-1 픽쳐에서존재하였던서브픽쳐0(11) 과다른서브픽쳐인서브픽쳐3(14) 에물체 (15 ) 가존재한다. 그러면, N 픽쳐에도시된바와같이움직임벡터 (motion vector) 는서브픽쳐3(14) 의외부를가리키게되고, 서브픽쳐3(14) 는독립적으로수행되어별개의시퀀스로여겨지는서브픽쳐0(11) 의영역을이용할수없기때문에추정에러가커질수밖에없다. 이문제를해결하기위해서도 3에서후술할바와같이화소패딩 (padding) 의방법을사용한다. 도 3은종래기술에있어서, 움직임벡터가서브픽쳐외부를향하는경우에이를보상하기위한화소패딩 (padding) 을설명하기위한도면이다. H.264/AVC에서움직임벡터가픽쳐의외부를가르키는경우, 또는다른서브픽쳐를가리키는경우에그영역의값을이용할수없기때문에픽쳐또는서브픽쳐의최외각이있는화소값을이용하여추정값으로사용한다. 도 3에서는예시적으로최외곽과동일한행및열에최외곽의화소값을패딩하는것으로도시하였다. 그러나, 이러한화소패딩방법을이용하는것은움직임벡터가실제가리키는영역의값을이용하는것이아니라최외각화소값을이용한추정치를이용하는것이어서오차가크게발생하고따라서비트율 (bit rate) 가커지는단점이있다. 발명의내용 <27> <28> 해결하고자하는과제본발명은상기문제점을해결하고자안출된것으로서, 본발명의목적은초고해상도영상을효율적으로인코딩및디코딩하여영상간의왜곡을효과적으로보상하고움직임보상에대한오차를최소화하여양질의화질을제공하는영상을생성하는초고해상도용인코딩및디코딩방법및그장치를제안하는것이다. 또한, 본발명의또다른목적은효과적으로분할된영상을압축및복원할수있도록비디오압축표준에필요 - 5 -
한신택스를제공하는것이다. <29> <30> <31> <32> 과제해결수단상기의과제를해결하기위해서다음을제안한다. 본발명의일실시예에따른초고해상도영상인코딩방법은, 하나의픽쳐를복수개의서브픽쳐들로분할하는단계 ; 상기분할된서브픽쳐를각각매크로슬라이스로매핑하는단계 ; 상기각매크로슬라이스를인코딩하는단계 ; 및상기인코딩에의해발생된비트스트림을다중화하는단계를포함한다. 본발명의다른실시예에따른초고해상도영상디코딩방법은, 입력된비트스트림을매크로슬라이스단위로파싱하는단계 ; 상기파싱된각각의매크로슬라이를디코딩하는단계 ; 및상기디코딩된영상을합성하는단계를포함한다. 본발명의또다른실시예에따른초고해상도영상인코딩장치는, 초고해상도영상의픽쳐를복수개의서브픽쳐들로분할하는영상분할부 ; 상기영상분할부에의해분할된복수개의서브픽쳐들을각각매크로슬라이스로매핑하는매핑부 ; 상기매핑부에의해매핑된각각의매크로슬라이스를인코딩하여각각의비트스트림을생성하는영상압축부 ; 상기영상압축부에의해생성된비트스트림을수신하여다중화하는비트스트림다중화부 ; 및상기영상압축부에의해생성된비트스트림및각매크로슬라이스의경계에존재하는매크로블록의정보가저장되는메모리부를포함한다. <33> <34> <35> <36> <37> 효과본발명에따르면, 초고해상도영상시스템을구성하는데있어서멀티프로세서를사용하여하나의초고해상도영상을여러개의분할영상으로구분하여압축하는경우, 매크로슬라이스의개념을이용하여효율적인압축을수행할수있다. 또한, 본발명에따르면매크로슬라이스를사용하여종래의픽쳐레이러를여러개두지않음으로써단일의영상비트스트림을생성할수있다. 또한, 본발명에따르면각서브픽쳐경계에디블로킹필터링을가능하게함으로써양질의화질을얻을수있다. 또한, 본발명에따르면움직임벡터가각각의서브픽쳐영역을벗어나는경우에도효과적인움직임보상을수행하여압축효율을증대시킬수있다. 또한, 본발명에따르면초고해상도영상시스템을구현하는데있어서멀티프로세서를사용함으로써단일프로세서가가지는처리속도및처리량의부담을경감시킬수있다. <38> <39> <40> <41> <42> <43> <44> 발명의실시를위한구체적인내용본발명은초고해상도영상을효율적으로압축및복원하는방법및이를이용한장치에관한것이다. 본발명의일실시예에따른초고해상도영상인코딩방법은, 하나의픽쳐를복수개의서브픽쳐들로분할하는단계 ; 상기분할된서브픽쳐를각각매크로슬라이스로매핑하는단계 ; 상기각매크로슬라이스를인코딩하는단계 ; 및상기인코딩에의해발생된비트스트림을다중화하는단계를포함한다. 바람직하게, 상기분할된서브픽쳐들은동일한크기를갖고, 상기매크로슬라이스는하나이상의슬라이스를포함한다. 바람직하게, 상기각매크로슬라이스의최우측매크로블록및최하단매크로블록은인트라모드로인코딩되며, 각매크로슬라이스의경계에존재하는매크로블록은상기각매크로슬라이스보다먼저인코딩된다. 본발명의다른실시예에따른초고해상도영상디코딩방법은, 입력된비트스트림을매크로슬라이스단위로파싱하는단계 ; 상기파싱된각각의매크로슬라이를디코딩하는단계 ; 및상기디코딩된영상을합성하는단계를포함한다. 바람직하게, 상기각각의매크로슬라이스에대해디블로킹필터링을수행하는단계를더포함하고, 상기각매크로슬라이의경계에존재하는매크로블록은상기각매크로슬라이스보다먼저디코딩된다. 바람직하게, 상기각각의매크로슬라이스를디코딩하는단계는상기각각의매크로슬라이스의움직임보상을수 - 6 -
행하는단계를더포함하고, 상기움직임보상을위한움직임벡터가매크로슬라이스의외부를가리키면해당 매크로슬라이스의값을이용하여상기움직임보상을수행한다. <45> <46> <47> <48> <49> <50> <51> <52> <53> <54> <55> <56> <57> <58> 바람직하게, 상기움직임보상을위한움직임벡터가픽쳐의외부를가리키면최외곽화소를패딩한값을이용하여상기움직임보상을수행한다. 본발명의또다른실시예에따른초고해상도영상인코딩장치는, 초고해상도영상을구성하는픽쳐를복수개의서브픽쳐들로분할하는영상분할부 ; 상기영상분할부에의해분할된복수개의서브픽쳐들을각각매크로슬라이스로매핑하는매핑부 ; 상기매핑부에의해매핑된각각의매크로슬라이스를인코딩하여각각의비트스트림을생성하는영상압축부 ; 상기영상압축부에의해생성된비트스트림을수신하여다중화하는비트스트림다중화부 ; 및상기영상압축부에의해생성된비트스트림및각매크로슬라이스의경계에존재하는매크로블록의정보가저장되는메모리부를포함한다. 바람직하게, 상기메모리부는, 각매크로슬라이스의경계에존재하는매크로블록의정보, 화소정보, 포인터정보가저장되는임시메모리부 ; 상기임시메모리에저장된정보를참조하고, 상기각매크로슬라이스의영상이저장되는서브메모리부 ; 및상기각매크로슬라이스를포함하는전체픽쳐정보및상기매크로슬라이스레이어상위의신택스정보를저장되는메인메모리부를포함한다. 바람직하게, 상기영상분할부에서분할된상기복수개의서브픽쳐들은동일한크기를가지며, 상기각매크로슬라이스의최우측매크로블록및최하단매크로블록은인트라모드로인코딩된다. 바람직하게, 상기매크로슬라이스레이어상위신택스에대한인코딩을수행하는메인압축부를더포함하고, 상기영상압축부는상기상위신택스를공유한다. 이하첨부된도면을참조하여, 본발명이속하는기술분야에서통상의지식을가진자가본발명을용이하게이해하고실시할수있도록본발명의바람직한실시예를상세하게설명하도록한다. 도 4는본발명의일실시예에따른초고해상도영상인코딩장치의구성을나타낸블록도이다. 본발명의일실시예에따른초고해상도영상인코딩장치는, 초고해상도영상을구성하는각픽쳐를복수개의서브픽쳐들로분할하는영상분할부 (100); 상기영상분할부 (100) 에의해분할된복수개의서브픽쳐들을각각매크로슬라이스로매핑하는매핑부 (200); 상기매핑부 (200) 에의해매핑된각각의매크로슬라이스를인코딩하여각각의비트스트림을생성하는영상압축부 (300); 상기영상압축부 (300) 에의해생성된비트스트림을수신하여다중화하는비트스트림다중화부 (400); 및상기영상압축부 (300) 에의해생성된비트스트림및각매크로슬라이스의경계에존재하는매크로블록의정보가저장되는메모리부 (500) 를포함한다. 상기메모리부 (500) 는, 각매크로슬라이스의경계에존재하는매크로블록의정보, 화소정보, 포인터정보등이저장되는임시메모리부 (530), 상기임시메모리 (530) 에저장된정보를참조하고상기각매크로슬라이스의영상이저장되는서브메모리부 (520), 상기각매크로슬라이스를포함하는전체픽쳐정보및상기매크로슬라이스레이어상위의신택스정보를저장되는메인메모리부 (510) 를포함한다. 초고해상도의영상, 예컨대 4K급또는 8K급의영상이수신되면, 상기영상분할부 (100) 에의해하나의픽쳐가복수개의서브픽쳐들로분할한다. 이때, 상기영상분할부 (100) 는수신되는영상픽쳐를동일한크기로분할할수있다. 또는실시예에따라서로다른크기또는서로다른해상도의서브픽쳐들로영상분할을할수도있다. 동일한크기로수신되는영상픽쳐를분할하는경우에는, 다양한크기로서분할할수있지만, 종래의영상압축시스템을최대한활용할수있도록규격화된해상도, 예컨대 HD급영상에서사용하는 2K급영상의해상도크기로상기픽쳐를분할할수있다. 따라서, 2K급의영상시스템을이용하면 4K급의영상은 4분할하여프로세스를수행하고, 8K급의영상은 16분할하여프로세스를수행한다. 도 4b에서는 2K급의영상시스템을이용하여 8K급의영상픽쳐를 16분할한모습을예시적으로도시하였다. 상기도면은본발명을용이하게설명하기위해서예시적으로도시한것이며, 본발명은이에한정되지않고영상의분할크기및개수는실시예에따라얼마든지변경될수있음은당업자의입장에서자명하다. 상기영상분할부 (100) 에서분할된각서브픽쳐들은상기매핑부 (200) 에의해각각매크로슬라이스 (macroslic e) 로매핑한다. 상기매크로슬라이스는하나이상의슬라이스를포함하며, 상기매크로슬라이스의레이어는픽 - 7 -
쳐레이어와슬라이스레이어의중간레이어에위차한다. <59> <60> <61> <62> <63> <64> <65> <66> <67> <68> <69> <70> <71> <72> <73> <74> 상기복수개의매크로슬라이스들의조합을통해서본발명의실시예에따른초고해상도영상을구현할수있다. 따라서, 본발명은매크로슬라이스의개념을이용함으로써단일픽쳐에대한복수개의픽쳐레이어를생성하지않고, 단일의영상비트스트림을생성함으로써분할된각서브픽쳐간의정보를공유함으로써, 서브픽쳐경계의디블로킹필터링 (deblocking filtering) 을수행할수있고, 움직임벡터가각서브픽쳐의영역을벗어나는경우에효과적은움직임보상 (MC; Motion Compensation) 을수행할수있다. 상기매팅부 (200) 에서각각매크로슬라이스로매팅된각각의서브픽쳐들은복수개의영상압축부 (300) 에의해서각각독립적으로압축과정이수행된다. 각각의매크로슬라이스는단일의멀티프로세서 (multi-processor) 에의해서압축이수행된다. 각영상압축부 (300) 는매크로슬라이스레이어 (layer) 이하의신택스및데이터에대한압축을수행한다. 이때, 상기영상압축부 (300) 중하나가마스터 (master) 압축부로지정하여매크로슬라이스레이어상위의신택스에대한인코딩을수행할수있다. 상기한바와같이, 마스터압축부는상기복수개의영상압축부 (300) 중어느하나를지정할수있고, 또는상기매크로슬라이스레이어상위신택스에대한인코딩을수행하는별도의메인압축부 ( 미도시 ) 를더구비할수있다. 이러한상위신택스에대한내용은각영상압축부 (300) 들이공유하여사용할수있도록상기메모리부 (500) 에저장된다. 상기영상압축부 (300) 를거친비트스트림들은각매크로슬라이스넘버링에따라정렬되어다중화된다. 상기한바와같이, 단일의멀티프로세서에의해압축과정이수행되고각서브픽쳐가매크로슬라이스로매핑됨으로써각서브픽쳐간정보를공유할수있으며, 이러한공유정보는메모리부 (500) 에저장된다. 메모리부에저장된다양한정보들은각각의영상압축부 (300) 가액서스할수있도록구성되어, 현재의매크로슬라이스의압축및복원과정에서다른서브픽쳐의영역을이용해야하는경우해당영역의정보를임의적으로액서스할수있다. 따라서, 매크로슬라이스의외부를가리키는움직임벡터가존재하고상기움직임벡터가픽쳐의내부에있다면, 상기움직임벡터가가리키는영역이포함된매크로슬라이스의해당영역을이용하여움직임보상을수행할수있다. 또한, 매크로슬라이스의외부를가리키는움직임벡터가존재하고상기움직임벡터가픽쳐의외부를가리키면, 상기픽쳐의최외곽화소값을주변에패딩 (padding) 하여상기패딩값을이용한다. 도 4b에서, 각매크로슬라이스의최우측매크로블록과최하단매크로블록들은인접된정보를이용하지않는인트라모드 (intra mode) 로압축및복원되는것이바람직하다. 또한, 매크로블록중에서픽쳐의최우측매크로블록이면서매크로슬라이스의최하단매크로블록에속하지않는영역과픽쳐의최하단매크로블록이면서매크로슬라이스의최우측매크로블록에속하지않는영역은인트라모드또는인터모드 (inter mode) 로압축및복원되는것이바람직하다. 상기매크로슬라이스의경계에존재하는매크로블록들은실시예에따라 ( 후술할바와같이, 독립형인지콤포지트형인지 ) 디블로킹필터링수행여부를결정할수있다. 예컨대, 매크로슬라이스의경계에존재하는매크로블록의디블로킹필터링이필요한실시예에서는, 인접한매크로슬라이스에서디블로킹필터링을위해사용될수있으므로미리추정, 압축및복원이수행되는것이바람직하다. 각영상압축부 (300) 에서압축된비트스트림 (bit stream) 은상기비트스트림다중화부 (400) 를통해서각매크로슬라이스의영상을다중화한다. 도 7에도시된디코딩장치를이용하여각매크로슬라이스의영상을복원하고영상합성부 (800) 를통해서본래의해상도를갖는영상으로복원한다. 본발명의일실시예에따른초고해상도영상처리방법에서는, 분할된복수개의서브픽쳐들을매크로슬라이스에매핑함으로써종래와는다른계층구조를갖는다. - 8 -
<75> <76> <77> <78> <79> <80> <81> <82> <83> <84> <85> <86> <87> <88> <89> <90> <91> 즉, 비디오비트스트림 (video stream)-시퀀스레이어 (sequence layer)-픽쳐레이어 (picture layer)-매크로슬라이스레이어 (macroslice layer)-슬라이스레이어 (slice layer)-매크로블록레이어 (macroblock layer)-블록레이어 (block layer) 의계층구조를형성함으로써, 슬라이스상단레이어에매크로슬라이스의개념을적용하여독립적으로각서브픽쳐들을인코딩 / 디코딩함에도다른서브픽쳐영역의정보를이용할수있게된다. 본발명의일실시예에따른매크로슬라이스는그형식에따라독립형식의매크로슬라이스와콤포지트형식의매크로슬라이스로나누어볼수있다. 도 5는본발명의일실시예에따른매크로슬라이스가독립형식으로구성된경우를예시적으로나타낸예시도이고, 도 6은본발명의일실시예에따른매크로슬라이스가콤포지트형식으로구성된경우를예시적으로나타낸예시도이다. 도 5 및도 6에서는에서는단일픽쳐 (50, 60) 가 4개의매크로슬라이스 (51-54, 61-64) 로구성된것을예시적으로도시한다. 상기독립형식은각각의매크로슬라이스의영상이독립된별개의영상으로구성되는형식을의미하고, 각매크로슬라이스들이각각다른내용을담고있어서다른매크로슬라이스영역의영상을참조영상으로사용하는것은부적절하며, 따라서독립적으로압축및복원하도록하는것이바람직하다. 실시예에따라서, 상기독립형식의매크로슬라이스를포함하는픽쳐에대해서는매크로슬라이스경계의디블로킹필터링처리를수행하지않을수도있다. 이러한경우에는픽쳐레이어헤더에하위구성요소들의정보를모두취급하는것이어려우므로, 해당정보를매크로스라이스헤더에포함시켜서매크로슬라이스가하나의픽쳐레이어를이루도록할수있다. 상기매크로슬라이스헤더에는시퀀스파라미터, 픽쳐파라미터, 참조영상정보등이기록될수있다. 상기콤포지트형식은단일한정보를담고있는영상이복수개의매크로슬라이스로분할된것이고, 따라서상기정보들이매크로슬라이스헤더에각각포함될필요가없다. 실시예에따라, 픽쳐레이어에서는매크로슬라이스들이컴포지트또는독립형식을갖는것끼리그룹화하여픽쳐헤더에포함되는정보를공유할수있다. 도 6에서와같이, 매크로슬라이스들 (61-64) 이콤포지트형식을갖는경우에음영영역 (65) 은인트라모드로압축되어야하는영역을나타낸다. 고속으로인코딩및디코딩작업을수행하고메모리공간과지연시간을감소시키기위해서는매크로블록단위의처리가필요하다. 이를위해서는디블로킹필터링이완료된상태이어야하는데, 예컨대도 6의매클로슬라이스1(62) 의최상좌측의매크로블록은매크로슬라이스0(61) 의최상우측의매크로블록이복원되어야디블로킹필터링을수행할수있다. 이로인해지연이발생하게되고이러한지연은매크로슬라이스의개수가많을수록더증가하게된다. 따라서, 본발명에따른실시예에서, 음영영역 (65) 은미리인트라모드로결정되어복원화소를미리구비한다. 복원된화소는도 4에도시된메모리부에저장되어인접한매크로슬라이스의인코딩및디코딩과정에서사용된다. 상기한바와같이, 매크로슬라이스에서움직임벡터가다른매크로슬라이스영역을가리키면해당영역의정보를이용하여움직임보상을수행할수있다. 따라서, 주변의화소정보를이용할수있으므로움직임추정에의한에러의비트량을최소화할수있다. 만약, 독립형식의매크로슬라이스로구성된경우라면콤포지트형식과동일하게해당영역의화소정보를이용하거나또는매크로슬라이스의최외곽화소를이용한패딩값을움직임보상에사용할수도있다. 도 7은본발명의일실시예에따른고해상도영상디코딩장치의구성을나타낸블록도이다. 본발명의일실시예에따른고해상도영상디코딩장치는, 수신되는비트스트림을매크로슬라이스단위로파싱하는매크로슬라이스파싱부 (600), 상기매크로슬라이스파싱부 (600) 에의해파싱된각각의매크로슬라이스를복원하는영상복원부 (700), 상기영상복원부 (700) 에서복원된매크로슬라이스를합성하여초고해상도영상을생성하는영상합성부 (800), 및상기영상복원부 (700) 에서복원된영상정보, 매크로블록정보, 화소정보를저장하는메모리부 (900) 를포함한다. 상기메모리부 (900) 는, 상기영상복원부 (700) 에서복원된영상정보를저장하는메인메모리부 (910) 및매크로 - 9 -
슬라이스경계에존재하는매크로블록의디블로킹정보를저장하는메인메모리제어부 (920) 를포함한다. <92> <93> <94> <95> 상기매크로슬라이스파싱부 (600) 에서매크로슬라이스레이어까지파싱하고매크로슬라이스정보를분리해낸다. 매크로슬라이스단위로분할된비트스트림은각각영상복원부 (700) 로입력되어각각디코딩이수행된다. 디코딩시에는인코딩시와는달리, 영상의경계에존재할수있는인트라모드의매크로블록들을미리복원할필요는없으며, 해당매크로블록의디블로킹정보를상기메인메모리제어부 (920) 에저장하였다가디블로킹필터링이가능한시점에필터링을수행한다. 이제까지본발명에대해서그바람직한실시예를중심으로살펴보았으며, 본발명이속하는기술분야에서통상의지식을가진자는본발명의본질적기술범위내에서상기본발명의상세한설명과다른형태의실시예들을구현할수있을것이다. 여기서본발명의본질적기술범위는특허청구범위에나타나있으며, 그와동등한범위내에있는모든차이점은본발명에포함된것으로해석되어야할것이다. <96> <97> <98> <99> <100> <101> <102> <103> <104> <105> <106> <107> <108> 도면의간단한설명도 1은종래기술에있어서, 고해상도영상의인코딩및디코딩과정에서분할된픽쳐의모습을나타낸개략도. 도 2는종래기술에있어서, 움직임벡터가서브픽쳐외부를향하는경우를설명하기위한도면. 도 3은종래기술에잇어서, 움직임벡터가서브픽쳐외부를향하는경우에이를보상하기위한화소패딩 (padding) 을설명하기위한도면. 도 4는본발명의일실시예에따른고해상도영상인코딩장치의구성을나타낸블록도. 도 5는본발명의일실시예에따른매크로슬라이스가독립형식으로구성된경우를예시적으로나타낸예시도. 도 6은본발명의일실시예에따른매크로슬라이스가콤포지트형식으로구성된경우를예시적으로나타낸도면. 도 7은본발명의일실시예에따른고해상도영상디코딩장치의구성을나타낸블록도. 도면의주요부분에대한설명 100 : 영상분할부 200 : 매핑부 300 : 영상압축부 400 : 비트스트림다중화부 500 : 메모리부 600 : 매크로슬라이스파싱부 700 : 영상복원부 800 : 영상합성부 900 : 메모리부 - 10 -
도면 도면 1 도면 2 도면 3-11 -
도면 4a 도면 4b - 12 -
도면 5 도면 6 도면 7-13 -