ISSN 2383-630X(Print) / ISSN 2383-6296(Online) Journal of KIISE, Vol. 45, No. 7, pp. 618-625, 2018. 7 https://doi.org/10.5626/jok.2018.45.7.618 GPU 기반후처리효과에대한업스케일링의효용성실험 (Experiments on Upscaling Feasibility of GPU-Based Postprocessing Effects) 노유리 이성길 (Yuri Roh) (Sungkil Lee) 요약실시간렌더링에서많이사용되는픽셀기반후처리방식은해상도에따라그비용이급격히증가한다. 본논문은초고해상도에서의후처리효과의실시간성확보를위해저해상도에서후처리후업스케일링하는기법의효용성에대한실험과토론을기술한다. 실험은 GPU 기반의대표적인후처리효과들을분류한후, 저해상도에서고해상도로업스케일링한결과의정량적품질의차이를먼저살펴본다. 또한, 이러한업스케일링의가시적차이를보기위해사용자실험을수행하고, 사용자실험의결과와정량적품질사이의관계를살펴본다. 비교결과, 등방성블러와관계된효과들은업스케일링이효과적으로쓰일수있는반면, 이방성블러와관계된효과와블러가없는효과들은낮은효용성을보였다. 특히, 이러한효과들에서앤티앨리어싱의적용이큰효과가있음이보여졌다. 이러한결론을바탕으로초고해상도에서후처리의적합한해상도의용법을토론한다. 키워드 : 영상효과, 고해상도, 후처리, 업스케일링 Abstract The cost of the pixel-based post-processing commonly used in real-time rendering increases rapidly depending on the resolution. This paper describes the experiments and discusses effectiveness of techniques of upscaling after post-processing at low resolution to ensure the actual spatial performance of post-processing effects at high resolution. The experiment first looks at the differences in the quality of the upgraded results at lower resolutions, after classifying typical post processing effects based on GPU. We also perform user experiments to find the visible differences between these upscalings, and analyze the relationship between the results of user testing and the quality. Although these comparisons show that the effects associated with the isotropic blur can be used, but the effects associated with the anisotropic and those without blur can not be effectively used. Especially, it has been shown that the application of anti-aliasing is effective in these effects. Based on these conclusions, we discuss the use of appropriate resolution of post-processing at ultra-high resolution. Keywords: image effect, high resolution, post processing, upscaling 이연구는미래창조과학부의재원으로한국연구재단의 < 실감교류인체감응솔 논문접수 : 2018년 4월 9일 루션 > 글로벌프론티어사업, 중견연구자지원사업, 정보통신기술진흥센터대학 (Received 9 April 2018) ICT 연구센터육성지원사업으로수행된연구임. (2018M3A6A3058649, 2015R 논문수정 : 2018년 4월 24일 1A2A2A01003783, IITP-2016-R2718-16-0017) (Revised 24 April 2018) 심사완료 : 2018년 4월 24일 학생회원 : 성균관대학교전자전기컴퓨터공학과 (Accepted 24 April 2018) yuri.roh@skku.edu 종신회원 : 성균관대학교소프트웨어학과교수 (Sungkyunkwan Univ.) CopyrightC2018 한국정보과학회ː 개인목적이나교육목적인경우, 이저작물 sungkil@skku.edu (Corresponding author 임 ) 의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시 명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위 를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회논문지제45권제7호 (2018. 7)
GPU 기반후처리효과에대한업스케일링의효용성실험 619 1. 서론실시간성컴퓨터그래픽스응용에서지연된렌더링파이프라인 (deferred rendering pipeline) 의활용과함께픽셀기반의후처리기법을사용하여특수효과들을적용하여왔다. 이러한후처리기반의기법들은기하를직접처리하는전처리기반의렌더링 (forward rendering) 과달리가시도처리를통과한보이는픽셀만을처리하므로, 일반적으로효율적으로여겨져왔다. 현재대중적으로사용하던고해상도 (Full-High Definition; 이하 FHD) 이하수준의해상도환경에서는픽셀기반의후처리기법을사용하여충분히높은성능과납득할만한수준의품질을달성할수있었다. 그러나후처리기법은그성능이해상도에비례하므로최근등장한초고해상도 (Ultra HD; 이하 UHD) 디스플레이에서그성능이부족해지고있다. 초고해상도영상의후처리를위한알고리즘적인한계가있으므로, 그대안으로저해상도에서후처리한영상을업스케일링하는기법을사용할수있다. 그러나이러한업스케일링기법은필연적으로품질의저하를수반하므로, 단순적용은후처리효과의성질에따라큰의미가없을수있다. 이에, 본논문에서는후처리효과들에서업스케일링이효과적으로쓰일수있는기법들을찾고, 어떤상황에서업스케일링이의미가있는지고찰하고자한다. 보다구체적으로, 본논문의실험은가장보편적인해상도인 HD(1280 720), FHD(1920 1080) 두가지저해상도에서후처리기법을적용한후업스케일링을통해 UHD(3840 2160) 해상도로만든이미지와, 업스케일링없이 UHD 상에서직접후처리한이미지의정량적, 정성적품질변화추이를분석한다. 정량적평가는보편적인이미지품질비교기법들을사용하며, 정성적평가는사용자실험을수행한다. 또한, 후처리기법들별로중요하게생각될수있는앤티앨리어싱의적용유무에따르는결과의차이도확인한다. 일반적으로업스케일링 적용시원본영상의 detail 정보가상실되는문제점이발생하기때문에본실험을통해서객관적품질저하도대비사용자측면에서느끼는주관적품질저하도의상관관계를알고자한다. 이를통해고해상도환경에서의업스케일링의실제효용성을검증하고, 효율적인렌더링파이프라인설계를위한가이드라인을제시한다. 2. 관련연구최근에는데스크탑, 모바일, 스마트 TV, VR 등의디스플레이기술발달로많은응용분야에서선명하고자연스러운결과제공을위하여 4K 이상의초고해상도영상을요구로하고있다. 해상도의증가는픽셀기반후처리시의연산량에직접적으로영향을주기때문에후처리기법사용의큰목적인실시간성확보에어려움을준다. GPU 기반알고리즘들이적용된저해상도영상은업스케일링기법을통해고해상도로변환이가능하므로다양한업스케일링관련연구들이주목받고있다. 업스케일링은주로영상에서비어있는픽셀값에대한값을근사하여계산해내는보간법 (interpolation) 을통해구현된다. 대표적인보간법으로는 Bilinear, Bicubic[1], Lanczos, Hermite cubic spline이있다. 대부분의프로그램과소프트웨어에서사용하는일반적인보간기법으로본논문에서도해당업스케일링기법을사용하여업스케일링을수행한다 ( 그림 1 참고 ). GPU 기반알고리즘뿐만아니라 UHD 이상의초고해상도환경에서도기존영상효과나기법들이효율적으로동작할수있게해주는특수기법들에대한선행연구가활발히진행되고있다. UHDTV(Ultra High Definition Television) 는차세대 TV로주목받고있지만컨텐츠제공을고려할때 UHD 리소스가부족하다. 또한 UHDTV는이전의 HD 형식보다단순히더높은해상도를가질뿐만아니라높은시간해상도 (higher temporal resolution), 향상된색채계 (colorimetry), 높은비트심도및높은동적범 그림 1 본논문에서사용된다양한업스케일링기법 Fig. 1 The various upscaling techniques used in this paper
620 정보과학회논문지제 45 권제 7 호 (2018. 7) 위를포함한다. 따라서현재의 HD 또는 Full HD 리소스를 UHD로업스케일링할때해상도를지킴과동시에고품질시청경험도잃지않도록최신업스케일링알고리즘을사용할수있는지가중요하다. 이에 Li, Jing, et al. 은인간시각시스템을기반으로 Bilinear, Bicubic, sinc, Lanczos, Catmull-Rom 등다양한업스케일링알고리즘을사용하여저해상도에서 UHD 해상도로업스케일링하고가장효율적인업스케일링기법을찾기위한사용자실험을병행하였다 [2]. 이과정에서주관적성능을평가하기위해두가지비디오를한화면에나타내고사용자의선호도를정할수있는 Pair Comparison[3] 방법을사용하였다. 사용자실험결과, 가장높은선호도를보인업스케일링알고리즘은 Lanczos-3로나타났다. 또한 [4] 에서는 UHD 영상에대한주관적화질평가실험을수행하고이를분석하였다. 평가항목으로는영상의공간해상도, 컬러공간, 프레임률, 압축률이며본논문과마찬가지로사용자실험을통해실제사람의눈에서 HD 영상대비 UHD 영상이얼마나더화질의차이가보이는지에대한 MOS점수를매기는방식으로실험이진행되었다. 평가결과, 모든평가항목에서 HD 해상도대비 UHD 해상도의영상에대해전반적으로더높은주관적화질평가결과를보였고이때, 영상의특성에따라그평가결과가영향을받을수있음을알아내었다. 또한 PSNR이높을수록높은주관적화질평가를받았으나사용자가영상을시청하는거리가멀어질수록화질의열화를인지하는능력이떨어지면서 PSNR이낮은영상도화질이양호한것으로평가되는경향이나타났다. 렌더링품질결정에사용자지각이많은영향을미친다는점에대한선행연구가있다. [5] 에서는해상도와프레임간의조절과고품질렌더링결과와의상관관계에대한연구를진행하였다. 해상도조절및프레임이외에도렌더링품질을결정하는요소는복합적으로많으나, 대체로사용자가지각하는것과관련되어있다. 이에변수가프레임율과해상도 2가지이고, 각각에쓰이는비용이정해져있을때사용자들이둘중어떤변수를올렸을때렌더링품질이나아졌다고느끼는지에대한사용자실험을진행하였다. 그결과, 프레임율이 40fps에도달할때까진 fps를올리지만, 40fps에도달한이후부터는 fps와해상도를비슷하게올리는경향이나타났다. 3. 실험환경및과정본장에서는후처리기법을적용한후업스케일링수행시그효용성을검증하는실험에대한환경및과정을서술한다. 3.1 실험환경구현및실험은 Intel Core i7, NVIDIA GeForce GTX 980 Ti의플랫폼에서 OpenGL API로수행되었다. 성능및품질측정을위하여 4개의모델 (Bunny scene, 562,064 triangles; Car scene, 398,027 triangles; Chicken scene, 15,148 triangles; Table scene, 98,602 triangles) 과가장보편적으로사용되는 16:9 비율의해상도 3가지 (HD, 1280 720; FHD, 1920 1080; UHD, 3840 2160) 를사용하였다. 3.2 실험과정실험은정량적인품질측정과정성적인품질측정을위한사용자실험두가지로나누어진행하였다. 모든실험에서사용되는모든영상은공통적으로각각의모델을이용하여 8초간재생되도록만든영상이고다음세가지영상의객관적 / 주관적품질을비교하는방식으로진행된다. 첫째, 업스케일링없이 UHD 해상도상에서직접후처리한영상이다. 둘째, HD와 FHD 두가지저해상도에서후처리기법을적용한후업스케일링을통해 UHD 해상도로만든영상이다. 셋째, 두번째영상에앤티앨리어싱을적용한영상이다. 세이미지간의객관적품질차이는객관적인지표인 PSNR(Peak Signal-to-Noise Ratio) 과 SSIM(Structural Similarity) 를통해측정한다. 이를통해고해상도에서후처리기법을적용한결과영상대비업스케일링기반후처리적용결과이미지와앤티앨리어싱적용유무에따르는품질차이를수치화하고자한다. 주관적인품질측정을위하여사용자실험도수행한다. 사용자실험은후처리기법별로제작된 3가지영상을사용자에게모니터로시청하게하고이를눈으로비교해보았을때고해상도원본이미지대비업스케일링을적용한결과이미지가얼마나유사하게보이는지에대한정도를점수로매기는방식으로진행된다. 4. 정량적실험정량적실험을위해아무기법도적용하지않는경우와 3가지후처리기법을적용한경우를 4가지모델에각각적용한다. 그리고 UHD 해상도의원본영상, HD 와 FHD 해상도에서 UHD 해상도로업스케일링한영상, 그리고앤티앨리어싱을추가적으로적용한영상을제작한다. 이러한세가지경우에대해원본영상대비성능과품질을비교를보는방식으로실험이진행된다. 4.1 실험내용실험에사용되는후처리기법은 DOF(Depth of Field), Motion blur, SSAO(Screen Space Ambient Occlusion) 로총 3가지이며모든기법은 OpenGL API를이용하여
GPU 기반후처리효과에대한업스케일링의효용성실험 621 자체적으로구현하였고 GPU에서수행된다. Motion blur[6] 는물체가움직이는반대방향으로블러가생기는효과로물체의속도벡터를이용하여블러를적용시켰다. 속도벡터의경우, 각각물체별로이전프레임과현재프레임의모델행렬을이용하여위치차이를구하였으며, 블러가적용되지않은현재프레임의렌더링결과를 off-screen으로렌더링하고속도벡터방향에위치한픽셀값을더하여블러를구현하였다. 따라서블러에방향성이있는이방성블러로분류된다. DOF[7] 는카메라렌즈에서생기는아티팩트로초점범위에있는물체는선명하게보이고그앞과뒷부분은흐릿하게보이는현상을렌더링한것이다. max 블러는 CoC (circle of confusion) 에따라달라지며, CoC는위수식을이용하여계산한다. 수식에서 는블러의정도, 는초점거리, 는심도 ( 초점이맞는거리 ), 는최대로블러를적용할범위이며 는깊이값으로 depth 맵을이용하여각픽셀별 CoC를구할수있다. 블러가많이적용되는부분은앨리어싱을방지하기위하여많은수의샘플이필요하지만, 이는성능을저하시킨다. 따라서미리블러시킨텍스쳐를이용하여 DOF를구현하였으며, 이과정은다음과같다. 블러가적용되지않은장면 A를렌더링후, 중간정도의블러를구한결과 B와, A를다운샘플링후에블러를적용한결과 C를렌더링하며, 최종적으로 A, B, C를선형보간하여초점범위밖의부분은블러시키는심도표현을한다. 또한블러적용시에주변픽셀값을더하기때문에블러의방향성이없는등방성블러로분류된다. SSAO[8] 는화면상에서 depth 맵을이용하여해당픽셀이있는지오메트리의가시성을판단하고빛효과를적용하는알고리즘으로, 주변에많이가려졌다고판단되는부분을더욱어둡게만드는효과를부여한다. 이를위하여깊이값과지오메트리의값을필요로하기때문에지연렌더링 (deffered rendering) 을이용하여픽셀별위치, 노말, 깊이값을구하였다. 이를이용하여모든픽셀에대해일정크기의노말방향의반구에임의로샘플링한점들을구하고, 샘플들의위치값과그위치의깊이값을이용하여해당샘플이지오메트리에가려졌는지여부를계산할수있다. 샘플들이많이가려진경우해당픽셀은주변에많이가려진것으로판단하고최종렌더링시이를 weight로사용하여 ambient occlusion을구현하였다. 본기법은블러효과가없는기법으로분류된다. 앤티앨리어싱기법으로는 MSAA(multi-sample anti aliasing) 기법이사용되었다. MSAA는모든앤티앨리 어싱기법에기본이되는기법으로복수의샘플을채취하여앨리어싱현상이일어나는픽셀들의중간색상값을부여하여자연스러운경계면을만들어주는효과가있다. 가장활용범위가넓으며특히고품질그래픽을렌더링할때효과적으로사용된다. 실험에사용되는업스케일링기법은 Nearest Neighbor interpolation, Bilinear interpolation, Hermite Cubic spline interpolation으로총 3가지이며모든기법은 GPU 에서수행된다. 먼저 Nearest neighbor interpolation 기법은알아내고자하는부분과가장가까운픽셀의값을선택하고타이웃점의값은고려하지않은채해당최근접픽셀값만으로비어있는픽셀의값을알아내는기법이다. 본알고리즘은구현이매우간단하여실시간 3D 렌더링에서밉매핑과함께사용되며텍스쳐표면의색상값을결정할때주로쓰인다. Bilinear interpolation 기법은 Linear interpolation을기반으로수행된다. 픽셀별로 Linear interpolation을세번수행하며, 새롭게생성된픽셀값은가장가까이위치하고있는네개의픽셀값에가중치를곱한값을합해서얻고, 각가중치는각픽셀간에서의거리에비례하도록선형적으로결정된다. 이또한대표적인간단한업스케일링기법으로알려져있다. Hermite cubic spline interpolation 기법은흩어진점들을 3차다항식으로표현하여, 이들의값과 1차미분값이이어지도록보간하는방법이다. 3차다항식 spline 으로간단한계산으로구현가능하나, 모든 data points 의 1차미분값을알아야한다는한계가있다. 정량적수치측정을위해 PSNR, SSIM 두가지의 metric을사용하였다. PSNR은최대신호대잡음비 (peak signal-to-noise ratio) 로신호가가질수있는최대전력에대한잡음의전력을나타낸것이다. 주로영상또는동영상손실압축에서화질손실정보를평가할때사용된다. SSIM은구조적유사성 (structural similarity) 지수로두이미지간의유사성을측정하는데사용된다. 4.2 실험결과그림 2는업스케일링기반으로수행된후처리기법의이미지성능측정결과그래프이다. 그림 2(a) 만을보면업스케일링만의성능부하를확인할수있다. 후처리효과를적용하지않고업스케일의성능만측정하였을때 HD에서업스케일링을한경우보다FHD에서업스케일링수행시렌더링타임이더소요된다. 이를통해업스케일을수행하기전해상도가낮을수록업스케일에필요한렌더링소요시간이증가함을알수있다. 또한고해상도 ( 최고 FHD해상도 ) 에서바로렌
622 정보과학회논문지제 45 권제 7 호 (2018. 7) 그림 2 후처리효과별성능 Fig. 2 Performance by post-processing effect 더링을수행하는것보다업스케일링적용결과들이업스케일링부하로인해성능이저하되었던 [9] 의결과와달리본실험에서는 UHD 해상도에서바로렌더링을수행한결과성능이업스케일링을수행한결과성능보다낮았다. 이는 UHD가초고해상도영상이라원본렌더링자체에생기는부하가업스케일링으로생기는부하보다크기에성능이득이발생하지않은것으로보인다. 그림 2(b)-(d) 에서도업스케일링수행시고해상도로렌더링하는경우보다성능이높게나타난다. 이는저해상도에서후처리기법적용으로얻어지는성능향상정도가업스케일링부하보다크기때문이다. 그림 2(a)-(d) 를보면업스케일링기법별로약간의성능차이가보이는데, 가장간단한업스케일링기법으로알려진 Nearest Neighbor, Bilinear, Hermite Cubic기법순으로성능면에서우수했으나큰차이는없었다. SSIM, PSNR 측정결과평균적으로 DOF가가장낮은품질수치를보였다. 모든후처리기법들은공통적으로 HD에서업스케일링을할때보다 FHD에서업스케일링을수행시더높은품질수치를보였고, MSAA 를적용시모든경우에서적용하지않았을때보다높은품질수치를보였다. 4.3 토론 UHD 원본영상대비업스케일링영상들이평균적으로 150-200% 의상당한성능향상을달성하였다. HD에 비해 FHD 영상의특히 SSAO의경우에는약 7배에가까운성능향상을보였는데이는 SSAO가타후처리효과에비해연산량이많아바로초고해상도렌더링시많은시간이소요되어업스케일링으로얻어지는성능이득이크기때문이다. 또한모든경우에서 MSAA 적용시미미한정도의성능저하가발생하지만 PSNR/SSIM 수치가평균적으로후처리기법을적용하지않은경우 1.8%/0.4%, DOF의경우 2.4%/1.4%, Motion blur의경우 5.3%/0.1%, SSAO의경우 4.4%/0.2% 의증가율을보였기때문에품질향상면에서 MSAA의효용성이높다고해석할수있다. 또한시작해상도가높을수록품질점수가높게나타났는데이는낮은시작해상도에서업스케일링시, 보간정보정확도가떨어져업스케일링결과품질저하가더강하게나타나기때문이다. 5. 정성적실험정성적실험에사용된 UHD 디스플레이는 32인치크기의 Samsung LU32H850UMKXKR 모니터이다. [10] 에서는실제거리가 0.75H(H-화면의높이 ) 에서가장잘감지된다는것을밝혔다. 그러나평균시력을가진관찰자의식별력에따라시청거리는 1.6H이어야한다. 따라서본실험에서는몰입효과 (immersion effects) 와시력사이의절충안으로시청거리를 H(84cm) 로설정하기로결정했다.
GPU 기반 후처리 효과에 대한 업스케일링의 효용성 실험 그림 3 후처리 효과 별 업스케일링 결과 및 객관적/주관적 품질 수치 Fig. 3 Upscaling results by post-processing and objective/subjective quality figures 성균관대학교 자연과학캠퍼스 IP: 115.***.173.106 Accessed 2018/10/26 12:08(KST) 623
624 정보과학회논문지제 45 권제 7 호 (2018. 7) 5.1 실험내용사용자실험은일반적으로최소 15명이상의보통시력을가진비전문가집단으로구성하길권장한다 [4]. 따라서본사용자실험에는 31명의실험자가참여했다. 16 명이남성이고, 15명이여성이다. 컴퓨터관련전공자 12명, 비전공자가 19명이며프로그래밍경험이있는실험자는 22명, 없는실험자는 9명이다실험군은모두주관적인실험, 이미지처리또는고해상도영상관련분야에서전문가가아니다. 나이는 22세에서 32세까지이며평균 26.6세다. 모두정상또는교정시력이있었다. 테스트에필요한시력이 84cm이므로 UHD 품질평가업무에필요한근거리시력검사용 Snellen 차트를사용하여시력검사를실시했다. 모든실험자가실험전시력검사를통과했고이는실험군의변수를최대한제거하기위한과정이다. 실험방법은다음과같다. 실험자는케이스별로 8초길이로제작된세가지영상을시청하게된다. 원본 UHD 해상도에서후처리기법을적용한영상, 저해상도에서후처리기법적용후업스케일링을통해고해상도로올린영상, 그리고업스케일링과앤티앨리어싱을모두적용한영상이다. 후처리기법과업스케일링기법별로해당실험을각각반복하여시청하는방식으로진행한다. 설문지에는간단한업스케일링과후처리기법에관한개념설명이제공된다. 실험자는세가지영상을시청하고, 원본고해상도영상대비나머지업스케일링영상, 업스케일링과앤티앨리어싱이적용된영상이얼마나유사해보이는지를눈으로보고판단해완전히동일할때는 100, 완전히다르게느껴질땐 1점을주는방식으로진행된다. 이후각경우별로모든실험자의사용자실험점수를평균내어점수를집계해봄으로서그경향성을확인해보았다. 5.2 실험결과사용자실험결과공통적으로 HD에서업스케일링한경우보다 FHD에서업스케일링을한경우모든모델에서최대 15점높은결과가나왔다. 업스케일링기법별로도약간의차이를보이는데대체적으로 Hermite Cubic 보간방법이가장결과가좋았다. 각후처리효과별평균점수는다음과같다. 후처리효과를적용하지않은경우 80.6, DOF 87.5, Motion blur 77.3 그리고 SSAO가 75점을기록했다. 객관적품질수치의결과와달리 DOF가가장높은평가점수를보였다. 특히 Hermite Cubic 보간방법으로 FHD에서업스케일링을수행한결과는평균 97점으로전체중가장높은주관적품질점수를기록했다. 후처리기법의종류, 업스케일링기법의종류와관계없이 MSAA의적용유무에따르는사용자실험점수의 차이는객관적품질평가수치에서보였던차이보다크게나타났다. 평균적으로후처리기법을적용하지않은경우약 14.6%, DOF의경우 11.3%, Motion blur의경우 14.3%, SSAO의경우 16.9% 의증가율을보였다. MSAA는블러효과가없는경우그효용성이높아진다는점을알수있었다. 5.3 토론후처리기법의특성에따라각모델별점수분포는객관적품질수치의분포와상이한경향성을보였다. 객관적품질평가에서가장낮은수치를기록한 DOF가주관적품질평가에서는가장높은점수분포를보였는데이는등방성블러인 DOF 효과의특성상사방으로동일한양의블러가생겨업스케일시나타나는품질저하가눈에잘띄지않기때문이다. 같은이유로해당효과의경우에는업스케일링기법간의점수차이도매우미미한수준으로나타난다. 또한블러효과가없는경우 MSAA 적용시품질점수가높게나타나는데, 영상에블러가없는경우사용자의눈에가장자리의앨리어싱현상이더잘관찰되기때문에 MSAA를통해앨리어싱완화시그효용성을더욱잘느끼기때문이다. 6. 결론본논문에서는초고해상도에서의후처리효과의실시간성확보를위해저해상도에서후처리후업스케일링하는기법의효용성에대한고찰을하였다. 실험결과후처리기법의특성, 업스케일링하기전원본영상의해상도, MSAA의적용유무에따라경향성을파악할수있었다. 전체적으로업스케일링적용시성능이득이생기는반면, 원본영상의 detail 정보가상실되는문제점이있다. 이에정량적실험에서 PSNR과 SSIM 측정을통해약간의품질차이가발생한다는것을확인하였다. 그러나사용자실험결과, 실제사용자측면에서느끼는주관적품질저하는크지않았다. 특히등방성블러를포함한효과의경우해상도, 업스케일링기법의종류와관계없이전체적으로큰영향이없었고, 이방성블러를포함하거나그외의효과의경우에서도그차이가크지않음을알수있었다. 특히후처리기법에블러효과가포함되어있는경우보간경계면이잘관찰되지않아해상도와업스케일링기법에따른차이없이전반적으로비슷하게높은수준의주관적품질점수를보였다. 등방성블러인 DOF의경우가장낮은객관적품질수치를보인반면에주관적품질수치는가장높게나타나효용성이높은효과라평가할수있다. 이경우에는 MSAA의적용유무에
GPU 기반후처리효과에대한업스케일링의효용성실험 625 따르는차이도크지않은것으로나타났다. 그러나블러효과가포함되지않은후처리기법의경우에는업스케일링시원본영상의해상도와업스케일링기법의종류에따라어느정도객관적 / 주관적품질수치의차이를보인다. HD보단 FHD에서업스케일링을할경우, 그리고평균적으로 Nearest Neighbor, Bilinear 그리고 Hermite Cubic 기법순으로높은효용성을보였다. MSAA를적용할경우큰효용성을보였는데미미한수준의성능저하를유발하는반면사용자실험에서평균 15.3% 의점수증가량을보였다. 이를통해업스케일링시 MSAA의적용유무는매우중요함을알수있다. 후처리기법별효과를극대화하여보기위해각각다른모델을사용하여실험을진행하였기에다음과같은제한점이있다. 모델의복잡도에따라전반적주파수가영향을받으므로해상도의변화가있을때상대적으로복잡한모델일경우 PSNR의손실정도가크다. 이차이가사용자실험결과에도반영이되었을가능성이있으므로실험결과에한계가있다. 따라서추가적으로모델별로모든효과를적용해본후복잡도에따른결과를확인해볼필요가있다. 또한화질열화는원본영상을업스케일링할때생기는열화와후처리로인한화질열화 2가지요인으로구성되어있다. 따라서실험시원본영상을업스케일링할때생기는열화를제거해야정확한추론이가능하나본실험에서는 2가지요인모두평가에적용되었다는한계점이있다. 향후연구로다양한특징의후처리기법별로업스케일링실험을진행하여그효용성을확인하고자한다. References [1] R. Keys, "Cubic convolution interpolation for digital image processing," Acoustics, Speech and Signal Processing, IEEE Transactions on, Vol. 29, No. 6, pp. 1153-1160, 1981. [2] Li, Jing, et al., "Comparing upscaling algorithms from HD to Ultra HD by evaluating preference of experience," Quality of Multimedia Experience (QoMEX), 2014 Sixth International Workshop on. IEEE, 2014. [3] J-S. Lee, L. Goldmann, and T. Ebrahimi, "Paired comparison-based subjective quality assessment of stereoscopic images," Multimedia Tools and Applications, pp. 1-18, Feb. 2012. [4] Inkyung Park, Kwangsung Ha, Munchurl Kim, Sukhee Cho, Jinsoo Choi. (2010), "Analysis on Subjective Image Quality Assessments for 4K-UHD Video Viewing Environments," Journal of Broadcast Engineering, Vol. 15, No. 4, pp. 563-581. [ 5 ] Debattista et al., "Frame rate vs resolution: A subjective evaluation of spatiotemporal perceived quality under varying computational budgets," Computer Graphics Forum, Vol. 37, No. 1, 2018. [6] Gilberto Rosado. Rainbow Studio [Online]. Available: https://developer.nvidia.com/gpugems/gpugems3/ gpugems3_ch27.html [7] KAPLANYAN, Anton, "Advances in real-time rendering in 3d graphics and games course," SIGGRAPH 2009, 2009. [8] BAVOIL, Louis; SAINZ, Miguel; DIMITROV, Rouslan, "Image-space horizon-based ambient occlusion," ACM SIGGRAPH 2008 talks., ACM, pp. 22, 2008. [9] Yuri Roh, Yuna Jeong, Sungkil Lee (2018), "Experiment on Resolution Upscaling of GPU-Based Postprocessing Algorithms," KHCI, pp. 300-303. [10] K. Masaoka, M. Emoto, M. Sugawara, and F. Okano, "Presence and preferable viewing conditions when using an ultra high-definition large-screen display," Electronic Imaging 2005. International Society for Optics and Photonics, pp. 28-37, 2005. 노유리 경기대학교컴퓨터과학과졸업 ( 학사 ). 2017 년 ~ 현재성균관대학교전자전기컴퓨터공학과석사과정. 관심분야는 Real-time rendering, Upscaling 이성길 2002년포항공과대학교신소재공학과졸업 ( 학사 ). 2009년포항공과대학교컴퓨터공학과졸업 ( 박사 ). 2009년~2011년독일 Max-Planck-Institut Informatik 박사후연구원. 2011년~2015년성균관대학교소프트웨어학과조교수. 2015년~현재성균관대학교소프트웨어학과부교수. 관심분야는 Real-time rendering, perception-based information visualization, virtual reality, high-performance GPU computing