ISSN 2383-630X(Print) / ISSN 2383-6296(Online) Journal of KIISE, Vol. 43, No. 1, pp. 126-134, 2016. 1 http://dx.doi.org/10.5626/jok.2016.43.1.126 2015년도 학생논문 경진대회 수상작 모바일 OLED 디스플레이를 위한 인간 시각 만족의 최적 전력 절감 색 변환 (Human Visual System-Aware Optimal Power-Saving Color Transformation for Mobile OLED Devices) 이재혁 김 은 실 김 영 진 (Jae-Hyeok Lee) (Eun-Sil Kim) (Young-Jin Kim) 요 약 OLED 디스플레이는 빠른 응답속도, 전력 효율성 등 여러 장점 때문에 점차 사용이 증가하고 있는 추세이다. 뛰어난 전력 효율성에도 불구하고 메신저, 게임 등의 사용자와의 상호작용 기반의 어플리 케이션 사용의 증가로 OLED에 의한 전력 소모 비중이 여전히 크게 나타나고 있다. OLED에서는 출력하 는 영상에 따라 소모 전력이 크게 달라지기 때문에 저전력 색 변환 기법이 대표적인 전력 절감 기법이다. 기존의 저전력 색 변환 기법들은 색 변환 시 인간 시각 시스템의 만족에 대한 엄밀한 연구가 없으며, 시 각 만족도와 소모 전력을 동시에 최적으로 고려하는 연구가 부재했다. 본 연구에서는 기존 기법들의 문제 점을 보완한 새로운 저전력 색변환 기법을 제안한다. 실험 결과를 통해서 제안 기법이 기존 기법보다 시 각 만족도 측면에서 더 인간 시각 시스템을 만족하며 또 전력절감 측면에서도 색 변환거리에 따라 기존 기법보다 평균 13.4% 및 22.4% 향상된 전력 절감이 가능한 것으로 나타났다. 키워드: 모바일, OLED 디스플레이, 인간 시각 시스템, 시각 만족도, 저전력, 색 변환, 색 공간 탐색, 최적 전력 절감 Abstract Due to the merits of OLED displays such as fast responsiveness, wide view angle, and power efficiency, their use has increased. However, despite the power efficiency of OLED displays, the portion of their power consumption among the total power consumption is still high since user interaction-based applications such as instant messaging, video play, and games are frequently used. Their power consumption varies significantly depending on the display contents and thus color transformation is one of the low-power techniques used in OLED displays. Prior low-power color transformation techniques have not been rigorously studied in terms of satisfaction of the human visual system, and have not considered optimal visual satisfaction and power consumption at the same time in relation to color transformation. In this paper, we propose a novel low-power color transformation technique which strictly considers human visual system-awareness as well as optimization 이 논문은 2015년도 정부(미래창조과학부)의 재원으로 한국연구재단의 지원을 논문접수 : 2015년 6월 10일 받아 수행된 연구임(No. 2015R1A2A2A01008434). 학생회원 : 아주대학교 전자공학과 (Received 10 June 2015) 논문수정 : 2015년 10월 27일 heuyklee@ajou.ac.kr eunsill91@ajou.ac.kr 정 회 원 : 아주대학교 전자공학과 교수(Ajou Univ.) youngkim@ajou.ac.kr (Corresponding author임) (Revised 27 October 2015) 심사완료 : 2015년 11월 10일 (Accepted 10 November 2015) CopyrightC2016 한국정보과학회ː개인 목적이나 교육 목적인 경우, 이 저작물 의 전체 또는 일부에 대한 복사본 혹은 디지털 사본의 제작을 허가합니다. 이 때, 사본은 상업적 수단으로 사용할 수 없으며 첫 페이지에 본 문구와 출처를 반드시 명시해야 합니다. 이 외의 목적으로 복제, 배포, 출판, 전송 등 모든 유형의 사용행위 를 하는 경우에 대하여는 사전에 허가를 얻고 비용을 지불해야 합니다. 정보과학회논문지 제43권 제1호(2016. 1)
모바일 OLED 디스플레이를 위한 인간 시각 만족의 최적 전력 절감 색 변환127 of both visual satisfaction and power consumption in a balanced way. Experimental results show that the proposed technique achieves better human visual satisfaction in terms of visuality and also shows on average 13.4% and 22.4% improvement over a prior one in terms of power saving. Keywords: mobile, OLED display, human visual system, visuality-awareness, low-power, color transformation, color space searching, optimal power-saving 1. 서 론 OLED 디스플레이는 빠른 응답속도, 넓은 시야각, 높 은 색 대비, 우수한 색 재현성, 전력 효율성 등 여러 장 점으로 인해서 점차 사용이 증가하고 있는 추세이다. 하 지만, 근래에 메신저, 동영상, 게임 등의 디스플레이 기 반 어플리케이션 사용의 증가로 사용자와의 지속적인 상호작용이 필요하므로 OLED 디스플레이의 소모 전력 은 여전히 전체 모바일 기기의 소모 전력 중에서 가장 큰 비중을 차지한다[1]. OLED는 BLU(backlight unit)를 필요로 하는 LCD와 는 달리 픽셀 자체가 발광하기 때문에 OLED디스플레이 가 출력하는 영상에 따라 소모하는 전력이 달라진다. 따 라서 영상의 색을 조정하여 소모 전력을 줄어들도록 하 는 저전력 색 변환 기법이 주요한 전력 절감 기법이므로 이에 대해 많은 저전력 연구가 수행되어 오고 있다. 저전력 색 변환 기법에서 중요한 고려사항은 색 변환 전후에 시각 만족도가 얼마나 유지될 수 있는지이다. 따 라서 기존의 많은 저전력 색 변환 기법들은 이러한 관 점에서 전력 최적화 문제를 풀고자 하여왔다. 하지만, 기존 기법들은 일부 색에 대해 중점을 두었으며 휘도가 증가하는 제약 조건으로 인해 최적의 저전력 색 매핑이 불가하거나[2], 전체 디스플레이 이미지가 아니라 관심 영역(saliency)에 한하여[3], 이미지간의 충실도(fidelity) 보다는 사용성(usability)에 초점을 맞춰서 색 변환을 하 였다[3-7]. 게다가 이러한 기법들의 응용이 게임[2], 웹 브라우저[5] 등의 특정 응용에만 국한되는 한계가 있었다. 모바일 기기는 제한된 전력량을 가지고 있기 때문에 여전히 모바일 기기 대상의 저전력 색 변환에 대한 연 구가 중요하며 OLED 시장의 확대와 모바일 기기 사용 자가 점차 증가함에 따라 사용자의 시각 만족도는 충족 시키는 동시에 디스플레이에서 소모하는 전력을 최적으 로 최소화할 수 있는 저전력 색 변환 연구의 필요성이 더욱 크게 요구되고 있다. 따라서 본 연구에서는 색 변환 시 시각 만족도 고려를 위해 인간 시각 시스템(HVS, human visual system) 에 근거한 시각 만족도 평가를 위한 평가도구를 제시하 고, 인간 시각 만족도와 전력절감 사이에 최적으로 균형 있는 저전력 색 변환을 위한 도구를 제안 및 검증한다. 논문의 구성은 다음과 같다. 2장에서 관련된 연구를 기술하고, 3장에서는 저전력 색 변환 연구에서 중요한 두 가지 이슈와 이에 대한 기존 기법의 한계를 보인다. 4장에서 두 이슈에 대한 본 연구의 기여를 설명하고, 5 장에서는 전수탐색을 통해 두 이슈에 대한 해결을 시도 한다. 6장에서 두 이슈를 해결하기 위한 해결책으로 색 공간 탐색도구를 제안하고, 7장에서는 제안한 탐색도구 를 이용한 실험의 결과분석을 통해 저전력 색 변환에서 중요한 두 이슈가 적절히 해결되었음을 보인다. 8장에서 는 본 연구의 결론 및 향후 연구방향을 도출하도록 한다. 2. 관련 연구 기존에 수행되어 오고 있는 주요 저전력 색 변환 기 법 연구를 소개하면 다음과 같다. Wang[8]에 의해 고안 된 GreenVis의 경우 순차적인 데이터의 시각화에서의 저전력 색 변환에 대한 연구를 진행하였다. 하지만 이 기법은 이미지의 충실도가 아닌 사용성에 초점을 맞추 는 한계와 시각 만족도와 전력절감 사이에 균형 있는 고려가 불가하고, 응용이 지도의 시각화와 같은 순차적 인 데이터에만 한정된다는 문제점이 있다. Tan[3]에 의해 고안된 FOCUS의 경우 스마트 폰 상 에서 유저가 웹 브라우저 또는 SNS를 사용할 때 관심 영역이 주로 화면의 위쪽인 점을 이용하여 화면의 아래 쪽을 어둡게 색 변환하는 연구를 진행하였고, Anand[7] 에 의해 고안된 기법의 경우에도 마찬가지로 스마트 폰 상에서 유저가 게임을 할 때 관심영역이 화면의 중앙임 을 이용하여 화면의 테두리 부분으로 갈수록 점점 어둡 게 색 변화하는 연구를 진행하였다. 하지만 이 기법들 역시 충실도가 아닌 사용성에 초점을 맞춘 색 변환이라 는 한계가 있으며 응용이 웹 브라우저, SNS, 게임 등에 한정된다는 한계가 존재한다. Anand[2]에 의해 고안된 PARVAI의 경우 색도와 채 도 제한조건을 이용하여 미리 저전력 색 변환 테이블을 만들고, 화면을 여러 개의 그리드로 나눠 각 그리드에 테이블을 적용하는 연구를 진행했다. 이 기법은 이미지 의 사용성 대신 충실성에 초점을 맞춘 색 변환기법이긴 하지만 색 변환 테이블 작성 시 일부 색(blue) 요소만을 줄이는 방향으로 테이블을 작성했고, 변환될 색의 휘도 를 원본 색의 휘도보다 높게 설정하는 등 색 변환을 위 한 테이블을 작성하는 방법에서 여러 문제가 존재했다. 또, 화면을 그리드로 나눠서 적용함으로 인해 시각 만족 도 저하현상의 가능성과 시각 만족도와 전력절감을 균 형 있게 최적으로 고려할 수 없다는 한계가 존재한다.
128 정보과학회논문지 제43권 제1호(2016. 1) 3. 연구 동기 본 연구에서는 기존의 관련 연구들이 지닌 한계를 극 복하고자 다음과 같이 해결해야할 과제들을 제시한다. 1) 저전력 색 변환 시 인간 시각 시스템(HVS, Human Visual System)에 근거한 엄밀한 시각 만족도평가 에 대한 고려 2) 시각 만족도와 소모 전력 두 요소를 최적으로 균형 있게 고려한 색 변환 우선 첫 번째로, 저전력 색 변환 시 전력절감만큼이나 중요한 요소가 인간 시각 만족도에 대한 엄밀한 고려 부분이다. 아무리 전력소모 측면에서 효율이 좋다고 하 더라도 색 변환 후 영상의 시각 만족도가 심각하게 저 하된다면 해당 기법을 좋은 색 변환 기법으로 평가할 수 없을 것이다. 이처럼 색 변환 기법에는 색 변환 적용 후 시각 만족도를 일정수준 이상으로 유지할만한 수단 이 필요하다. 하지만 색도와 채도의 변화를 제한하여 시각 만족도 를 고려한 대표적인 저전력 색 변환기법 PARVAI에서 조차 특정 색 성분만을 고려하거나 이미지를 그리드로 분할하여 색 변환을 적용하는 등 인간 시각 시스템에 근거한 시각 만족도의 엄밀한 고려에 대한 연구가 부족 했다. 그 결과를 그림 1에서 확인할 수 있다. 그림 1의 (b)와 (c)는 24%의 같은 전력절감을 하고 있으나 단순히 픽셀 값만 스케일링한 그림 1(b)와 비교해 봐도 그림 1(c) 에서는 파란색 성분이 심각하게 감소했고, 그리드 단위 의 색 변환이라는 한계 때문에 그림 1(e)와 같이 이미지 내 특정 구간에서 왜곡이 발생하는 등 시각 만족도 저 하 현상이 발생하는 것을 확인할 수 있다. 그림 1(d)는 원본인 1(a)에서 그림 중간의 물고기만 잘라낸 그림이다. 두 번째로, 시각 만족도의 엄밀한 고려와 함께 눈여겨 봐야할 요소는 시각 만족도와 전력절감 사이의 균형을 어떻게 최적으로 설정하여 변환할 것인가 하는 문제이 다. 시각 만족도 또는 전력절감 어느 한쪽으로만 치우친 변환은 전력절감 효과가 거의 없거나 변환 후 이미지에 심각한 왜곡을 초래할 수 있다. 하지만 이 두 요소의 균 형을 최적으로 고려하여 저전력 색 변환을 수행하기 위 한 연구가 부족했다. 기존 색 변환 기법 [2,4,6]에서는 특정 색 입력에 대한 출력으로 변환될 색 을 미리 테이블로 만들어 놓고 입력된 원본 이미지의 색상을 변환 색상으로 단순 히 변환하는 색 변환 기법을 수행했다. 하지만 이와 같 은 기법은 색 변환 시 시각 만족도와 전력사이에 균형 있는 변환을 통하여 두 요소를 최적으로 고려할 수 있 는 가능성을 배제한다. 즉, 기존 기법을 적용하면 특정 이미지의 입력에 대하여 현재 디바이스의 배터리 상황 이나 이미지의 종류와는 상관없이 전력을 절감할 수 있 는 정도가 한정되므로, 시각 만족도와 전력소모를 최적 으로 고려할 수 없다는 한계가 존재한다. 본 논문에서는 기존 저전력 색 변환 논문의 시각 만 족도, 최적 전력 절감 색 변환 측면에서의 내용을 분석 (a) Original[9] (b) Pixel Scaled (c) PARVAI (200*200grids) (d) Original[9] (e) PARVAI (200*200grids) 그림 1 기존 저전력 색 변환 기법의 수행 결과 비교 ((b)(c)는 원본과 비교하여 24%의 전력절감) Fig. 1 Comparison between existing techniques ((b)(c) earned 24% power reduction compared to original image)
모바일 OLED 디스플레이를 위한 인간 시각 만족의 최적 전력 절감 색 변환129 및 평가하여 관측된 문제점을 개선한 새로운 색 변환 기법을 제시하고자 한다. 우선 CIE Lab 색 공간을 이용 한 색 변환을 통해 인간 시각 만족도를 고려한 색 변환 을 수행하며, 기존과는 다른 접근으로 인간 시각 만족도 와 전력소모를 동시에 균형 있게 고려하여 최적의 전력 절감 색 변환 매핑을 수행하기 위한 색 공간 탐색도구 를 제시하고자 한다. 그리고 제시한 탐색도구를 이용하 여 특정 응용이 아닌 일반적인 응용에서의 저전력 색 변환을 수행하고자 한다. 본 논문이 기존 저전력 색 변환 기법 연구들에 대해 서 가지는 기여는 크게 다음과 같다. 1) 이미지 충실도와 인간 시각 시스템에 근거하는 시각 만족도의 엄밀한 고려가 가능한 평가도구의 설계 2) 시각 만족도와 소모전력 간의 최적으로 균형 있는 색 변환을 위한 도구의 설계 3) 최적 색 변환 도구를 이용한 인간 시각 만족의 최 적 전력절감 색 변환 알고리즘의 구현 및 검증 4. 저전력 색 변환 공간 탐색 이미지의 각 픽셀에 대한 저전력 색 변환은 다음의 문제로 정의된다. 저전력 색 변환된 색상 이 소모하 는 전력을 최소화 하는 것을 목적으로, 원본 색상 과 변환 색상 사이에 색도(hue), 채도(saturation), 명도(brightness) 등 시각 만족도에 영향을 주는 요소를 고려하여 시각 만족도가 특정 임계치 이상인 동안 전 력을 더 절감할 수 있는 방향으로 색 변환을 수행한다. minimize : Power subject to : while ( ) > 느끼는 색차(color difference)와 비례하는 것으로 알려 져 있으므로 저전력 색 변환 탐색에서 많이 이용되고 있다. 본 논문에서도 CIE Lab에서 탐색을 수행하고자 한다[10]. 시각 만족도에 대한 고려와 더불어 고려해야할 것이 소모전력인데, 색 변환 기법에 대한 연구에서는 알고리 즘의 설계 및 구현과정에서 지속적인 소모전력의 확인 이 필요하지만 설계 및 구현과정에서 소모전력을 지속 적으로 확인하는 것은 현실적으로 어렵다. 따라서 본 연 구에서는 삼성 갤럭시S3 AMOLED 디스플레이 패널의 소모전력을 측정하여, 측정결과를 시뮬레이션 시 사용한 다. 한 픽셀이 소모하는 전력은 식 (1)과 같이 픽셀의 RGB값에 따라서 그 크기가 변하는 세 함수 의 합으로 구할 수 있으며, OLED 디스플레이 패널에서 소모하는 전력은 식 (2)와 같이 모든 픽셀이 검은색을 표시하고 있을 때 소모하는 대기전력과 각 픽셀들이 소 모하는 전력의 합으로 구할 수 있다. 전력측정 이후에 대기전력을 제한 측정결과가 그림 2에 나타나 있다. (1) (2) 우선 저전력 색 변환 공간 탐색에 앞서 본 연구에서 수행하는 CIE Lab 색 공간에서의 색 변환의 개념은 다 음과 같다. 그림 3과 같이 로 표현되는 하나의 특정 색을 색 변환거리(Euclidean distance) h를 가진 점 으로 평행 이동시키는 것이다. 예를 들어, CIE Lab 색 공간에서 휘도를 낮추기 위해 특정 색 의 L 좌표에서 5를 뺐다면 기존의 색상에서 색 변환거 리 5만큼 휘도가 낮아진 색상 을 얻게 된다. 이제 CIE Lab의 시각 만족도와 소모전력에 대한 내 용을 이용하여 색 공간 전수탐색에 대해 살펴본다. 전수 이 최적화 문제에 대한 닫힌 해(closed solution)를 구하기는 불가능하므로 시각 만족도와 전력절감을 고려 한 색 공간 탐색을 통해 해를 발견하는 문제로 귀결될 수 있다. 여러 색 공간 중에서도 CIE Lab은 인간 색채 지각에 대한 연구를 바탕으로 설계된 색 공간으로, 색 공간에서의 색 벡터(color point) 간의 거리가 인간이 그림 2 갤럭시S3 AMOLED 패널의 전력 측정 결과 Fig. 2 Power evaluation result of SAMSUNG Galaxy S3 AMOLED panel
130 정보과학회논문지 제43권 제1호(2016. 1) 그림 3 색 변환과 색 변환거리(h, 유클리드 거리) Fig. 3 Color transformation and color transformation distance (h, Euclidean distance) 탐색(brute-force search)은 제약 조건 내에서 가능한 모든 경우를 고려하여 해를 찾는 가장 기본적인 탐색 방법이다. 전수 저전력 색 변환 공간 탐색은, CIE Lab 색 공간에서 색 변환거리(h)를 처음에 작은 값에서 시 작하여 가능한 최대 범위까지 모든 색 거리에서 탐색 가능한 모든 방향을 탐색하는 것을 의미한다. 그림 4는 전수 저전력 색 변환 공간 탐색 알고리즘의 순서도이며 그림 3의 구 표면을 전수 탐색하는 것을 가능한 모든 크기의 구에서 수행하는 것이다. 이처럼 시각 만족도와 소모전력에 대한 연구결과를 이용하여 우선은 이미지가 아닌 하나의 픽셀에 대해 전 수 저전력 색 변환 공간 탐색을 진행하였고, 그림 5가 그림 4 전수 저전력 색 변환 공간 탐색 알고리즘 순서도 Fig. 4 Brute-force searching algorithm for low-power color transformation flow-chart 그림 5 하나의 픽셀에 대한 CIE Lab 색 공간에서의 전력 소모 양상 Fig. 5 Power consumption pattern for one pixel in CIE Lab color space 하나의 픽셀에 대한 CIE Lab 색 공간에서의 전력 소모 양상을 보여준다. 점의 색상이 검붉은 색에 가까울수록 전력소모가 큰 것 을 나타내며, 색상이 남색에 가까울수록 전력소모가 작은 것을 나타낸다. 그림 5를 통해서 CIE Lab 색 공간에서의 소모 전력은 휘도가 증가함에 따라 증가하고, 휘도가 감 소함에 따라 감소하는 경향이 명확한 것을 확인했고, a와 b 성분에 따른 경향도 약하게 존재하는 것을 확인했다. 하지만 본 연구진은 전수 탐색에 다음과 같은 문제들 이 있음을 발견하였다. 첫째, 이미지의 크기가 증가함에 따라 시간 복잡도 으로 탐색에 걸리는 계산부하 가 급격히 증가했고, 색 공간 탐색 시 시각 만족도와 소 모 전력을 따로 고려하는 것은 탐색에서의 추가적인 부 하를 야기한다는 문제가 있었다. 둘째, CIE Lab 색 공 간이 인간 색채 지각을 반영하는 색 공간으로 어느 정 도 시각 만족도를 고려할 수 있도록 설계되긴 했지만 색 변환 방향에 따라 시각 만족도가 색 변환거리와 완 벽히 일치하지 않는다는 문제점도 존재했다. 따라서 본 연구에서는 이러한 전수 저전력 색 변환 공간 탐색의 문제를 해결하면서 더불어 인간 시각 시스 템에 근거한 시각 만족도의 평가 문제와 전력절감, 시각 만족도 두 요소를 최적으로 균형 있게 고려하는 문제를 해결하기 위해 인간 시각 만족의 최적 균형 색 공간 탐 색 도구를 제안한다. 5. 제안하는 색 공간 탐색도구 우선 색 공간 탐색도구란 원본 이미지와 CIE Lab 색
모바일 OLED 디스플레이를 위한 인간 시각 만족의 최적 전력 절감 색 변환131 공간에서 색 변환된 이미지를 비교하여 시각 만족도가 저하된 정도와 소모 전력이 줄어든 정도를 이용하여 해 당 색 변환이 얼마나 적합한 변환인지를 정량화해주는 일종의 함수를 의미한다. 즉, 색 변환 이후에 시각 만족 도가 적게 저하될수록, 소모 전력이 크게 줄어들수록 색 공간 탐색도구는 해당 색 변환을 더 좋은 색 변환으로 판별하여 적합한 정도를 정량화해준다. 색 변환의 적합 성에 대한 정확한 정량화를 위해서는 시각 만족도의 평 가가 필요하고, 전력절감과 시각 만족도의 최적으로 균 형 있는 고려가 필요하다. 5.1 시각 만족도 평가도구 기존 여러 논문에서 제공하는 이미지 품질 평가 도구 SSIM, Fast SIM [8,11]등은 주된 설계목적이 색 변환 에 의한 왜곡을 검출하는 것이 아니라 밝기 변화나 여 러 노이즈에 의한 시각 만족도 저하를 평가하기 위한 것이기에 색의 변화를 잘 검출하지 못한다는 한계가 있 었다. 인간의 시각 지각에 영향을 줄 수 있는 요소로는 휘도, 색 대비, 구조, 색도, 채도, 명도 등 다양한 요소가 있지만, 이러한 요소들 중에서 색도와 채도의 변화가 특 히 색 변환에 의한 이미지의 왜곡을 가장 잘 반영하는 두 요소임을 실험적으로 확인하였고, 이에 본 연구에서 는 색 변환에 의해 이미지에 생긴 왜곡을 색도와 채도 를 이용하여 정량화 할 수 있는 도구를 제안한다. 하지만 이미지의 색도와 채도정보는 CIE Lab 색 공 간에서 직접적인 값을 통해 얻을 수 없으므로 HSV 색 공간을 도입하여 CIE Lab 색 공간의 이미지를 HSV 색 공간의 이미지로 변환하여 색도와 채도정보를 추출 한다. HSV 색 공간은 색도, 채도, 명도 세 축으로 이루 어진 색 공간으로, H, S, V 세 값을 이용해 하나의 색 을 표현하는 색 공간이다[12]. HSV 색 공간으로부터 추출한 색도와 채도정보를 이용 한 식 (3) HSD(Hue Saturation Distance)는 색 변환에 의해 발생한 왜곡을 정량화하기 위한 수식이다. HSD는 원본 이미지와 색 변환된 이미지를 각각 RGB 색 공간에 서 HSV 색 공간으로 색 공간 변환한 후에 이미지의 색도 와 채도 정보를 이용하여 왜곡의 정도를 정량화한다. or (3) or 식 (3)을 이용하여 구한 HSD는 항상 1 이상의 값을 가지며 색 변환 이미지가 원본과 동일할 경우 1의 값을 가지고, 원본과의 색도, 채도차이가 많이 날수록 1보다 큰 값을 가진다. 5.2 시각 만족도와 전력절감 사이의 최적 균형을 위한 색 공간 탐색도구 색 공간 탐색에서 시각 만족도의 엄밀한 고려에 대한 연구 수행 이후 시각 만족도와 전력절감을 최적으로 균 형 있게 고려하기 위한 색 변환 도구를 제안한다. 색 변 환 시 시각 만족도만 높게 유지하거나 소모 전력만을 최저로 달성하는 것이 아니라 이 두 요소를 균형 있게 고려하여 최적의 색 변환을 탐색하는 것이 중요하다. 소모 전력을 고려하기 위해서 식 (4)와 같이 Power ratio를 사용하였다. Power ratio는 색 변환된 이미지의 소모 전력과 원본 이미지의 소모 전력의 비율이다. 색 변환된 이미지의 소모 전력이 작을수록 Power ratio 값 은 작아진다. (4) 본 연구에서는 소모 전력과 인간 시각 지각의 특정한 경향성을 효율적으로 분석하는 동시에 두 요소를 최적 으로 균형 있게 고려하기 위하여 Power ratio와 HSD 를 결합한 HSDPR(Hue Saturation Distance & Power Ratio)을 제안한다. 특히, 본 연구는 [13]에서 관찰된 바 와 같이 색도 및 채도 정보의 적절한 결합이 인간 시각 시스템을 충분히 효과적으로 만족하는 이미지 화질 평 가 도구로 구현 가능함을 기반으로 하고 있다. (5) 색 변환 후에 이미지의 소모 전력이 많이 줄어들수록, 색도와 채도의 변화가 적을수록 HSDPR은 더 큰 값을 가진다. 즉, 더 좋은 색 변환일수록 더 큰 HSDPR 값을 가지므로, 이 HSDPR 값을 기준으로 색 변환의 적합성 을 판별할 수 있다. 즉, 이미지를 CIE Lab 색 공간에서 색 변환하며 저전력 색 변환 탐색도구인 HSDPR을 이 용하여 해당 색 변환의 적합성을 판단하고, 색 공간 탐 색 결과 HSDPR 수치가 가장 높은 색 변환을 최적합 색 변환으로 판단하여 색 변환한다. 6. 실험 및 결과 6.1 실험 환경 색 공간 탐색 시 CIE Lab 색 공간에서 를 중심으로 반지름이 h인 구 위에 존재하는 모든 가능한 변환에서 HSDPR을 분석하는 것은 시간적 제약으로 인 해 불가능하므로 그림 6과 같이 구 위를 일정 간격으로 표본화한 점들에 대해서만 HSDPR을 적용하여 탐색한 다. 그 중 전력은 특히 휘도에 크게 영향을 받는다는 것 을 전수탐색 결과를 통해 확인하였으므로 휘도가 감소 하는 방향의 반구에 대해서만 탐색을 진행한다. 실험 이미지는 LIVE 이미지 데이터베이스 [14]에서 가져온 일부 이미지들을 포함한 총 27개의 이미지를 그 림 7과 같이 무채색/밝은, 무채색/어두운, 유채색/편중, 일반이미지 총 4개 카테고리로 분류하여 사용했다. 이처럼 분류한 27개의 이미지를 이용하여 다음과 같
132 정보과학회논문지 제43권 제1호(2016. 1) 그림 6 제약 기반의 색 공간 탐색 Fig. 6 Restricted color space searching (a) achromatic/bright (b) achromatic/dark (c) chromatic/weighted (d) chromatic/normal 그림 7 네 개의 카테고리와 카테고리별 대표 이미지 Fig. 7 Four categories and representative images of each category 은 순서로 실험을 진행하였다. 우선 CIE Lab 색 공간에 서 제약 기반의 색 공간 탐색을 휘도가 감소하는 반구 상에서 진행하고 각각의 색 변환 이미지에 대한 Power ratio와 HSDPR 값을 계산한다. 이후 HSDPR 값들을 비교하여 HSDPR 값이 가장 큰 색 변환을 최적합 색 변환으로 판단하여 해당 색 변환의 이미지, Power ratio 및 HSDPR 값을 저장한다. 이러한 과정을 27개의 모든 이미지에 대하여 반복적으로 수행한다. 6.2 실험 결과 및 분석 실험을 진행하여 27개 각각의 이미지별 HSDPR 최상 위의 이미지와 Power ratio, HSDPR 값을 얻고, 시각 만족도 측면에서의 비교를 위한 결과를 그림 8에 나타 냈다. 그림 8의 첫 번째 열이 원본 이미지, 두 번째 열 이 HSDPR 최상위 색 변환 이미지이다. HSDPR 최상 위 이미지들은 전력은 절감하면서도 원본과 비교하여 시각 만족도의 저하가 거의 존재하지 않았다. 그리고 색도와 채도를 이용하여 이미지의 충실도를 고려했던 PARVAI 색 변환 기법과의 비교를 위해 해당 논문에 제안되었던, 관심영역 이외의 영역을 어둡게 색 변환하는 saliency darkening을 적용한 이미지를 세, 네 번째 열에 나타냈다. 본 연구의 저전력 색 변환 기법 중 에는 saliency darkening이 포함되어있지 않지만 이 기 법은 어떤 기법들에나 일반적으로 적용이 가능한 기법 이므로 적용 후 시각 만족도와 전력 절감율을 비교하였 다. 단순 HSDPR 이용 색 변환보다 전력은 더 절감되 었지만 원본 이미지와 비교해 보았을 때 시각 만족도가 심각하게 저하되는 기존의 한계가 여전히 존재하는 것 을 볼 수 있다. 그리고 표 1과 표 2를 통해서 전력절감 측면에서의 실험 결과를 살펴볼 수 있다. 표 1은 색 변환거리 10, 20에 대하여 HSDPR 최상위 이미지의 카테고리별 평균 전력절감을 얻은 표이다. 그리고 표 2는 HSDPR 최상 위 이미지에 saliency darkening까지 적용한 결과와 PARVAI알고리즘 적용 결과의 카테고리별 평균 전력절 감을 얻은 표이다. 표 1에서 확인할 수 있듯이 색 변환거리가 10, 20일 때 평균적으로 13.4%, 22.4%의 전력을 절감할 수 있었 으며 여기에 PARVAI의 일부 기법을 추가적으로 적용 시 평균적으로 31.6%, 38.1%의 전력을 절감할 수 있었 다. 하지만 PARVAI 알고리즘의 평균 전력 절감은 26.2%에 그쳐 시각 만족도의 고려도 충분히 되지 않고, 전력절감 효과 또한 제안 기법과 비교하여 크지 않음을 확인할 수 있다. 표 1 제안 기법 적용 평균 전력 절감율 Table 1 The average power savings of the proposed method 표 2 제안 기법+saliency darkening 평균 전력 절감율 Table 2 The average power savings of the proposed method +saliency darkening
모바일 OLED 디스플레이를 위한 인간 시각 만족의 최적 전력 절감 색 변환133 (a) Original (b) Proposed (HSDPR highest) (c) Proposed+saliency darkening (d) PARVAI (e) Original (f) Proposed (HSDPR highest) (g) Proposed+saliency darkening (h) PARVAI (i) Original (j) Proposed (HSDPR highest) (k) Proposed+saliency darkening (l) PARVAI (m) Original (n) Proposed (HSDPR highest) (o) Proposed+saliency darkening (p) PARVAI 그림 8 카테고리별 대표이미지들의 각 저전력 색 변환 기법 적용 후 이미지 전력절감 : (b) 4.7% (c) 33.6% (d) 25% (f) 22.6% (g) 38.7% (h) 20.2% (j) 11.6% (k) 38% (l) 34.8% (n) 19% (o) 39.5% (p) 26.9% Fig. 8 Low-power color transformation technique applied images of each category power saving : (b) 4.7% (c) 33.6% (d) 25% (f) 22.6% (g) 38.7% (h) 20.2% (j) 11.6% (k) 38% (l) 34.8% (n) 19% (o) 39.5% (p) 26.9% 위의 실험 결과들을 통해서 1)제안 기법을 이용한 저 전력 색 변환이 인간 시각 시스템에 근거한 시각 만족 도를 충분히 고려하여 색 변환 수행 시 시각 만족도의 저하 현상이 거의 발생하지 않는 것을 확인할 수 있고, 2)시각 만족도 저하가 없으면서도 전력은 기존의 기법 보다 더 절감이 가능하기에 기존 색 변환 기법들에 비 해 시각 만족도와 전력절감 사이 최적균형을 맞추는 문 제에서 더욱 최적화된 저전력 색 변환을 수행했음을 확 인하였다. 7. 결 론 본 논문에서는 OLED 디스플레이 대상의 최적 저전 력 색 변환 문제를 위해 인간 시각 시스템을 만족시키 는 인간 시각 만족도 평가가 가능한 평가 도구 HSD와 전력 절감과 색 왜곡 간의 최적의 균형을 얻기 위한 최 적 색 변환 도구인 HSDPR을 설계하였다. 또, 이를 이 용하여 인간 시각 만족의 최적 전력절감 색 변환 알고 리즘을 제안하였다. 많은 실험을 통해서, 제안한 저전력 색 변환 기법이 PARVAI보다 시각 만족도와 전력절감 두 측면에서 모두 뛰어나다는 것을 확인할 수 있었다. 특히, 전력절감 측면에서는 제안 기법이 색 변환거리에 따라 평균적으로 13.4% 및 22.4% 향상을 달성하였다. 향후 연구로는 제안한 기법을 스마트폰과 같은 실제 모바일 OLED 디스플레이를 대상으로 실행시간에 수행 되는 저전력 색 변환에 대한 연구를 수행할 예정이다. 또 한, 다양한 인간 시각 만족에 대한 제약 조건 기반의 최 적으로 해를 얻는 유전 알고리즘 등의 최적화 알고리즘 을 적용한 색 공간탐색에 대한 연구를 수행할 예정이다.
134 정보과학회논문지 제43권 제1호(2016. 1) References [1] A. Carroll and G. Heiser, "An analysis of power consumptionin a smartphone," Proc. of USENIX Annual Technical Conference, 2010. [2] B. Anand, L. Kecen, and A. L. Ananda, "PARVAI- HVS Aware Adaptive Display Power Management for Mobile Games," Proc. of ICMU, 2014. [3] T. K. Wee, T. Okoshi, A. Misra, and R. K. Balan, "FOCUS: a usable & effective approach to OLED display power management," Proc. of the 2013 ACM international joint conference on Pervasive and ubiquitous computing, ACM, 2013. [4] D. Mian, Y. S. K. Choi, and L. Zhong. "Powersaving color transformation of mobile graphical user interfaces on OLED-based displays," Proc. of the 2009 ACM/IEEE international symposium on Low power electronics and design, ACM, 2009. [5] M. Dong and L. Zhong, "Chameleon: A Color-Adaptive Web Browser for Mobile OLED Displays," Proc. of MobiSys, 2011. [6] J. Wang, X. Lin, and C. North, "GreenVis: energysaving color schemes for sequential data visualization on OLED displays," Technical Report TR-12-09, Department of Computer Science, Virginia Tech., 2012. [7] B. Anand, K. Thirugnanam, J. Sebastian, P. G. Kannan, A. L. Ananda, M. C. Chan, and R. K. Balan, "Adaptive display power management for mobile games," Proc. of the 9th international conference on Mobile systems, applications, and services, ACM, 2011. [8] Z. Wang, A. C. Bovik, H. R. Sheikh, and E, P. Simoncelli, "Image quality assessment: from error visibility to structural similarity," IEEE Trans. Image Processing, Vol. 13, No. 4, pp. 600-612, Apr. 2004. [ 9 ] (2015, June 9). "Lab color space," [Online]. Available: http://en.wikipedia.org/wiki/lab_color_space (accessed 2015, Jan. 1). [10] M.J. Chen and A. C. Bovik, "Fast structural similarity index algorithm," Journal of Real-Time Image Processing, Vol. 6, No. 4, pp. 281-287, 2011. [11] (2015, April 21). "HSL and HSV," [Online]. Available: http://en.wikipedia.org/wiki/hsl_and_hsv(accessed 2015, Jan. 1). [12] H.R. Sheikh, Z.Wang, L. Cormack and A.C. Bovik. (2006, Nov). "LIVE Image Quality Assessment Database Release 2," [Online]. Available: http://live.ece. utexas.edu/reearch/quality/subjective.htm(download ed 2015, Jan. 1). [13] Tropical Fish Wallpaper [Online]. Available: http:// pxwallpaper.com/11938-tropical-fish-wallpaper-do wnload-the-free-tropical-fish-wallpaper.html. [14] Jae-Hyeok Lee and Young-Jin Kim, "Human visual system-aware and power-saving color transformation space search," Proc. of Korea Computer Congress 2014, pp. 1668-1670, 2014. 이 재 혁 2015년 현재 아주대학교 전자공학과 4학 년 재학중. 관심분야는 디스플레이 시스 템, 영상처리, 패턴인식, 임베디드 시스템 및 소프트웨어 이 은 실 2015년 아주대학교 전자공학과 졸업(학 사). 관심분야는 임베디드 시스템 및 소 프트웨어, 영상처리, 모바일 플랫폼 소프 트웨어 김 영 진 1997년 서울대학교 전기공학부 학사. 1999 년 서울대학교 전기공학부 석사. 1999년~ 2003년 ETRI 연구원. 2008년 서울대학 교 전기 컴퓨터공학부 박사. 2008년~ 2011년 선문대학교 컴퓨터공학과 전임강 사, 조교수. 2011년~현재 아주대학교 전 자공학과 부교수. 관심분야는 임베디드 시스템 및 소프트웨 어, 디스플레이 시스템, 모바일 저장장치 시스템, 저전력 기술