ISSN 2383-6318(Print) / ISSN 2383-6326(Online) KIISE Transactions on Computing Practices, Vol. 22, No. 1, pp. 20-25, 2016. 1 http://dx.doi.org/10.5626/ktcp.2016.22.1.20 이미지빅데이터를고려한하둡플랫폼환경에서 GPU 기반의얼굴검출시스템 (A GPU-enabled Face Detection System in the Hadoop Platform Considering Big Data for Images) 배유석 박종열 (Yuseok Bae) (Jongyoul Park) 요약디지털빅데이터시대가도래함에따라다양한분야에서하둡플랫폼이널리사용되고있지만, 하둡맵리듀스프레임워크는대량의작은파일들을처리하는데있어서네임노드의메인메모리와맵태스크수가증가하는문제점을안고있다. 또한, 맵리듀스프레임워크에서하드웨어기반데이터병렬성을지원하는 GPU 를활용하기위해서는 C++ 언어기반의태스크를맵리듀스프레임워크에서수행하기위한방식이필요하다. 따라서, 본논문에서는이미지빅데이터를처리하기위해하둡플랫폼환경에서이미지시퀀스파일을생성하고하둡파이프를이용하여 GPU 기반의얼굴검출태스크를맵리듀스프레임워크에서처리하는얼굴검출시스템을제시하고단일 CPU 프로세스대비약 6.8 배의성능향상을보여준다. 키워드 : 빅데이터, 하둡, GPU, 얼굴검출 Abstract With the advent of the era of digital big data, the Hadoop platform has become widely used in various fields. However, the Hadoop MapReduce framework suffers from problems related to the increase of the name node s main memory and map tasks for the processing of large number of small files. In addition, a method for running C++-based tasks in the MapReduce framework is required in order to conjugate GPUs supporting hardware-based data parallelism in the MapReduce framework. Therefore, in this paper, we present a face detection system that generates a sequence file for images to process big data for images in the Hadoop platform. The system also deals with tasks for GPU-based face detection in the MapReduce framework using Hadoop Pipes. We demonstrate a performance increase of around 6.8-fold as compared to a single CPU process. Keywords: big data, hadoop, GPU, face detection 연구는 2015년도정부 ( 미래창조과학부 ) 의재원으로정보통신기술진흥센터의지원을받아수행한연구임. [No. B0101-15-0266, 실시간대규모영상데이터이해 예측을위한고성능비주얼디스커버리플랫폼개발 ] 이논문은 2015 한국컴퓨터종합학술대회에서 대규모이미지빅데이터를고려한하둡플랫폼환경에서 GPU 기반의얼굴검출시스템설계및구현 의제목으로발표된논문을확장한것임 정회원 : 한국전자통신연구원분석소프트웨어연구실 (ETRI) baeys@etri.re.kr (Corresponding author 임 ) jongyoul@etri.re.kr 논문접수 : 2015년 9월 4일 (Received 4 September 2015) 논문수정 : 2015년 11월 2일 (Revised 2 November 2015) 심사완료 : 2015년 11월 12일 (Accepted 12 November 2015) CopyrightC2016 한국정보과학회 ː 개인목적이나교육목적인경우, 이저작물 의전체또는일부에대한복사본혹은디지털사본의제작을허가합니다. 이때, 사본은상업적수단으로사용할수없으며첫페이지에본문구와출처를반드시 명시해야합니다. 이외의목적으로복제, 배포, 출판, 전송등모든유형의사용행위 를하는경우에대하여는사전에허가를얻고비용을지불해야합니다. 정보과학회컴퓨팅의실제논문지제22권제1호 (2016. 1)
이미지빅데이터를고려한하둡플랫폼환경에서 GPU 기반의얼굴검출시스템 21 1. 서론최근들어다양한분야에서디지털데이터가기하급수적으로증가하는빅데이터시대가도래하고있다. IDC 보고서 [1] 에따르면, 디지털정보중 95% 이상이디지털이미지, 보이스패킷, 음악, 문서등의비정형데이터가차지하고있으며, 2020년에는디지털정보양이 40조기가바이트에이를것으로예측하고있다. 특히, 이미지, 비디오, 오디오와같은멀티미디어데이터는인터넷트래픽의 60%, 모바일폰트래픽의 70%, 이용가능한비정형데이터의 70% 이상을차지하고있을정도로급증하고있으며, 웹사용자는분당 72 시간분량의비디오를유투브에업로드하고있고, 소셜미디어사용자는평균적으로하루에 3억개이상의사진을페이스북에포스팅하고있다 [2]. 따라서, 본논문에서는대규모이미지빅데이터를고려하여하둡기반의분산플랫폼환경에서 GPU를활용하여얼굴검출을효율적으로분산병렬처리하는얼굴검출시스템의구조를제시한다. 본논문은총 5절로구성되어있으며, 2절에서는하둡분산플랫폼환경에서 GPU를활용한얼굴검출을수행하기위한문제점과해결방안을포함한관련연구동향을간략히살펴본다. 3절에서는하둡분산플랫폼환경에서 GPU를이용하여얼굴검출을분산병렬처리하는얼굴검출시스템의구조에관해기술한다. 4절에서는얼굴검출시연환경과구현결과를제시하고, 5절에서결론을맺고향후연구방향을제시한다. 2. 관련연구하둡플랫폼은대규모데이터를처리하기위해맵리듀스방식의분산병렬처리, 고장감내성, 확장성등다양한장점을제공하지만, 대량의작은파일들을처리하는데있어서네임노드의메모리증가와파일당태스크수가비례해서증가하는문제점을안고있다. 이러한작은파일처리의문제를효과적으로해결하기위해하둡플랫폼에서는 SequenceFile이나 MapFile 등다양한솔루션이제시되고있다 [3]. 또한, 하둡플랫폼은하둡스트리밍 (Hadoop Streaming) 이나하둡파이프 (Hadoop Pipes) 를통해다른프로그래밍언어로구현된맵리듀스태스크를하둡플랫폼에연동하여수행할수있는환경을제공한다 [4]. CPU-GPU 하이브리드맵태스크스케줄링방식 [5] 은 CPU와 GPU 기반의이종클러스터환경에서하둡파이프를이용하여 GPU 맵태스크를연동하고태스크스케줄러에서 CPU 맵태스크와 GPU 맵태스크의수행시간을동적으로모니터링하여수집된성능프로파일정보를사용하여 CPU와 GPU의가 속요인을결정하며, 전체적인맵리듀스수행시간이최소화될수있도록전체맵태스크를 CPU와 GPU 프로세서에분산할당하여처리하는방식을제시하고있다. 하지만, 하둡플랫폼에서 GPU 맵태스크를처리하기위하여하둡플랫폼내부에포함된태스크스케줄러를수정해서처리하고있어서하둡플랫폼호환성에문제점을갖고있다. HadoopCL[6] 은 Hadoop과 OpenCL을연동하여이종플랫폼상에서맵리듀스태스크를수행하기위한구조를제시하고있지만자바바이트코드를 OpenCL 커널코드를변환해주는 APARAPI[7] 에종속되어제한된언어로프로그래밍해야하는단점을갖고있다. Mars[8] 는하둡스트리밍을이용하여 GPU 기반으로맵리듀스태스크를가속화하여향상된성능결과를제시하고있지만단일노드로제한되어확장성에한계를갖고있다. OpenCV (Open Source Computer Vision Library) 의경우얼굴검출을위해서사용될수있는 CPU 및 GPU 기반의 Haar 특징을이용한계층분류기 (Cascade Classifier) 를제공한다 [9]. 특히, Haar 계층분류기 [10] 는픽셀이아니라 Haar 유사특징을기반으로 AdaBoost분류방식을사용하여이미지내에서사람의얼굴을포함하여고속으로객체를검출한다. 따라서, 본논문에서는이미지빅데이터를대상으로얼굴검출을고속으로처리하기위하여하둡플랫폼환경에서이미지데이터를결합한시퀀스파일을생성하고, 시퀀스파일을입력으로 GPU를이용한얼굴검출태스크를맵리듀스방식으로처리하는효율적인분산병렬처리환경과확장성이뛰어난얼굴검출시스템구조를제시한다. 3. 하둡플랫폼환경에서 GPU 를이용한얼굴검출시스템구조 본논문에서제시하는하둡플랫폼환경에서 GPU를이용한얼굴검출시스템은맵리듀스프레임워크와 GPU 를결합하여대규모이미지데이터를분산병렬처리하여고속으로얼굴을검출하는것을목표로한다. 그림 1은하둡플랫폼환경에서 GPU를이용한얼굴검출시스템의구조를보여준다. 우선, 하둡플랫폼에서이미지파일들을각각하나의맵리듀스태스크로처리하면네임노드메모리와맵태스크가급격히증가하는문제가발생함으로, 이를해결하기위해서이미지파일들을하나의시퀀스파일로묶는과정을수행한다. 시퀀스파일은 (key, value) = ( 이미지파일이름, 이미지데이터 ) 의형태로묶음저장되며, 시퀀스파일을입력으로얼굴검출맵리듀스태스크가동작한다.
22 정보과학회컴퓨팅의실제논문지제 22 권제 1 호 (2016. 1) 그림 1 얼굴검출시스템구조 Fig. 1 Architecture of face detection system 표 1은이미지파일들을묶어서하나의시퀀스파일을생성하는알고리즘을보여준다. 우선, SequenceFile 생성을위해필요한주요클래스를 import하고시퀀스파일을저장하기위한 writer 생성자를만든다. 또한, 디렉토리에포함된이미지파일들에대하여이미지파일이름을 Text 타입의키로생성하고, 이미지데이터를바이트배열로변환한후 Bytes- Writable 타입의밸류로변환하여생성된키와밸류를시퀀스파일에추가하는과정을반복한다. 모든이미지파일처리를끝낸후 writer를위한스트림을클로즈하여시퀀스파일생성과정을종료한다. 또한, 맵리듀스프레임워크에서일반적인맵리듀스태스크는자바언어로구현되어동작하지만, 본연구에서는 OpenCV를이용한얼굴검출기능을사용하기위하여하둡파이프를이용하여 C/C++ 언어를기반으로맵리듀스태스크를구현하여하둡플랫폼에연동한다. 표 1 시퀀스파일생성알고리즘 Table 1 Algorithm for generating a SequenceFile Algorithm 1 generatesequencefile ( ) 1. import org.apache.hadoop.io.sequencefile; 2. import org.apache.hadoop.io.ioutils; 3. import org.apache.hadoop.io.text; 4. import org.apache.hadoop.io.byteswritable; 5. Create a writer for SequenceFile 6. Get filelists from the image directory 7. while (afile exists in the filelists) { 8. Create a key with the file name of afile 9. Create a value with the content of afile 10. Append (key, value) to the writer 11. 12. Close the stream of the writer 표 2는얼굴검출시스템에서하둡파이프를이용한맵리듀스프로그램구조를보여준다. 얼굴검출맵태스크를수행하기위한매퍼클래스와얼굴검출리듀스태스크를수행하기위한리듀서클래스를구현하며, 메인함수에서는얼굴검출맵태스크와리듀스태스크를수행하도록호출한다. 표 3은얼굴검출을위한맵태스크의동작알고리즘을보여준다. 우선, 맵태스크에서는 MapContext로부터이미지이름과이미지데이터를키와밸류로전달받아이미지를디코딩하며, 칼라이미지를그레이이미지로변환한다. GPU 기반의얼굴검출을위하여 CUDA 기반의 GPU 디바이스가사용가능한지를검사하고 CascadeClassifier_ GPU를이용하여 Haar 특징기반의얼굴검출데이터베이스파일을로드한다. 호스트디바이스에서변환된그레이이미지를 GPU 디바이스에업로드하고, detectmultiscale() 함수를호출하여 GPU에서다양한크기의얼굴을검출한다. 얼굴검출이완료되면, GPU 디바이스의결과데이터를호스트디바이스의메모리로다운로드한다. 다운로드된데이터를바탕으로얼굴검출결과에대한메타데이터정보는 XML 파일로저장하고얼굴검출영역은바운딩박스를표시하여이미지파일로저장한다. 메타데이터정보는객체의종류, 얼굴검출좌표에대한리스트로구성된다. 마지막으로맵태스크에서는 emit() 함수를호출하여얼굴검출수행시간을리듀스태스크로전달하며, 리듀스태스크에서는수행시간을출력한다. 표 4는맵리듀스태스크의수행결과를열람하기위한뷰어의동작알고리즘을보여준다. 뷰어는얼굴검출결과이미지와메타데이터를검증
이미지빅데이터를고려한하둡플랫폼환경에서 GPU 기반의얼굴검출시스템 23 표 2 하둡파이프프로그램구조 Table 2 Program structure for Hadoop Pipes #include "hadoop/pipes.hh" #include "hadoop/templatefactory.hh" class FaceDetectMapper: public HadoopPipes::Mapper { public: // constructor FaceDetectMapper(HadoopPipes::TaskContext& context) { // map task void map(hadooppipes::mapcontext& context) { ; class FaceDetectReducer: public HadoopPipes::Reducer { public: // constructor FaceDetectReducer(HadoopPipes::TaskContext& context) { // reduce task void reduce(hadooppipes::reducecontext& context) { ; int main(int argc, char *argv[]) { return HadoopPipes::runTask( HadoopPipes::TemplateFactory<FaceDetectMapper, FaceDetectReducer>()); 하기위한용도로, 하둡분산파일시스템에접속하여무작위순서로이미지파일과메타데이터파일을읽어들여검출된얼굴객체에대하여바운딩박스가표시된이미지데이터를렌더링하며, XML 문서를파싱하여메타데이터정보를출력한다. 4. 시연환경및구현결과 그림 2는하둡플랫폼환경에서 GPU 기반의얼굴검출을분산병렬로처리하기위한시연환경구성도를보여준다. 하둡플랫폼은 1.2.1 버전을사용하여, 1대의네임노드와 3대의데이터노드로하둡기반분산플랫폼환경을구성하였으며, 각데이터노드는 10개의코어를내장한 3GHz 인텔제온 CPU 2개, 2,688개의 GPU 코어를내장한엔비디아테슬라 K20X 그래픽카드 1개, 128GB 의메인메모리를탑재하였다. 하둡분산파일시스템에저장하는데이터블록크기는 64MB, 하이퍼쓰레딩을사용하여노드당맵태스크의개수는 25개, 리듀스태스크수는 5개로설정하였다. 표 3 맵태스크알고리즘 Table 3 Algorithm of map task Algorithm 2 map() 1. Read (key, value) = (image filename, image data) from SequenceFile 2. Read image data from value using imdecode() 3. Convert color image to gray image using cvtcolor() 4. Detect if CUDA device is available 5. Load the Haar s pre-trained face classifier using CascadeClassifier_GPU::load() 6. Upload gray image to GPU memory 7. Detect multiple face objects of different sizes in the GPU memory using detectmultiscale() 8. Download data from GPU memory to host memory 9. Make metadata about face objects and write the metadata to HDFS 10. Draw bounding box about face objects and write the image to HDFS 11. Emit (key, value) = (filename, execution time) 표 4 뷰어알고리즘 Table 4 Algorithm of viewer Algorithm 3 viewer() 1. Connect to the HDFS using hdfsconnect() 2. do { 3. Get list and count of files for a given directory-path using hdfslistdirectory() 4. Select a random index among the file count 5. Open image file and metadata file of index using hdfsopenfile() 6. Get the size of files using hdfsavailable() 7. Read data from open files using hdfsread() 8. Read image from data using imdecode() 9. Display image and metadata using imshow() 10. while (waitkey()) 11. Free up the information of files using hdfsfreefileinfo() 12. Disconnect from the HDFS using hdfsdisconnect() 데이터통신을위해멜라녹스 FDR (Fourteen Data Rate) 56Gbps의인피니밴드로연결하고하둡플랫폼에서 IPoIB(IP over InfiniBand) 를기반으로고속통신하도록설정하였다. 그리고, GPU를활용한 Haar 특징기반의얼굴검출을위해서 CUDA(Compute Unified Device Architecture) 기반의계층분류기를지원하는 OpenCV 2.4.10 버전을사용하였다. 또한, 하둡플랫폼환경에서 GPU 기반의얼굴검출시험검증을위해얼굴을포함하는 10,000장의웹이미지를테스트입력데이터로사용하였다. 그림 3은하둡플랫폼환경에서 GPU 기반의얼굴검출수행결과를보여준다.
24 정보과학회컴퓨팅의실제논문지제 22 권제 1 호 (2016. 1) 그림 2 얼굴검출시연환경 Fig. 2 Test-bed for face detection 수행결과화면에서는하둡맵리듀스실행로그, 잡트래커의태스크모니터링, 얼굴검출결과이미지와메타데이터정보를보여준다. 그림 4는 10,000장의이미지를대상으로단일 CPU 프로세스를이용한얼굴검출수행시간과하둡플랫폼에서노드를확장하면서 GPU 기반의얼굴검출수행시간을비교한그래프를보여준다. 개별이미지를대상으로 CPU 대비 GPU를이용한얼굴검출수행시간을 측정한결과 2~6배정도의시간단축효과가있었으며, 단일 CPU 프로세스대비하둡플랫폼에서 75개의맵태스크로 GPU를이용한얼굴검출은약 6.8배의성능향상을보여준다. 하지만, 호스트메모리에서 GPU 메모리로이미지데이터를업로드하고얼굴검출을수행한결과를다시호스트메모리로다운로드하는데이터전송오버헤드로인해전체적인성능향상은기대치와다르게조금낮게나타나고있다. 그림 3 얼굴검출결과화면 Fig. 3 Result screenshot of face detection
이미지빅데이터를고려한하둡플랫폼환경에서 GPU 기반의얼굴검출시스템 25 그림 4 얼굴검출수행시간 Fig. 4 Execution time of face detection 5. 결론및향후연구 본논문에서는이미지빅데이터를분산병렬로처리하기위한프로토타입으로, 하둡플랫폼환경에서 C++ 언어로구현된 GPU 기반의얼굴검출태스크를하둡파이프를이용하여맵리듀스방식으로처리하는얼굴검출시스템을제시하였으며, GPU를이용하여분산병렬처리함으로써전체적으로약 6.8배의성능향상을보여주었다. 향후연구로는실제대규모이미지빅데이터를처리하기위하여노드수확장에따른하둡플랫폼최적화, CPU와 GPU 사이의데이터전송오버헤드최소화, 멀티 GPU를이용한분산병렬처리성능향상연구및얼굴뿐만아니라다양한객체를인식하기위한추가적인연구를추진할예정이다. References [1] J. F. Gantz and D. Reinsel, "THE DIGITAL UNIVERSE IN 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East," IDC IVIEW, Dec. 2012. [2] J. R. Smith and L. Cao, "Massive-Scale Multimedia Semantic Modeling," 21st ACM International Conference on Multimedia, pp. 1113-1114, Oct. 2013. [3] B. Dong, et al., "An optimized approach for storing and accessing small files on cloud storage," Journal of Network and Computer Applications, Vol. 35, No. 6, pp. 1847-1862, 2012. [4] J. Zhu, et al., "Embedding GPU Computation in Hadoop," International Journal of Networked and Distributed Computing, Vol. 2, No. 4, pp. 211-220, Oct. 2014. [5] K. Shirahata, H. Sato, and S. Matsuoka, "Hybrid map task scheduling for GPU-based heterogeneous clusters," 2010 IEEE 2nd International Conference on Cloud Computing Technology and Science (Cloud- Com), 2010. [6] M. Grossman, M. Breternitz, and V. Sarkar, "HadoopCL: MapReduce on Distributed Heterogeneous Platforms through Seamless Integration of Hadoop and OpenCL," 2013 IEEE 27th International Symposium on Parallel and Distributed Processing Workshops & PhD Forum (IPDPSW), pp. 1918-1927, 2013. [7] G. Frost, "Aparapi in AMD Developer Central," http://developer.amd.com/tools-and-sdks/opencl-zo ne/aparapi. [8] W. Fang, B. He, Q. Luo, and N. K. Govindaraju, "Mars: Accelerating MapReduce with Graphics Processors," IEEE Transactions on Parallel and Distributed Systems, Vol. 22, No. 4, pp. 608-620, 2011. [9] P. I. Wilson and J. Fernandez, "Facial feature detection using Haar classifiers," Journal of Computing Sciences in Colleges, Vol. 21, No. 4 pp. 127-133, 2006. [10] P. Viola and M. Jones, "Rapid object detection using boosted cascade of simple features," Proc. of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001), Vol. 1, pp. I-511-I-518, 2001. 배유석 1995 년경북대학교전산학과 ( 학사 ). 1997 년경북대학교컴퓨터과학과 ( 석사 ). 2011 년경북대학교컴퓨터과학과 ( 박사 ). 1996 년 ~1997 년시스템공학연구소연구원. 1998 년 ~ 현재한국전자통신연구원분석소프트웨어연구실책임연구원. 관심분야는빅데이터플랫폼, 빅데이터분석, 시각지능, 분산병렬시스템, 유비쿼터스컴퓨팅 박종열 1996년충남대학교컴퓨터공학과 ( 학사 ) 1996년~1997년데이콤중앙연구소연구원 1999년광주과학기술원정보통신공학과 ( 석사 ). 2004년광주과학기술원정보통신공학과 ( 박사 ). 2001년~2002년 University of Utah 초빙연구원. 2004년~현재한국전자통신연구원분석소프트웨어연구실실장. 2005년~2007 년 UST 컴퓨터소프트웨어및공학겸임교수. 2011년~현재충남대학교컴퓨터공학과겸임교수. 2014년~현재 UST 컴퓨터소프트웨어및공학겸임교수. 관심분야는빅데이터플랫폼, 빅데이터분석 SW, 시각빅데이터, 시각지능, 비정형데이터분석