주간기술동향 2018. 9. 26. 메모리중심컴퓨팅기술동향 * 권원옥, 오명훈한국전자통신연구원책임연구원 I. 서론 지난 70년간컴퓨터는 CPU(Central Processing Unit) 와메모리를사용하여컴퓨터를구동하는폰노이만 (Von Neumann) 구조를사용하고있다. CPU의성능향상을위해트랜지스터의집적도증가와컴퓨팅능력을향상시켜소위 처리중심 (processing-centric) 컴퓨팅 에집중하였다. 그러나큰데이터애플리케이션에서메모리계층구조간에데이터를전송하는데드는비용이더욱커지고, 순차적으로정보를처리함으로고속병렬처리에는부적합한폰노이만병목 (Von- Neumann Bottleneck) 문제가대두되었다 [1]. 더이상 CPU 속도또는 CPU 코어수증가가전체시스템성능을향상시키지않게되었다. CPU가원격서버혹은스토리지 (SSD/HDD) 데이터를처리할경우, 메모리의데이터처리에비해수백 ~ 수천배이상느려진다. 이러한폰노이만병목현상을해결하기위해 데이터중심 (data-centric) 컴퓨팅 아키텍처가제안되었다 [2]-[3]. 대용량데이터의고속처리를위해데이터처리성능및용량한계극복을위한테이터중심컴퓨팅을 메모리중심컴퓨팅 (Memory driven computing) 이라정의한다. IDC의자료에의하면 2025년생성데이터는 163 제타바이트 (ZB=10 21 B) 로 2016년의 10배수준으로증가하며, 그중 5.2 제타바이트는데이터분석이요구될것으로예측된다 [4]. 따라서차세대메모리중심컴퓨팅기술개발이반드시필요하게되었다. 메모리중심컴퓨팅시스템기술개발을위해글로벌시스템업체들은 2016년 Gen-Z 컨소시움을결성하였으며, 2018년메모리자원의통합패브릭연결망, Gen-Z 규격 1.0을발표하고관련기술확보에주력중이다. HPE는 2017년세계최초로메모리중심컴퓨터프로토타입 The Machine 을공개하였다. * 본내용은권원옥책임 ( 042-860-1767, happy@etri.re.kr) 에게문의하시기바랍니다. ** 본내용은필자의주관적인의견이며 IITP 의공식적인입장이아님을밝힙니다. *** 본고는 2018 년도정부 ( 과학기술정보통신부 ) 의재원으로정보통신기술진흥센터의지원을받아수행된연구임 (No.2018-0-00503, 메모리중심차세대컴퓨팅시스템구조연구 ) 14 www.iitp.kr
ICT 신기술 본고 2 장에는메모리중심컴퓨팅의출현배경과특징을다루며, 3 장에서는 HPE 사의 The Machine 을, 4 장에서는메모리패브릭프로토콜인 Gen-Z 의특징에대해서살펴보고, 끝으로 5 장 에서는결론및시사점을제시한다. II. 메모리중심컴퓨팅 1. CPU 코어당메모리용량한계 [ 그림 1] 의좌측그래프는 2012~2019년간 CPU의코어, CPU 핀, DDR 채널, PCIe 레인의변화를정규화시킨그래프이다 [5]. 지난 8년간 CPU 코어의개수가 8배증가하는동안 DDR 채널과 PCIe 레인의수는 2배만증가하였다. 따라서 [ 그림 1] 의우측그래프와같이 CPU 코어당메모리와 I/O의대역폭은계속감소하고있다. 2012년에비해서 2019년의코어당메모리대역폭은 1/2, I/O 대역폭은 1/5에불과하다. 즉, CPU와메모리, I/O의불균형이계속해서증가하고있다. [ 그림 1] CPU 코어, DDR 채널, PCIe 레인수의변화 2. SCM 메모리의발전 [ 그림 2] 는메모리와스토리지의계층을나타내고있다. 기존의시스템은휘발성, 바이트 (Byte) 접근가능한 DRAM 메모리와비휘발성, 블록스토리지의 SSD 혹은 HDD 의구조였다. DRAM 에 정보통신기술진흥센터 15
주간기술동향 2018. 9. 26. [ 그림 2] 메모리와스토리지의계층 비해 SSD/HDD는접근속도가수천 ~ 수만배느리다. 그러나플래시메모리의비휘발성특성과 DRAM의특징인고속데이터쓰기 / 읽기지원이가능하며 Byte 단위접근이가능한 SCM(Storage Class Memory) 장치들이확대되고있다. SCM 메모리로 ReRAM, PRAM, STT-MRAM 등이존재하고이들은 DRAM 보다쓰기 / 읽기의지연시간이 2~10배정도이며비휘발성특성을가지고있다. 앞으로 SCM 소재의발전과더불어기존의메모리와스토리지를통합한새로운컴퓨터하드웨어및소프트웨어기술이발전될것으로예상된다. 궁극적으로 [ 그림 2] 와같이오프칩 DRAM은사라지며, SCM 메모리가주류로사용될것으로예상된다. 3. 메모리중심컴퓨팅 [ 그림 3] 은기존프로세서중심컴퓨팅구조와 SCM 메모리풀을사용한메모리중심컴퓨팅의개념도를비교해서나타내고있다 [6]. 기존컴퓨팅은각각의서버에메모리를가지며다른서버의메모리를접근하기위해서는반드시네트워크를통해야만가능하다. 그러나메모리중심컴퓨팅구조에서는엄청난 SCM 메모리풀을다수의서버가공유하는구조를보여준다. 이를통해기존의 CPU들의비효율적인메모리접근문제가해결되며, 스케일아웃 (scale-out) 이용이한시스템을구성할수있다. 16 www.iitp.kr
ICT 신기술 < 자료 > c HPE [ 그림 3] 프로세서중심컴퓨팅 ( 좌 ) vs. 메모리중심컴퓨팅 ( 우 ) 개념도 메모리중심컴퓨팅을위해서는크게다음과같은세기술이필요하다. 즉, ➀ SCM 하드웨어개발, ➁ 메모리패브릭네트워크프로토콜및하드웨어개발, ➂ 메모리중심컴퓨팅 OS 및소프트웨어개발이필요하다. SCM 디바이스는삼성, SK하이닉스, 마이크론, 인텔등다수의기업들이제품을개발중이며, 일부제품이출시중이다. 메모리패브릭네트워크프로토콜의경우다수의컴퓨터업체들이컨소시움을형성하여 Gen-Z, OpenCAPI, CCIX 프로토콜을개발중이며, 그중 Gen-Z 프로토콜이가장유력한프로토콜로부상하고있다 [7]. 컴퓨팅 OS 및소프트웨어는 HPE사의경우 The Machine 프로젝터를통해메모리중심컴퓨팅을위한리눅스커널수정및애플리케이션개발이이루어지고있다. 정보통신기술진흥센터 17
주간기술동향 2018. 9. 26. III. HPE The Machine 2014년부터 HPE사는 The Machine 프로젝트를통해메모리중심컴퓨팅을연구중이다. [ 그림 4] 는 HPE가 2017년에공개한 The Machine 의프로토타입 (prototype) 보드이다. 보드에는하나의 CPU 노드와 4TB 메모리풀, 패브릭메모리제어기, 메모리패브릭스위치가존재한다. HPE가공개한전체시스템은 [ 그림 4] 의보드 40개를실리콘포토닉 (Silicon photonics) 패브릭링크로연결하여구성하였다. 따라서전체시스템은최대 4TB 40노드, 총 160TB 공유메모리풀을가지고있다. 노드에사용된 CPU는 ARM 기반의 Cavium ThunderX2 SoCs(32-core ARM CPU) 가사용되었으며로컬메모리로 256GB DDR4 메모리를사용하였다. 또한, 메모리풀에사용된메모리는 SCM 디바이스가아닌 DDR4 혹은플래시디바이스가사용되었다. 보드내부에는메모리패브릭스위치가있어노드와메모리풀의연결은물론다른노드의메모리풀의접근을위한패브릭연결을지원한다. 패브릭연결을위해서 X1 실리콘포토닉모듈을사용하여링크연결을지원하고있다. OS는리눅스기반의 OS를사용하였으며, Persistent 메모리를지원하기위한소프트웨어프로그램툴도제공하고있다. HPE는 The Machine 의프로토타입이대규모인메모리 (In-memory) 분석, 대규모그래픽인터페이스분석, 유사성검색, 금융모델등의애플리케이션에적합하다고밝혔다. < 자료 > c HPE [ 그림 4] HPE The Machine 프로토타입보드 HPE의 The Machine 의정확한인터페이스, 프로토콜등은공개되지않았다. [ 그림 5] 에 The Machine 프로토타입보드의추정된블록도를나타내었다. HPE는메모리풀에멤리스터 (Memristor) SCM을사용할예정이었으나, 미완의멤리스터대신기존의 DDR4 혹은플래시메모리를사용한것으로추정된다. 보드외부메모리패브릭연결망은 100Gbps급실리콘포토닉기술을사용하여구현하였으며, 메모리프로토콜은 HPE 독자프로토콜혹은 Gen-Z 프로토콜을사용한것으로추정 18 www.iitp.kr
ICT 신기술 < 자료 > ETRI [ 그림 5] HPE The Machine 프로토타입보드블록도된다. 사용한운영체제는리눅스 OS를수정하였으며, 카본 (Carbon) 이라는신형운영체제가탑재되었다. 노드 CPU는 HPE와인텔의협업이원활하지못해 ARM 계열의 ThunderX2가사용된것으로추정된다. CPU가메모리풀에접근하기위해서는 CPU의메모리관리유닛 (MMU) 의변경이필요하며따라서 CPU사의협업이반드시필요하다. CPU와메모리패브릭스위치의연결은 PCIe 같은 I/O 버스로연결할경우대역폭이부족하여시스템버스로연결되었을것으로추정된다. Cavium ThunderX2 경우 CCPI2(Cavium Coherent Processor Interconnect) 시스템버스가사용되며최대 480Gbs 대역폭을가진다. 메모리풀은 1TB 당하나의패브릭연결메모리컨트롤러 (FPGA2) 가장착되어있으며총 4개의컨트롤러가있어보드내부에메모리풀은최대 4TB의용량을가진다. 패브릭연결메모리컨트롤러 (FPGA2) 의역할은노드 CPU가요청하는데이터작업을메모리에전달하는역할이다. 즉, Gen-Z 프로토콜을 DDR4 메모리혹은플래시메모리프로토콜로전환하는역할을담당한다. 메모리패브릭스위치 (FPGA1) 는 4개의패브릭연결메모리컨트롤러와하나의 CPU, 2개의패브릭네트워크, 총 7개의인터페이스를지원하며, Gen-Z 프로토콜스위치역할을수행한다. 현재 The Machine 은 HPE에서계속해서개발중에있으나멤리스터개발지연, Intel CPU와의협업, 애플리케이션개발등의많은문제들이존재하여상용화에는상당한시간이소요될것으로추정된다. 정보통신기술진흥센터 19
주간기술동향 2018. 9. 26. IV. Gen-Z 프로토콜 본장에서는메모리중심컴퓨팅에서가장유력한 Gen-Z 프로토콜에관해서살펴본다. 2016년 Gen-Z 연결망개발을위해 Gen-Z 컨소시움이설립되었으며, 2018년 8월현재 AMD, ARM, IBM, IDT, Dell, HPE, Samsung, SK Hynix, Xilinx, ETRI 등 50개이상의세계유수의서버업체와반도체업체들이멤버로가입되어있다. Gen-Z 연결망은컴퓨팅자원, 메모리자원, 가속기자원등을유연하게연동시키고이들가운데에대용량공유메모리풀을구현하기위한메모리중심컴퓨팅구조를지향하는기술이다. 메모리풀은 DRAM과 SCM 등을혼합하여구성하고 Gen-Z 연결망내각디바이스들이각메모리미디어를독립적으로접근가능한애플리케이션과시멘틱 (Semantic) 통신을제공한다. [ 그림 6] Gen-Z 패브릭구조 [ 그림 6] 은 Gen-Z 연결망의구조를나타내고있다. 컴퓨터노드와가속기노드 (GPU, FPGA) 들은 Gen-Z 연결망을통해대용량메모리풀에접근할수있고다양한입출력장치역시 Gen-Z 연결망을통해접근이가능하다. 또한, Gen-Z는메모리시멘틱프로토콜을사용함으로기존스토리지스택에비해서낮은지연시간 (Low-latency) 의접근이가능하다. Gen-Z 프로토콜을사용하면 CPU의 ISA 명령어인 Load, Store, Atomic 동작들로통신이가능하여기존의스토리지, 네트워크의블록접근기반의복잡하고, 높은소프트웨어스택들이모두사라지게된다. [ 그림 7] 은 Gen-Z 패브릭토폴로지구성을나타내고있다. 단일마더보드에서새시, 랙스케일, 20 www.iitp.kr
ICT 신기술 [ 그림 7] Gen-Z 패브릭토폴로지구성클러스터스케일에이르기까지다양하고유연한토폴로지구성이가능하다. Gen-Z의물리계층은 IEEE 802.3 표준을사용하며, 일대일 (point-to-point), 데이지체인 (daisy-chain), 스위치같이다양한토폴로지를제공한다. 특히, Gen-Z의서브넷은 2개부터최대 4,096개의장치연결이가능한어드레싱을지원하고있다. 유연한네트워크구조및다양한기능을제공하기위해 Gen-Z는수신단과송신단의레인설정이대칭, 비대칭두가지모두사용가능하다. Gen-Z는최대 256 레인을지원하고 PAM4(Pulse Amplitude Modulation) 를사용할경우최대 112GT/s의대역폭, NRZ(Non-Return to Zero) 를사용할경우최대 28GT/s의대역폭을지원한다 [8]. 뿐만아니라 [ 그림 8] Gen-Z 소프트웨어스택 정보통신기술진흥센터 21
주간기술동향 2018. 9. 26. 다중링크, 다중경로지원과링크당 32개의가상채널 (VC) 이지원되어높은대역폭과다양한라우팅이지원된다. 다중경로사용시데이터의손실을막으면서각디바이스의데이터접근경로가탄력적으로변경가능하여연결망내부트래픽제어가용이해진다. [ 그림 8] 은 Gen-Z 소프트웨어스택을나타내고있다. 블록스토리지의경우 Gen-Z NVMz 블록드라이버를통해 NVMe 드라이버와동일접근을수행할수있다. DRAM의경우기존의 DRAM과동일하게동작하며, SCM 디바이스의경우 Gen-Z SCM driver와 Persistent Memory File system을통해애플리케이션과통신하게된다. Ethernet의경우 Emulated NIC(eNIC) 드라이버를통해기존의이더넷스택을지원한다. 또한, 저지연, 고성능통신을위해 OFI/Libfabric 소프트웨어를통해 HPC 스택을지원한다. [ 표 1] 은 Gen-Z 프로토콜의특징을기능별로요약하여나타내었다. [ 표 1] Gen-Z 프로토콜의특징 구분물리계층지원토폴로지지원링크 / 레인대역폭확장성 특징 IEEE 802.3 Short and Long Haul PHY Point-to-Point, Daisy-Chain, Switched Symmetric and Asymmetric Interface and Link 지원 / 최대 256 lanes Unidirectional, 16, 25, 28(NRZ), 56, 112(PAM4) GT/s 2 44 /2 66 addressable resources, 1~4096 component, 2~2 12 subnet V. 결론및시사점 본고를통해메모리중심컴퓨팅의필요성과특징, 필요기술을살펴보았다. 또한, 메모리중심컴퓨팅을가장먼저구현하여프로토타입을공개한 HPE의 The Machine 의하드웨어구조에대해서개략적으로살펴보았다. 마지막으로메모리중심컴퓨팅프로토콜로 Gen-Z 프로토콜의특징에대해서살펴보았다. SCM 디바이스의성능과가격, 서버 CPU 시장을장악한 Intel CPU의 Gen-Z 지원문제, 대규모 SCM 풀을효율적으로사용할 OS 및애플리케이션의개발등프로세서중심컴퓨팅에서메모리중심컴퓨팅으로의전환에해결해야될문제는많다. 2018년부터국내에서도메모리업체뿐아니라 ETRI에서메모리중심컴퓨팅을위한컴퓨터구조와프로토콜연구를시작하고있다. 미래의컴퓨팅분야에서앞서나가기위해메모리중심컴퓨팅에관한연구와지원이필요한때이다. 22 www.iitp.kr
ICT 신기술 [ 참고문헌 ] [1] Ken Takeuchi, Memory system architecture for the data centric computing, Chuo University, Bunkyo, Tokyo 112-8551, Japan, February 2016. [2] C. Keable, Data Centric Deep Computing(DC2), http://www2.epcc.ed.ac.uk/downloads/lectures/crispinkeable.pdf [3] The Machine: The Future of Computing, http://www.hpl.hp.com/ [4] Data Age 2025: The Evolution of Data to Life-Critical, IDC White paper, April 2017. [5] Michael krause, HPE Fellow, Gen-Z: Communicatin at the speed of memory, Supercomputing 2017. [6] HPE, The Machine, The future of technology [7] Brad Benton, CCIX, Gen-Z, OpenCAPI overview and comparison, AMD, March 2017. [8] Gen-Z Core Specification, ver.1.0, 2018. 정보통신기술진흥센터 23