Microsoft Word - 권원옥

Size: px

Start display at page:

Download "Microsoft Word - 권원옥"

자경 독고
5 years ago
Views:

1 포커스 포커스 페이스북오픈프로젝트기술동향 권원옥 * 김학영 ** 2011년페이스북 (Facebook) 의주도하에출범한 OCP(Open Computer Project) 는협업을통하여데이터센터하드웨어기술을발전시켜손쉽게기업들이기술을채용할수있도록한다. OCP는데이터센터내의다양한하드웨어기술, 예를들어데이터센터전력전송, 무정전전원공급장치, 랙, 서버, 서버전원공급장치, 메인보드, 냉각, 공조등의기술공유를통해업그레이드하여다양한노하우를개방하고있다. 본고는페이스북이주도한 OCP의주요기술과특징에대해서정리한다. I. 서론 Ⅰ. 서론 Ⅱ. 데이터센터하드웨어기술 Ⅲ. 전력효율및효과 Ⅳ. 결론 * ETRI 서버플랫폼연구팀 / 선임연구원 ** ETRI 서버플랫폼연구팀 / 팀장 본연구는지식경제부및한국산업기술평가관리원의 IT 산업원천기술개발사업의일환으로수행하였음. [ , 유전체분석용슈퍼컴퓨팅시스템개발 ] 오픈소스 (Open Source) 프로젝트와유사한방법으로오픈하드웨어를개발하는것이가능할까? 페이스북은데이터센터하드웨어설계기술공유프로젝트인오픈컴퓨터프로젝터 (Open Compute Project: OCP) 를주도하고있다. 구글이폐쇄적인데이터센터하드웨어구조를구축하는것과대조적으로, 페이스북은 OCP 를통해적은비용으로높은전력효율을가진데이터센터관리에대한기술을공유하고, 습득된노하우를적용하는개방형하드웨어전략을펼치고있다 [1]. 페이스북은 2011 년 4 월 OCP 를통해 정보통신산업진흥원 1

2 주간기술동향 공개한새로운서버, 전원공급장치 (PSU), 무정전전원공급장치 (UPS), 냉각기술, 전력분배기술을사용한데이터센터를오리곤주 Prineville 에건설하였으며언론을통해자세한기술을공개하였다 [2]. 이데이터센터의에너지효율은기존대비 38% 향상되었으며, 데이터센터를구축하는단위비용도 24% 감소했다고한다. 현재 OCP 에는아수스 (ASUS), 델 (Dell), 랙스페이스 (Rackspace), 넷플릭스 (Netflix), 레드햇 (RedHat), 화웨이 (Huawei), 마이크로소프트 (Microsoft), 슈퍼마이크로 (Supermicro), HP, AMD, VMware, Cloudscaling 등다수의 IT 업체들이참여하고있다. OCP 의시작은페이스북이주도하였지만소프트웨어분야에서의리눅스와같이 OCP 는이미새로운오픈하드웨어의위상을가지기시작하였으며, 국내외데이터센터전문가들은 OCP 에서제안된기술들을주목하고있다. 앞으로데이터센터를구축하는많은기업들이 OCP 기술을따를것으로예상되며, 이런움직임은하드웨어벤더들이나소프트웨어벤더및서비스, 솔루션제공자들의동참을가속화시킬가능성이높아지고있다 [3]. 본고는 OCP 에공개된데이터센터하드웨어기술들인전력전달기술, 서버전원공급장치기술, 무정전전원공급장치기술, 서버메인보드및서버케이스, 랙구조등의분석과효과에대해서다룬다. II. 데이터센터하드웨어기술 1. 전력전달설계 (PSU, UPS) AC 기반데이터센터는현재대부분데이터센터에사용되는전력전달방식으로 ( 그림 1 (a)) 과같이구성되어있다. 데이터센터에입력되는중전압 (Medium Voltage: MV) 은변압기를거쳐저전압 (Low Voltage: LV), 480V AC 전압으로감압된다. 이후대용량 UPS 장치에서 AC/DC 전환을통해배터리충전을수행하며, 다시 AC/DC 전환을거쳐 AC 전력이전원분배장치 (PDU) 로전달된다. PDU 장치는각서버가사용하는 230V AC 전원으로전력변환후각서버랙으로전력을전달한다. 각서버에는 PSU 가있으며, PSU 는 AC 전압을 380~400V DC 전압으로정류후다시분리된 DC/DC 전환기에의해 ATX 호환전력인 12V, 5V, 3.3V, -12V, 5Vsb 전원이출력된다. 메인보드는내부전압레귤레이터 (VRs) 를통해추가적인 DC/DC 전환이이루어진다. 전력전달과정에서발생하는에 2

3 포커스 너지변환은크게다섯차례이며, 이러한다중의에너지변환으로인해전력전달손실이증가된다. 이러한문제점을해결하기위해페이스북은 UPS 와 PSU 구조를변경하여전력전달효율을개선하였으며 ( 그림 1 (b)) 와같다. 변압기를거친 277V AC 전력이전력변환없이바로서버 PSU 에직접전달되며 PSU 는 12.5V DC 단일전원을서버에공급한다. UPS 경로는기존데이터센터와달리주요전력전달경로에서분리되어있다. 고효율정류기를거쳐 DC UPS 의배터리를충전하며출력전압은 48V 로서버 PSU 에직접연결된다 [4]. 즉, 서버 PSU 는 277V AC 주전원의장애가발생할경우 48V UPS 전력을스위칭하여서버에 12.5V DC 전원을안정적으로공급할수있다. ( 그림 1 (c)) 는대략적인 PSU 구조 (a) 기존데이터센터전력분배구조 (b) 페이스북데이터센터전력전달구조 [4] (c) 페이스북 PSU 구조 [5] ( 그림 1) 기존데이터센터와페이스북데이터센터전력전달구조비교 정보통신산업진흥원 3

주간기술동향 2013. 4. 10. (a) PSU (b) UPS ( 그림 2) 페이스북 PSU 와 UPS 사진트리플렛랙 [6] 를나타내고있다. 주전원공급장치를센싱하여장애가발생할때백업전원공급장치가출력을대신하는구조이다.

페이스북은트리플렛 (Triplet) 이라불리는랙을사용하고있으며, 이는세개의랙을하나의프레임으로만들었으며, 하나의트리플렛에총 90 대의서버가장착가능하다. ( 그림 2 (b)) 와같이 UPS 시스템은이러한트리플렛사이에설치하여랙준위 UPS 기능을제공한다. 서버최대부하일경우 UPS 입력전력은 90 대의서버에 48V/10A 전력을 45 초동안제공할수있다.

4 주간기술동향 (a) PSU (b) UPS ( 그림 2) 페이스북 PSU 와 UPS 사진트리플렛랙 [6] 를나타내고있다. 주전원공급장치를센싱하여장애가발생할때백업전원공급장치가출력을대신하는구조이다. ( 그림 2 (a)) 는 PSU 의사진으로전면에 277V AC 와 48V DC 입력커넥터가있으며, 왼쪽후면에는서버메인보드에전원을공급하는출력커넥터가있다. PSU 최대용량은 450W 혹은 700W 이며, 부하 20~100% 에서효율은 90.5~94.61% 이다 [5]. UPS 시스템의경우, 기존의데이터센터준위 UPS 형태가아닌랙준위 UPS 시스템을채용하고있다. 페이스북은트리플렛 (Triplet) 이라불리는랙을사용하고있으며, 이는세개의랙을하나의프레임으로만들었으며, 하나의트리플렛에총 90 대의서버가장착가능하다. ( 그림 2 (b)) 와같이 UPS 시스템은이러한트리플렛사이에설치하여랙준위 UPS 기능을제공한다. 서버최대부하일경우 UPS 입력전력은 90 대의서버에 48V/10A 전력을 45 초동안제공할수있다. UPS 효율은 99.5% 에달한다. 이는고효율의정류기를통해배터리를충전하며충전이후배터리장애여부만체크하기때문에전력소모가거의없다. 페이스북의자료에의하면, 이러한 UPS 구조개선을통해설비투자비용은 8 배 ( 와트당 2 달러 vs 달러 ) 절감하였으며, 전력절감을통한운영비용절감은 20 배 ( 전력손실 10% vs. 0.5%) 로보고되고있다 [4]. < 표 1> 은데이터센터내부전력전달에서세분화된항목에서제안된기술의전력효율을기술하고있다. 서버최대부하에서기존의 UPS 가약 88~90% 효율을가지고있다는가정하에산출된값으로 UPS 구조변화가효율향상의가장큰요인이며, 다음으로고효율 PSU 사용, PDU 제거를통한효율향상이있음을알수있다. 4

5 포커스 < 표 1> 전력전달개선을통한전력효율향상 [4] 항목 효율이득 DC 기반 UPS 10%~12% 고효율 PSU 2%~7% PDU 제거 3% 저입력 AC ithd 0.5% 277AC 전력전달 0.5% 직접연결방식 0.25% 총합 13%~25% 2. 메인보드설계 OCP 에서서버기구및메인보드를설계하는기준은불필요한기능, 기구, 케이블등을제거하고에너지효율이우수하며, 관리가용이한서버를설계하는것이다. 서버메인보드는일반적으로 ODM(Original Design Manufacturer) 에의해기본디자인이이루어지고, OEM(Original Equipment Manufacturer) 에의해생산된다. 따라서다양한애플리케이션에사용될수있도록여러기능을제공하는제품들이주류를이루고있다. 그러나실제다양한기능들이사용되지않을경우가많으며, 이는메인보드제작비용증가와소비전력증가의원인이되고있다. 페이스북은메인보드서버에서불필요한하드웨어를제거혹은기능을대체함으로써제작비용과전력절감을이루고있다. 일반적으로서버에는하드웨어상태를모니터링하는 BMC(Baseboard Management Controller) 칩이장착되어있다. 페이스북은 SMBIOS 와랜의기능을조합하여 BMC 기능인이벤트로그, 하드웨어에러로그, LAN 리부팅등의기능을구현하여 BMC 칩을제거하였다. BMC 제거를통해메인보드비용 2.5%, 전력소모 4% 를줄일수있었다. 또한파워온테스트 (Power-On Self Test: POST) LED 와온보드시리얼커넥터를제거하고대신메인보드전면에디버거 (Debug) 용헤더를두어관리자가디버깅카드를연결하여 PSOT 코드를읽도록하였다 [7]. 또한비싸고활용도가낮은 SAS 컨트롤러를제거하였으며, 대신외부 PCIe 링크를제공하여스토리지나비디오, 코프로세서, 네트워크등을연결할수있도록확장성을높였다. SAS 제거를통해메인보드비용 2.25%, 전력소모 3% 를줄일수있었다. 또한불필요한 PCI 확장슬롯, USB 확장커넥터, PS/2 커넥터, VGA 출력커넥터를제거하여 2.25% 서버비용과 3% 전력절감의효과를거두었다. 마더보더의 정보통신산업진흥원 5

6 주간기술동향 < 표 2> 서버메인보드개선으로인한설비투자및운영비절감내용 [4] 항목 초기설치비절감 운영비절감 BMC 제거 2.5% 4% BOM 절감 1.5% 0 SAS 대체 2.25% 3% 디버깅카드사용 0.1% 0 온보드 VRs -0.3% 3% 총합 6% 10% 전원, 리셋스위치를그대로사용하도록설계하여서버전면부의여러가지버튼과이에 연결된케이블등을제거하였다. PSU 와메인보드연결역시케이블없이커넥터로만연결 된다. 메인보드는 PSU 에서 12V DC 입력만받으며, 그외전원은메인보드에서 90% 이상 의고효율의 VRs 를사용한다. 5V 를사용하는 HDD 역시메인보드 VRs 에서생성한다. 서버사용용도에따라메모리슬롯의요구개수가틀리다. 예를들면 PCB 상에 18 개의 메모리슬롯이있으나실제 3 개만사용할경우, BOM(Bill-of-materials) 을달리하여불 필요한부품의조립을하지않는다. 초기 HDD 가스핀업 (Spin up) 할경우전력소모가 갑자기증가하여 PSU 의장애가발생될가능성이높다. 이때일반적으로높은 PSU 용량 을사용하게되며, 이에따른비용증대및효율저하가나타난다. 이러한문제점을해결 하기위해다중 HDD 가연결된메인보드는 HDD 를순차적으로구동하는기능을포함하 였다. < 표 2> 는상기언급한 OCP 메인보드설계개선으로인한설치비및운영비절감 내용을정리하였다. BMC 와 SAS 제어기제거가가장큰절감요인임을알수있다. 3. 기구, 발열설계서버케이스디자인은외관보다효율을, 일반적서버구조보다는관리와발열에최적화된구조를채택하며, 서버전면에서모든관리, 서비스가가능하도록설계하였다. 따라서서버전체에나사를통한연결은없으며, 플라스틱베젤은전혀없다. 또한 ( 그림 3) 과같이윗면과전면덮개가없다. 시뮬레이션을통해발열에최적화된서버높이로보편적으로사용되는 1U 가아닌 1.5U 를채택하였다. 앞서 ( 그림 2 (b)) 의트리플렛랙은모두동일한 1.5U 서버의높이서버가장착되며따라서레인이불필요하다. 트리플렛랙은최대 90 대의서버가장착되며, 48 포트스위치 2 대로하나의트리플렛랙서버를수용할 6

팬앞에는 HDD 트레이세개가있으며각각두개의 HDD 설치가능하여총 6 개의 HDD 가설치가능하다. 메인보드는케이스에나사없이탈부착이가능하며, PSU 전원연결역시전면에서가능하다. 전면에모든스위치조작과케이블연결이가능하여관리가편리한장점이있다.

7 포커스 (a) 메인보드 (b) 서버케이스 (c) 전면부커넥터 ( 그림 3) 페이스북서버 [7] 수있어스위치활용성이높은장점이있다. ( 그림 3 (a)) 는메인보드를나타내며, ( 그림 3 (c)) 는메인보드전면부의커넥터를상세히나타내고있다. 전원, 리셋버튼은메인보드앞에배치되어있으며, USB, 네트워크커넥터와연결확장용 PCIe 링크, 디버그용헤더가있다. ( 그림 3 (b)) 는조립된서버를보여주고있다. 후면에네개의팬이있으며뜨거운공기를뒤로배출한다. 팬앞에는 HDD 트레이세개가있으며각각두개의 HDD 설치가능하여총 6 개의 HDD 가설치가능하다. 메인보드는케이스에나사없이탈부착이가능하며, PSU 전원연결역시전면에서가능하다. 전면에모든스위치조작과케이블연결이가능하여관리가편리한장점이있다. 서버전면은 Cold Aisle, 후면은 Hot Aisle 구조로설계되어 ( 그림 3 (a)) 의전면에서후면으로공기흐름을가진다. 가장뜨거운소자인 CPU 메모리는가장차가운공기를먼저받는위치에배치하며이들은가로로중복되지않게배치하였다. CFD(Computational Fluid Dynamics) 시뮬레이션을통해 1.5U 높이가냉각용량대비가장냉각효율이우수한크기로측정되었으며, 또한 1U 보다큰사이즈용량의히트싱크를사용할수있는장점이있다. 정보통신산업진흥원 7

8 주간기술동향 III. 전력효율및효과 1. 전력효율실험 OCP 에서제안된서버와전력효율비교실험에사용된서버는 Xeon X5650 프로세서, 12GB DDR3 ECC 메모리, 온보드기가비트이더넷, 250G SATA HDD 1U 상용서버로제품 A 는시장에서널리사용되는모델이며, 제품 B 는 3 년된모델로프로세서를동일하게교환후실험하였다. 웹부하를측정하기위해 Apache ab 툴을사용하였으며전력은 Yokogawa WT3000 전력미터를사용하여측정하였다 [4]. ( 그림 4) 는 OCP 에서제안된시스템과기존제품의상대적전력, 성능, 지연속도비교를나타내고있으며, 이값은제안된시스템의부하및전력, 성능의포화상태값의상대 (a) 부하별상대소모전력비교 (b) 부하별상대성능비교 (c) 부하별상대지연속도비교 ( 그림 4) 측정된성능 [4] 8

9 포커스 값으로표시하였다. ( 그림 4 (a)) 는부하별상대소모전력비교를나타내며, 평균전력에서페이스북 Prototype 모델이상용제품 A 보다약 16%, B 제품보다약 28% 소모전력이낮게측정되었다. 또한무부하 (Idle) 상태에서는제안된시스템이 20~40% 높은전력효율을나타내고있다. ( 그림 4 (b)) 는부하별상대성능비교를나타내고있으며제안된시스템이상용제품에비해약 10% 높은성능을나타내고있다. ( 그림 4 (c)) 는부하별상대지연속도를나타내고있으며제안된시스템이약 8% 지연속도가향상된것으로나타났다. 제안된서버의경우 1.5U 높이의 60mm 25mm 4 개의팬을사용하며, 1U 서버의경우 40mm 25mm 6 개팬을사용한다. 두서버를챔버에서 CFM(Cubic-feet-per-minute) 값을측정한결과상용제품의경우 28, 24 CFM 을제안된시스템의경우 19 CFM 을얻었다. 이는기존시스템대비데이터센터냉각비용을약 8~12% 감소시킬수있다. < 표 3> 은데이터센터준위가아닌순수하게서버당효율이득을나타내고있으며, 초기설치비는 9~10% 감소되며운영비는 14~26% 감소효과가있다. 초기설치비절감요인중메인보드원가절감이가장크며, 운영비절감역시메인보드전력절감이가장큰효과로작용하고있다. 데이터센터의효율을비교할때일반적으로 PUE(Power Usage Effectiveness) 값을기준으로한다. PUE 는데이터센터총전력사용량에서 IT 장비의소모전력을나눈값이다. 이때 IT 장비란컴퓨터, 스토리지, 네트워크장치, 모니터등모든데이터센터의 IT 장비를뜻한다. 데이터센터의총전력사용량은상기 IT 장비외의냉각, 전력전달및기타전기장치에사용되는전력을포함한다. PUE 가낮을수록 IT 장비외의냉각등의운영비용이낮음을뜻하며 1 에가까울수록효율이우수한데이터센터이다 [6]. 대부분의데이터센터는 PUE=2 정도이며구글데이터센터경우 PUE=1.1 에이른다. 페이스북은상기언급된 OCP 에공개된다양한하드웨어기술을기반으로오리곤주 Prineville 에데이터센터 < 표 3> 데이터센터이득을제외한순수한서버당효율이득환산 [4] 항목초기설치비절감운영비절감 PSU 1~2% 2~7% Motherboard 6% 10% Thermal 1% 2~9% Mechanical 1% Not available 총합 9~10% 14~26% 정보통신산업진흥원 9

10 주간기술동향 를운용하고있으며 PUE 값은구글데이터센터보다우수한 1.07 로알려져있다. 또한 OCP 에서제안된서버는기존대비 16% 효율이향상되어 19% 서버용량증설이가능하며, 10% 설치비용절감을이루었다. 서버뿐아니라냉각, 전력분배, 백업, 랙등모두를포함할경우전력은 38% 나절감되며, 비용은 24% 를절감할수있었다. IV. 결론 본고를통해페이스북이주도하는 OCP 의데이터센터하드웨어기술에대해살펴보았다. OCP 는데이터센터하드웨어기술의개발, 공유를통해더효율적인기술을개발하는데목적이있다. OCP 는데이터센터의 UPS, PSU 구조를개선하여전력전달효율을크게향상시켰다. 또한실용적인서버와랙구조를제안하였으며, 효율적인데이터센터냉각시스템을제안하였다. 이러한페이스북의개방과혁신의시도가앞으로데이터센터와서버구조설계에큰영향을미치게될것으로예상된다. < 참고문헌 > [1] [2] [3] Inside Facebook s lab: A mission to make hardware open source, Jack Clark, Sep. 24, 2012, ZDNet, [4] Eitan Frachtenberg, Ali Heydari, Harry Li, High-Efficiency Server Design, SC '11 Proceedings of 2011 International Conference for High Performance Computing, Networking, Storage and Analysis Article No. 27. [5] Open Computer Project, Pierluigi Srti, 450W Power Supply Hardware v1.0, April 7, [6] Open Computer Project, Steve Furuta, Server Chassis and Triplet Hardware v1.0, April 7, [7] Open Computer Project, Harry Li, Amir Michael, Intel Motherboard Hardware v1.0, April 7, [8] 권원옥, 김성운, 저전력데이터센터기술동향, NIPA, 주간기술동향 1323 호, , pp * 본내용은필자의주관적인의견이며 NIPA 의공식적인입장이아님을밝힙니다. 10

Microsoft Word - 권원옥.doc

Microsoft Word - 권원옥.doc 포 / 커 / 스 포커스 저전력서버기술동향 권원옥 * 김성운 ** 김명준 *** 수십만대의서버를운영하는구글 (Google) 의가장큰고민은전기료이다. 전력문제는비단구글뿐아니라대부분의데이터센터가겪고있는심각한문제이다. 데이터센터의전력비용은전체운영비의가장큰부분을차지하고있다. 여기에서전력전달효율, 냉각효율및서버컴포넌트들의전력효율에이르기까지여러요소가복합적인원인에의해서낭비되는전력이많다.