1/38 2014 SCENT HPC Summer School @ GIST 국가슈퍼컴퓨팅연구소 National Institute of Supercomputing & Networking www.nisn.re.kr
슈퍼컴퓨팅공동활용추진배경 공동활용서비스의현재 - PLSI 공동활용서비스의미래 - DURE
1 슈퍼컴퓨팅공동활용추진배경
4/38 국가슈퍼컴퓨팅공동활용체계 슈퍼컴퓨터의공동활용?
5/38 해외공동활용사례 현황요약 EU Japan USA
6/38 해외사례 - 미국 XSEDE 오랜경험을가진슈퍼컴퓨터센터들과파트너십을구축하고, 파트너기관별역할을분담하여운영 현황 구분 구분
7/38 해외사례 - 유럽 PRACE 모든이해관계자들을동원한피라미드구조의 HPC 범유럽인프라를구현하여과학적발견및공학기술의연구와개발지원 현황 국가 구분
8/38 해외사례 - 일본 HPCI K Computer 를중심으로다양한사용자의요구에따를수있는혁신적환경구축및이용을통해인재육성, 거점형성등의효과기대 현황 구분 전략분야
9/38 관련추진경과 2001 국가그리드구축사업 ( 정보통신부 ) 시작 (~2007) 한국슈퍼컴퓨팅센터협의회 (KSCA) 발족 2004 한국슈퍼컴퓨팅센터협의회기관확대 (14 기관 ) 2005 PLSI 계획안수립 그리드인프라테스트베드구축 2007 ~ 2014 PLSI 사업추진 15 개기관협력체구축및서비스제공 2011 국가초고성능컴퓨터활용및육성에관한법률제정및시행령선포 2012 제 1 차국가초고성능컴퓨팅육성기본계획수립 국가초고성능컴퓨팅센터 (KISTI) 지정 2014 국가초고성능컴퓨팅공동활용서비스거버넌스기획연구수행
10/38 정책적추진근거 1 정부는국내초고성능컴퓨팅자원을연동하여국가적차원에서공동으로활용하는체계를구축하여야한다. 2 정부는제1항에따라참여하는기업기관단체및대학등의공동활용체계구축및운영에들어가는경비의전부또는일부를지원할수있다. 수요에따라특성화된 3 단계 ( 국가, 전문, 연동센터 ) 국가초고성능컴퓨팅서비스체계구축 국가초고성능컴퓨팅자원공동활용확대 공동활용효율성제고를위한서비스환경구축
2 공동활용서비스의현재 - PLSI
12/38 PLSI (Partnership & Leadership for the Supercomputer Infrastructure) 국가슈퍼컴퓨팅서비스생태계활성화기반조성 슈퍼컴퓨터공동활용협력체계구축 통합슈퍼컴퓨팅서비스제공 자원연동및서비스기술개발 슈퍼컴퓨팅활용활성화 주요권역 10 개파트너기관 394TF 이기종슈퍼컴연동및통합운영 통합소프트웨어스택모니터링및포털 거점센터특성화분야통합사용자교육체계 통합 서비스 인터페이스 건국대서울시립대 KIAS KOBIC UNIST 통합 서비스 인터페이스 High Performance Computing High Throughput Computing 통합보안 통합계정사용자포털 동명대부경대부산대 GIST 통합슈퍼컴서비스인프라 국가슈퍼컴퓨팅공동활용체제구축 (PLSI) Cloud Computing Data Intensive Computing 통합모니터링글로벌스케줄러 글로벌파일시스템
PLSI 통합슈퍼컴퓨팅서비스체계 협력체계를바탕으로한단일화된서비스체계수립 서비스 : 통합시스템 (File system, Batch Queuing System), User Portal, 통합사용자지원, 통합교육체계 통합인터페이스 통합서비스 통합소프트웨어 자원연동 통합운영 고성능망기반연동 13/38
14/38 PLSI 연동자원현황 10 개연동기관 : KISTI, 부경대, 부산대, UNIST, GIST, KIAS, KOBIC, 건국대, 동명대, 서울시립대 (3 National Labs, 7 Universities) 자원규모 : 21 개자원, 394 TF
PLSI 연동자원현황 기관명 시스템명 ( 모델명 ) 네트워크 노드수 CPU 수계산성능전체노드 (TFlops) 건국대 VENUS (Appro) 1GbE 12 96 8 0.960 GIST KIGI (IBM x335) Myrinet 128 228 2 1.388 KIAS Gene (x86 클러스터 ) 1GbE 64 128 2 0.550 KOBIC KOBIC (SUN X4100) 1GbE 46 184 4 1.546 동명대 YONGMA (IBM BladeCenter HS21) 1GbE 60 120 2 0.768 TUSMP (IBM p690) 1GbE 1 28 28 0.190 부경대 BADA 1GbE 8 128 16 0.215 부산대 PDAISY (SGI Altix 1350) IB 4x SDR 7 112 16 0.672 UOS T2 (x86 클러스터 ) 1GbE 39 116 4 0.988 UNIST UNIST SMP (IBM p690) 1GbE 2 64 32 0.435 CHEETAH (x86 클러스터 ) 1GbE 37 296 8 5.181 PGAIA (IBM p595) HPS 10 640 64 5.888 PGAIA2 (IBM p595) IB 4x DDR 24 1,536 64 28.876 PORION (IBM p575) HPS 2 32 16 0.243 TACHYON (SUN Blade 6084) IB 4x DDR 192 3,072 16 28.262 TACHYON2 (SUN Blade B6275) IB 4x QDR 3200 25408 8 300 KISTI GLORY (SUN x2100) 1GbE 251 502 2 3.701 BAEKDUSAN (Dell PE R410) 1GbE 14 112 8 1.017 SOLBARAM (Intel Modular server) 2GbE (bonding) 18 144 8 1.440 SINBARAM (Appro Blade) IB 4x QDR 34 544 16 11.315 TITAN (Appro + x86) 1GbE 16 256 16 1.280 PGFS ( 글로벌공유파일시스템-13노드 ) 1/10GbE - - - - SAM-QFS (SUN X4600-2 노드 ) 10GbE - - - - 합계 4,165 33,746 340 394.915 15/38
PLSI 연동자원현황 기관명시스템명 ( 모델명 ) 네트워크노드수 전체 CPU 수 노드 계산성능 건국대 VENUS (Appro) 1GbE 12 96 8 0.960 GIST KIGI (IBM x335) Myrinet 128 228 2 1.388 KIAS Gene (x86 클러스터 ) 1GbE 64 128 2 0.550 KOBIC KOBIC (SUN X4100) 1GbE 46 184 4 1.546 TACHYON2 (KISTI) YONGMA (IBM BladeCenter HS21) 1GbE 60 120 2 0.768 TACHYON1 동명대 (KISTI) 28.262 TUSMP (IBM p690) 1GbE 1 28 28 0.190 GAIA2 (KISTI) 부경대 BADA 1GbE 8 128 28.876 16 0.215 GAIA1 부산대 (KISTI) PDAISY 5.888 (SGI Altix 1350) IB 4x SDR 7 112 16 0.672 SINBARAM UOS (KISTI) T2 (x86 클러스터 ) 11.315 1GbE 39 116 4 0.988 SOLBARAM (KISTI) 1.44 UNIST SMP (IBM p690) 1GbE 2 64 32 0.435 UNIST BAEKDUSAN (KISTI) CHEETAH (x86 클러스터 ) 1GbE 37 296 8 5.181 PORION (KISTI) KIGI (GIST) PDAISY ( 부산대 ) CHEETAH (UNIST) GLORY (KISTI) KOBIC (KOBIC) KISTI GENE (KIAS) T2 ( 서울시립대 ) VENUS ( 건국대 ) TITAN (GIST) 0 10 20 30 1.017 0.243 1.388 0.672 5.181 3.701 1.546 1.388 0.988 0.96 1.28 ~~ (TFlops) PGAIA (IBM p595) HPS 10 640 64 5.888 PGAIA2 (IBM p595) IB 4x DDR 24 1,536 64 28.876 PORION (IBM p575) HPS 2 32 16 0.243 TACHYON (SUN Blade 6084) IB 4x DDR 192 3,072 16 28.262 TACHYON2 (SUN Blade B6275) IB 4x QDR 3200 25408 8 300 GLORY (SUN x2100) 1GbE 251 502 2 3.701 BAEKDUSAN (Dell PE R410) 1GbE 14 112 8 1.017 SOLBARAM (Intel Modular server) 2GbE (bonding) 18 144 8 1.440 SINBARAM (Appro Blade) IB 4x QDR 34 544 16 11.315 TITAN (Appro + x86) 1GbE 16 256 16 1.280 PGFS ( 글로벌공유파일시스템 -13 노드 ) 1/10GbE - - - - SAM-QFS (SUN X4600-2 노드 ) 10GbE - - - - 합계 4,165 33,746 340 394.915 300 계산성능 (Tflops) 16/38
17/38 고성능연구망기반연동 Domestic Regional Center : 16 regions - Seoul, Daejeon, Daegu, Busan, Jeju, Songdo, Incheon, Ulsan, Suwon, Cheonan, Gangreung, Changwon, Gwangju, Jeonju, Ochang, Pohang International Pop : 2 Pops - Hongkong(China), Seattle(US) Domestic IX, ISP connections : 6G(1G*6) 6NGIX(IPv6), Internet : 1G Seoul-Daejeon IP-Circuit separated service - OME6500+ONS15454, 15600
18/38 PLSI 컴퓨팅서비스 Login node Pgaia 640 cores Tachyon 3072 cores Bada 128 cores Cheetah 296 cores Solbaram 144 cores Sinbaram 544 cores
19/38 PLSI 통합소프트웨어스택 이기종시스템들의통합운영및서비스환경구축을위해 통합계정, 글로벌스케줄링시스템, 글로벌파일시스템, 통합모니터링시스템구현 주요통합서비스구성요소 LoadLLeveler-MC for Global job management GPFS-MC for data sharing service
PLSI 통합모니터링시스템 전체연동자원에대한효율적인통합장애관리환경제공 PLSI 통합관제실전담인력의 24 시간장애모니터링및 1 차대응 직관적인모니터링인터페이스 (Adobe Flex) 손쉬운기관및시스템추가 모바일웹브라우저지원 자동화된보고서생성 20/38
21/38 PLSI 사용자포털 PLSI 연동슈퍼컴에대한편리한웹사용자인터페이스제공 온라인계정신청및자원할당 온라인기술지원 자원및작업모니터링 내장 SSH/SFTP 터미널 작업제출 GUI 템플릿제공
3 공동활용서비스의미래 - DURE
23/38 차세대슈퍼컴퓨팅서비스의변화 (1) 다양한수요를반영하여사용자가필요로하는환경을제공하기위한다양하고유연한슈퍼컴퓨팅서비스요구 시스템기술의변화추세에따라분야별 기관별인프라의다양화 자원중심의서비스에서문제해결중심의서비스로진화 병렬파일시스템기술 병렬어플리케이션실행환경 Data-Intensive 컴퓨팅기술 고성능가시화기술 대규모작업처리기술 빅데이터기술 대용량데이터관리기술 국가초고성능컴퓨팅공동활용서비스 다양한사용자니즈 대규모자원관리 Networking 인증및보안 Metering & Billing Monitoring 클라우드컴퓨팅
24/38 차세대슈퍼컴퓨팅서비스의변화 (2) 자원서비스 플랫폼서비스 Target 고객 계산과학및공학분야의대학 기업연구자 계산과학및공학연구분야의확대 활용목적의확대 ( 혁신제품개발 ) 일반국민이수혜를받는공공서비스 Outcome 논문논문, 혁신제품, 공공서비스, 사회적가치 Service 컴퓨팅분화된컴퓨팅, 빅데이터, 컨설팅 Architecture & Implementation (Static) single computing system (Batch scheduler, FS, Runtime Libraries, Terminal Interface) Complicate, On-demand Platform-based architecture Big data platform Cloud platform 플랫폼 (Platform) 다양한종류의시스템을제공하기위해공통적 반복적으로사용하는기반모듈 이종의시스템을위한추상화의단계로서, 사용자에게어떠한 view 를제공하는가에따라결정 - 생산성향상의효과
25/38 초고성능컴퓨팅공동활용서비스체계개요 국가초고성능컴퓨팅서비스체계 지원 지원 협력 협력 ( 근거법령 ) 국가초고성능컴퓨터활용및육성에관한법률 ( 근거기본계획 ) 제 1 차국가초고성능컴퓨팅육성기본계획
센터의역할및기능 국가초고성능컴퓨팅서비스체계구축 지원 지원 협력 협력 ( 근거법령 ) 국가초고성능컴퓨터활용및육성에관한법률 ( 기본계획 ) 제1차국가초고성능컴퓨팅육성기본계획 소규모자원보유 26/38
공동활용서비스거버넌스조직체계 27/38
28/38 센터협력및운영정책 (1) 협력체계 분야별워킹그룹참여를통한 정책부문협력 기술부문협력 외부전문가 참여 참여 참여 협력 협력자원, 교육, 기술지원 통합운영 모니터링 협력자원, 교육, 기술지원
29/38 센터협력및운영정책 (2) 자원공동활용정책
30/38 공동활용서비스거버넌스체계중장기로드맵 9 8 7 6 5 4 3 2 1 0 1 단계거버넌스체계기반구축 4 3 1 2 단계거버넌스체계확장및활용분야확대 3 단계거버넌스체계완성및성과확산 2018 2022 2026 7 6 1 전문센터 (9) 연동센터 (7) 국가센터 (1)
서비스구축및운영 1 단계구축목표 2015 년전문 2 연동 2 2016 년전문 2 연동 3 2017 년전문 3 연동 4 2018 년전문 3 연동 4 국가센터 (1) The terminal for KTX 전문센터 (3) The terminal for SME 연동센터 (4) The terminal for MGW 과정목표효율적인자원연계를통해용이한활용환경제공 (3 단계 ) ( 평가 : 효율성, 용이성 ) 성과목표국가대표연구그룹 / 중소기업도전문제발굴해결 (8 개 ) ( 평가 : 선도성, 수익성 ) 서비스플랫폼개발 기본서비스구축 국가서비스제공 특화서비스개발 전문분야서비스제공 특화서비스개발 지역서비스적용 특화서비스 The trains 사용자 passengers 서비스플랫폼 The tracks 도전문제 The baggage 31/38
32/38 DURE 사업목표및주요사업내용 분산ㆍ통합형연구환경구축
33/38 공동활용서비스플랫폼개발 추진배경 다양한응용분야에서요구하는다양한서비스환경필요 공동활용인프라의효과적인구축방안마련 다양한기관의이기종자원의연동ㆍ통합기술필요 신규사용자들이편리하게활용할수있는환경필요 다양한자원및서비스를지원할수있는통합플랫폼개발 공동활용서비스플랫폼개발 통합인증, 보안, 통합모니터링, 어카운팅, 클러스터관리도구, 자원관리, 데이터관리등 다양한자원서비스를최적으로제공하기위한기본서비스개발 HPC 서비스, HTC 서비스, DISC 서비스, Cloud 서비스등
34/38 공동활용서비스환경 천문우주중소기업지원바이오지구환경 데이터분석 우주시뮬레이션 공학해석 제품설계 유전체분석 신약개발 대기 / 해양모델링 기후변화시뮬레이션 Big Science Supercomputing Data Intensive Supercomputing Security Monitoring Resource Management Data Management Execution Environment Cloud 전문센터 Loosely-coupled Integration 전문센터 국가센터 전문센터 Global Data Sharing Tightly-coupled Integration 연동센터 연동센터 연동센터 연동센터 Visualization Data Analysis Data Sharing 전문 / 연동 Resource Flexibility Dynamic Provisioning Virtualization + Baremetal 전문 / 연동
35/38 분야별특화서비스개발 추진배경 응용연구자의진입장벽을낮출수있는서비스필요 진입장벽을낮추고편의성고도화추구 연구에특화된서비스환경고도화필요 원격에서도효과적으로협업할수있는연구환경필요 연구생산성및협업의효율성을제고하기위해분야별특화서비스개발 사용자수준에맞춘편리한인터페이스등편리한환경 분야별자원특성및작업워크플로우에최적화된서비스환경 연구자간데이터공유, 작업이력공유등협업연구환경
36/38 공동활용서비스기반응용연구개발시범과제지원 추진배경 혁신사례증가로인한수요급증 산학연융합형공동연구개발활성화과제중점선정 자원및인력지원역량한계로지원과제수부족 기업전문인력의부족을고려한지원프로그램필요 특히중소ㆍ중견기업의초고성능컴퓨팅활용인력이부족한현실을고려하여과제형태로지원 구축된전문ㆍ연동센터간협력기반서비스체계활용
37/38 연차별개발내용및목표 1 단계 ( 15~18, 4 년 ) 연차 1 년차 (2015) 2 년차 (2016) 3 년차 (2017) 4 년차 (2018) 서비스플랫폼 분산자원연동 S/W 공통실행환경패키지 자원할당관리시스템 공동활용자원관리시스템 데이터공유환경 데이터관리시스템 빅데이터분석플랫폼 통합인터페이스 개발 기본인프라서비스 계산서비스 (HPC/HTC) 클라우드서비스 데이터서비스 빅데이터분석서비스 특화서비스 지정분야 4 개 지정분야 5 개 지정분야 7 개 지정분야 7 개 적용구축 5 개센터 - 국가 (1) 전문 (2) 연동 (2) 6 개센터 - 국가 (1) 전문 (2) 연동 (3) 8 개센터 - 국가 (1) 전문 (3) 연동 (4) 8 개센터 - 국가 (1) 전문 (3) 연동 (4) 시범과제 선정과제 6 개 선정과제 6 개 선정과제 6 개 선정과제 6 개 목표 HPC/HTC 서비스환경 4 개분야특화서비스 5 개센터자원연동 6 개활용과제결과 HPC/HTC/Cloud 서비스환경 5 개분야특화서비스 6 개센터자원연동 6 개활용과제결과 HPC/HTC/Cloud/Data 서비스환경 7 개분야특화서비스 8 개센터자원연동 6 개활용과제결과 HPC/HTC/Cloud/Data/ Big Data 서비스환경 7 개분야특화서비스 8 개센터자원연동 6 개활용과제결과 성과 8 개국가대표융합연구그룹발굴및육성 ( 각그룹의도전문제해결 ) 국가초고성능컴퓨팅서비스인프라 ( 자원, 인력, S/W) 의효과적활용플랫폼구축
Thank You KISTI 국가슈퍼컴퓨팅연구소 함재균 <jaehahm@kisti.re.kr>