장비지원사례연구 ( 세종대학교인공지능 - 빅데이터연구센터중심으로 ) 신병주 bjshin@sejong.ac.kr
문제 기업의빅데이터인력및시스템투자예산 데이터분석역량및경험부족 19.6% 시스템구축비, 관리비등예산부족 19.4% 정보보호및안정성에대한우려 17.5% 투자대비수익 (ROI) 의불투명성 15.1% 빅데이터에준비되지않은기업문화 15.9% 적합한데이터관리솔루션의부재 12.5% 자료 : 대한상공회의소, 2014.6
문제 기업의빅데이터인력및시스템투자예산 인력? 기술? 수익? 빅데이터돈이된다하니무조건해봐 공간? 예산?
데이터센터로서의목표 인프라구축투자어려움해결 인프라전문인력지원 플랫폼구축기술지원 서비스개발완료시까지지속적인지원 공간등부가인프라추가지원
클라우드 IDC 센터를이용하면되지않을까? 클라우드기반데이터센터많이있잖아
기업은이런요구사항이있었습니다 01 클라우드서버를활용하여개발할수없는빅데이터소프트웨어가있다. 이의개발이가능한독립적인서버환경을달라. 02 우리기업은대용량스토리지 (100TB) 와고속처리하드웨어 (SSD, GPU 등 ) 인프라가필요하다. 03 우리장비는다른기업과는별개의스위치를독립적으로할당해달라. ABRC 관리자조차도우리서버에는접근하지못하게해달라.
센터인프라현황 인공지능 - 빅데이터연구센터구축 서버구축 소재지 : 세종대학교학술정보원 7 층면적 : 360m 2 구분 1 차년도 2 차년도 3 차년도 4 차년도합계 기업지원용서버 25 대 41 대 14 대 5 대 85 대 교육용서버 10 대 - - - 10 대
대용량데이터장비및서비스개발지원인프라구축 서버구축현황 구분 1 차년도 2 차년도 3 차년도 4 차년도합계 기업지원용서버 25 대 41 대 14 대 5 대 85 대 교육용서버 10 대 - - - 10 대
서버구축현황 시설및장비명규격수량용도구축년도 GPU서버 (Type3) GPU서버 (Type4) SSD서버 GPU서버 (Type1) GPU서버 (Type2) Intel Xeon E5-2630 v4, 2.2GHz(10core) 1CPU, Memory: 128GB, HDD: 4TB 1 개, SSD: 512GB MLC SSD, NVIDIA TESLA P100 Intel Xeon E5-2630 v4, 2.2GHz(10core) 1CPU, Memory: 64GB, HDD: 4TB 1 개, SSD: 512GB MLC SSD, NVIDIA TESLA P4 Intel Xeon E5-2680 v4, 2.4GHz(14core) 2CPU, Memory: 256GB, HDD: 2TB 8 개, SSD: 1TB 10 개 Intel Xeon E5-1680 v4, 3.4GHz(8core) 1CPU, Memory: 64GB, HDD: 2TB 2 개, SSD: 256GB, NVIDIA GTX Titan X, NVIDIA GTX 1080 Intel Xeon E5-2630 v4, 2.2GHz(10core) 2CPU, Memory: 64GB, SSD: 256GB, NVIDIA GTX Titan X, NVIDIA GTX 1080, Supporting up to 20GPUs 2대 기업지원 2017년 9월 3대 기업지원 2017년 9월 4대 기업지원 2017년 2월 4대 기업지원 2017년 2월 1대 기업지원 2017년 2월 데이터서버 (Type6) Intel Xeon E5-2609 v4, 1.7GHz(8core) 2CPU, Memory: 64GB, HDD: 2TB 4 개 5 대기업지원 2017 년 2 월 데이터서버 (Type4) Intel Xeon E5-2697 v3, 2.6GHz(14core) 2CPU, Memory: 768GB, HDD: 4TB 16 개 1 대기업지원 2016 년 2 월 데이터서버 (Type5) Intel Xeon E5-2680 v3, 2.5.GHz(12core) 2CPU, Memory: 256GB, HDD: 2TB 16 개 3 대기업지원 2016 년 2 월 테스트서버 Intel Xeon E5-2620 v3, 2.4GHz(6core) 1CPU, Memory: 8GB, HDD: 1TB 2대 기업지원 2016년 2월 데이터서버 (Type2) Intel Xeon E5-2630 v3, 2.4GHz(8core) 2CPU, Memory: 128GB, HDD: 1TB 8개 10대 기업지원 2016년 1월 데이터서버 (Type3) Intel Xeon E5-2630 v3, 2.4GHz(8core) 2CPU, Memory: 64GB, HDD: 1TB 4개 25대 기업지원 2016년 1월 교육용서버 Intel Xeon 4 Core E3-1220v3 3.1GHz 1CPU, Memory: 8GB, HDD: 1TB 10대 교육 2015년 4월 벤치마킹테스트서버1 Intel Xeon E5-2640 v3, 2.6GHz(8Core) 2CPU, Memory: 128GB, HDD: 1TB 4개 2대 기업지원 2015년 4월 벤치마킹테스트서버2 Intel Xeon E5-2609 v3, 1.9GHz(6Core) 2CPU, Memory: 64GB, HDD: 1TB 4개 1대 기업지원 2015년 4월
서버구축현황 시설및장비명규격수량용도구축년도 벤치마킹테스트서버 3 Intel Xeon E5-2609 v2, 2.5GHz(4Core) 2CPU, Memory: 64GB, HDD: 1TB 4 개 1 대기업지원 2015 년 4 월 빅데이터분석용저가형서버 Intel Xeon E5-2609 v2, 2.5GHz(4Core) 2CPU, Memory: 64GB, HDD: HDD: 1TB 4 개 8 대기업지원 2015 년 4 월 웹서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 1CPU, Memory: 8GB, HDD: 3TB 2개 1대 홍보 2014년 12월 수집서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 1CPU, Memory: 32GB, HDD: 3TB 8개 1대 기업지원 2014년 12월 네임서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 2CPU, Memory: 128GB, HDD: 3TB 8개 2대 기업지원 2014년 12월 데이터서버 (Type1) Intel Xeon E5-2650 v2, 2.6GHz(8core) 2CPU, Memory: 128GB, HDD: 3TB 8개 6대 기업지원 2014년 12월 관리서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 1CPU, Memory: 32GB, HDD: 3TB 12개 1대 운영 2014년 12월 DB서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 2CPU, Memory: 128GB, HDD: 3TB 8개 1대 운영 2014년 12월 시험검증서버 Intel Xeon E5-2650 v2, 2.6GHz(8core) 2CPU, Memory: 128GB, HDD: 3TB 8개 1대 기업지원 2014년 12월 총계 기업지원용서버 교육용서버 85 대 10 대
센터장비지원단계별목표 안정화 성장 확대 인프라구축 1 차년도 지원 2 차년도 지원서버수 : 66 대 3 차년도 지원서버수 : 80 대 지원기업수 : 19 개 4 차년도 지원서버수 : 85 대 지원기업수 : 25 개 장비가동률 : 90% 지원서버수 : 14 대 지원기업수 : 18 개 장비가동률 : 88.0% 지원기업수 : 2 개 장비가동률 : 90.5% 장비가동률 : 82.8%
기업맞춤형장비지원 가상서버와물리서버의장점을혼합한사용자맞춤형하이브리드구성고객전용프라이빗클라우드혹은서버가상화환경구성물리서버의안정적이며높은성능을활용한구성 SDX(Software Defined Everything) 환경구성
국내 IDC 센터 vs. AWS vs. ABRC 서버지원형태서버지원형태세부분류국내 IDC 센터 기업맞춤형빅데이터플랫폼구축지원 아마존웹서비스 (AWS ) 고사양서버지원 기업맞춤형빅데이터플랫폼구성 ⅹ ⅹ 빅데이터플랫폼전문인력지원 ⅹ 물리적서버지원 ⅹ 클라우드형태의빅데이터테스트환경지원 ⅹ 빅데이터퍼포먼스서포팅서비스 ⅹ ⅹ ABRC
장비인프라지원서비스
장비인프라지원서비스 Crawler Daemons Master Node Slave Nodes Collection Nodes 서버 15 대임대 Cloudera 를이용한빅데이터플랫폼구성 웹크롤링을이용한데이터수집후, Hadoop & Spark 등의빅데이터처리플랫폼을이용하여데이터분석
장비인프라지원서비스
장비인프라지원서비스 Virtual Machine Group Virtualization Virtual Machine Cluster Group 서버 6대임대 기업의클라우드솔루션을이용하여가상화환경구축 가상머신을이용한빅데이터교육플랫폼구축 교육진도에맞춰개인별가상머신과빅데이터플랫폼을생성하고삭제할수있음
장비인프라지원서비스
장비인프라지원서비스 Internet DDoS DDoS Subnet1 L3 스위치 ANY IP Web Service WEB F/W L3 스위치 Main F/W L3 스위치 Main F/W Subnet2 L3 스위치 L2 스위치 L2 스위치 L2 스위치 L2 스위치 SRC IP IDC Service Subnet3 L2 스위치 사무실네트워크 Sub F/W 서버 17대임대 CPU: 216 Core Memory: 2,432GB HDD: 105TB SSD: PCIe SSD 25TB GPU: NVIDIA Titan X Subnet 분리를통한별도네트워크구성을통해외부기업접근불가 임대서버에대한접근권한기업관리로관리자조차접근불가
추진현황 빅데이터산업진흥센터설립 빅데이터산업진흥센터개소식 빅데이터서버임대 Http://abrc.or.kr 빅데이터기술컨설팅 인공지능 - 빅데이터연구센터명칭변경 유성준센터장
장비인프라지원서비스 전체장비가동률 : 88.7% 지원기업수 : 39 개기업
장비지원현황 (2017 년 ) 100 90 장비가동률과장비지원기업수 100 100 20 18 80 85 86 86 86 86 86 16 70 75 14 60 69 12 50 40 16 16 16 18 10 8 30 20 7 12 11 12 13 9 6 4 10 2 0 1 월 2 월 3 월 4 월 5 월 6 월 7 월 8 월 9 월 10 월 0 2017 년도장비가동률 : 86.1% 지원기업수 : 20 개기업
대용량데이터장비개발지원 효율적인 IDC 자원관리와최적화된성능으로기업이만족할수있는인프라구 축을위해클라우드핵심인가상화기술도입을검증함 KVM 하이퍼바이저의입출력성능검증진행 테스트환경 메모리크기에따른성능 파일크기에따른성능 캐시모드에따른성능 가상머신대수에따른성능 가상머신대수에따른성능결과
대용량데이터장비개발지원 virt-manager 를통한자원사용현황 가상머신의자원사용률을실시간으로확인이가능함 KVM 기반의로그수집기개발 휘발성인 virt-manager 의사용률을수집하여과거이력으로저장함 이를통해가상머신의사용률에대한통계와예측이가능함
대용량데이터장비테스트서비스제공 기업에서수집하는막대한양의빅데이터를관리하고머신러닝과데이터마이닝 을지원하기위해빅데이터분야의다양한플랫폼을구축하고이를검증함 호튼웍스데이터플랫폼을통한빅데이터처리환경구축 지원서비스 Hadoop, Spark, Hive, Pig, Sqoop, HBase GUI 환경의웹콘솔제공 실시간자원모니터링