데이터센터의 도전과제 2013 Cisco and/or its affiliates. All rights reserved. Cisco Connect 2

일반적데이터센터구조 Zone 별핵심기술조건 Core/Network 서비스 Facility Network Server Storage Core Zone Core Switch Network Service L7 Switch 방화벽 L7 Switch Service A Zone Service B Zone Service C Zone Dist/Access/Server/Storage zone Core Zone 대용량코어스위치 고성능 / 고집적 10GE 요구 다양한 L2/L3 Feature 지원 고가용성 / 안정성기반구성 Network Service 대용량방화벽 / L7 Switch 서비스 고성능및 10G Interface 지원 유연성있는디자인 / 고가용성 / 안정성필요

일반적데이터센터구조 Zone 별핵심기술조건 Dist/Access 영역 Facility Network Server Storage Core Zone Core Switch Network Service L7 Switch 방화벽 L7 Switch Service A Zone Service B Zone Service C Zone Dist/Access/Server/Storage zone Dist Switch Zone (EoR : End of Row) 대용량분산스위치 높은 L2 처리성능및 Latency Issue 다양한 L2 Feature 지원 고가용성 / 안정성필요 Access Switch (ToR : Top of Rack) 1U Size / ToR Switch Low Latency Switching 1/10G Switch 기술제공

일반적데이터센터구조 Zone 별핵심기술조건 서버 / 스토리지영역 Facility Network Server Storage Core Zone Core Switch Network Service L7 Switch 방화벽 L7 Switch Service A Zone Service B Zone Service C Zone Dist/Access/Server/Storage zone Server Zone 서버관리및집적도 하이퍼바이저아키텍쳐에종속 IO 디자인이슈 ( 네트워크, 스토리지 ) Storage Zone 스토리지프로토콜 (iscsi / FC / NAS) 선택 스토리지 IO 처리기술 HA 및대역폭에대한디자인 디스크 (SATA/SAS/SSD) 선택 RAID 구성에대한이슈

Storage Side Network Side 일반적데이터센터구조물리적구성 서버랙, 스토리지랙 Network ToR Facility Server Server Rack Storage Rack Network Rack Network Storage Storage ToR 서버랙 /POD 1U 또는 2U server 구성 10G NIC/ 4G FC HBA (Storage Access), 1G NIC (Network Access & Mgmt Access) Network ToR Switch Network Service 용 Storage ToR Switch iscsi /NAS,FC Switch Management Switch OOB 관리용 Storage Rack / POD 10GE 기반의 iscsi / FC 기반의 SAN Disk Array 구성 SSD / FC/ SAS/ SATA Disk FC Case EoR 형태의 SAN Director 사용

Storage Side Network Side 일반적데이터센터구조물리적구성 네트워크랙 Network ToR Facility Server Server Rack Storage Rack Network Rack Network Storage Storage ToR Network Rack EoR 형태의 Network Switch 구성 EoR 형태의 iscsi/nas Switch 구성 Mgmt 용 Network Switch 연결구성

일반적데이터센터구조기술적과제 서버및네트워크 Facility Network Server Storage 현재 Cloud Computing Network 도전과제들 Server vswitch/veb 이슈 VMDirect Path 이슈 NIC Teaming/Bonding 이슈 Access Switch Server NIC 디자인이슈 STP Issue 대량의물리적 ToR Switch 관리이슈 Storage Layer 안정성 / 대역폭확보이슈 Dist Switch STP Issue 대량의물리적 ToR Switch 관리이슈 Storage Layer 안정성 / 대역폭확보이슈 대규모 L2 Domaion 구조및 motion 이슈

일반적데이터센터구조기술적과제 서버및네트워크 Facility Network Server Storage 현재 Cloud Computing Network 도전과제들 Network Service Virtualization 지원이슈 In-line / DSR / Out Of Path 구조등에대한정의 Multi-Tenant를위한디자인 Core Switch 스위치가상화지원이슈 Site to Site VMotion 을위한기술지원

일반적데이터센터구조기술적과제 서버및네트워크 Facility Network Server Storage 현재 Cloud Computing Network 도전과제들 Server 의기술적도전과제 Green Computing - 저전력 CPU /Memory IO 복잡성에대한고민 효율적인가상화구현에대한고민 Point Product 증가에따른관리고민 집적도에대한고민

클라우드컴퓨팅네트워크디자인서버네트워크의 AS-IS 가상화환경에서의서버네트워크이슈 Dist Switch vswitch 기술 / 관리 Server NIC Teaming/Bonding. Access Switch vswitch 성능 VM 집적도및응답속도. Active Standby Active Standby VM 간 Traffic Monitoring & Filtering 불가능. Hypervisor vswitch / VEB VM / Cloud Service 별 Traffic Engineering 불가능. VMotion 발생시정책의이동성지원문제. VM [ 가상화환경에서의서버네트워크 ]

클라우드컴퓨팅네트워크디자인서버네트워크의 AS-IS : 가상스위치 가상머신 가상머신 VGT Port Group vmnic vnic Port Group vswitch ESX Port Group vmnic vnic Port Group vswitch ESX VST EST 가상스위치기반의정책적용이슈 네트워크관련정책적용의어려움. 네트워크모니터링구성지원불가 (SPAN,RSPAN,ERSPAN) vmotion 과연계한정책의이동성지원불가 관리적인이슈 Virtual Switch 관리주체에대한이슈 블레이드스위치 / 가상화스위치관리에대한지속적인이슈발생

클라우드컴퓨팅네트워크디자인서버네트워크 AS-IS : 가상화스위치의 Trend Hypervisor Switching 802.1Q 기반의표준화 / 범용적기술기반 Nexus 1KV 기반의 Virtual Switching 기술 S.W 기반의 Switching 이가지는잠재적이슈에대한고민 External Switching 가상화를위한장기적인로드맵필요 802.1BR 기반의 VN-Tag 기술 (Cisco, VMWare, Qlogic, Emulex, Broadcom 등 ) 802.1Qbg 기반의 Tag 기술 (HP, Brocade, Juniper 등 )

클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : VN-LINK 기반의소프트웨어스위치 N1KV [ 소프트웨어스위치도입모델 ] : Nexus 1000V 솔루션 : Nexus 1KV S.W 기반의 VN-LINK 스위치 802.1 Q 기반 다양한스위치기능 정책의이동성보장 기존관리모델유지가능 NX OS 그대로사용 VSN 서비스제공 편리한설치구성 VMware, MS 2012, KVM, Citrix Xen 지원 가상머신 vnic vmnic Nexus 1K VSM (Virtual Service Module) VM 또는 Appliance VMware vcenter MS System Center Citrix Xen Center 가상머신 Nexus 1KV vpath ESX vmnic ESX 다양한정책구현 정책의이동성보장 기존운영모델의보장 [ Nexus 1KV 구성범례 ]

클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : VN-LINK 기반의소프트웨어스위치 N1KV [ 소프트웨어스위치도입모델 ] : Nexus 1000V 기반 VXLAN 솔루션 : VxLAN vcloud 의유연성기술수많은 multi-tenant 발생시, VLAN 숫자의부족 / 네트워크확장성부족이슈를해결 VxLAN : MAC-in-UDP encapsulation 24bit ID 기반기술 L3 Across 기반가능및 N1KV 기반기술모두사용가능 표준화진행

클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : VN-LINK 기반의소프트웨어스위치 N1KV [ 소프트웨어스위치도입모델 ] : Nexus 1000V 기반 VXLAN IP Multicast Enabled 기반네트워크 vmnic Bridge Domain Switch N1KV VEM VTEP ESX vmnic Bridge Domain Switch N1KV VEM VTEP ESX vnic vnic

클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : VN-LINK 기반의소프트웨어스위치 N1KV [ 소프트웨어스위치도입모델 ] : Nexus 1000V 기반 VXLAN 솔루션 : VxLAN VSG (CY 2010) vcenter Virtual Network Management Center (VNMC) 범용가상방화벽기능제공 vasa (CY 2011) 시스코가상방화벽기능제공 vwaas (CY 2011) 가상어플리케이션가속기능제공 vnam (CY 2012) 가상어플리케이션분석기능제공 vsphere Tenant A Virtual ASA Tenant B VDC VDC vapp VSG VSG VSG vapp VSG Virtual ASA vpath Nexus 1000V

802.1BR 802.1BR 클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : VN-Tag 기반의가상화스위칭기술 [ 하드웨어기반의 FEX 기술 ] : Adapter FEX, VM-FEX 솔루션 : VM-FEX/ Adapter FEX H.W Tag 기반 VM-Direct path 802.1 BR Pre-Standard 모델 Nexus OS 기반구현모델 가상화성능향상가능 관리모델의승계 SVR /Net Admin 대부분의가상화솔루션지원 VMWare vsphere 5.0 의경우 VMotion 기능지원 Nexus 6K/5K 또는 UCS FI Nexus 2K 또는 UCS IOM UCS /VM-FEX VMWare ESX MS HyperV RHEL KVM VM-FEX Hypervisor Nexus 6K/5K 또는 UCS FI Nexus 2K 또는 UCS IOM x86 /Adapter FEX VMWare Citrix Xen RHEL KVM MS HyperV Linux, Win Adapter FEX Hypervisor [ 802.1BR 기반의 VM-FEX/Adapter-FEX 적용모델 ] 지원모델 Cisco VIC, Broadcom 10G NIC

클라우드컴퓨팅네트워크디자인서버네트워크 To-Be : 전략적디자인로드맵 [ Phase I : vswitch ] [ Phase II : Nexus 1KV ] [ Phase III : VM-FEX, Adapter-FEX ] 기존 vswitch 사용 Nexus 1KV 기반 Switch 적용 Tag 기반 Switching 802.1Q Standard 모델 Hypervisor vswitch 사용 - vswitch 특성파악 -.1Q Model 적용여부결정 vswitch 정책결정 - 보안, QoS, 장애관리정책 목표 : Server & Network Team R&R 정의필요 * 2013 년지원예정 802.1Q Standard 모델 Nexus OS 기반 vswitch - ESX, HyperV, KVM*, Xen* Nexus OS 기반정책결정 - 보안, QoS, 장애관리정책 - VSM 기반의가상샤시 목표 : 가상스위치를 Network Team 에서운영 VMWare 의경우에만해당 Tag 기반 802.1BR 모델 VM-FEX 모델 ( 성능 ) - VMWare, KVM 적용모델 - MS,Citrix SR-IOV 적용 - Nexus 5K/2K 연동모델 Adapter-FEX 모델 ( 디자인 ) - 대부분의가상화지원 - Nexus 5K/2K 연동모델 목표 : 물리적서버에서모든 네트워크기능을가상화를 인지하는네트워크 스위치로이전모델.

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 AS-IS 기술적이슈 Active Standby Active Standby Hypervisor Server Dist Switch Access Switch vswitch / VEB VM Cloud Computing Access/Dist Switch 이슈 Server Access/ Dist Switch - ToR ToR 스위치의관리이슈. ToR Switch 관리를위한 Mgmt Overhead STP 구성에대한이슈. 복잡한 STP 구조이슈로인한불안정 Blade Switch / vswitch 등. 네트워크기반의스토리지구성이슈 iscsi/nas 를위한성능향상이슈 iscsi/nas 안정성향상요구 가상화를위한다양한 Security. ACL, DAI (Dynamic ARP Inspection)

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 AS-IS STP 이슈 STP STP STP? STP? Hypervisor Hypervisor Hypervisor Hypervisor STP 의복잡성 가상화기반에서의 L2 Switching 구조이해 블레이드스위치, 가상화스위치의 STP 비효율적인 Flow Network - Data/Storage Flow 모두 Active/Stdby Storage - Failover Time 이슈. Server - Server NIC Teaming/Bonding 구조이슈. East to West Traffic의급격한증가이슈.

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 AS-IS 정책이슈 802.1Q Hypervisor Hypervisor Hypervisor Hypervisor ACL 정책구현의이슈 ACL(Access Control List) 적용이슈. ACL 정책관리에대한고민 L2 Layer 보안이슈 가상화기반에서 ARP Spoofing 문제. MAC Spoofing 에대한대책.

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : vpc 기반 no STP [STP Free 구조 ] : vpc(virtual Port Channel) & FEX(Fabric Extender) 솔루션구현 솔루션 : Nexus vpc STP Free 구조 Design STP Free 구조 Nexus 7K vpc vpc vpc 기반가용성향상 Nexus 2K vpc 기반대역폭향상 Active Active Active Active vpc+, EvPC 등의다양한 Server vpc vpc 디자인기술제공 가상화스위치와유연한 Hypervisor Hypervisor 연동구성기술제공 vpc의물리적 View vpc의논리적 View [ Nexus vpc 구조 ]

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : Fabric Path 기반 no STP [STP Free 구조 ] : Fabric Path 솔루션구현 솔루션 : Nexus Fabric Path STP Free 구조 Design S10 S20 S30 S40 STP Free 구조 손쉬운구성 (PnP) Convergence Time 향상 Latency 이슈개선 FabricPath (FP) S100 S200 S300 대역폭의대폭확장 높은확장성기대 vpc+ 와의연동의통한 A 1/1 1/2 Classical Ethernet (CE) B 데이터센터모든환경의 no STP 환경구현 [ Nexus Fabric Path 구조 ]

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : 넥서스 OS 서비스기능 [ 보안성강화 ] : Cloud Computing DC 보안성강화모델 솔루션 : Nexus 스위치솔루션 NX-OS Security Feature PBACL 구현.1Q 구간의대규모 ACL 에대한최적의구성솔루션 H.W 기반 Netflow Monitoring Flow 분석 DAI 구현 가상화기반 ARP Spoofing 방지 MAC Security Dedicate OS 기반의 MAC Spoofing 방지 Nexus 7K Nexus 2K Server vpc Active Active Active Active vpc Hypervisor vpc vpc PBACL[ 정책기반 ] PVLAN 구성 DAI ARP Spoofing MAC Security MAC Spoofing

Storage Side Network Side 클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 AS-IS 물리적구성이슈 Server Rack Storage Rack Network Rack Network Switch 관리포인트 = Rack x ToR Switch Network Switch 관리포인트 = Rack x ToR Switch Network Switch 관리포인트 = Rack x EoR Switch ToR Switch Mgmt Overhead 네트워크구성관리 Overhead 장애시 Trouble Shooting 시간증가 (ex. STP 이슈분석 ) 물리적스위치또는 VM 이동시정책재설정필요 투자비 / L2 성능 ToR Switch 의과도한투자로인한 CapEx 증가 ToR-EoR 구성방식으로인한 Hop 증가

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 AS-IS ToR? EoR? Top of Rack (ToR) 가격적인장점 ToR 스위치와서버간의편리한케이블링 ToR 스위치와 EoR 스위치간의광케이블링 End of Row (EoR) 간편한관리와효율성 서버와 EoR 스위치간광또는 UTP 케이블링적은네트워크스위치관리적은 STP 이슈 Local Switching 이가능

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : 가상화샤시디자인 [ToR Management 의혁신 ] : Virtual Chassis 구현 솔루션 : Nexus FEX 단일 Network Mgmt Nexus OS 기반구현모델 Single Mgmt Point 신속한장애진단및변경관리 Hop 단순화를통한성능향상 FCoE / 10GE / 1GE 등다양한옵션지원 Nexus 7K/ /6K/ 5K & VDC 기반지원을통한디자인의유연성확보가능 Nexus 2K Nexus 7K/6k/5K Virtual Chassis [ Nexus 7K/6K/5K/2K 기반의 Virtual Chassis]

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : 케이블링 [10GE 시대를대비하기위한 Cabling] : 10GE Cabling 에대한분석 기술 케이블 최대거리 소모전력 전송지연시간 SFP+ CU Copper Twinax 5m ~0.1W ~0.25ms SFP+ SR short reach MM OM1 MM OM3 33m 300m 1W ~0.1m s SFP+ LR long reach SMF 10km 1W ~0.1m s 10GBASE-T 65nm Cat6/6a/7 Cat6/6a/7 100m ~3W ~3ms ~3ms [10GE Cabling 비교분석 ]

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : 케이블링 [10GE 시대를대비하기위한 Cabling] : 10GE Cabling 에대한분석 (Intel 자료인용 )

클라우드컴퓨팅네트워크디자인 Dist/Access 네트워크 To-Be : 전략적디자인로드맵 [ 관리혁신솔루션 ] [ 최적의디자인솔루션 ] [ 보안성강화 ] Virtual Chassis vpc / FEX/ FabricPath NX OS 보안기능적용 Nexus 7K/6K/5K/2K 가상샤시 단일관리솔루션구현 - TOR 스위치단일관리 - VIF/HIF 기반의 Switch 기반의 FEX(Fabirc Extender) 유연한디자인구성 - FCoE /40GE/ 10GE /1GE 목표 : Cloud Service 별네트워크 단일관리 STP Free Mode vpc 적용 - NIC teaming/bonding 모두 Active/Active 구성 - Failover Time 향상 - 대역폭의효율적사용 FabricPath/ FEX 적용 - Latency 개선 - 관리성향상 목표 : Cloud Computing 데이터센터 내에서 L2 구조의복잡성 제거를통한, 서비스안정화 Cloud Security 기술적용 PBACL - ACL 최적화구성기능제공 DAI & MAC Security - Layer 2 구간의보안성향상 - MAC/ARP Spoofing 방지 목표 : Cloud Computing 내에서의 보안사고에대한네트워크 레벨의보안

클라우드컴퓨팅네트워크디자인 Core/Dist 네트워크 AS-IS Service 별 EoR Switch Service 별 EoR Switch Cloud Computing Core/ Dist Switch 이슈 Core/Dist Switch 이슈 EoR Switch 서비스별과도한 Switch 투자이슈. 서비스별과도한물리적인 EoR Switch DataFlow기반의가상화로구성 (VLAN, VRF, MPLS 등 ) Hypervisor Cloud Service A Cloud Service B Cloud Service C [ 일반적인 DataCenter 내에서의 EoR Switch 구성 ] Site to Site Motion을위한기능적요구. DR 의효율적인활용 Site to Site vmotion 대한기술적이슈 L2 VPN 사용시 Mac learning 이슈 Pseudo-Wire Issue 관리포인트 Broadcast/Multicast 전파이슈 Site/Site 에대한 Active/Active 요구

클라우드컴퓨팅네트워크디자인 Core/Dist 네트워크 AS-IS 강남 DC 분당 DC Cloud Computing Core/ Dist Switch 이슈 Core/Dist Switch 이슈 EoR Switch 과천 DC? Subnet A L2 VPN EoMPLS VPLS Dark Fiber 일산 DC Subnet A [ 데이터센터간의이동성문제 ] 서비스별과도한 Switch 투자이슈. 서비스별과도한물리적인 EoR Switch DataFlow기반의가상화로구성 (VLAN, VRF, MPLS 등 ) Site to Site Motion을위한기능적요구. DR 의효율적인활용 Site to Site VMtion 대한기술적이슈 L2 VPN 사용시 Mac learning 이슈 Pseudo-Wire Issue 관리포인트 Broadcast/Multicast 전파이슈 Site/Site 에대한 Active/Active 요구

클라우드컴퓨팅네트워크디자인 Core/Dist 네트워크 To-Be : VDC 기반의네트워크가상화 [Cloud Computing Core 네트워킹기술 ] : VDC 기반의스위치가상화 솔루션 : Nexus 7000 VDC Network Service iscsi/nas Service Internet Access VDC (Virtual Device Context) VDC 기반의서비스구현 N7K 기준 8개까지가상스위치구현을통한비용절감. Cloud Service 또는 Layer별 VDC Switch 구성가능 Data Plane / Control Plane / Management Plane 분리 Nexus 7K Nexus 2K Server vpc Active Active Active Active vpc Hypervisor vpc vpc [Cloud Center 기반데이터센터에서의 Nexus 7000 VDC 구성예 ] vpc vpc

클라우드컴퓨팅네트워크디자인 Core/Dist 네트워크 To-Be : OTV 기반의데이터센터 Overlay [Cloud Computing Core 네트워킹기술 ] : OTV (Overlay Transport Virtualization) 솔루션 : Nexus 7000 OTV Site to Site Motion Control Plane 기반 MAC 학습 Dynamic Encapsulation - IP 기반 Frame Encapsulation STP Loop Free /Unknown Unicast 차단 /ARP Broadcast 효과적관리 Multi Homing 지원 per VLAN 로드밸런싱지원 Fabric Path VXLAN OTV Fabric Path VXLAN

클라우드컴퓨팅네트워크디자인 Core/Dist 네트워크 To-Be : 전략적디자인로드맵 [ 네트워크서비스 ] [ 네트워크가상화 ] [ 데이터센터간이동성보장 ] 네트워크서비스가상화네트워크가상화데이터센터간이동성보장 ASA/ASASM Virtual Context 적용 네트워크서비스가상화 - Access/Dist Switch & Core Switch 사이에적용 - 802.1Q 또는 VRF 기반을통해네트워크데이터가상화와연계 - Cloud Service 별가상화 목표 : End to End 가상화를위한 네트워크서비스가상화 구현 VDC (Virtula Device Context) VDC 기술적용 - Data/Control/Mgmt Plane 가상화 - 현재최대 8 개까지지원 Mgmt Overhead 최소화 - 단일물리적인장비를최소화하기위한 VDC 기반의유연성있는설계 목표 : Mgmt Overhead 감소및 CapEx 최소화를위한 네트워크가상화 OTV OTV - Site to Site 의 Server 또는 VM 의원할한이동성보장 - vpc/fp/vxlan/ MPLS 와연계한가상화기반 OTV 적용방안고려 VMWare SRM / EMC VPLEX,NetApp Metro 기술과연계한 Cloud DR 목표 : DataCenter Site to Site Seamless 이동성보장을 위한기술구현

클라우드컴퓨팅네트워크디자인클라우드 / 가상화데이터센터네트워킹매트릭스 현재적용기술 Issue 차세대기술차세대솔루션 서버네트워크가상화 vswitch 일반적 Switch 기술 지능형가상스위치 802.1Qbh 기술 서버네트워크관리 vcenter / XenCenter 기반 전문성부족 VN-LINK Nexus 1KV LACP VXLAN VM-FEX Adapter-FEX 서버네트워크정책 없음 VM기반의정책이슈 지능형가상스위 치 802.1Qbh 기술 서버 IO 효율화 vswitch 기반 Bonding ToR Switch 관리 없음 Mgmt Overhead 서비스신속성결여 Virtual Chassis 기능 Cisco Nexus FEX 기술 STP 디자인 MSTP / VLAN LB STP 구조의복잡성 vpc / MLAG/ LAG Cisco Nexus vpc 기술 Fabric Path Link 안정성 RSTP / Flex LINK iscsi Storage 안정성 vpc / vpc+(fabricpath) 네트워크가상화 Data Plane 가상화 (Vlan,MPLS,VRF ) Control/Mgmt Plane 가상화불가 VDC (Virtual Context) Cisco Nexus 7K VDC 데이터센터간이동 vmotion Site to Site L2 이동성 보장불가 OTV Cisco Nexus 7K (VXLANvPC,FP,OTV) 네트워크보안적용하지않음 L2 공격에대한이슈 MAC Security/ DAI NX OS 보안 Feature

클라우드컴퓨팅네트워크디자인클라우드 / 가상화데이터센터 To-Be FEX vpc N1KV VM-FEX A-FEX VDC vpc OTV FEX PBACL, DAI VDC vpc FEX Fabric Path VSS ASASM Cloud Computing 구현을위한기술구현 Server 802.1Q 기반 N1KV / VM-FEX / Adapter- FEX 기술구현 QoS, VXLAN 구현 Dist Access Switch Nexus FEX 기술 vpc & Fabric Path 기술 Core/Dist Switch VDC vpc & Fabric Path 기술구현 Nexus FEX 기술 PBACL / DAI 적용 Network Serivce VSS & Virtual Context 구현

클라우드컴퓨팅서버디자인서버자원의선택 AS-IS CPU 선택에대한이슈 - Sandy Bridge EP, EX, EN? - 고사양 CPU? Memory 선택에대한이슈 - 4GB, 8GB, 16GB 저전력메모리 Memory Speed - 메모리집적도 HDD 선택 - Disk Type : SATA, SAS, SSD & RPM, RAID - IO Protocol : FC, iscsi, NAS IO 선택 - Bandwidth : 1GE, 10GE, 4G FC/ 8G FC - IO : Ethernet, FCoE, FC

Server Server Server Server Server Server Server Server Server Server Server Server Server Server 클라우드컴퓨팅서버디자인서버타입의선택 AS-IS : 랙마운트 vs 블레이드 Server Server Server VS Server Server Server Server Management Management Rack Blade Server

클라우드컴퓨팅서버디자인서버 AS-IS 요약 Network ToR 10GE or 1GE Storage ToR 10GE or FC [ Rack Mount Server] Cloud Computing Server 이슈 Server Green Computing. RackMount Server vs Blade Server Virtualization 복잡한 IO 1/10GE, iscsi, NAS, VM-Mgmt, FC. IO 가상화 Memory 관리성 대부분의서버는메모리에대한 요구가가장높음 서버관리에대한효율성이슈

19 인치표준 Rack 210cm ~ 클라우드컴퓨팅서버디자인서버 To-Be 요약 : 집적도디자인 [ Blade Server 기반의고집적디자인 ] : Cisco UCS 솔루션 : UCS Blade Solution Cisco UCS Blade 8 대서버 / 6U 42U 서버랙기준 48 대 서버탑재 Sandy Bridge - 768Core = Westemere-EX 960Core Memory 최대 24.5TB IO 1.920 Tbps 48개 IO Card IO Cable - 12 ~ 96개 저전력 Architecture 구현 Cisco UCS RackMount Server

클라우드컴퓨팅서버디자인서버 To-Be 요약 : Green Computing 디자인 [ Blade Server 기반의저전력디자인 ] : Cisco UCS 솔루션 : UCS Blade Solution Cisco UCS Blade 80 Plus Platinum 인증 : 전력변환효율최대 95% Grid 전원구성 데이터센터환경최적을 위한블레이드내부 63% 개방율 ( 타사대비최대 3 배 이상개방율 ) 저소음팬설계및저전력 공인인증저전력전원공급장치 63% 개방율기반구조 팬설계 [ Cisco UCS Blade Solution] Grid 팬방식구성

클라우드컴퓨팅서버디자인서버 To-Be 요약 : Green Computing 디자인 [ 대용량메모리기술기반저전력 ] : Cisco UCS 기반의대용량메모리지원 솔루션 : 메모리확장기술 Cisco B200M3 기반 메모리집적도 데스크톱가상화 OS : Window 7 Memory : 4 GB 데스크톱가상화 OS : Window 7 Memory : 4 GB Intel E5 프로세스기반의 Memory DIMM 24개제공 업계최대용량의블레이드메모리구성제공 CPU 성능확장으로인한 VM 집적도향상및메모리 Cisco UCS E5-2680 2.70 GHz 16GB x 24DIMMs = 384GB 1000 대 VM 서버당 90 명 12~13 대 UCS 서버필요 일반 x86 서버 E5-2680 2.70GHz 16GB x 16DIMMs = 256GB 1000 대 VM 서버당 62 명 17~18 대 x86 서버필요 대용량확보 [ Memory 고집적사례디자인비교 ]

클라우드컴퓨팅서버디자인서버 To-Be 요약 : 서버 IO 디자인 [ FCoE & IO 가상화 ] : Cisco FCoE & IO 가상화구현 솔루션 : FCoE & IO 가상화 FCoE & IO 가상화 10GE 기반의 FCoE (Fiber Channel Over Ethernet) 기술구현 IO 가상화기술을통한 다량의 IO Card 생성 FCoE & IO 가상화를통한 일반적가상화환경구조 비용절감. IO 가상화기술을통한 디자인구성의유연성 FCoE Ethernet FC traffic 확보 FCoE & 시스코 IO 가상화기술

클라우드컴퓨팅서버디자인서버 To-Be 요약 : 서버 IO 디자인 [ 신개념 IO 가상화기술 ] : IO Virtualization 기술 솔루션 : FCoE & IO 가상화 ASIC 기반의가상화기술 SR-IOV 구성의제약점극복 최대 256개 IO card 가상화 Win2K8/RHEL 6.0 기준 30개이상 IO card 구성 (FC, 10GE Card 기준 ) VMWare 기준 116개 IO Card 지원 VM DirectPath 지원 Cut Through Switching 지원 전통적 10GE 2 x 10G port 8 NICs vnic vnic Server Server vnic vnic 전통적 HBA vnic vnic HP 가상화카드 2 x 10G port 2 x 4G vnic vnic Server 2 NICs 2 HBAs vnic vnic 일반적 CNA 2 x 10G port Server 최대 256 개 vnic 또는 vhba vnic vnic vnic vnic vnic vnic vnic vnic vnic Cisco 가상화카드 2~8 x 10G port vhba vhba vhba vhba vhba vhba vhba vhba vhba vhba vhba

클라우드컴퓨팅서버디자인서버 AS-IS : VMware on UCS 방식예제 [ VMWare 기반전통적구성 ] : 일반적 VMWare IO 구성 NIC NIC NIC HBA 물리적 IO Card vswitch vmnic vnic 물리적 IO Card vmkernel vmnic 물리적 IO Card vmkernel vmnic 물리적 IO Card vmkernel vhba Mgmt vmotion iscsi/nas FC 일반 x86 구성의복잡성 8개이상의 IO Port 필요 VM Network, VMKernel Network, Storage Network 이중화를위해상단에서의네트워크와의 Teaming 고려 vmotion 이동성보장을위해상단네트워크와의 802.1Q 적용및 Vlan Tagging 고려 일부벤더의가상 IO 기술을적용하더라도, Rate Limit 기반의비효율적인대역폭정책

클라우드컴퓨팅서버디자인서버 To-Be : VMware on UCS 방식 [ VMWare on UCS ] : Cisco Adapter FEX 적용시 Cisco VIC 최대 256 개가상 IO Card 제공 FCoE vswitch vmnic vnic vmkernel vmnic vmkernel vmnic vmkernel vhba Mgmt vmotion iscsi/nas FC Cisco Adapter FEX 기반의장점 최소 2개의물리적 IO에서최대 256개가상 IO 제공 (Ethernet, iscsi, HBA 제한없음 ) H.W Teaming을제공함으로 vswitch의이중화구성이필요없음. 802.1Q 및 Vlan Tagging은모두 UCS에서적용가능함. 가상화 IO 기술적용시 Rate Limit, shapping 기술동시제공하여대역폭을효율적사용 CoS Tagging이구현가능하므로, SLA 구현에유리

클라우드컴퓨팅서버디자인서버 To-Be : VMware on UCS 방식 [ VMWare on UCS ] : : Cisco Adapter FEX + Nexus 1KV 적용시 Cisco VIC 최대 256 개가상 IO Card 제공 FCoE vmnic vnic Nexus 1000V VEM vmnic vmnic vmkernel vhba Mgmt vmotion iscsi/nas FC Cisco Adapter FEX + Nexus 1000V 기반의장점 정책구현편리 ACL, QoS, Portmirroring 구현가능및정책이동시에도유지 분석및장애처리편리 Netflow, Portmirroring 구현 다양한이더채널기술적용가능 16가지방식 VM 형태의다양한서비스탑재가능 방화벽, 로드밸런서, 어플리케이션가속, 어플리케이션분석장비등

클라우드컴퓨팅서버디자인서버 To-Be : VMware on UCS 방식 [ VMWare on UCS ] : : Cisco VM FEX 적용시 Cisco VIC 최대 256 개가상 IO Card 제공 FCoE vmnic vnic vmkernel vmnic vmkernel vmnic vmkernel vhba Mgmt vmotion iscsi/nas FC Cisco VM FEX 기반의장점 vswitch를사용하지않는방식으로, Hypervisor를 Bypass 함. 성능 30%, IO Latency 40% 이상, CPU 20% 이상향상효과 vswitch를사용하지않으면서, vmotion이가능한 UTP/VM DirectPath v2 업계유일구현 VM 집적도를타사대비극대화가능함. 서버가상화또는대규모가상화에매우유리

Fiber Channel Fiber Channel Etherne t Etherne t FCoE Etherne t Etherne t 클라우드컴퓨팅서버디자인서버 To-Be 요약 : 서버 IO 혁신에의한디자인비교 [ IO 구조비교 ] : Cisco UCS 구조 vs HP/IBM 구조 Network 구조최적화 Network Network Network 구조이슈 Chassis 증가시대역폭필요에따른최소증설 Chassis 증가에따른네트워크포트증설지속발생 Blade Chassis 구조최적화 FCoE 및 IO 가상화구조로최초구성후변경사항없음. VS Blade Chassis 구조이슈 IO 연결구조증가에따른포트및 IO Module 증가 Ethernet & FC Module 별도구성필요 Network 구조최적화 Network 구조이슈 Chassis 증가시대역폭필요에따른최소증설 NAS File Server NAS File Server Chassis 증가에따른네트워크포트증설지속발생 FC 구조최적화 Chassis 증가시대역폭필요에따른최소증설 FC Storage FC Storage [ Cisco UCS 구조 ] [ HP/IBM 구조 ] FC 구조이슈 Chassis 증가에따른 FC 포트증설지속발생

클라우드컴퓨팅서버디자인서버 To-Be 요약 : 하드웨어상태가상화디자인 [ 하드웨어상태가상화 ] : Cisco Service Profile 솔루션 : Service Profile Cisco Service Profile 하드웨어상태가상화 구현 SAN/iSCSI Boot 를통한 간편한관리및신속한 관리복구구현 하드웨어의모든속성및 부트를위한속성을 UCSM 기반을통해관리를구현 [ Cisco UCS Service Profile]

클라우드컴퓨팅서버디자인서버 To-Be 요약 : 하드웨어상태가상화디자인 [ 하드웨어상태가상화 ] : Cisco Service Profile 솔루션 : Service Profile Cisco Service Profile 하드웨어상태가상화 Service Profile 구현 SAN/iSCSI Boot를통한간편한관리및신속한관리복구구현 하드웨어의모든속성및부트를위한속성을 UCSM 기반을통해관리를구현 [ Cisco UCS Service Profile]

클라우드컴퓨팅서버디자인클라우드 / 가상화데이터센터서버매트릭스 현재범용기술 Issue 차세대기술시스코 UCS 기술 CPU 성능 Intel Sandy Bridge 고사양 CPU 지원 고사양샌디브릿지 샌디브릿지 4P Memory 집적도 / 성능 Disk 집적도 / 성능 저전력기술 E5 2690 지원 4P 서버지원 대용량메모리 메모리성능 저전력메모리 저전력메모리및 24DIMM기반 1.3GHz 지원 2U 기반고집적 SAS SSD 저전력 CPU, Memory 블레이드, FCoE Disk IO 고성능 SSD PCIe 기반 Fusion IO, LSI IO 기술지원 쿨링, PCIe 슬롯부족 지능형쿨링 Intel SR-IOV Adapter/VM-FEX 개방률 63% FCoE 지원 IO 가상화 ToR Switch 상용칩기반스위치 ToR 스위치증가 SDN, SoftSwitch SDN 기반 Nexus UCS FI 솔루션 관리 Remote KVM 비용및복잡성 표준관리기술 Service Profile UCSM 기반관리 다중 DC 관리 가상화 IO iscsi, 1/10GE,NAS,CIFS,FC 비용증가하드웨어구조문제 FCoE FCoE 범용화및검증된솔루션

클라우드컴퓨팅 DR 디자인클라우드 / 가상화기반 DR 모델 [ 클라우드 / 가상화기반 DR ] : To Be Model Main Center Internet Internet DR Center Network DataCenter Core/Service Core Switch Firewall L4 Switch GSLB DataCenter Core/Service Core Switch Firewall L4 Switch Access Cisco Nexus 7K Access Cisco Nexus 7K Compute vpc Cisco UCS FI Compute vpc Cisco UCS FI Server VM VM VM VM VM VM H.V 2x10GE 2x10GE 2x10GE 2x10GE Cisco UCS VM VM H.V 2x10GE 2x10GE Cisco UCS Storage vpc vpc Storage Storage vpc vpc Storage Storage DR Network MDS 9222i Nexus 5500 DR Network MDS 9222i Nexus 5500 FC IP

클라우드컴퓨팅 DR 디자인클라우드 / 가상화기반 DR 모델 [ 클라우드 / 가상화기반 DR ] : Network & Storage 고려사항 OTV DCI GSLB DNS 기술적용 Service URL Main Center L4 VIP DR Center L4 VIP A. Traffic Flow Optimize GSLB 장비와 L4 장비간 CAL-AP 기술을통해 Network Traffic 분산기술적용 B. 인터넷회선장애시우회서비스 Main Center 회선장애또는네트워크서비스장애시 GSLB 기술을통해 DR Center L4 VIP 로서비스인입우회 LAN Extension 기술적용 - 2 A. DarkFiber / DWDM Nexus 5500 기반의 vpc 기술적용 MPLS 기존스위치의 EoMPLS 또는 VPLS 기술적용 LAN Extension 기술적용 - 1 A. 최적의 OTV(Overlay Transport Virtulaization) 기술적용 OTV 기술적용을통해, Control Plane 기반의 ARP Table 을 Site to Site 코어스위치에서 Flat Network 으로공유 HA 또는 VMotion 적용시편의성제공 ** Nexus 7000 스위치반드시필요 VMotion 을위해서는반드시 622Mpbs 대역폭이상, 10msec 이하의 Laytency 를보장해야함. VMWare 권고사항 (Metro Cluster 적용 )

클라우드컴퓨팅 DR 디자인클라우드 / 가상화기반 DR 모델 [ 클라우드 / 가상화기반 DR ] : Network & Storage 고려사항 Site to Site VMotion - L2 Extension 기반 SRM VMotion A. L2 Extension 기반의 VMotion Site to Site VMotion 을위해 L2 Extension 기반의 VMotion 적용 (Network 파트기술참조 ) B. Metro Cluster VMWare Metro Cluster 적용 C. 제약조건 622Mbps / 10msec 이하의네트워크환경이선수조건이됨. (VMWare Metro Cluster) SRM 기반의 Site to Site Data Replication A. SRM (Site Recovery Manager) 기반솔루션적용 VMWare 에서제공되는솔루션으로, Storage 벤더들의 Data Replication 솔루션과연동하여 Data 복제및 DataCenter 의컨디션을점검하여장애발생시, DR Center 의 SRM 에통보하여해당 DR Center 의 vcenter 에서 VM 을구동하여사용함. B. SRM 기반 DR Center 동작시고려사항 RPO (Recovery Point Object) 는 Netapp SnapMirror 기술연동과함께조절이가능하나, RTO (Recovery Time Object) 는예상할수없음.

클라우드컴퓨팅 DR 디자인클라우드 / 가상화기반 DR 모델 [ 클라우드 / 가상화기반 DR ] : Network & Storage 고려사항 최적의 Data Replication 구현 Data Replication / Mirror FCIP 기반 DR FCIP 기반의 DR 구성 A. FCIP 기반 DR 구성 FCIP 기반의 DR 구성을통해, 효율적인 DR 네트워크구축 MDS 9222i / Nexus 5500 Switch 추가적으로구축필요 B. 추가제안 FCIP 구성시 TCP/IP 효율성증가를위해, WAAS 기반의 Application 가속솔루션을구성

클라우드컴퓨팅스토리지디자인 Scale up vs Scale Out VS Bottleneck 발생스토리지비용성능이슈 IO Latency Network 의존 Bulk Data OpenSource HA 신뢰성 서비스체계 Disk 안정성 성능 가격 확장성

클라우드컴퓨팅스토리지디자인 Scale up vs Scale Out SAN 기반스토리지 $2 - $10/Gigabyte $1M 투자시효과 : 0.5Petabytes 200,000 IOPS 1Gbyte/sec NAS Filer 기반스토리지 $1 - $5/Gigabyte $1M 투자시효과 : 1 Petabyte 400,000 IOPS 2Gbyte/sec 로컬스토리지 $0.10/Gigabyte $1M 투자시효과 : 10 Petabytes 800,000 IOPS 800 Gbytes/sec 출처 : VMWare Strata Conference

클라우드컴퓨팅스토리지디자인 SATA,SAS,SSD 그리고 RAID SATA 7.2K SATA 10K SATA 10K SAS 15K SSD Disk 75~100 IOPS 125~150 IOPS 140 IOPS 175~210 IOPS 100K~ IOPS IOPS = 1 / ( 평균 Latency + 평균 Seek Time) PCIe 기반 SSD Disk = 500K ~ 600K IOPS

클라우드컴퓨팅스토리지디자인 SATA,SAS,SSD 그리고 RAID RAID IO Penalty IOPS (RPM 15K 기준 ) RAID-0 0 175 RAID-1 2 85 RAID-5 4 40 RAID-6 6 30 RAID-DP 2 85 ( 예 )VDI 1000 명사용자, 사용자당최대 40 IOPS SAS 15K = 286 개필요 SAS 10K = 356 개필요 SATA 7K = 667 개필요 계산공식 ( 전체 IOPS x Read %) + (( 전체 IOPS x Write %) x RAID 페널티 )

클라우드컴퓨팅스토리지디자인알아두면도움되는 VDI 스토리지이야기 [ VDI Sizing] : Storage Sizing Storage Sizing [VDI Sizing을위한 Storage 구성기준 ] VM OS boot : 35 IOPS VM Login/Off : 20 IOPS App 최초실행 : 20 IOPS 백신 Scan/Update : 40 IOPS [VDI Sizing을위한 Storage Network] VM OS Boot : 3Mbps VM Login / App 최초실행 : 5.6Mbps 백신 Scan / 업데이트 : 6.4Mbps - Window Block Size 20KB [ Disk Sizing 을위한 VM 별 IOPS 기준 ] OS boot Login App 최초실행 백신 Scan 백신 Update IOPS 35 20 20 40 40 20 Read 90% 60% 50% 80% 20% 20% Write 10% 40% 50% 20% 80% 80% [ Disk Sizing 을위한 Disk 구성기준 ] RPM IOPS SSD 6000 15K RPM 220 10K RPM 170 7.2K RPM 75 Log Off RAID IO Penalty Write IOPS(15K) 0 0 220 1 2 110 5 4 55 6 6 36 DP 2 110

클라우드컴퓨팅스토리지디자인스토리지 IO 선택 - FC vs iscsi vs NAS FCoE SAN iscsi Appliance iscsi Gateway NAS Appliance NAS Gateway Computer System Computer System Computer System Computer System Computer System Application Application Application Application Application File System File System File System File System File System Volume Manager SCSI Device Driver FCoE Driver NIC Volume Manager SCSI Device Driver iscsi Driver TCP/IP Stack NIC Volume Manager SCSI Device Driver iscsi Driver TCP/IP Stack NIC I/O Redirector NFS/CIFS TCP/IP Stack NIC I/O Redirector NFS/CIFS TCP/IP Stack NIC Block I/O Block I/O File I/O Ethernet Ethernet Ethernet Ethernet Ethernet NIC NIC NIC NIC TCP/IP Stack TCP/IP Stack TCP/IP Stack TCP/IP Stack FCoE iscsi Layer Bus Adapter iscsi Layer FC HBA File System Device Driver File System FC HBA FC Block I/O FC

클라우드컴퓨팅스토리지디자인스토리지 IO 선택 - FCoE 운영체제 / 어플리케이션 SCSI Layer FCP iscsi FCP FCP FCP SRP FCIP ifcp TCP TCP TCP IP IP IP FCoE FC 이더넷 IB 1,2,4,8,16G 1,10,40,100G 10.20G

클라우드컴퓨팅스토리지디자인스토리지 IO 선택 - FCoE 이더넷 Header FCoE Header FC Header FC Payload CRC EOF FCS 2229Byte 1. FC, Ethernet 동시사용가능 2. iscsi, FC, NAS, NFS, CIFS 등모든 IO 동시사용가능 3. 64b/66b 인코딩방식으로 FC 에비해월등히뛰어난성능 4. iscsi 의대역폭성능과 FC 의안정성을모두수용한방식 5. SAN/Ethernet 스위치를 50% 이상줄일수있는 CapEx 절감효과

클라우드컴퓨팅스토리지디자인스토리지 IO 선택 FCoE 는 Ethernet/FC 기술동일합니다.!!!

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point 여러분들께꼭!!! 알려드려주고싶은이야기 1. NIC Card Level의 Checksum Offload를 Enable 2. NIC Card Level의 Segment Offload를 Enable 3. NIC Card Level의 LRO (Large Receive Offload) 를 Enable 4. NIC Card Level의 RSS (Receiveed Side Scaling) 을 Enable 5. NIC Card Level의 Jumbo Frame을적용 6. NIC Card Level의 Teaming, Bonding의올바른적용 iscsi는 Block Access 이고, NAS는 File Access 이다. 다르다 iscsi, NFS를 Active/Active Bonding을적용하더라도속도가빨라지지않는다. iscsi/nfs Target이많아지지않으면, 속도는동일하다. 그럼에도불구하고, 사용을권장하는이유는 Failover 때문이다.

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point Server NIC Level Linux NIC Tuning Point VMware 는 ESX Level 에서 NetQueue 로대체됨. SR-IOV Tuning Point VMware NIC Tuning Point Vmware PathThru Tuning Point

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point Server NIC Level Windows NIC Tuning Point

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point Jumbo Frame iscsi,nas 들이여 Jumbo를반드시사용하라!!! - Disk Cluster 단위는 4KB 이상이다. - IO가많을수록 Jumbo의위력을실감한다. - 대역폭이커질수록더차이난다. - 점보는모두적용해야한다!!! Hypervisor - ESX, Xen, HyperV, KVM Netowork & Storage.

Receive FIFOs Hash 클라우드컴퓨팅을스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point RSS 미적용 Core 1 Core 2 Core 3 Core 4 CPU 1 CPU 2 Interrupt Logic RSS Capable NIC Incoming Packets

Receive FIFOs Hash 클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point RSS 적용 Core 1 Core 2 Core 3 Core 4 CPU 1 CPU 2 Interrupt Logic RSS Capable NIC Incoming Packets

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point LRO 미적용 Core 1 유저 모드 application I/O library Data record 100% CPU Core 의오버헤드 커널 모드 OS device driver Data record TCP/IP MSS MSS MSS MSS MSS MSS MSS MSS 전송프로세싱수행 40% 전송을위한버퍼복사 20% I/O Adapter

클라우드컴퓨팅스토리지디자인 ethernet 기반 Storage IO 를위한 Tuning Point LRO 적용 Core 1 유저 모드 application I/O library Data record 100% CPU Core 의오버헤드 커널 모드 OS device driver MSS MSS MSS MSS 전송을위한버퍼복사 20% I/O Adapter TCP/IP MSS MSS MSS MSS

클라우드컴퓨팅스토리지디자인 FC 기반 Storage IO 를위한 Tuning Point Linux HBA Tuning Point VMware HBA Tuning Point Window FC Tuning Point

우리모두클라우드형엔지니어가됩시다.