목차 Nexus 9500 Series 스위치 소개... 3 Cisco Nexus 9500 Series 스위치의 확장형 컨트롤 플레인... 5 수퍼바이저 엔진... 5 시스템 컨트롤러... 6 Cisco Nexus 9500 Series 스위치의 비차단 분산형 데이터 플레

백서 Cisco Nexus 9500 Series 스위치 아키텍처 백서 2013년 11월 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 1 / 17

목차 Nexus 9500 Series 스위치 소개... 3 Cisco Nexus 9500 Series 스위치의 확장형 컨트롤 플레인... 5 수퍼바이저 엔진... 5 시스템 컨트롤러... 6 Cisco Nexus 9500 Series 스위치의 비차단 분산형 데이터 플레인... 7 Nexus 9500 Series 패브릭 모듈... 8 Nexus 9500 Series 스위치 라인 카드 아키텍처... 9 36x 40GE QSFP 라인 카드(N9K-X9636PQ)... 9 48x 1/10G SFP+ 라인 카드(N9K-X9564PX)... 10 48x 1/10G BastT 라인 카드(N9K-X9564TX)... 10 Nexus 9500 Series 유니캐스트 패킷 포워딩... 11 1. 인그레스 처리 파이프라인... 12 2. 패브릭 모듈 LPM 조회... 13 3. 이그레스 처리 파이프라인... 13 Nexus 9500 Series 멀티캐스트 패킷 포워딩... 14 40Gbps 마이그레이션을 위한 Cisco QSFP Bi-Di 기술... 15 결론... 16 부록... 17 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 2 / 17

Nexus 9500 Series 스위치 소개 Cisco Nexus 9500 Series는 레이턴시가 낮은 업계 최고의 고성능, 고집적도 1, 10, 40기가비트 이더넷 연결을 제공하는 모듈형 스위치 제품군이며 앞으로 100기가비트도 지원 예정입니다. Nexus 9500 Series 스위치는 ACI(Application Centric Infrastructure) 모드와 기존 NX-OS 모드 모두에서 작동할 수 있습니다. Nexus 9500 Series 스위치를 ACI 모드에서 작동할 경우, 이 스위치는 애플리케이션 네트워크 프로필에 의해 구동되는 완벽하게 통합되고 자동화된 네트워크 패브릭 솔루션을 위한 혁신적인 ACI 아키텍처의 기반을 형성합니다. Nexus 9500 Series 스위치를 기존 NX-OS 모드에서 실행할 경우, 이 스위치는 확장성이 뛰어난 고성능 데이터 센터 액세스 및 어그리게이션 레이어에 사용되는 동종 최초의 스위치로, 향상된 자동화 및 프로그래밍 기능을 포함합니다. 이 백서에서는 Nexus 9500 Series 스위치의 공통 하드웨어 아키텍처와 기존 NX-OS 모드에서의 패킷 포워딩 구현을 중점적으로 살펴봅니다. 8슬롯 Nexus 9508 스위치(그림 1)는 관련 제품군에서 4슬롯 및 16슬롯 플랫폼에 앞서 제공되는 최초의 플랫폼입니다. Cisco Nexus 9508 스위치는 최대 1,152개의 10GE 포트 또는 288개의 40GE 포트를 지원합니다. Cisco Nexus 9516 스위치는 포트 집적도를 두 배로 높입니다. 또한, Nexus 9500 Series 스위치는 1G SFP/1GBase- T 및 10G SFP+/10GBaseT 연결을 위한 높은 포트 집적도를 제공합니다. Cisco Nexus 9500 Series는 다양한 섀시 폼 팩터, 여러 가지의 라인 카드 유형 및 유연한 전면 패널 포트 속도를 통해 중소 규모 및 대규모 미션 크리티컬 데이터 센터를 위한 우수한 네트워킹 솔루션을 제공합니다. 그림 1. Cisco Nexus 9508 스위치 표 1. Cisco Nexus 9500 섀시 및 포워딩 특징 메트릭 NEXUS 9504 NEXUS 9508 NEXUS 9516 높이 7 RU 13 RU 20 RU 수퍼바이저 슬롯 2 2 2 패브릭 모듈 슬롯 6 6 6 라인 카드 슬롯 4 8 16 슬롯당 최대 패브릭 BW(Tbps) 3.84Tbps 3.84Tbps 3.84Tbps 시스템당 최대 패브릭 BW(Tbps) 15Tbps 30Tbps 60Tbps 최대 1/10/40/포트 192/576/144 384/1152/288 768/2304/576 라인 카드당 최대 포워딩 처리량(Tbps) 2.88Tbps 2.88Tbps 2.88Tbps 시스템당 최대 포워딩 처리량(Tbps) 11.52Tbps 23.04Tbps 46.08Tbps 공기 흐름 전후면 전후면 전후면 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 3 / 17

메트릭 NEXUS 9504 NEXUS 9508 NEXUS 9516 전원 공급 장치 4 x 3KW AC PSU 8 x 3KW AC PSU 8 x 3KW AC PSU 팬 트레이 3 3 3 Cisco Nexus 9500 Series 스위치는 스위치 섀시, 수퍼바이저, 시스템 컨트롤러, 패브릭 모듈, 라인 카드, 전원 공급 장치 및 팬 트레이로 구성된 모듈형 아키텍처를 갖추고 있습니다. 이러한 부품 중 수퍼바이저, 시스템 컨트롤러, 라인 카드 및 전원 공급 장치는 전체 Nexus 9500 제품군 간에 공유할 수 있는 공통 구성 요소입니다. Cisco Nexus 9500 Series의 섀시는 미드플레인이 없는 혁신적인 설계(그림 2)를 적용했습니다. 미드플레인은 일반적으로 모듈형 플랫폼에서 라인 카드와 패브릭 모듈을 연결하는 데 사용됩니다. 스위치 섀시 내부의 추가 하드웨어인 미드플레인은 냉각 공기 흐름을 차단합니다. 따라서 공기 흐름 경로를 원활하게 하기 위한 추가적인 방법(예: 미드플레인 절단, 공기 흐름 리디렉션)을 적용해야 하므로 냉각 효율성이 저하됩니다. Nexus 9500 Series는 섀시 미드플레인이 필요 없는 업계 최초의 스위치 플랫폼입니다. Nexus 9500 Series 스위치 라인 카드와 패브릭 모듈은 정밀한 정렬 메커니즘을 통해 연결 핀으로 서로 직접 연결됩니다. 라인 카드와 패브릭 모듈은 섀시에서 직교하여 각 패브릭 모듈이 모든 라인 카드에 연결되고 반대로 각 라인 카드가 모든 패브릭 모듈에 연결되도록 합니다. 공기 경로를 차단하는 미드플레인이 없는 섀시 설계를 적용하여 냉각 효율성이 극대화됩니다. 또한, 대형 냉각 팬이 필요하지 않으므로 섀시 설계를 소형화할 수 있습니다. 그림 2. Nexus 9500 미드플레인 없는 섀시 설계 미드플레인이 없는 섀시 설계는 스위치 플랫폼 구축 및 하드웨어 업그레이드를 크게 간소화합니다. 새 라인 카드, 새 패브릭 모듈과 같은 새로운 구성 요소를 도입하는 경우에는 미드플레인으로 업그레이드해야 합니다. 그러면 하드웨어 업그레이드 프로세스의 복잡성이 발생하고 서비스 중단이 증가합니다. Cisco Nexus 9500 Series는 미드플레인을 설치하거나 업그레이드할 필요성을 줄여 줍니다. 미드플레인을 제거함으로써 얻는 또 다른 이점은 평균 수리 시간이 크게 향상된다는 점입니다. 미드플레인이 있는 경우 미드플레인의 핀이 휘어지면 미드플레인을 교체하기 위해 전체 스위치를 중단한 후 분해해야 합니다. 9500에서는 섀시의 다른 구성 요소를 중단하지 않고도 손상된 구성 요소를 교체할 수 있습니다. Cisco Nexus 9500 Series는 최고의 냉각 효율성뿐만 아니라 높은 전력 효율성을 제공합니다. Cisco Nexus 9500 Series의 전원 공급 장치는 고효율성에 대한 업계 표준 80PLUS Platinum 인증을 받았습니다. Nexus 9500 Series의 라인 카드 및 패브릭 모듈은 최소 개수의 ASIC로 설계되어 모듈의 열 포켓 양을 줄여 줍니다. 이러한 혁신은 포트당 최저 전력 소비량이라는 탁월한 결과로 이어졌습니다. 전력 소비량/포트 10Gbps 포트 40Gbps 포트 포트당 와트 3.85W/포트 15.4W/포트 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 4 / 17

Cisco Nexus 9500 Series 스위치의 확장형 컨트롤 플레인 Cisco Nexus 9500 수퍼바이저 엔진은 Cisco Nexus 9500 Series 스위치용 확장형 컨트롤 플레인을 제공합니다. 시스템 컨트롤러는 수퍼바이저 엔진에서 내부 구성 요소 연결 및 관리 기능의 부담을 덜어줍니다. 내부 관리 작업을 수퍼바이저 엔진과 분리하면 스위치 컨트롤 플레인의 안정성이 높아집니다. 또한, 전체 스위치 시스템의 모듈 구조와 복원력도 향상됩니다. 수퍼바이저 엔진 Cisco Nexus 9500 Series는 컨트롤 플레인 기능을 담당하는 절반 너비의 이중화 수퍼바이저 엔진을 지원합니다. Enhanced NX-OS 스위치 소프트웨어는 수퍼바이저 모듈에서 실행됩니다. 이중화 수퍼바이저 모듈은 수퍼바이저 모듈 하드웨어 장애 시 상태 기반 전환을 지원하고 ISSU(In-Service Software Upgrade)를 지원하는 액티브 및 스탠바이 역할을 수행하여 생산 서비스에 영향을 주지 않고 소프트웨어를 업그레이드/유지 관리할 수 있습니다. Nexus 9500 수퍼바이저의 CPU 복합 제품은 4코어 Sandy Bridge Exon 프로세서를 탑재한 Intel Romley 플랫폼을 기반으로 합니다. 기본 시스템 메모리 크기는 16GB이며, 현장에서 48GB로 업그레이드할 수 있습니다. 추가적인 온보드 비휘발성 스토리지를 제공하는 64GB SSD가 내장되어 있습니다. 고속 멀티코어 CPU와 대용량 메모리는 빠르고 안정적인 스위치 시스템용 컨트롤 플레인을 위한 기반을 구축합니다. 컨트롤 플레인 프로토콜은 강력한 계산 성능의 이점을 얻는 동시에 네트워크 상태가 변경되면 신속하게 구동되어 즉각적으로 통합됩니다. 또한, 확장 가능한 대형 DRAM 및 멀티코어 CPU는 조직적으로 억제된 환경에서 타사 애플리케이션을 설치하여 실행할 수 있는 c-그룹 기반 Linux 컨테이너를 지원하는 데 충분한 계산 성능과 리소스를 제공합니다. 온보드 SSD는 로그, 이미지 파일 및 타사 애플리케이션을 위한 추가 스토리지를 제공합니다. 그림 3. Cisco Nexus 9500 수퍼바이저 엔진 수퍼바이저 모듈 프로세서 시스템 메모리 RS-232 직렬 포트 Romley, 1.8GHz, 4코어 16GB(48GB로 업그레이드 가능) 1개(RJ-45) 10/100/1000 관리 포트 1개(RJ-45) USB 2.0 인터페이스 SSD 스토리지 2개 64GB 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 5 / 17

수퍼바이저 엔진에는 OOB(Out of Band) 관리를 위한 직렬 콘솔 포트(RJ-45)와 10/100/1000 이더넷 관리 포트(RJ- 45)가 있습니다. 이미지, syslog, 구성 파일 전송 및 기타 용도의 외부 USB 플래시 스토리지를 사용하여 두 USB 2.0 인터페이스를 지원합니다. 수퍼바이저 모듈의 PPS(Pulse-per-second) 클럭 입력 포트는 정확한 타이밍 동기화를 지원합니다. 수퍼바이저와 패브릭 모듈 또는 라인 카드 간의 커뮤니케이션에서는 EOBC(이더넷 Out-of-Band 채널) 또는 EPC(Ethernet Protocol Channel)를 사용합니다. 두 채널은 모두 시스템 컨트롤러에 대한 이중화 경로를 제공하는 중앙 허브가 시스템 컨트롤러에 있습니다. 시스템 컨트롤러 Cisco Nexus 9500 Series의 시스템 컨트롤러는 수퍼바이저 엔진에서 비데이터 경로 전환 및 관리 기능의 부담을 줄이는 데 사용됩니다. 또한, 시스템 컨트롤러는 전원 공급 장치 및 팬 트레이에 액세스하기 위한 경로를 제공합니다. 시스템 컨트롤러는 시스템 내 커뮤니케이션 중앙 스위치입니다. 시스템 컨트롤러는 수퍼바이저 엔진, 라인 카드 및 패브릭 모듈 간의 두 기본 제어 및 관리 커뮤니케이션 경로인 EOBC(이더넷 Out-of-Band 채널)와 EPC(Ethernet Protocol Channel)를 호스팅합니다. 모듈 간의 모든 시스템 내 관리 커뮤니케이션은 EOBC 채널을 통해 수행됩니다. EOBC 채널은 수퍼바이저 엔진, 패브릭 모듈 및 라인 카드를 비롯한 모든 모듈을 상호 연결하는 시스템 컨트롤러의 스위치 칩셋을 통해 제공됩니다. EPC 채널은 시스템 내 데이터 플레인 프로토콜 커뮤니케이션을 처리합니다. 이 커뮤니케이션 경로는 시스템 컨트롤러의 다른 이중화 이더넷 스위치 칩셋을 통해 제공됩니다. EOBC 채널과 달리 EPC 스위치는 패브릭 모듈만 수퍼바이저 엔진에 연결합니다. 프로토콜 패킷을 수퍼바이저에 전송해야 할 경우 라인 카드는 내부 데이터 경로를 사용하여 패킷을 패브릭 모듈로 전송합니다. 그러면 패브릭 모듈은 EPC 채널을 통해 패킷을 수퍼바이저 엔진으로 리디렉션합니다. 또한, 시스템 컨트롤러는 이중화 SMB(System Management Bus)를 통해 통신하고 전원 공급 장치와 팬 컨트롤러를 관리합니다. Cisco Nexus 9500 Series는 이중화 시스템 컨트롤러를 지원합니다. 섀시에 시스템 컨트롤러가 두 개 있는 경우 중재 프로세스에서 활성 시스템 컨트롤러를 선택합니다. 다른 시스템 컨트롤러는 이중화를 제공하는 보조 또는 스탠바이 역할로 간주됩니다. 그림 4. Cisco Nexus 9500 Series 시스템 컨트롤러 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 6 / 17

Cisco Nexus 9500 Series 스위치의 비차단 분산형 데이터 플레인 스위치 컨트롤 플레인이 수퍼바이저 엔진에서 중앙 집중식으로 실행 중인 동안, 데이터 플레인의 패킷 조회 및 포워딩 기능은 라인 카드 및 패브릭 모듈을 포함하여 고도로 분산된 방식으로 수행됩니다. Cisco Nexus 9500 Series의 라인 카드와 패브릭 모듈에는 모두 패킷 조회, 처리 및 포워딩 기능을 수행하는 여러 NFE(Network Forwarding Engine)가 장착되어 있습니다. Nexus 9500 Series 스위치는 패킷 크기와 상관없이 모든 포트의 비차단 아키텍처와 전체 라인 레이트 성능을 고려하여 설계되었습니다. 대부분의 최신 데이터 센터 애플리케이션이 소형 패킷을 사용하므로, 64바이트의 최소 패킷에 대해서도 라인 레이트 성능을 지원해야 합니다. 이 수준의 포워딩 기능을 실현하기 위해 Nexus 9500 Series 라인 카드 및 패브릭 모듈은 필요한 개수의 NFE를 보유하고 있습니다. 라인 레이트 성능을 보장하려면 각 NFE에서 최대 24개의 40GE 포트가 사용됩니다. 24개의 40GE 포트 중 12개의 40GE 포트는 패브릭 모듈에 대한 내부 연결에 사용되며, 내부 프레임 헤더의 추가 비트를 수용하도록 42GE에 클럭이 맞춰져 있습니다. 다른 12개의 포트는 1, 10, 40GE 및 100GE 사용자 데이터 포트를 지원하기 위한 전면 패널 인터페이스로 사용됩니다. 그림 5. Nexus 9500 Series Switch의 분산형 데이터 플레인 네트워크 포워딩 엔진은 전용 TCAM 테이블 스페이스와 UFT(Unified Forwarding Table)라는 공유 Hash 테이블 메모리를 함께 사용하여 레이어 2 및 레이어 3 포워딩 정보를 저장합니다. UFT는 MAC 주소 테이블, IP 호스트 테이블 및 LPM 테이블의 세 가지 포워딩 테이블로 유연하게 분할할 수 있습니다. 이 프로그래밍 가능한 메모리 공유 접근 방식은 다양한 구축 시나리오에 대응하고 메모리 리소스 활용 효율성을 높이는 유연성을 제공합니다. Nexus 9500 Series 스위치는 시스템 전체 포워딩 확장성을 최대화하기 위해 다양한 포워딩 조회 기능에 라인 카드 및 패브릭 모듈의 UFT 테이블을 사용하도록 설계되었습니다. 라인 카드의 UFT는 L2 MAC 테이블 및 L3 호스트 테이블을 저장합니다. 따라서 라인 카드는 L2 스위칭 조회 및 L3 호스트 라우팅 조회를 담당합니다. 패브릭 모듈의 UFT는 L3 LPM 테이블을 호스팅하고 L3 LPM 라우팅 조회를 수행합니다. 라인 카드와 패브릭 모듈은 모두 멀티캐스트 테이블을 보유하고 있으므로 분산된 멀티캐스트 조회 및 패킷 복제에 참여합니다. 멀티캐스트는 라인 카드의 L3 호스트 항목과 동일한 테이블 리소스를 공유합니다. 그림 6은 Nexus 9500 Series 스위치의 시스템 전체 포워딩 확장성을 보여 줍니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 7 / 17

그림 6. Nexus 9500 시스템 전체 포워딩 확장성 Nexus 9500 Series 패브릭 모듈 Nexus 9500 Series 스위치는 모두 액티브 모드로 작동하는 패브릭 모듈을 최대 6개까지 보유할 수 있습니다. 각 패브릭 모듈은 Nexus 9508 스위치용 2개, Nexus 9516 스위치용 4개 등 여러 NFE로 구성됩니다(그림 7). Nexus 9508 스위치의 경우 패브릭 모델에서 최대 12개의 NFE를 사용할 수 있습니다. 이 스위치는 실질적인 비차단 아키텍처를 실현하는 데 필요한 데이터 경로 대역폭 및 패킷 포워딩 기능을 제공합니다. 따라서 Nexus 9508은 패킷 크기와 상관없이 모든 라인 카드에서 실제 라인 레이트 성능을 지원할 수 있습니다. 그림 7. Nexus 9500 Series 패브릭 모듈 Nexus 9500 Series 스위치의 패브릭 모듈은 모듈형 섀시 아키텍처에서 다음과 같은 중요한 기능을 수행합니다. 라인 카드에 고속 비차단 데이터 포워딩 연결을 제공합니다. 네트워크 포워딩 엔진의 모든 링크는 활성 데이터 경로입니다. 각 패브릭 모듈은 모든 라인 카드 슬롯에 최대 8개의 40Gbps 링크를 제공할 수 있습니다. 6개의 패브릭 모듈과 함께 구축되는 Nexus 9500 섀시는 각 라인 카드 슬롯에 48개의 40Gbps 패브릭 경로를 잠재적으로 제공할 수 있습니다. 이는 슬롯당 3.84Tbps의 전이중 대역폭에 해당합니다. IPv4 및 IPv6 트래픽에 대해 분산된 LPM(Longest Prefix Match) 라우팅 조회를 수행합니다. LPM 포워딩 정보는 Nexus 9500 Series 스위치의 패브릭 모듈에 저장됩니다. 또한, 최대 128K IPv4 접두사 또는 32K IPv6 접두사를 지원합니다. 분산된 멀티캐스트 조회 및 패킷 복제를 수행하여 멀티캐스트 패킷 사본을 수신 이그레스 NFE에 전송합니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 8 / 17

Nexus 9500 Series 스위치 라인 카드 아키텍처 Nexus 9500 Series 스위치 라인 카드를 어그리게이션 라인 카드와 ACI 레디 리프 라인 카드의 두 가지 유형으로 분류할 수 있습니다. 어그리게이션 라인 카드는 기존 NX-OS 모드로 실행되는 Nexus 9500 스위치에 고집적도 10GE/40GE 연결을 제공합니다. ACI 레디 리프 라인 카드는 기존 NX-OS 모드와 ACI 모드 모두에서 작동할 수 있습니다. 모든 Nexus 9500 라인 카드는 패킷 조회 및 포워딩을 위한 여러 NFE로 구성됩니다. 또한, ACI 레디 리프 라인 카드에는 일련의 ALE(Application Leaf Engine)가 있습니다. 이름에서 알 수 있듯이 ALE는 Nexus 9500 스위치가 ACI 인프라에 리프 노드로 구축되면 ACI 리프 노드 기능을 수행합니다. Nexus 9500 스위치가 기존 NX-OS 모드에서 작동 중인 경우 ACI 레디 리프 라인 코드의 ALE는 주로 추가 버퍼링을 제공하고 VxLAN 오버레이 내 라우팅과 같은 일부 네트워킹 기능을 지원합니다. 라인 카드의 NFE는 L2 스위칭 조회 및 L3 호스트 라우팅 조회를 수행합니다. 라인 카드에는 모든 전면 패널 포트의 모든 IP 패킷 크기에 대한 전체 라인 레이트 포워딩 성능을 지원하는 여러 개의 NFE가 장착되어 있습니다. Nexus 9500 Series 스위치 라인 카드에는 라인 레이트 데이터 플레인 성능 외에도 듀얼 코어 CPU가 내장되어 있습니다. 이 CPU는 하드웨어 테이블 리소스 프로그래밍, 라인 카드 카운터 및 통계 수집과 전송, 수퍼바이저에서 BFD 프로토콜 제어 오프로드와 같은 일부 컨트롤 플레인 작업의 부담을 덜거나 이러한 작업을 가속화하는 데 사용됩니다. 이 CPU는 시스템 컨트롤 플레인 성능을 크게 향상합니다. 36x 40GE QSFP 라인 카드(N9K-X9636PQ) N9K-X9636PQ(그림 8)는 36개의 40GE QSFP 전면 패널 포트를 제공하는 어그리게이션 라인 카드입니다. 이 라인 카드에는 패킷 포워딩을 위한 세 개의 네트워크 포워딩 엔진이 있으며, 각 엔진은 패브릭 모듈에 대한 12개의 40GE 전면 패널 포트와 12개의 내부 포트를 지원하며, 내부 프레임 오버헤드를 지원하도록 42Gbps 속도에 클럭이 맞춰져 있습니다. N9K-X9636PQ의 36개 40GE 전면 패널 포트는 모두 4x 10GE 분할 모드를 지원하여 4개의 개별 10GE 포트로 작동합니다. 이를 통해 라인 카드는 최대 144개의 10GE SFP+ 포트를 제공할 수 있습니다. 이 라인 카드는 PHY가 없는 설계를 적용했습니다. 이 라인 카드는 포트의 데이터 전송 레이턴시를 100ns만큼 낮추고, 포트 전력 소비량을 줄이고, 적은 수의 활성 구성 요소로 인한 안정성을 향상합니다. 각 NFE부터 NFE가 지원하는 12개의 QSFP 옵틱까지의 추적 길이는 모두 7인치 이하로 리타이머의 필요성이 감소됩니다. 또한, 이는 라인 카드 설계를 간소화하고 활성 구성 요소 수를 줄여 줍니다. 그림 8. Nexus 9500 Series 36x 40GE QSFP 라인 카드 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 9 / 17

48x 1/10G SFP+ 라인 카드(N9K-X9564PX) N9K-X9564PX(그림 9)는 ACI 레디 리프 라인 카드입니다. 이 라인 카드는 48개의 1GE SPF/10GE SPF+ 포트와 4개의 40GE QSFP 포트를 제공합니다. 4개의 40GE 포트 각각은 4x10GE 분할 모드를 지원하여 4개의 개별 10GE 포트로 작동합니다. 따라서 라인 카드는 최대 64개의 10GE 포트를 제공할 수 있습니다. 유연한 포트 속도로 인해 간편하고 비용 효율성이 높은 네트워크 액세스 및 어그리게이션 설계가 가능합니다. 이 라인 카드의 주요 구성 요소는 NFE 2개, ALE 2개 및 라인 카드 CPU 1개입니다. 두 NFE는 전면 패널 포트를 제공합니다. NFE 중 하나는 48개의 1/10G 포트를 제공하고 다른 하나는 4개의 40G 포트를 제공합니다. 두 ALE는 확장 버퍼 공간, 추가 패킷 처리 및 ACI 모드 라인 카드 사용 옵션을 제공합니다. 이 라인 카드의 전면 패널 포트는 포트 유형 및 속도 유연성을 제공하기 위해 다양한 속도로 작동할 수 있습니다. 포트 속도 불일치는 포트 혼잡 및 패킷 버퍼링의 주요 원인 중 하나입니다. 따라서 이 라인 카드는 NFE에서 제공할 수 있는 것보다 더 많은 버퍼 공간이 필요할 수 있습니다. 두 ALE는 각각 최대 40MB의 추가 버퍼링을 제공할 수 있습니다. ALE는 NFE와 패브릭 모듈 사이에 있으므로 NFE와 패브릭 모듈 간의 전송 트래픽을 버퍼링할 수 있습니다. 또한, 동일한 NFE의 10G 포트에서 1G 포트로 로컬로 스위칭된 트래픽을 북쪽 방향 인터페이스에 있는 ALE로 리디렉션하여 확장 버퍼 공간을 활용할 수 있습니다. N9K-X9636PQ와 마찬가지로 이 라인 카드도 PHY가 없는 설계를 채택하여 전력 소비량을 줄이고, 레이턴시를 낮추고, 안정성을 향상하는 혜택이 있습니다. 그림 9. Nexus 9500 Series 48x 1/10GE SPF+ 및 4x 40GE QSFP 라인 카드 48x 1/10G BastT 라인 카드(N9K-X9564TX) N9K-X9564TX(그림 10)는 또 다른 ACI 레디 리프 라인 카드입니다. 이 라인 카드는 48개의 1G/10GBaseT 포트와 4개의 40G QSFP 포트를 제공합니다. 이 라인 카드는 48개의 1G/10GBasteT 포트가 모두 10GT PHY와 함께 구현되어 1G/10GBaseT 물리적 미디어로 변환된다는 점만 제외하고 N9K-X9564PX와 비슷한 아키텍처를 갖추고 있습니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 10 / 17

그림 10. Nexus 9500 Series 48x 1/10GBaseT 및 4x 40GE QSFP 라인 카드 Nexus 9500 Series 유니캐스트 패킷 포워딩 앞서 언급한 것처럼 Nexus 9500 Series 스위치의 라인 카드와 패브릭 모듈은 모두 패킷 조회 및 포워딩 기능을 수행하는 NFE를 보유하고 있습니다. 각 NFE에는 TCAM 테이블과 UFT라는 프로그래밍 가능한 Hash 테이블을 비롯한 포워딩 테이블 리소스가 있습니다. 각 NFE를 L2 MAC 항목, IP 호스트 항목 또는 LPM 항목에 유연하게 할당할 수 있습니다. Cisco Nexus 9500 Series 스위치는 이러한 유연성과 완전 분산형 데이터 포워딩 아키텍처의 결합을 통해 라인 카드와 패브릭 모듈의 테이블 리소스 활용률을 최적화함으로써 시스템의 레이어 2 및 레이어 3 포워딩 확장성을 최대화할 수 있습니다. 또한, 다양한 애플리케이션 유형을 갖춘 광범위한 데이터 센터 규모에 Nexus 9500 스위치를 구축할 수 있습니다. 라인 카드 패브릭 모듈 L2 MAC 테이블 160K - L3 호스트 테이블 88K - LPM 테이블 - 128K Cisco Nexus 9500 Series 스위치의 데이터 플레인 포워딩 아키텍처는 인그레스 NFE의 인그레스 파이프라인, 패브릭 모듈 포워딩 및 이그레스 NFE의 이그레스 파이프라인으로 구성됩니다. 인그레스 포트와 이그레스 포트가 동일한 NFE에 있는 경우, 인그레스 파이프라인과 이그레스 파이프라인은 동일한 라인 카드 또는 동일한 NFE에서 실행될 수 있습니다. NFE는 인그레스 처리 파이프라인, 대기 및 예약을 위한 버퍼 관리자, 이그레스 처리 파이프라인으로 구성됩니다. 인그레스 처리 파이프라인은 패킷 헤더 구문 분석, 터널 종단, VRF 감지, 구문 분석된 패킷 헤더의 정보를 기반으로 한 L2/L3 조회 및 인그레스 ACL 처리를 수행합니다. 버퍼 관리자는 모든 대기 및 예약 기능을 담당합니다. 이그레스 파이프라인은 모든 패킷 수정과 이그레스 ACL을 처리합니다. L2/L3/ACL 테이블과 같은 모든 조회는 인그레스 파이프라인에서 수행됩니다. 인그레스 파이프라인과 이그레스 파이프라인은 모두 여러 단계를 거쳐 패킷을 병렬로 처리할 수 있습니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 11 / 17

그림 11. Nexus 9500 유니캐스트 패킷 포워딩 1. 인그레스 처리 파이프라인 패킷 헤더 Parsing 패킷은 전면 패널 포트를 통해 인그레스될 경우 라인 카드의 네트워크 포워딩 엔진에 있는 인그레스 파이프라인을 통해 이동합니다. 첫 번째 단계에서는 패킷 헤더를 구문 분석합니다. 유연한 패킷 파서는 패킷의 첫 번째 128바이트를 구문 분석하여 L2 헤더, 이더 타입, L3 헤더, TCP IP 프로토콜과 같은 정보를 추출한 후 저장합니다. 이 정보는 후속 패킷 조회 및 로직 처리에 사용됩니다. L2 MAC 및 L3 호스트 조회 패킷은 인그레스 파이프라인을 통해 이동하므로 L2 스위칭 및 L3 라우팅 조회 대상이 됩니다. 먼저 NFE는 패킷의 대상 MAC 주소(DMAC)를 검사하여 패킷을 L2 스위칭할지 L3 라우팅할지를 결정합니다. DMAC가 스위치의 자체 라우터 MAC 주소와 일치할 경우 패킷은 L3 라우팅 조회 로직으로 전달됩니다. DMAC가 스위치에 속하지 않을 경우 DMAC 및 VLAN ID 기반 L2 스위칭 조회가 수행됩니다. MAC 주소 테이블에 일치하는 항목이 있는 경우 패킷은 이그레스 포트 방향으로 전송됩니다. DMAC 및 VLAN 조합에 대해 일치하는 항목이 없는 경우 패킷을 동일한 VLAN의 모든 포트로 전달합니다. 또한, NFE는 L2 스위칭 로직의 한 부분으로 하드웨어 기반 학습을 위한 소스 MAC(SMAC) 주소 조회를 수행합니다. SMAC는 VLAN ID와 함께 MAC 주소 테이블을 검색하는 데 사용됩니다. 일치하는 항목이 없는 경우 이 새 주소가 학습된 후 패킷의 인그레스 포트와 연결됩니다. 일치하는 항목이 있는 경우 학습 작업이 수행되지 않습니다. NFE는 하드웨어 지원 기한 경과도 지원합니다. 오랫동안(구성 가능한 에이징 타임) 사용되지 않은 항목은 자동으로 삭제됩니다. DIP(Destination IP) 주소는 라인 카드 NFE의 L3 조회 로직 내에서 L3 호스트 테이블을 검색하는 데 사용됩니다. 이 테이블은 직접 연결된 호스트 또는 학습된/32개의 호스트 경로에 대한 포워딩 항목을 저장합니다. DIP가 호스트 테이블의 항목과 일치할 경우 해당 항목은 목적지 포트, 넥스트 홉 MAC 주소 및 이그레스 VLAN을 나타냅니다. 호스트 테이블에 DIP와 일치하는 항목이 없는 경우 LPM 라우팅 테이블에서 LPM(Longest Prefix Match) 조회가 수행되는 패브릭 모듈로 패킷이 전달됩니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 12 / 17

레이어 2 스위칭 및 레이어 3 호스트 라우팅을 수행할 때 이그레스 포트가 NFE에 로컬인 경우, 패킷은 패브릭 모듈로 이동하지 않고 NFE에 의해 로컬로 전달됩니다. ACI 레디 리프 라인 카드에서 이그레스 포트보다 더 높은 속도의 인그레스 포트가 있는 경우, 추가 버퍼링을 통해 포트 속도 불일치를 보정하도록 패킷을 ALE로 리디렉션합니다. 인그레스 ACL 처리 포워딩 조회 외에도 패킷은 인그레스 ACL 처리를 거칩니다. ACL TCAM은 인그레스 ACL 일치를 확인합니다. 각 NFE에는 시스템 내부 ACL 및 사용자 정의 인그레스 ACL을 지원하기 위한 4K 항목의 인그레스 ACL TCAM 테이블이 있습니다. 이러한 ACL로는 포트 ACL, 라우팅된 ACL 및 VLAN ACL이 있습니다. ACL 항목은 NFE에 현지화되며, 필요한 경우에만 프로그래밍됩니다. 따라서 Nexus 9500 스위치 내에서 ACL TCAM 활용률을 최대화할 수 있습니다. 인그레스 트래픽 분류 Nexus 9500 Series 스위치는 인그레스 트래픽 분류를 지원합니다. 인그레스 인터페이스에서 패킷 헤더의 주소 필드, 802.1q CoS 및 IP 우선순위 또는 DSCP를 기반으로 하여 트래픽을 분류할 수 있습니다. 분류된 트래픽을 네 개의 QoS 그룹 중 하나에 할당할 수 있습니다. QoS 그룹은 패킷이 시스템을 통과하면서 후속 QoS 프로세스에 사용되는 트래픽 클래스의 내부 ID 역할을 합니다. 인그레스 수락, 대기 및 감독 버퍼 관리자는 인그레스 처리 파이프라인에서 트래픽에 대한 인그레스 계정 관리 및 수락 기능을 수행합니다. 각 NFE에는 60K 208바이트 셀로 구성된 12MB 버퍼가 있습니다. 이 버퍼 리소스는 인그레스 트래픽과 이그레스 트래픽에 의해 동적으로 공유됩니다. 이 인그레스 수락 제어 메커니즘에 따라 패킷을 메모리에 입장하도록 허용할 것인지 아닌지가 결정됩니다. 이 결정은 사용 가능한 버퍼 메모리의 용량과 인그레스 포트와 트래픽 클래스에서 이미 사용된 버퍼의 양에 따라 이루어집니다. Nexus 9500 Series 스위치는 인그레스 클래스 기반 감독을 지원합니다. 단일 레이트와 2색 메커니즘 또는 두 가지 레이트와 3색 메커니즘을 사용하여 감독 정책을 정의할 수 있습니다. 2. 패브릭 모듈 LPM 조회 패킷을 패브릭 모듈로 전달할 때 패브릭 모듈은 인그레스 라인 카드에 대한 조회 결과에 따라 다른 작업을 수행합니다. 패킷이 L2 스위칭 또는 L3 호스트 라우팅된 패킷인 경우 인그레스 라인 카드가 이그레스 포트, 넥스트 홉 MAC 주소 및 이그레스 VLAN 정보를 확인했습니다. 따라서 패브릭 모듈은 패킷을 이그레스 라인 카드로 전달하기만 합니다. 패킷에 LPM 조회가 필요한 경우 패브릭 모듈은 LPM 테이블을 검색하고 DIP에 가장 일치하는 항목을 사용하여 패킷을 전달합니다. DIP에 일치하는 항목이 없는 경우 패킷이 삭제됩니다. 패브릭 모듈 네트워크 포워딩 엔진의 UFT(Unified Forwarding Table)에서는 LPM 규모가 128K 항목입니다. 3. 이그레스 처리 파이프라인 대부분의 조회와 결정이 인그레스 파이프라인에서 이미 이루어졌으므로 이그레스 처리 파이프라인은 상대적으로 간단합니다. 하지만 이그레스 파이프라인에서 수행되는 중요한 기능에는 WRED/ECN, 이그레스 대기 및 형성을 비롯한 이그레스 QoS가 포함됩니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 13 / 17

이그레스 대기열 및 예약 단순성 및 효율성의 설계 원칙에 따라 Nexus 9500 Series 스위치는 단순 이그레스 대기열 아키텍처를 사용합니다. 이그레스 포트 혼잡이 발생할 경우 패킷은 이그레스 라인 카드의 버퍼에서 직접 대기합니다. 인그레스 라인 카드에는 VoQ(Virtual output Queue)가 없습니다. 따라서 시스템 버퍼 관리 및 대기 구현이 크게 간소화됩니다. Nexus 9500 스위치는 이그레스 시 최대 6개의 트래픽 클래스(QoS 그룹 ID로 식별되는 사용자 정의 클래스 4개, CPU 제어 트래픽 클래스 1개, SPAN 트래픽 클래스 1개)를 지원할 수 있습니다. 각 사용자 정의 클래스는 이그레스 포트당 하나의 멀티캐스트 대기열과 하나의 유니캐스트 대기열을 가질 수 있습니다. NFE의 12MB 버퍼를 로컬 포트 간에 공유합니다. 스위치 소프트웨어는 이그레스 포트당 버퍼 활용률을 측정하여 제한하는 메커니즘을 사용합니다. 따라서 한 포트에서 버퍼 메모리를 적절한 양보다 초과 사용하여 다른 포트에서 버퍼 기아 상태가 발생하는 것을 방지할 수 있습니다. ACI 레디 리프 라인 카드에는 각 ALE(ACI Leaf Engine)에 40MB의 추가 버퍼가 있습니다. 그중 10MB의 버퍼가 패브릭 바운드 트래픽에 할당됩니다. 나머지 30MB는 패브릭 모듈의 이그레스 트래픽과 고속 인그레스 포트에서 저속 이그레스 포트로 로컬로 스위칭된 트래픽에 할당됩니다. 이 30MB 버퍼는 유니캐스트 트래픽용 확장 출력 대기열에 사용됩니다. NFE는 OOBFC(Out-of-Band Flow Control) 신호 처리 채널을 통해 ALE에 유니캐스트 대기열 상태를 전달합니다. 이그레스 대기열이 구성된 임계값을 초과하는 경우 NFE는 OOBFC 신호를 전송하여 ALE가 이 대기열에 대한 포워딩 트래픽을 중지하고 자체 버퍼에서 패킷 대기를 시작하도록 지시합니다. ALE는 이 신호를 수신한 후 지정된 이그레스 포트에 이 트래픽 클래스에 대한 확장 출력 대기열을 형성하기 시작합니다. 이그레스 대기열 길이가 구성된 재시작 임계값까지 감소되는 경우 NFE는 ALE에 다른 OOBFC 신호를 전송하여 이 대기열에 대한 트래픽 전송을 시작하도록 지시합니다. 그림 12. Nexus 9500 EoQ(Extended Output Queue) 확장 출력 대기열을 포함하는 이그레스 대기열 아키텍처는 간단하면서도 포트 혼잡을 공정하게 처리하는 매우 효율적인 접근 방식입니다. 이 방법을 사용하면 한 포트로 인해 다른 포트에서 버퍼 기아 사태가 발생하는 일이 없습니다. Nexus 9500 Series 멀티캐스트 패킷 포워딩 멀티캐스트 패킷은 유니캐스트 패킷과 동일한 인그레스 및 이그레스 처리 파이프라인을 통해 이동합니다. 하지만 패킷 조회 및 포워딩 프로세스에 한 가지 차이점이 있습니다. Nexus 9500 스위치는 3단계 분산 멀티캐스트 조회 및 복제를 수행한다는 것입니다. 멀티캐스트 라우팅 테이블은 모든 라인 카드와 패브릭 모듈에 저장됩니다. 인그레스 NFE는 첫 번째 조회를 수행하여 로컬 수신기를 확인합니다. 로컬 수신기가 있는 경우 NFE는 로컬 수신 포트당 하나의 사본을 만듭니다. 또한, 인그레스 NFE는 수신 패킷의 사본을 패브릭 모듈에 전송합니다. 패킷을 수신하면 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 14 / 17

패브릭 모듈은 두 번째 조회를 수행하여 이그레스 라인 카드를 찾습니다. 패브릭 모듈은 패킷을 각 이그레스 NFE에 복제합니다. 이그레스 NFE는 세 번째 조회를 수행하여 로컬 수신기를 확인하고 패킷을 해당 포트에 복제합니다. 이 다단계 멀티캐스트 조회 및 복제는 멀티캐스트 트래픽을 복제하여 전달하는 가장 효율적인 방법입니다. 그림 13. Nexus 9500 멀티캐스트 패킷 포워딩 멀티캐스트 트래픽 포워딩과 유니캐스트 트래픽 포워딩 간의 또 다른 차이점은 멀티캐스트 트래픽의 경우 확장 출력 대기열이 없다는 것입니다. 네트워크 포워딩 엔진은 이그레스 포트당 네 개의 멀티캐스트 대기열을 지원합니다. ACI 리프 엔진이 있는 경우 멀티캐스트 트래픽을 독립적으로 네트워크 포워딩 엔진 멀티캐스트 대기열에 저장합니다. OOBFC 채널을 통해 멀티캐스트 대기열을 제어하는 배압 신호는 없습니다. 40Gbps 마이그레이션을 위한 Cisco QSFP Bi-Di 기술 1/10/40GE 연결의 높은 포트 집적도와 성능을 통해 Nexus 9500 Series 스위치는 차세대 데이터 센터 인프라에 대응합니다. 이 스위치는 액세스/리프에서는 1/10GE를, 어그리게이션/스파인에서는 40GE 링크를 제공하는 동시에, 데이터 센터 애플리케이션에는 더 확장할 수 있는 대역폭을 제공합니다. 기존 데이터 센터 네트워크를 10GE에서 40GE로 마이그레이션하는 과정에는 여러 번의 네트워크 플랫폼 업그레이드가 포함됩니다. 케이블 인프라 마이그레이션은 이 작업에서 가장 어려운 과제 중 하나입니다. 현재 10GE 케이블 인프라는 단일 10GE 연결에 대해 2개의 MMF 파이버 선을 사용합니다. 하지만 기존 단거리 40GE 광 트랜시버(SR4 또는 CSR4)에는 각각 4개의 파이버 선이 병렬로 나열된 독립 송신기와 수신기 섹션이 있습니다. 따라서 이중 40GE 연결을 위해서는 8개의 파이버 선이 필요합니다. 이러한 차이점은 기존 40GE 광 트랜시버를 사용하여 현재 10GE 인프라를 40GE로 이동하려면 대폭적인 케이블 인프라 업그레이드 또는 재구축이 필요하다는 것을 의미합니다. 엄청난 비용과 서비스 중단 가능성은 기존 생산 데이터 센터를 40GE 인프라로 마이그레이션하는 것을 매우 어렵게 만듭니다. Cisco QSFP 양방향 트랜시버 기술은 LC 커넥터가 부착된 두 가닥의 MMC 파이버를 통해 전이중 40G를 전송하는 기능을 제공하여 이 문제를 해결합니다. 다시 말해, 별도의 확장 또는 재구축 작업을 수행하지 않고도 QSFP BiDi 트랜시버를 통해 40GE 연결에서 기존 10G 파이버 및 파이버 트렁크를 다시 사용할 수 있습니다. 또한, 데이터 센터 네트워크에서 10Gbps에서 40Gbps 연결로 마이그레이션하는 데 필요한 40Gbps 케이블 비용 장벽이 없어집니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 15 / 17

그림 14. Cisco BiDi 송수신기 기술 결론 Nexus 9500 Series 스위치는 1/10/40 및 100GE(지원 예정) 연결에 대해 가장 높은 포트 집적도를 제공하고 탁월한 실제 라인 레이트 및 낮은 레이턴시 포워딩 성능을 제공하는 업계 최고의 데이터 센터급 스위치입니다. Nexus 9500 Series 스위치는 업계 최고의 10GE 및 40GE 포트 집적도를 지원합니다. Nexus 9500 Series 스위치는 유연한 포트 속도와 섀시 폼 팩터를 통해 중소 규모부터 대규모까지 모든 크기의 가상화된 멀티테넌시 클라우드 데이터 센터 구축을 충족합니다. 미드플레인이 없는 섀시 설계를 통해 냉각 효율성이 최대화됩니다. 판매형 실리콘과 맞춤형 실리콘을 조합하여 탁월한 성능을 제공하면서 라인 카드의 ASIC 수를 최소화할 수 있습니다. Nexus 9500 Series 스위치는 전후면 공기 흐름, 80PLUS Platinum 인증 고효율 전원 공급 장치와 같은 혁신을 통해 데이터 센터급 스위치의 에너지 효율성, 안정성 및 성능과 관련한 새로운 기록을 수립했습니다. Nexus 9500 Series 스위치는 시스템 내 관리를 스위치 컨트롤 플레인과 분리하여 탁월한 컨트롤 플레인 안정성을 실현했습니다. Nexus 9500 Series 스위치에는 최신 멀티코어 CPU가 탑재된 수퍼바이저 엔진뿐만 아니라 수퍼바이저 엔진에서 작업의 부담을 줄이는 라인 카드 CPU가 함께 탑재되어 있어 안정적인 데이터 센터 스위치의 기반을 제공합니다. 기존 NX-OS 모드로 작동하는 Nexus 9500 Series 스위치는 제품군의 모든 스위치에 대해 단일 이미지로 실행되므로 네트워크 관리가 크게 간소화됩니다. 이 고급 Nexus 9500 Series 스위치용 NX-OS는 다양한 자동화 및 프로그래밍 기능 향상과 진정한 프로세스 모듈성, 높은 소프트웨어 복원력을 함께 갖춘 최신 64비트 Linux 커널에서 실행할 경우 데이터 센터 네트워크 관리와 운영 모델을 현대화 및 자동화하려는 데이터 센터에 가장 적합한 솔루션입니다. 위에서 언급한 고유한 기능을 갖춘 Cisco Nexus 9500 Series 스위치는 조직에서 안정적이고 확장성과 복원력이 뛰어난 자동화된 데이터 센터를 구축하는 데 이상적인 데이터 센터 스위치입니다. 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 16 / 17

부록 부록 A - 용어 ACI - Application Centric Infrastructure NFE - Network Forwarding Engine ALE - ACI Leaf Engine EoQ - Extended Output Queue OOBFC - Out-of-Band Flow Control Printed in USA C11-729987-00 11/13 2013 Cisco and/or its affiliates. All rights reserved. This document is Cisco Public Information. 페이지 17 / 17