NSX 문제 해결 가이드 - VMware

Transcription

1 업데이트 5 VMware NSX Data Center for vsphere 6.4

2 다음 VMware 웹사이트에서최신기술문서를확인할수있습니다. VMware 웹사이트에서는최신제품업데이트도제공합니다. 본문서에대한의견이있으시면다음주소로피드백을보내주십시오. VMware, Inc Hillview Ave. Palo Alto, CA VMware 코리아서울시강남구영동대로 517 아셈타워 13층 ( 우 ) 전화 : 팩스 : Copyright VMware, Inc. All rights reserved. 저작권및상표정보. VMware, Inc. 2

3 목차 1 NSX 문제해결가이드 5 일반문제해결지침 6 2 NSX 인프라문제해결 27 호스트준비 27 NSX Manager 문제해결 46 논리적네트워크준비 : VXLAN 전송 55 논리적스위치포트그룹이동기화되지않음 60 3 NSX 라우팅문제해결 61 논리적분산라우터이해 62 Edge Services Gateway에서제공하는라우팅이해 66 ECMP 패킷흐름 66 NSX 라우팅 : 전제조건및고려사항 68 DLR 및 ESG UI 71 새 NSX Edge(DLR) 73 일반적인 ESG 및 DLR UI 작업 77 라우팅문제해결 81 4 NSX Edge 문제해결 114 Edge 방화벽패킷삭제문제 118 Edge 라우팅연결문제 122 NSX Manager 및 Edge 통신문제 124 메시지버스디버깅 125 Edge 진단및복구 방화벽문제해결 129 분산방화벽정보 129 ID 방화벽 로드밸런싱문제해결 142 단일암로드밸런서구성 142 로드밸런서에대한문제해결순서도 149 UI를사용하여로드밸런서구성확인및문제해결 149 CLI를사용하여로드밸런서문제해결 161 일반로드밸런서문제 171 VMware, Inc. 3

4 7 VPN(Virtual Private Network) 문제해결 176 L2 VPN 176 SSL VPN 188 IPSec VPN NSX Controller 문제해결 209 컨트롤러클러스터아키텍처의이해 209 NSX Controller 배포문제 212 디스크지연시간문제해결 216 NSX Controller 클러스터오류 220 NSX Controller의연결이끊김 227 제어부에이전트 (netcpa) 문제 Guest Introspection 문제해결 232 Guest Introspection 아키텍처 232 Guest Introspection 로그 234 Guest Introspection 환경및작업세부정보수집 242 Linux 또는 Windows의 Thin Agent 문제해결 243 ESX GI 모듈 (MUX) 문제해결 246 EPSecLib 문제해결 248 서비스상태를알수없거나 Guest Introspection에서 IP 주소를가져오지못함 249 Guest Introspection 서비스가오류로인해실패함 250 VMware, Inc. 4

5 1 NSX 문제해결가이드에서는필요에따라 NSX Manager 사용자인터페이스, vsphere Web Client 및기타구성요소를사용하여 VMware NSX Data Center for a vsphere 시스템을모니터링하고문제를해결하는방법을설명합니다. 중요 NSX for vsphere를이제 NSX Data Center for vsphere라고합니다. 대상사용자 이설명서는 VMware vsphere 환경에서 NSX Data Center for vsphere를사용하거나문제를해결하려는모든사용자를대상으로합니다. 이설명서의정보는가상시스템기술및가상데이터센터작업에익숙한숙련된시스템관리자를대상으로작성되었으며, 이설명서에서는사용자가 VMware ESXi, VMware vcenter Server 및 vsphere Web Client를포함하는 vsphere 에친숙하다고가정합니다. 작업지침 이가이드에나와있는작업지침은 vsphere Web Client를기반으로합니다. 새 vsphere Client 에서도이가이드에나와있는일부작업을수행할수있습니다. 새 vsphere Client 사용자인터페이스의용어, 토폴로지및워크플로는 vsphere Web Client의동일한측면및요소와비슷합니다. 참고 vsphere Web Client의 NSX 플러그인기능이 NSX 6.4의 vsphere Client에서모두구현되지는않았습니다. 지원및미지원기능의최신목록을보려면 VMware 기술자료용어집 VMware 기술자료사이트에서는새로운용어를정리한용어집을제공하고있습니다. VMware 기술설명서에사용된용어에대한정의를보려면 VMware, Inc. 5

6 일반문제해결지침 이항목에서는 NSX for vsphere 문제를해결하기위해따를수있는일반적인지침에대해설명합니다. 1 대시보드사용로이동하여구성요소에오류나경고가표시되는지확인합니다. 현재시스템확장 / 축소에대한정보와지원되는확장 / 축소매개변수에대한구성최대값을보려면시스템규모대시보드로이동할수도있습니다. 2 기본 NSX Manager의모니터 (Monitor) 탭으로이동한후트리거된시스템이벤트가있는지확인합니다. 시스템이벤트및경보에대한자세한내용은 NSX 로깅및시스템이벤트를참조하십시오. 3 NSX API를사용하여 GET api/2.0/services/systemalarms 개체에대한경보를확인합니다. API 에대한자세한내용은 NSX API 가이드를참조하십시오. 4 호스트상태점검명령을사용하여특정호스트의상태를확인합니다. 5 대시보드에호스트가정상상태가아닌것으로표시되면추가문제해결을위해해당호스트에대한패킷을캡처할수있습니다. 패킷캡처 (Packet Capture) 도구로패킷을캡처하여네트워크관련문제를진단하고해결할수있습니다. 6 문제가해결되지않으면지원번들 (Support Bundle) 도구를사용하여기술지원로그를다운로드하고 VMware 지원서비스에문의합니다. "My VMware에서지원요청을정리하는방법 " 을참조하십시오. 지원번들을다운로드하거나원격서버에번들을직접업로드할수있습니다. 지원번들을다운로드하는방법에대한자세한내용은 NSX 관리가이드를참조하십시오. 대시보드사용 대시보드는하나의중앙보기에서 NSX 구성요소의전반적인상태에대한가시성을제공합니다. 대시보드는 NSX Manager, 컨트롤러, 논리적스위치, 호스트준비, 서비스배포, 백업뿐만아니라 Edge 알림과같은여러다른 NSX 구성요소의상태를표시하여문제해결을단순화합니다. 1 vsphere Web Client에로그인합니다. 2 네트워킹및보안 (Networking & Security) 를클릭합니다. 대시보드 (Dashboard) > 개요 (Overview) 페이지가기본홈페이지로표시됩니다. 기존시스템정의위젯및사용자지정위젯을볼수있습니다. VMware, Inc. 6

7 위젯 시스템개요 구성요소 NSX Manager: CPU 사용량 NSX Manager 디스크사용량 데이터베이스서비스, 메시지버스서비스및 Replicator 서비스의서비스상태보조 NSX Manager에서복제오류발생 컨트롤러동기화상태컨트롤러노드 : 컨트롤러노드상태 컨트롤러피어연결상태 컨트롤러 VM 상태 ( 전원꺼짐 / 삭제됨 ) 컨트롤러디스크지연시간경고외부구성요소 : vsphere EAM(ESX Agent Manager) 서비스상태 방화벽게시상태 논리적스위치상태 방화벽게시상태가실패인호스트수. 호스트가게시된분산방화벽구성을성공적으로적용하지못할경우상태가빨간색입니다. 상태가오류또는경고인논리적스위치수지원되는분산가상포트그룹이 vcenter Server에서삭제될경우플래그지정 서비스배포상태 실패한배포에대한설치상태 실패한모든서비스에대한서비스상태 호스트알림 호스트에대한보안경고입니다. DHCP 클라이언트의하드웨어주소가 스푸핑될경우이경고를볼수있습니다. 가능한 DHCP DoS( 서비스 거부 ) 공격이일어나고있습니다. 패브릭상태호스트준비상태 : 설치실패상태, 업그레이드보류중, 설치진행중등의클러스터배포상태입니다. 방화벽 : 방화벽이사용되지않도록설정된클러스터수 분산방화벽의상태 VXLAN: VXLAN이구성되지않은클라이언트수 VXLAN 상태통신채널검사상태 백업상태 NSX Manager 에대한백업상태 백업일정 마지막백업상태 ( 실패 / 성공 / 예약되지않음과날짜및시간 ) 마지막백업시도 ( 날짜및시간과세부정보 ) 마지막성공백업 ( 날짜및시간과세부정보 ) Edge 알림 특정서비스에대한활성경보를강조표시합니다. 아래나열된중요이벤트목록을모니터링하고문제가해결될때까지계속추적합니다. 경보는복구이벤트가보고되거나, Edge가강제로동기화되거나, 재배포되거나, 업그레이드될때자동으로해결됩니다. 도구 흐름모니터링상태 끝점모니터링상태 VMware, Inc. 7

8 위젯 시스템규모대시보드 구성요소확장 / 축소에대한경고및알림요약이표시됩니다. 매개변수및확장 / 축소번호의자세한목록을보려면세부정보 (Details) 를클릭하여시스템규모대시보드로이동합니다. 사용자지정위젯 API 를통해생성한사용자지정위젯을볼수있습니다. 시스템규모대시보드시스템규모 (System Scale) 대시보드는현재시스템규모에대한정보를수집하고, 지원되는확장 / 축소매개변수의구성최대값을표시합니다. 시스템규모가구성된임계값을초과하는경우알림에대한경고임계값을구성할수있습니다. 임계값에도달하면알림설정에사용되는시스템이벤트가생성됩니다. 또한이정보가기록되고지원번들에포함됩니다. 현재값이지정된임계값백분율을초과하는경우경고표시기가나타나며지원되는최대확장 / 축소에곧도달한다는경고가표시됩니다. 빨간색표시기는구성최대값에도달했음을나타냅니다. 목록은현재확장 / 축소비율값의내림차순으로정렬되므로경고표시기가항상맨위에표시됩니다. 임계값이한계를초과하는지확인하기위해매시간데이터가수집되고, 임계값이초과되면표시기가생성됩니다. 해당정보는 NSX Manager 기술지원로그에하루 2회기록됩니다. 시스템이벤트는다음과같은상황이발생하면생성됩니다. 매개변수가임계값제한을초과할경우경고이벤트 매개변수가지원되는시스템규모구성을초과할때중요이벤트 매개변수가임계값보다낮을때정보제공용이벤트 모든매개변수에대한현재확장 / 축소임계값제한검색 GET /api/2.0/capacity-parameters/report API를사용하여현재및지원되는시스템규모구성을확인할수있습니다. API 출력에는확장 / 축소요약, 현재확장 / 축소값, 지원되는시스템규모값및각매개변수에대한임계값이표시됩니다. 시스템에대한확장 / 축소임계값구성시스템에대한확장 / 축소임계값제한을설정할수있습니다. 임계값제한을구성하려면 : 1 GET /api/2.0/capacity-parameters/thresholds API를사용하여전역시스템임계값을검색합니다. 예를들어, API 출력은전역임계값을 80으로표시합니다. 즉, 시스템규모 (System Scale) 대시보드에서사용경고임계값 (Usage Warning Threshold) 이 80% 로표시됩니다. 참고기본적으로전역임계값은 80으로설정됩니다. 2 시스템임계값을변경하려면 PUT /api/2.0/capacity-parameters/thresholds API를사용합니다. 예를들어, 전역임계값을 70으로변경할수있습니다. 이제시스템규모 (System Scale) 대시보드에서사용경고임계값 (Usage Warning Threshold) 이 70% 로표시됩니다. VMware, Inc. 8

9 API 에대한자세한내용은 NSX API 가이드를참조하십시오. 시스템규모에대한자세한내용은 NSX 권장구성최대값을참조하십시오. NSX 명령줄인터페이스빠른참조 문제를해결하려면 NSX CLI( 명령줄인터페이스 ) 를사용할수있습니다. 표 1 1. ESXi 호스트의 NSX 설치확인 NSX Manager에서실행되는명령설명 NSX Manager에대한명령참고 모든클러스터를나열하여클러스터 ID 를가져오기클러스터의모든호스트를나열하여호스트 ID를가져오기 show cluster all show cluster clusterid 모든클러스터정보표시 클러스터의호스트목록, 호스트 ID 및 호스트준비설치상태를표시합니다. 호스트의모든 VM 나열 show host hostid 특정호스트정보, VM, VM ID 및전 원상태를표시합니다. 표 1 2. 명령에서사용할수있게호스트에설치된 VIB 및모듈이름 NSX 버전 ESXi 버전 VIB 모듈 및이전버전 6.0 이상 esx-vxlan 및 esx-vsip vdl2, vdrb, vsip, dvfilter-switchsecurity, bfd, traceflow 이상버전 6.0 이상 esx-nsxv nsx-vdl2, nsxvdrb, nsx-vsip, nsx-dvfilterswitch-security, nsx-core, nsx-bfd, nsx-traceflow 표 1 3. ESXi 호스트의 NSX 설치확인 호스트에서실행되는명령 설명호스트에대한명령참고 존재하는 VIB는 NSX 및 ESXi 버전에따라다릅니다. 설치에서확인할모듈에대한자세한내용은호스트에설치된 VIB 및모듈이름표를참조하십시오. esxcli software vib get --vibname <name> 설치된버전 / 날짜를확인합니다. esxcli software vib list 는시스템의 모든 VIB 목록을나열합니다. 시스템에현재로드된모든시스템모듈나열존재하는모듈은 NSX 및 ESXi 버전에따라다릅니다. 설치에서확인할모듈에대한자세한내용은호스트에설치된 VIB 및모듈이름표를참조하십시오. esxcli system module list 동급의이전명령 : vmkload_mod -l grep -E vdl2 vdrb vsip dvfilterswitch-security esxcli system module get -m <name> 각모듈에대한명령을실행합니다. VMware, Inc. 9

10 표 1 3. ESXi 호스트의 NSX 설치확인 호스트에서실행되는명령 ( 계속 ) 설명호스트에대한명령참고 2개의 UWA( 사용자월드에이전트 ): 제어부에이전트, 방화벽에이전트컨트롤러에대한포트 1234 및 NSX Manager에대한포트 5671의 UWA 연결확인 /etc/init.d/vshield-stateful- Firewall status /etc/init.d/netcpad status esxcli network ip connection list grep 1234 esxcli network ip connection list grep 5671 컨트롤러 TCP 연결 메시지버스 TCP 연결 EAM 상태확인 vsphere Web Client, 관리 > vsphere ESX Agent Manager(Administration > vsphere ESX Agent Manager) 확인 표 1 4. ESXi 호스트의 NSX 설치확인 호스트네트워킹명령 설명 호스트네트워킹명령 참고 물리적 NIC/vmnic 나열 esxcli network nic list NIC 유형, 드라이버유형, 링크상태, MTU를확인합니다. 물리적 NIC 세부정보 esxcli network nic get -n vmnic# 드라이버및펌웨어버전과기타세부정보를확인합니다. IP 주소 /MAC/MTU 등과함께 vmk NIC 나열각 vmk NIC의세부정보 (vds 정보포함 ) 각 vmk NIC의세부정보 (VXLAN vmk에대한 vds 정보 ) 이호스트의 VTEP와연관된 VDS 이름찾기 VXLAN 전용 TCP/IP 스택에서 Ping VXLAN 전용 TCP/IP 스택의라우팅테이블보기 VXLAN 전용 TCP/IP 스택의 ARP 테이블보기 esxcli network ip interface ipv4 get esxcli network ip interface list esxcli network ip interface list -- netstack=vxlan esxcli network vswitch dvs vmware vxlan list ping ++netstack=vxlan I vmk1 x.x.x.x esxcli network ip route ipv4 list -N vxlan esxcli network ip neighbor list -N vxlan VTEP가올바르게인스턴스화되는지확인합니다. VTEP가올바르게인스턴스화되는지확인합니다. VTEP가올바르게인스턴스화되는지확인합니다. VTEP가올바르게인스턴스화되는지확인합니다. VTEP 통신문제해결 : 전송네트워크의 MTU가 VXLAN에대해올바른지확인하기위한 -d -s 1572 옵션을추가합니다. VTEP 통신문제해결 VTEP 통신문제해결 표 1 5. ESXi 호스트의 NSX 설치확인 호스트로그파일 설명 로그파일 참고 NSX Manager에서 show manager log follow NSX Manager 로그를추적합니다. 실시간문제해결에적합합니다. 호스트에대한모든설치관련로그 /var/log/esxupdate.log VMware, Inc. 10

11 표 1 5. ESXi 호스트의 NSX 설치확인 호스트로그파일 ( 계속 ) 설명로그파일참고 호스트관련문제 VMkernel 주의, 메시지, 경고및가용 성보고서 /var/log/vmkernel.log /var/log/vmksummary.log /var/log/vmkwarning.log 모듈로드실패가캡처됨 /var/log/syslog IXGBE 드라이버실패. NSX 모듈종속성실패가핵심지표입 니다. vcenter 에서 ESX Agent Manager 가업데이트를처리 vcenter 로그, eam.log 표 1 6. 논리적스위치확인 NSX Manager에서실행되는명령 설명 NSX Manager에대한명령 참고 모든논리적스위치나열 show logical-switch list all 모든논리적스위치, API에서사용될해당 UUID, 전송영역및 vdnscope를나열합니다. 표 1 7. 논리적스위치 NSX Controller 에서실행되는명령 설명컨트롤러에대한명령참고 VNI의소유자인컨트롤러찾기이 VNI에대한이컨트롤러에연결된모든호스트찾기이 VNI를호스트하도록등록된 VTEP 찾기이 VNI의 VM에대해학습된 MAC 주소나열 VM IP 업데이트에의해채워진 ARP 캐시나열특정호스트 / 컨트롤러쌍에대해어떤 VNI 호스트가가입했는지찾기 show control-cluster logicalswitches vni 5000 show control-cluster logical-switch connection-table 5000 show control-cluster logicalswitches vtep-table 5002 show control-cluster logicalswitches mac-table 5002 show control-cluster logicalswitches arp-table 5002 show control-cluster logicalswitches joined-vnis <host_mgmt_ip> 출력의컨트롤러 IP 주소및해당 SSH 를적어둡니다. 출력의소스 IP 주소는호스트의관리인터페이스이고포트번호는 TCP 연결의소스포트입니다. MAC 주소가실제로보고하는 VTEP에있는지확인합니다. ARP 캐시는 180초후에만료됩니다. 표 1 8. 논리적스위치 호스트에서실행되는명령 설명호스트에대한명령참고 호스트 VXLAN이동기화상태인지여부확인데이터경로캡처를위한연결된 VM 및로컬스위치포트 ID 보기 VXLAN 커널모듈 vdl2가로드되었는지확인 esxcli network vswitch dvs vmware vxlan get net-stats -l esxcli system module get -m vdl2 동기화상태및캡슐화에사용된포트를표시합니다. 특정 VM에대한 vm 스위치포트를가져오는더나은방법입니다. 지정된모듈의전체세부정보를표시합니다. 버전을확인합니다. VMware, Inc. 11

12 표 1 8. 논리적스위치 호스트에서실행되는명령 ( 계속 ) 설명호스트에대한명령참고 올바른 VXLAN VIB 버전이설치되었는지확인설치에서확인할 VIB에대한자세한내용은호스트에설치된 VIB 및모듈이름표를참조하십시오. 호스트가논리적스위치의다른호스트에대해알고있는지확인논리적스위치에대해제어부가작동되고활성상태인지확인호스트가모든 VM의 MAC 주소를학습했는지확인호스트가원격 VM에대한 ARP 항목을로컬로캐시했는지확인 VM이 LS에연결되고로컬 VMKnic에매핑되었는지확인. VM dvport가매핑된 vmknic ID도표시 vmknic ID 및해당항목이매핑된스위치포트 / 업링크표시 esxcli software vib get --vibname esx-vxlan 또는 esxcli software vib get --vibname esx-nsxv esxcli network vswitch dvs vmware vxlan network vtep list --vxlanid= vds-name=compute_vds esxcli network vswitch dvs vmware vxlan network list --vds-name Compute_VDS esxcli network vswitch dvs vmware vxlan network mac list --vds-name Compute_VDS --vxlan-id=5000 esxcli network vswitch dvs vmware vxlan network arp list --vds-name Compute_VDS --vxlan-id=5000 esxcli network vswitch dvs vmware vxlan network port list --vds-name Compute_VDS --vxlan-id=5000 esxcli network vswitch dvs vmware vxlan vmknic list --vdsname=dswitch-res01 지정된 VIB의전체세부정보를표시합니다. 버전및날짜를확인합니다. 이호스트에서알고있는 vtep 5001을호스팅하고있는모든 VTEP의목록을표시합니다. 컨트롤러연결이작동되고있고포트 /Mac 개수가이호스트의 LS에있는 VM과일치하는지확인합니다. 이호스트에있는 VNI 5000 VM에대한모든 MAC가나열되어야합니다. 호스트가원격 VM에대한 ARP 항목을로컬로캐시했는지확인 vdrport는 VNI가라우터에연결된경우항상나열됩니다. 표 1 9. 논리적스위치확인 로그파일 설명로그파일참고 호스트는항상해당 VNI를호스팅하는컨트롤러에연결됨 config-by-vsm.xml 파일이 vsfwd를사용하는 NSX Manager에의해푸시됨 config-by-vsm.xml 파일이잘못된경우 vsfwd 로그확인컨트롤러에대한연결은 netcpa를사용하여설정됨논리적스위치모듈로그는 vmkernel.log에있습니다. /etc/vmware/netcpa/config-by-vsm.xml /var/log/vsfwd.log /var/log/netcpa.log /var/log/vmkernel.log 이파일에는항상환경의모든컨트롤러가나열되어야합니다. netcpa 프로세스에의해 config-by-vsm.xml 파일이생성됩니다. 이파일을구문분석하여오류를확인합니다. 프로세스를시작하려면 : /etc/init.d/vshield-stateful- Firewall stop start 이파일을구문분석하여오류를확인합니다. /var/log/vmkernel.log에서 VXLAN: 접두사가붙은 논리적스위치모듈로그를확인합니다. VMware, Inc. 12

13 표 논리적라우팅확인 NSX Manager에서실행되는명령 설명 NSX Manager에대한명령 참고 ESG에대한명령 show edge ESG(Edge Services Gateway) 에대한 CLI 명령은 'show edge' 로시작합니다. DLR 제어 VM에대한명령 show edge DLR( 논리적분산라우터 ) 제어 VM에대한 CLI 명령은 'show edge' 로시작합니다. DLR에대한명령 show logical-router DLR( 논리적분산라우터 ) 에대한 CLI 명령은 show logical-router로시작합니다. 모든 Edge 나열 show edge all 중앙 CLI를지원하는모든 Edge를나열합니다. Edge 에대한모든서비스및배포세부 정보나열 show edge edgeid Edge Service Gateway 정보를표시 합니다. Edge에대한명령옵션나열 show edge edgeid? 세부정보 ( 예 : 버전, 로그, NAT, 라우팅테이블, 방화벽, 구성, 인터페이스및서비스 ) 를표시합니다. 라우팅세부정보표시 show edge edgeid ip? 라우팅정보, BGP, OSPF 및기타세부정보를표시합니다. 라우팅테이블표시 show edge edgeid ip route Edge의라우팅테이블을표시합니다. 인접라우팅표시 show edge edgeid ip ospf neighbor 인접라우팅관계를표시합니다. BGP 라우팅보기 show edge edgeid ip bgp BGP(Border Gateway Protocol) 라우팅테이블의항목보기 논리적라우터연결정보표시호스트에서실행되고있는모든논리적라우터인스턴스나열호스트의라우팅테이블확인 show logical-router host hostid connection show logical-router host hostid dlr all show logical-router host hostid dlr dlrid route 연결된 LIF의수가올바른지, 팀구성정책이올바른지및적절한 vds가사용되고있는지확인합니다. LIF 및경로수를확인합니다. 컨트롤러 IP는논리적라우터에대한모든호스트에서동일해야합니다. 제어부활성상태는 yes여야합니다. --brief는간단한응답을제공합니다. 컨트롤러에서전송영역의모든호스트로푸시하는라우팅테이블입니다. 모든호스트에서동일해야합니다. 일부호스트에서일부경로가누락된경우위에서설명한컨트롤러에서동기화명령을시도합니다. E 플래그는경로가 ECMP를통해학습되었음을의미합니다. VMware, Inc. 13

14 표 논리적라우팅확인 NSX Manager 에서실행되는명령 ( 계속 ) 설명 NSX Manager 에대한명령참고 LIF 에서호스트의 DLR 확인 show logical-router host hostid dlr dlrid interface (all intname) verbose LIF 정보가컨트롤러에서호스트로푸시됩니다. 이명령을사용하여호스트가알아야하는모든 LIF에대해알고있는지확인합니다. 라우팅로그표시 show log routing [follow reverse] 순방향 : 표시되는로그를업데이트합니다. 역방향 : 역방향시간순서대로로그를표시합니다. 표 논리적라우팅확인 NSX Controller 에서실행되는명령 설명 NSX Controller 에대한명령참고 모든논리적라우터인스턴스찾기각논리적라우터의세부정보표시논리적라우터에연결된모든인터페이스표시이논리적라우터에의해학습된모든경로표시설정된모든네트워크연결표시 (net stat output과같음 ) 컨트롤러에서호스트로의인터페이스동기화컨트롤러에서호스트로의경로동기화 show control-cluster logical-routers instance all show control-cluster logical-routers instance 0x570d4555 show control-cluster logical-routers interface-summary 0x570d4555 show control-cluster logical-routers routes 0x570d4555 show network connections of-type tcp sync control-cluster logical-routers interface-to-host <logical-routerid> <host-ip> sync control-cluster logical-routers route-to-host <logical-router-id> <host-ip> 논리적라우터인스턴스및논리적라우터인스턴스가있는전송영역의모든호스트가나열됩니다. 또한이논리적라우터를제공하는컨트롤러를표시합니다. IP 열에는이 DLR이있는모든호스트의 vmk0 IP 주소가표시됩니다. IP 열에는이 DLR이있는모든호스트의 vmk0 IP 주소가표시됩니다. IP 열에는이 DLR이있는모든호스트의 vmk0 IP 주소가표시됩니다. 문제해결중인호스트가 netcpa를통해컨트롤러에연결되었는지확인합니다. 새인터페이스가논리적라우터에연결되었으나모든호스트와동기화되지는않는경우에유용합니다. 일부호스트에서일부경로가누락되었으나대부분의호스트에서사용할수있는경우에유용합니다. 표 논리적라우팅확인 Edge 에서실행되는명령 설명 Edge 또는논리적라우터제어 VM 에 대한명령 참고 구성표시 show configuration <global bgp ospf > 학습된경로표시 show ip route 라우팅및전달테이블이동기화되어있는지확인합니다. 전달테이블표시 show ip forwarding 라우팅및전달테이블이동기화되어있는지확인합니다. VMware, Inc. 14

15 표 논리적라우팅확인 Edge 에서실행되는명령 ( 계속 ) 설명 Edge 또는논리적라우터제어 VM 에 대한명령 참고 논리적분산라우터인터페이스표시 show interface 출력에표시되는첫번째 NIC는논리적분산라우터인터페이스입니다. 논리적분산라우터인터페이스는해당 VM의실제 vnic가아닙니다. 논리적분산라우터에연결된모든서브넷의유형은내부입니다. 다른인터페이스 ( 관리 ) 표시 show interface 관리 /HA 인터페이스가논리적라우터제어 VM의실제 vnic입니다. IP 주소를지정하지않고 HA가사용되도록설정되면 x.x/30이사용됩니다. 관리인터페이스에 IP 주소가지정되면여기에표시됩니다. 프로토콜디버그 OSPF 명령 BGP 명령 debug ip ospf debug ip bgp show configuration ospf show ip ospf interface show ip ospf neighbor show ip route ospf show ip ospf database show tech-support( 문자열 EXCEPTION 및 PROBLEM 찾기 ) show configuration bgp show ip bgp neighbor show ip bgp show ip route bgp show ip forwarding show tech-support ( 문자열 EXCEPTION 및 PROBLEM 찾기 ) 구성문제 ( 예 : 일치하지않는 OSPF 영역, 타이머및잘못된 ASN) 를확인하는데유용합니다. 참고 : 출력은 Edge의콘솔 (SSH 세션을통해서가아님 ) 에만표시됩니다. VMware, Inc. 15

16 표 논리적라우팅확인 호스트의로그파일 설명로그파일참고 논리적분산라우터인스턴스정보가 vsfwd에의해호스트에푸시되고 XML 형식으로저장됩니다. 위파일이 vsfwd를사용하는 NSX Manager에의해푸시됨 config-by-vsm.xml 파일이잘못된경우 vsfwd 로그확인컨트롤러에대한연결은 netcpa를사용하여설정됨논리적스위치모듈로그는 vmkernel.log에있습니다. /etc/vmware/netcpa/config-by-vsm.xml /var/log/vsfwd.log /var/log/netcpa.log /var/log/vmkernel.log 논리적분산라우터인스턴스가호스트에없으면먼저이파일을확인하여인스턴스가나열되는지검토합니다. 인스턴스가없으면 vsfwd를다시시작합니다. 또한이파일을사용하여모든컨트롤러가호스트에알려져있는지확인합니다. 이파일을구문분석하여오류를확인합니다. 프로세스를다시시작하려면 : /etc/init.d/vshield-stateful- Firewall stop start 이파일을구문분석하여오류를확인합니다. /var/log/vmkernel.log에서 vxlan: 접두사가붙은 논리적스위치모듈로그를확인합니다. 표 컨트롤러디버깅 NSX Manager에서실행되는명령 설명 NSX Manager에대한명령 참고 상태가있는모든컨트롤러나열 show controller list all 모든컨트롤러및해당실행상태목록을표시합니다. 표 컨트롤러디버깅 NSX Controller에서실행되는명령 설명 컨트롤러에대한명령 참고 컨트롤러클러스터상태확인 show control-cluster status 항상 ' 가입완료 ' 및 ' 클러스터대부분에연결됨 ' 을표시해야합니다. 플래핑연결및메시지에대한통계확인초기또는다시시작이후의클러스터가입과관련된노드작업표시 show control-cluster core stats 삭제된카운터는변경되지않습니다. show control-cluster history 클러스터가입문제해결에유용합니다. 클러스터의노드목록표시 show control-cluster startup-nodes 목록에활성클러스터노드만포함되어야할필요는없습니다. 현재배포된모든컨트롤러의목록이어야합니다. 이목록은시작컨트롤러가클러스터의다른컨트롤러에연결하는데사용합니다. 설정된모든네트워크연결표시 (net stat output 과같음 ) show network connections of-type tcp 문제해결중인호스트가 netcpa 를통 해컨트롤러에연결되었는지확인합니 다. VMware, Inc. 16

17 표 컨트롤러디버깅 NSX Controller에서실행되는명령 ( 계속 ) 설명 컨트롤러에대한명령 참고 컨트롤러프로세스다시시작 restart controller 주컨트롤러프로세스만다시시작합니다. 클러스터에강제로다시연결합니다. 컨트롤러노드재부팅 restart system 컨트롤러 VM을재부팅합니다. 표 컨트롤러디버깅 NSX Controller 에대한로그파일 설명로그파일참고 컨트롤러기록및최근가입, 다시시작 등표시 느린디스크확인 show control-cluster history show log cloudnet/cloudnet_javazookeeper<timestamp>.log filtered-by fsync 특히클러스터링과관련된컨트롤러문제를해결하기에유용한도구입니다. 느린디스크문제를확인하는확실한방법은 cloudnet_java-zookeeper 로그에서 "fsync" 메시지를찾는것입니다. 동기화하는데 1초가넘게걸리면 ZooKeeper가이메시지를인쇄하며, 해당시간에해당디스크가다른작업에사용되고있음을나타냅니다. 느리거나고장난디스크확인 show log syslog filtered-by collectd collectd 에대한자세한출력에표시되는것과같은메시지는느리거나고장난디스크와상호연관될수있습니다. 디스크공간사용량확인현재활성상태인클러스터멤버찾기핵심컨트롤러로그표시핵심컨트롤러로그표시 show log syslog filtered-by freespace: show log syslog filtered-by Active cluster members show log cloudnet/cloudnet_javazookeeper log show log cloudnet/cloudnet.nsxcontroller.root.log.info 공간사용량이임계값에도달하면디스크에서오래된로그및기타파일을주기적으로정리하는 freespace 라는백그라운드작업이있습니다. 일부경우에디스크가작고매우빠르게채워질경우 freespace 메시지가자주표시됩니다. 이는디스크가꽉찼음을나타낼수있습니다. 현재활성상태인클러스터멤버의노드 ID를나열합니다. 이메시지가항상출력되는것은아니므로이전 syslog를조사해야할수있습니다. 여러 zookeeper 로그가있을수있습니다. 최신타임스탬프가지정된파일을찾으십시오. 이파일에는컨트롤러클러스터마스터선택에대한정보와컨트롤러의분산특성과관련된기타정보가포함되어있습니다. 주컨트롤러작동로그 ( 예 : LIF 생성, 1234의연결수신기, 샤딩 ) VMware, Inc. 17

18 표 분산방화벽확인 NSX Manager에서실행되는명령 설명 NSX Manager에대한명령 참고 VM 정보표시 show vm vmid 세부정보 ( 예 : DC, 클러스터, 호스트, VM 이름, vnic, 설치된 dvfilter) 특정가상 NIC 정보표시 show vnic icid 세부정보 ( 예 : VNIC 이름, mac 주소, pg, 적용된필터 ) 모든클러스터정보표시 show dfw cluster all 클러스터이름, 클러스터 ID, 데이터센터이름, 방화벽상태 특정클러스터정보표시 show dfw cluster clusterid 호스트이름, 호스트 ID, 설치상태 dfw 관련호스트정보표시 show dfw host hostid VM 이름, VM ID, 전원상태 dvfilter 내의세부정보표시 show dfw host hostid filter filterid <option> 각 VNIC 에대한규칙, 통계, 주소집합 등나열 VM 에대한 DFW 정보표시 show dfw vm vmid VM 의이름, VNIC ID, 필드등표시 VNIC 세부정보표시 show dfw vnic vnicid VNIC 이름, ID, MAC 주소, 포트그 룹, 필터표시 vnic별설치된필터나열특정필터 /vnic에대한규칙표시주소집합에대한세부정보표시 vnic별 spoofguard 세부정보흐름레코드의세부정보표시 vnic에대한각규칙의통계표시 show dfw host hostid summarizedvfilter show dfw host hostid filter filterid rules show dfw vnic nicid show dfw host hostid filter filterid addrsets show dfw host hostid filter filterid spoofguard show dfw host hostid filter filterid flows show dfw host hostid filter filterid stats 원하는 VM/vNIC 찾기및다음명령에필터로사용할이름필터가져오기규칙에는주소집합만표시되며, 이명령은주소집합에포함된내용을확장하는데사용될수있습니다. SpoofGuard가사용되도록설정되어있는지와현재 IP/MAC를확인합니다. Flow Monitoring이사용되도록설정된경우호스트는흐름정보를 NSX Manager에주기적으로전송합니다. 이명령을사용하여 vnic별흐름을확인합니다. 규칙을준수하는지확인하는데유용합니다. VMware, Inc. 18

19 표 분산방화벽확인 호스트에서실행되는명령 설명호스트에대한명령참고 호스트에다운로드된 VIB를나열합니다. 설치에서확인할 VIB에대한자세한내용은호스트에설치된 VIB 및모듈이름표를참조하십시오. 현재로드된시스템모듈에대한세부정보설치에서확인할모듈에대한자세한내용은호스트에설치된 VIB 및모듈이름표를참조하십시오. esxcli software vib list grep esxvsip 또는 esxcli software vib list grep esxnsxv esxcli system module get -m vsip 또는 esxcli system module get -m nsx-vsip 올바른 vib 버전이다운로드되는지확 인합니다. 모듈이설치 / 로드되었는지확인합니다. 프로세스목록 ps grep vsfwd vsfwd 프로세스가여러스레드를사용 해서실행중인지확인합니다. 데몬명령 /etc/init.d/vshield-stateful- Firewall {start stop status restart} 데몬이실행중인지확인하고필요한경 우다시시작합니다. 네트워크연결표시 esxcli network ip connection list grep 5671 호스트가 TCP 를통해 NSX Manager 에연결되어있는지확인합니다. 표 분산방화벽확인 호스트에대한로그파일 설명 로그 참고 프로세스로그 /var/log/vsfwd.log vsfwd 데몬로그, vsfwd 프로세스에유용, NSX Manager 연결및 RabbitMQ 문제해결 패킷로그전용파일 /var/log/dfwpktlogs.log 패킷로그에대한전용로그파일 dvfilter 에패킷캡처 pktcap-uw --dvfilter nic eth0-vmware-sfw.2 --outfile test.pcap 표 패킷캡처 NSX Manager에서명령실행 설명 NSX Manager에대한명령 참고 모든패킷캡처세션표시 show packet capture sessions 모든패킷캡처세션의세부정보를표시합니다. 패킷캡처파일컨텐츠표시 vnic 캡처 debug packet capture display session <capture-id> parameters [optional parameters] debug packet capture host < host-id > vnic <vnic-id> dir <direction> parameters [optional parameters] 패킷캡처파일컨텐츠를표시합니다. 특정 VM vnic에대한패킷을캡처합니다. 방향에는두가지옵션인입력과출력이있습니다. 입력은 vnic로이동하는트래픽에대한것이고, 출력은 vnic에서나가는트래픽에대한것입니다. VMware, Inc. 19

20 표 패킷캡처 NSX Manager 에서명령실행 ( 계속 ) 설명 NSX Manager 에대한명령참고 vdrport 캡처 VMKNic 캡처 패킷캡처세션삭제 debug packet capture host <host-id> vdrport dir <direction> parameters [optional parameters] debug packet capture host <host-id> vmknic <vmknic-name> dir <direction> parameters [optional parameters] debug packet capture clear session <capture-id> vdr( 가상분산라우터 ) 의특정포트에대한패킷을캡처합니다. 방향에는두가지옵션인입력과출력이있습니다. 입력은 vdr로이동하는트래픽에대한것이고, 출력은 vdr에서나가는트래픽에대한것입니다. 특정 VM KNic에대한패킷을캡처합니다. 방향에는두가지옵션인입력과출력이있습니다. 입력은 VMKNic로이동하는트래픽에대한것이고, 출력은 VMKNic에서나가는트래픽에대한것입니다. 특정패킷캡처세션을삭제합니다. 호스트상태점검 NSX Manager 중앙 CLI에서각 ESXi 호스트의상태를확인할수있습니다. 상태는위험, 비정상또는정상으로보고됩니다. NSX Manager API를통해 host health-check 명령도호출할수있습니다. 예 : nsxmgr> show host host-30 health-status status: HEALTHY nsxmgr> show host host-29 health-status UNHEALTHY, Standard Switch vswitch1 has no uplinks. UNHEALTHY, Host host-29 mount point /vmfs/volumes/58e2c6d ac d86 volume "local_esx-06a" free percentage less than 20%: 0%. Status: UNHEALTHY nsxmgr> show host host-28 health-status CRITICAL, VXLAN VDS vds-site-a VNI multicast addr is not synchronized with VSM: CRITICAL, VXLAN VDS vds-site-a VNI multicast addr is not synchronized with VSM: CRITICAL, VXLAN VDS vds-site-a VNI 5000 multicast addr is not synchronized with VSM: Status: CRITICAL CRITICAL, Control plane agent on host is not in established state with controller. Please investigate host connection issue with esxcli network ip connection command. CRITICAL, VXLAN VDS RegionA01-vDS-MGMT VNI 5007 connection to controller is down: (down). 각매개변수에대해지정된호스트의세부상태를보려면 show host hostid health-status detail 명 령을사용할수있습니다. VMware, Inc. 20

21 상태점검은다음과같은고유범주로분할됩니다. 1 NSX Data Center for vsphere VIB 및호스트에이전트의배포를포함하는배포상태점검입 니다. 런타임중에 netcpa 및방화벽에이전트검사등의일부검사를사용할수있습니다. The host associated cluster check [DONE] The NSX component installation check [DONE] The NSX module VXLAN installation check [DONE] The NSX module DLR installation check [DONE] The NSX VIB installation check [DONE] The control plane agent check [DONE] The firewall agent check [DONE] The NSX configuration file check [DONE] The host connection to controller check [DONE] 2 네트워크연결상태입니다. The Distributed Switch uplink check [DONE] The Standard Switch uplink check [DONE] 3 CPU, 메모리및스토리지활용률상태입니다. The storage volume check [DONE] UNHEALTHY, Host host-34 mount point /vmfs/volumes/58e2c69b-38d4fa25-b33a dfe2 volume "local_esx-05a" free percentage less than 20%: 0%. The Memory overcommit check [DONE] The physical CPU load check [DONE] The free memory usage check [DONE] 4 논리적스위치상태입니다. The VXLAN VDS existence check [DONE] The VXLAN VDS MTU check [DONE] The VXLAN gateway IP/MAC check [DONE] The VXLAN vmknic check [DONE] The VXLAN uplinks check [DONE] The VXLAN configuration check [DONE] The VXLAN vmknic IP address check [DONE] The VXLAN Overlay settings check [DONE] The VXLAN vni settings check [DONE] The host vmnic check [DONE] The VXLAN vmknic check [DONE] 출력의몇가지예는다음과같습니다. nsx-mgr> show host host-33 health-status detail The host associated cluster check [DONE] The NSX component installation check [DONE] The NSX module VXLAN installation check [DONE] The NSX module DLR installation check [DONE] The NSX VIB installation check [DONE] The control plane agent check [DONE] VMware, Inc. 21

22 The firewall agent check [DONE] The NSX configuration file check [DONE] The host connection to controller check [DONE] The Distributed Switch uplink check [DONE] The Standard Switch uplink check [DONE] The storage volume check [DONE] UNHEALTHY, Host host-34 mount point /vmfs/volumes/58e2c69b-38d4fa25-b33a dfe2 volume "local_esx-05a" free percentage less than 20%: 0%. The Memory overcommit check [DONE] The physical CPU load check [DONE] The free memory usage check [DONE] The VXLAN VDS existence check [DONE] The VXLAN VDS MTU check [DONE] The VXLAN gateway IP/MAC check [DONE] The VXLAN vmknic check [DONE] The VXLAN uplinks check [DONE] The VXLAN configuration check [DONE] The VXLAN vmknic IP address check [DONE] The VXLAN Overlay settings check [DONE] The VXLAN vni settings check [DONE] The host vmnic check [DONE] The VXLAN vmknic check [DONE] Status: UNHEALTHY nsx-mgr> show host host-33 health-status detail The host associated cluster check [DONE] The NSX component installation check [DONE] The NSX module VXLAN installation check [DONE] The NSX module DLR installation check [DONE] The NSX VIB installation check [DONE] The control plane agent check [DONE] The firewall agent check [DONE] The NSX configuration file check [DONE] The host connection to controller check [DONE] CRITICAL, Control plane agent on host is not in established state with controller. Please investigate host connection issue with esxcli network ip connection command. The Distributed Switch uplink check [DONE] The Standard Switch uplink check [DONE] The storage volume check [DONE] The Memory overcommit check [DONE] The physical CPU load check [DONE] The free memory usage check [DONE] The VXLAN VDS existence check [DONE] The VXLAN VDS MTU check [DONE] The VXLAN gateway IP/MAC check [DONE] The VXLAN vmknic check [DONE] The VXLAN uplinks check [DONE] The VXLAN configuration check [DONE] The VXLAN vmknic IP address check [DONE] The VXLAN Overlay settings check [DONE] The VXLAN vni settings check [DONE] CRITICAL, VXLAN VDS RegionA01-vDS-MGMT VNI 5007 connection to controller is down: VMware, Inc. 22

23 (down). The host vmnic check [DONE] The VXLAN vmknic check [DONE] Status: CRITICAL 표 상태점검메시지설명 호스트관련클러스터검사 NSX 구성요소설치검사 NSX 모듈 VXLAN 설치검사 NSX 모듈 DLR 설치검사 NSX VIB 설치검사제어부에이전트검사방화벽에이전트검사 NSX 구성파일검사 Host {hostid} doesn't belong to a cluster. Host {hostid} has no NSX components installed. The NSX module VXLAN is not installed/loaded/enabled on host {hostid}. The NSX module for distributed routing is not installed, loaded, or enabled on the host. The NSX VIB installation check has failed on host. Service netcpad is not running on host {hostid}. The NSX firewall agent is running or not on the host. The NSX configuration file /etc/vmware/netcpa/config-byvsm.xml is not synchronized on host {hostid}. 이상태검사는특정호스트 (host Id) 이 ( 가 ) 클러스터와올바르게연결되어있는지확인합니다. 이상태검사는호스트 (host Id) 에대해모든 NSX Data Center for vsphere 구성요소가올바르게설치되어있는지확인합니다. 이상태검사는호스트 (host Id) 에제대로구성되어있는지확인합니다. 이상태검사는호스트 (host Id) 에대해 DLR( 논리적분산라우터 ) 이올바르게설치되어있는지확인합니다. 이상태검사는설치된 NSX Data Center for vsphere VIB가새 ESXi 버전에대해적절한지확인합니다. NSX Data Center for vsphere 데이터부는 ESXi 호스트버전과호환되지않습니다. 호스트에설치된 esxvsip VIB가 NSX Data Center for vsphere 버전과일치하는지확인하여추가로조사하십시오. 이상태검사는제어부에이전트가 NSX Manager와통신하고있는지확인합니다. 문제해결단계를보려면제어부에이전트 (netcpa) 문제를참조하십시오. 이상태검사는방화벽에이전트가호스트 (host Id) 에서실행되고있는지확인합니다. 문제해결단계를보려면분산방화벽문제해결를참조하십시오. 이상태검사는구성파일 /etc/vmware/netcpa/configby-vsm.xml이호스트 (host Id) 와동기화되었는지확인합니다. VMware, Inc. 23

24 표 ( 계속 ) 상태점검메시지설명 컨트롤러에대한호스트연결검사분산스위치업링크검사표준스위치업링크검사스토리지볼륨검사메모리오버커밋검사 Control plane agent on host is not in established state with controller. Distributed Switch {dvsname} has no uplinks. Standard Switch {vswitchname} has no uplinks. Host "+hostid+" mount point "+mountpoint+" volume \""+volumename +"\" free percentage less than 20%: "+freepercent+"%.\n. Memory overcommit info from esxtop can't be parsed. Host {hostid} memory is over commited. 이상태검사는제어부에이전트가호스트 (host Id) 과 ( 와 ) 통신하고있는지확인합니다. 문제해결단계를보려면제어부에이전트 (netcpa) 문제를참조하십시오. 문제해결을위해 vsphere 네트워킹가이드를참조하십시오. 문제해결을위해 vsphere 네트워킹가이드를참조하십시오. 물리적 CPU 로드검사 Host {hostid} Physical CPU Load (5 Minute Avg) info from esxtop can't be parsed. Host {hostid} Physical CPU Load (5 Minute Avg) is too high. 사용가능한메모리사용량검사 VXLAN VDS 존재여부검사 VXLAN VDS MTU 검사 VXLAN 게이트웨이 IP/MAC 검사 Host {hostid} mount point {mountpoint} volume {volumename} free percentage less than 20%. No VXLAN VDS is configured on host {hostid}. VXLAN VDS {vxlanvds} MTU is less than 1550: {vxlanvdsmtu}. Please check MTU value of connected VMs is not greater than { vxlanvdsmtu-50}. Gateway IP/mac address of VXLAN VDS {vxlanvds} is not resolved. 문제해결을위해 vsphere 네트워킹 가이드를참조하십시오. VXLAN vmknic 검사 VXLAN VDS {vxlanvds} has no vmknic. Vmkernel.log 를수집하고 VMware 기술지원서비스에문의하십시오. VXLAN 업링크검사 VXLAN 구성검사 VXLAN VDS {vxlanvds} has no uplinks. Configuration of VXLAN VDS {+vxlanvds} of host {hostid} is not synchronized. Configuration of VXLAN VDS {vxlanvds} is not defined on NSX Manager. VXLAN VDS {vxlanvds} vmknic and uplink counts are not equal for teaming policy {vdscontext.getteamingpolicy }. VXLAN 포트그룹팀구성정책을다 시원래값으로설정하십시오. VMware, Inc. 24

25 표 ( 계속 ) 상태점검메시지설명 VXLAN vmknic IP 주소검사 VXLAN 오버레이설정검사 VXLAN vni 설정검사 VXLAN VDS {vxlanvds} {vmknic}+ {vmknic}+{ip address} is not resolved. VXLAN VDS {vxlanvds vmknic} +{vmknic}{ ip address} 이 ( 가 ) 확인되지않습니다. VXLAN VDS {vxlanvds} overlay settings are not VXLAN: {overlay}{ VXLAN VDS } {vxlanvds} overlay settings are not found. VXLAN VDS {vxlanvds+ " VNI "+vni +}connection to controller is down VXLAN VDS {vxlanvds+ " VNI "+vni+"} segment info is not configured in NSX Manager. VXLAN VDS {"+vxlanvds+" VNI "+vni+" multicast addr "+multicastip +"} is not synchronized with NSX Manager. 이검사는 VTEP 에유효한 IP 주소가 없거나올바른 IP 주소가손실되었는지 를나타냅니다. 하이퍼바이저의터널상태모니터링 하이퍼바이저의터널상태를모니터링하여 REST API 사용에따른문제를확인할수있습니다. 상태는다음네가지로표시됩니다. 작동 (Up): 모든구성요소가정상상태입니다. 성능저하 (Degraded): 일부구성요소가비정상상태입니다. 다운 (Down): 모든구성요소가비정상상태입니다. 사용안함 (Disabled): 관리자가해당상태를사용하지않도록설정하게하려는구성요소입니다. 다음구성요소에대한상태를모니터링할수있습니다. 1 물리적 NIC(pNIC): LAG( 링크집계그룹 ) 모드사용 : pnic 상태가작동임 : LAG에속하는모든업링크가작동상태입니다. pnic 상태가다운임 : LAG에속하는모든업링크가다운상태입니다. pnic 상태가성능저하임 : LAG에속하는일부업링크는작동상태이고일부업링크는다운상태입니다. LAG 이외모드사용 : pnic 상태가작동또는다운상태로표시됩니다. 2 터널 : 터널네트워킹연결상태입니다. 터널상태가작동임 : 하이퍼바이저에대한모든터널이작동상태입니다. VMware, Inc. 25

26 터널상태가다운임 : 하이퍼바이저에대한모든터널이다운상태입니다. 터널상태가성능저하임 : 일부터널은작동상태이고일부터널은다운상태입니다. 3 제어부상태 : 하이퍼바이저및컨트롤러간의연결상태입니다. 4 관리부상태 : 하이퍼바이저및관리부간의연결상태입니다. 다음 API를사용하여하이퍼바이저의터널상태를모니터링합니다. 호스트의전체상태를보려면 : GET /api/2.0/vdn/host/status. 특정호스트에대한터널요약을보려면 : GET /api/2.0/vdn/host/<host-id>/status. 특정호스트에대한터널상태를보려면 : GET /api/2.0/vdn/host/<host-id>/tunnel. 지정된호스트에터널로연결된모든호스트의상태를보려면 : GET /api/2.0/vdn/host/<hostid>/remote-host-status. BFD 글로벌구성을검색하려면 : GET /api/2.0/vdn/bfd/configuration/global. 상태모니터링에대한 BFD 구성을변경하려면 : PUT /api/2.0/vdn/bfd/configuration/global. 또한하이퍼바이저의터널상태모니터링에서 BFD를사용하지않도록설정할수도있습니다. pnic에대한상태정보를검색하려면 : GET /api/2.0/vdn/pnic-check/configuration/global. 상태모니터링에대한 pnic 구성을변경하려면 : PUT /api/2.0/vdn/pniccheck/configuration/global. 또한하이퍼바이저의터널상태모니터링에서 pnic를사용하지않도록설정할수도있습니다. API에대한자세한내용은 NSX API 가이드를참조하십시오. VMware, Inc. 26

27 NSX 인프라문제해결 2 NSX 준비는 4단계로진행되는프로세스입니다. 1 NSX Manager를 vcenter Server에연결합니다. NSX Manager와 vcenter Server 간에는일대일관계가있습니다. a vcenter Server에등록합니다. 2 NSX Controller를배포합니다 ( 유니캐스트또는하이브리드모드의논리적스위칭, 분산라우팅또는 VXLAN에만필요합니다. DFW( 분산방화벽 ) 만사용하는경우에는컨트롤러가필요하지않습니다.). 3 호스트준비 : 클러스터의모든호스트에 VXLAN, DFW 및 DLR용 VIB를설치합니다. Rabbit MQ 기반메시징인프라를구성합니다. 방화벽을사용하도록설정합니다. 호스트의 NSX 사용준비가되었음을컨트롤러에알립니다. 4 IP 풀설정구성및 VXLAN 구성 : 클러스터의모든호스트에 VTEP 포트그룹및 VMKNIC를만듭니다. 이단계동안전송 VLAN ID, 팀구성정책및 MTU를설정할수있습니다. 설치및각단계의구성에대한자세한내용은 NSX 설치가이드및 NSX 관리가이드를참조하십시오. 본장은다음항목을포함합니다. 호스트준비 NSX Manager 문제해결 논리적네트워크준비 : VXLAN 전송 논리적스위치포트그룹이동기화되지않음 호스트준비 vsphere ESX Agent Manager는 ESXi 호스트에 vsphere 설치번들 (VIB) 을배포합니다. 호스트에배포하려면 DNS가호스트, vcenter Server 및 NSX Manager에구성되어있어야합니다. 배포를위해 ESXi 호스트를재부팅할필요는없지만 VIB의업데이트또는제거를위해서는 ESXi 호스트를재부팅해야합니다. VIB는 NSX Manager에서호스팅되며 zip 파일로도제공됩니다. VMware, Inc. 27

28 이파일은 다운로드할수있는 zip 파일은 NSX 및 ESXi 버전에따라다릅니다. 예를들어 NSX 6.4.0에서 vsphere 6.0 호스트는파일 buildnumber/vxlan.zip을사용합니다. # 6.0 VDN EAM Info VDN_VIB_PATH.1=/bin/vdn/vibs-6.4.0/ /vxlan.zip VDN_VIB_VERSION.1= VDN_HOST_PRODUCT_LINE.1=embeddedEsx VDN_HOST_VERSION.1=6.0.* # 6.5 VDN EAM Info VDN_VIB_PATH.2=/bin/vdn/vibs-6.4.0/ /vxlan.zip VDN_VIB_VERSION.2= VDN_HOST_PRODUCT_LINE.2=embeddedEsx VDN_HOST_VERSION.2=6.5.* # 6.6 VDN EAM Info VDN_VIB_PATH.3=/bin/vdn/vibs-6.4.0/ /vxlan.zip VDN_VIB_VERSION.3= VDN_HOST_PRODUCT_LINE.3=embeddedEsx VDN_HOST_VERSION.3=6.6.* # VDN EAM Info for SDDC VDN_VIB_PATH.4=/bin/vdn/vibs sddc/ /vxlan.zip VDN_VIB_VERSION.4= VDN_HOST_PRODUCT_LINE.4=embeddedEsx.sddc VDN_HOST_VERSION.4=6.6.2 # Single Version associated with all the VIBs pointed by above VDN_VIB_PATH(s) VDN_VIB_VERSION= # Legacy vib location. Used by code to discover avaialble legacy vibs. LEGACY_VDN_VIB_PATH_FS=/common/em/components/vdn/vibs/legacy/ 호스트에설치되는 VIB 는 NSX 및 ESXi 버전에따라다릅니다. ESXi 버전 NSX 버전설치된 VIB 6.0 이상 또는이전버전 esx-vsip esx-vxlan 6.0 이상 이상버전 esx-nsxv esxcli software vib list 명령을사용하여설치된 VIB 를볼수있습니다. [root@esx-01a:~] esxcli software vib list grep -e vsip -e vxlan esx-vsip XXXXXXX VMware VMwareCertified esx-vxlan XXXXXXX VMware VMwareCertified VMware, Inc. 28

29 또는 esxcli software vib list grep nsxv esx-nsxv XXXXXXX VMware VMwareCertified 호스트준비중에발생하는일반적인문제 호스트준비중에발생할수있는일반적인문제는다음과같습니다. EAM이 VIB를배포하지못합니다. 호스트에서 DNS가잘못구성되어있기때문일수있습니다. 방화벽이 ESXi, NSX Manager 및 vcenter Server 간의필수포트를차단하고있을수있습니다. 대부분의문제는해결 (Resolve) 옵션을클릭하여해결됩니다. 설치상태가준비되지않음를참조하십시오. 이전버전의이전 VIB가이미설치되어있습니다. 이경우사용자가호스트를재부팅해야합니다. NSX Manager 및 vcenter Server에서통신문제가발생합니다. 네트워킹및보안플러그인의호스트준비 (Host Preparation) 탭에일부호스트가제대로표시되지않습니다. vcenter Server에서모든호스트및클러스터를열거할수있는지확인합니다. 문제가해결 (Resolve) 옵션을사용하여해결되지않으면해결옵션을사용하여문제가해결되지않음을참조하십시오. 호스트준비 (VIB) 문제해결 호스트에대한통신채널상태를확인합니다. 통신채널상태확인를참조하십시오. vsphere ESX Agent Manager에오류가있는지확인합니다. vcenter 홈 > 관리 > vcenter Server Extensions > vsphere ESX Agent Manager(vCenter home > Administration > vcenter Server Extensions > vsphere ESX Agent Manager) vsphere ESX Agent Manager에서접두사로 VCNS160 이붙어있는에이전시의상태를확인합니다. 에이전시가불량상태인경우해당에이전시를선택하고문제를확인합니다. VMware, Inc. 29

30 문제가있는호스트에서 tail /var/log/esxupdate.log 명령을실행합니다. 호스트준비 (UWA) 문제해결 NSX Manager는클러스터의모든호스트에서 2개의 User World Agent를구성합니다. 메시징버스 UWA(vsfwd) 제어부 UWA(netcpa) NSX Manager NSX Controller 클러스터 UWA VXLAN 보안 드문경우 VIB 설치가성공하지만일부이유로인해 User World Agent 중하나또는둘다가제대 로작동하지않을수있습니다. 이경우다음과같은현상이나타날수있습니다. 방화벽에잘못된상태가표시됩니다. VMware, Inc. 30

31 하이퍼바이저및컨트롤러사이의제어부가작동중단됩니다. NSX Manager 시스템이벤트를 확인합니다. NSX 로깅및시스템이벤트를참조하십시오. 둘이상의 ESXi 호스트가영향을받는경우요약 (Summary) 탭의 NSX Manager 장치 Web UI 에서메시지버스서비스의상태를확인하십시오. RabbitMQ 가중지되면다시시작하십시오. 메시지버스서비스가 NSX Manager 에서활성상태인경우 : ESXi 호스트에서 /etc/init.d/vshield-stateful-firewall status 명령을실행하여호스트의메 시지버스 User World Agent 상태를확인합니다. [root@esx-01a:~] /etc/init.d/vshield-stateful-firewall status vshield-stateful-firewall is running /var/log/vsfwd.log 에서호스트에대한메시지버스 User World Agent 로그를확인합니다. ESXi 호스트에서 esxcfg-advcfg -l grep Rmq 명령을실행하여모든 Rmq 변수를표시합니다. 16 개의 Rmq 변수가표시되어야합니다. [root@esx-01a:~] esxcfg-advcfg -l grep Rmq /UserVars/RmqIpAddress [String] : Connection info for RMQ Broker /UserVars/RmqUsername [String] : RMQ Broker Username /UserVars/RmqPassword [String] : RMQ Broker Password /UserVars/RmqVHost [String] : RMQ Broker VHost /UserVars/RmqVsmRequestQueue [String] : RMQ Broker VSM Request Queue /UserVars/RmqPort [String] : RMQ Broker Port /UserVars/RmqVsmExchange [String] : RMQ Broker VSM Exchange /UserVars/RmqClientPeerName [String] : RMQ Broker Client Peer Name /UserVars/RmqHostId [String] : RMQ Broker Client HostId VMware, Inc. 31

32 /UserVars/RmqHostVer [String] : RMQ Broker Client HostVer /UserVars/RmqClientId [String] : RMQ Broker Client Id /UserVars/RmqClientToken [String] : RMQ Broker Client Token /UserVars/RmqClientRequestQueue [String] : RMQ Broker Client Request Queue /UserVars/RmqClientResponseQueue [String] : RMQ Broker Client Response Queue /UserVars/RmqClientExchange [String] : RMQ Broker Client Exchange /UserVars/RmqSslCertSha1ThumbprintBase64 [String] : RMQ Broker Server Certificate base64 Encoded Sha1 Hash ESXi 호스트에서 esxcfg-advcfg -g /UserVars/RmqIpAddress 명령을실행합니다. 출력에는 NSX Manager IP 주소가표시되어야합니다. [root@esx-01a:~] esxcfg-advcfg -g /UserVars/RmqIpAddress Value of RmqIpAddress is ESXi 호스트에서 esxcli network ip connection list grep 5671 명령을실행하여활성메시징 버스연결을확인합니다. [root@esx-01a:~] esxcli network ip connection list grep 5671 tcp : :5671 ESTABLISHED newreno vsfwd tcp : :5671 ESTABLISHED newreno vsfwd 제어부에이전트와관련된문제는제어부에이전트 (netcpa) 문제를참조하십시오. 호스트준비아키텍처이해 이항목에서는기본호스트준비아키텍처에대해설명합니다. 네트워크패브릭을배포하려면호스트준비 (Host Preparation) 탭으로이동합니다. 보안패브릭을배포하려면서비스배포 (Service Deployment) 탭으로이동합니다. VMware, Inc. 32

33 타사관리자 - Guest Introspection 통합 타사관리자 - 서비스삽입통합 NSX 서비스삽입 VIB, OVF 가져오기 https vcenter ESX Agent Manager Service 패브릭 에이전시생성 클러스터 1 vcenter 인벤토리 클러스터 2 호스트 1 호스트 3 호스트 2 호스트 4 네트워크패브릭 ( 호스트준비 ) 네트워크패브릭 VIB 보안패브릭 ( 서비스배포 ) Guest Introspection VIB VIB, OVF 가져오기 https Guest Introspection SVM 에이전시 1a 에이전시 1b 에이전시 2 에이전시 3a 에이전시 3b URL 1 URL 1 URL 2 URL 3 URL 3 호스트 1 호스트 1 호스트 2 호스트 3 호스트 3 VMware, Inc. 33

34 NSX 개체 클러스터 1 클러스터 2 배포단위 1 배포단위 2 호스트 1 호스트 2 호스트 3 호스트 4 호스트 1 VSMAgent / FabricAgent 호스트 2 VSMAgent / FabricAgent 호스트 3 VSMAgent / FabricAgent 호스트 4 VSMAgent / FabricAgent 패브릭에이전트 == VSMAgent vsphere EAM(ESXi Agent Manager) 개체 배포플러그인 EAM 에이전시 1 EAM 에이전시 2 IP 구성 Guest Introspection 파트너구성 EAM 에이전트 1 EAM 에이전트 2 EAM 에이전트 3 EAM 에이전트 4 Guest Introspection SVM 네트워크구성 Guest Introspection SVM 메시지버스구성 에이전시 1 에이전시 2 에이전시 3 에이전트 1 에이전트 2 에이전트 3 URL 1 URL 2 URL 3 URL 1 URL 2 URL 3 클러스터 1 클러스터 2 클러스터 3 호스트 1 호스트 2 호스트 3 VMware, Inc. 34

35 다음과같은용어는호스트준비아키텍처를이해하는데도움이될수있습니다. 패브릭 패브릭은 NSX Manager 가호스트에서네트워크및보안패브릭서비 스를설치하기위해 ESX Agent Manager 와상호작용하는소프트웨 어계층입니다. 네트워크패브릭 네트워크패브릭서비스가클러스터에배포됩니다. 네트워크패브릭서비 스에는호스트준비, VXLAN, 분산라우팅, 분산된방화벽및메시지버 스가포함됩니다. 보안패브릭 보안패브릭서비스가클러스터에배포됩니다. 보안패브릭서비스에는 Guest Introspection 및파트너보안솔루션이포함됩니다. 패브릭에이전트 패브릭에이전트는 NSX Manager 데이터베이스에있는패브릭서비스 및호스트의조합입니다. 네트워킹또는보안패브릭서비스가배포된클 러스터에대해호스트당하나의패브릭에이전트가생성됩니다. VSM 에이전트라고도합니다. 배포단위 NSX Manager 데이터베이스의패브릭서비스및클러스터조합입니 다. 배포단위는네트워킹및보안서비스가설치되기전에생성되어야합 니다. ESX Agent Manager 에이전트 ESX Agent Manager 에이전시 ESX Agent Manager 에이전트는 vcenter Server 데이터베이스의서비스사양및호스트의조합입니다. ESX Agent Manager 에이전트는 NSX 패브릭에이전트에매핑됩니다. ESX Agent Manager 에이전시는 vcenter Server 데이터베이스의사양및클러스터조합입니다. 사양은 ESX Agent Manager 에이전트및 VIB, OVF 및관리되는해당구성 ( 예 : 데이터스토어및네트워크설정 ) 을설명합니다. NSX Manager는준비하려는각클러스터에대해 ESX Agent Manager 에이전시를생성합니다. ESX Agent Manager 에이전시는 NSX 배포단위에매핑됩니다. 배포단위의 NSX Manager 데이터베이스와 ESX Agent Manager 에이전시의 vcenter ESX Agent Manager 데이터베이스는동기화상태여야합니다. 드문경우에두데이터베이스가동기화되지않으면 NSX는사용자에게해당상태를알리기위한이벤트및경보를트리거합니다. NSX Manager는각 ESX Agent Manager 에이전시에대해해당데이터베이스의배포단위를생성합니다. NSX Manager는준비하려는각클러스터에대해 ESX Agent Manager 에이전시를생성합니다. NSX Manager는각 ESX Agent Manager 에이전시에대해해당데이터베이스의배포단위를생성합니다. ESX Agent Manager 에이전시 1개 = 배포단위 1개 VMware, Inc. 35

36 다음과같은방식으로에이전시를확인할수있습니다. EAM MOB 에서 vsphere Web Client에서 : VCenter Solutions Manager > vsphere ESX Agent Manager > 관리 (Manage) 로이동합니다. ESX 에이전시 (ESX Agencies) 에서에이전시를볼수있습니다 ( 호스트에대해준비된클러스터당 1개 ). 배포단위의수명주기는에이전시의수명주기와관련되어있으며 ESX Agent Manager에서에이전시를제거하면 NSX에서해당배포단위가제거됩니다. 호스트준비를위한서비스배포워크플로 이항목에서는호스트준비에대한서비스배포워크플로 ( 설치및업그레이드 ) 를제공합니다. VMware, Inc. 36

37 설치워크플로 사용자가클러스터에서서비스배포 패브릭이서비스 ID 및클러스터 Id 를사용하여배포단위생성 패브릭이호스트준비 URL 및클러스터 ID 를사용하여 EAM 에서에이전시생성 EAM 이호스트에 NSX VIB 설치 NSX 의패브릭에이전트상태가 INPROGRESS 로변경됨 EAM 이호스트에대해에이전트를생성하고노란색으로표시 EAM 이에이전트를녹색으로표시 NSX 가호스트준비를 SUCCESS 로표시 VMware, Inc. 37

38 업그레이드워크플로 사용자가클러스터에대해 " 업그레이드사용가능 " 링크클릭 패브릭이새버전에대한정보로배포단위업데이트 패브릭이새서비스 URL 로 EAM 의에이전시업데이트 NSX 가호스트유지보수모드를시작함 EAM 이호스트가유지보수모드임을나타내는경보발생 EAM 이에이전트를새호스트준비 URL 로업데이트하고노란색으로표시 EAM 이호스트에 NSX VIB 설치 NSX 가호스트유지보수모드에서나감 EAM 이에이전트를녹색으로표시 NSX 가호스트준비서비스업그레이드를성공으로표시 타사서비스에대한서비스배포워크플로 이항목에서는타사서비스에대한서비스배포워크플로 ( 설치및업그레이드 ) 를제공합니다. VMware, Inc. 38

39 설치워크플로 NSX 에서서비스등록 NSX 에서새서비스가생성됨 사용자가클러스터에서서비스배포 EAM 이호스트에대해에이전트를생성하고노란색으로표시 패브릭이서비스 URL 및클러스터 ID 를사용하여 EAM 에서에이전시생성 패브릭이서비스및클러스터 ID 를사용하여배포단위생성 EAM 이호스트에 VM 배포 EAM 이 NSX 로프로비저닝신호전송 패브릭이 VM 구성을위해배포플러그인 ( 있는경우 ) 호출 EAM 이 NSX 로전원켜짐신호전송 EAM 이 VM 전원을켬 패브릭이 EAM 의신호승인 패브릭이 VM 구성을위해배포플러그인 ( 있는경우 ) 호출 패브릭이 EAM 의신호승인 EAM 이에이전트를녹색으로표시 NSX 가타사서비스배포를성공으로표시 VMware, Inc. 39

40 업그레이드워크플로 NSX 에등록된서비스가업그레이드됨 NSX 의등록된서비스가새 URL 로업데이트됨 사용자가클러스터에대해 " 업그레이드사용가능 " 링크클릭 EAM 이에이전트를새 URL 로업데이트하고노란색으로표시 패브릭이새서비스 URL 로 EAM 의에이전시업데이트 패브릭이새버전에대한정보로배포단위업데이트 EAM 이호스트에새 VM 배포 EAM 이 NSX 로프로비저닝신호전송 패브릭이 VM 구성을위해배포플러그인 ( 있는경우 ) 호출 EAM 이 NSX 로전원켜짐신호전송 EAM 이 VM 전원을켬 패브릭이 EAM 의신호승인 패브릭이 VM 구성을위해배포플러그인 ( 있는경우 ) 호출 패브릭이 EAM 의신호승인 EAM 이이전 Vm 을삭제하고삭제하고에이전트를녹색으로표시 NSX 가패브릭에이전트를성공으로표시 통신채널상태확인 vsphere Web Client에서다양한구성요소간통신상태를확인할수있습니다. NSX Manager와방화벽에이전트, NSX Manager와제어부에이전트, 제어부에이전트와컨트롤 러간통신채널상태를확인하려면다음단계를수행합니다. 1 vsphere Web Client에서네트워킹및보안 (Networking & Security) > 설치및업그레이 드 (Installation and Upgrade) > 호스트준비 (Host Preparation) 로이동합니다. 2 클러스터를선택하거나클러스터를확장하고호스트를선택합니다. 작업 (Actions)( ) 을클릭한 후통신채널상태 (Communication Channel Health) 를클릭합니다. 통신채널상태정보가표시됩니다. VMware, Inc. 40

41 호스트에대한세연결중하나의상태가변경되면 NSX Manager 로그에메시지가기록됩니다. 로그메시지에서연결상태는 UP, DOWN 또는 NOT_AVAILABLE(vSphere Web Client에서 Unknown으로표시 ) 일수있습니다. 상태가 UP에서 DOWN 또는 NOT_AVAILABLE로변경되면주의메시지가생성됩니다. 예 : :36: GMT+00:00 WARN TaskFrameworkExecutor-25 VdnInventoryFacadeImpl $HostStatusChangedEventHandler:200 - Host Connection Status Changed: Event Code: 1941, Host: esx-04a.corp.local (ID: host-46), NSX Manager - Firewall Agent: UP, NSX Manager - Control Plane Agent: UP, Control Plane Agent - Controllers: DOWN. 상태가 DOWN 또는 NOT_AVAILABLE 에서 UP 으로변경되면주의메시지와비슷한 INFO 메시지 가생성됩니다. 예 : :55: GMT+00:00 INFO TaskFrameworkExecutor-25 VdnInventoryFacadeImpl $HostStatusChangedEventHandler:200 - Host Connection Status Changed: Event Code: 1938, Host: esx-04a.corp.local (ID: host-46), NSX Manager - Firewall Agent: UP, NSX Manager - Control Plane Agent: UP, Control Plane Agent - Controllers: UP. 제어부채널에통신장애가발생하면다음의자세한장애이유중하나를포함하는시스템이벤트가생성됩니다 : 잘못된호스트인증서 : 잘못된컨트롤러인증서 : SSL 핸드셰이크오류 VMware, Inc. 41

42 : 연결이거부됨 : 연결유지시간초과 : SSL 예외 : 잘못된메시지 : 알수없는오류또한 NSX Manager에서호스트로하트비트메시지가생성됩니다. NSX Manager와 netcpa 간에하트비트가손실되면구성전체동기화가트리거됩니다. 로그를다운로드하는방법에대한자세한내용은 NSX 관리가이드를참조하십시오. 설치상태가준비되지않음 호스트준비중에클러스터상태가준비안됨으로표시되는것을확인할수있습니다. 문제호스트준비 (Host Preparation) 탭또는서비스배포 (Service Deployment) 탭에서설치상태가준비안됨으로나타납니다. 해결책 1 네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade)> 호스트준비 (Host Preparation) 탭또는서비스배포 (Service Deployment) 탭으로이동합니다. 2 클러스터및호스트에서준비안됨을클릭합니다. 오류메시지가표시됩니다. 3 해결 (Resolve) 옵션을클릭합니다. 해결 (Resolve) 옵션을통해해결된문제목록을보려면 NSX 로깅및시스템이벤트를참조하십시오. 4 준비안됨이계속표시되고오류가해결되지않으면해결옵션을사용하여문제가해결되지않음을참조하십시오. 서비스가응답하지않음 이순서도는 NSX 호스트준비프로세스및서비스가오랫동안응답하지않거나오랫동안회전하는아 이콘을표시하는경우수행할작업을대략적으로설명합니다. VMware, Inc. 42

43 해결책 시작 대기하십시오. EAM 이서비스를배포하고있습니다. 예 vsphere 작업을살펴보고진행중인 EAM 작업이있는지확인합니다. 아니요 EAM MOB 에서 EAM 이작동상태인지확인합니다 ( Server_IP> /eam/mob/). 아니요 vcenter Server 에서 EAM 서비스를시작하십시오. vsphere 설명서를참조하십시오. 예 DNS 서버에 NSX FQDN 항목을추가합니다. 아니요 NSX FQDN 이확인가능합니까? 아니요 에이전시가 EAM MOB 에서노란색인지확인합니다. 예 예 방화벽의포트 443 에서 vcenter Server-NSX 통신을허용합니다. 예 포트 443 에서 vcenter Server 에서 NSX 로의패킷을차단하는방화벽이있습니까? EAM MOB 에서 EAM 이사용가능상태로표시되기위해대기중인지확인합니다. 아니요 대기하십시오. EAM 이일부내부작업을수행하기위해중단된상태입니다. 아니요 예 eam.log 에서오류확인 NSX 및 EAM 이동기화되지않았습니다. vsphere Web Client 를사용하여 SVM 을삭제하고클러스터에대한 [ 호스트준비 ] 탭에서 [ 확인 ] 옵션을클릭합니다. OVF/VIB 액세스불가오류를나타내며서비스배포가실패함 이순서도는 OVF/VIB 액세스불가오류를나타내며서비스배포가실패할때수행할작업을제공합니 다. VMware, Inc. 43

44 해결책 시작 eam.log 에서실패한 URL 을획득합니다. wget 명령줄유틸리티를사용하여 vcenter Server 시스템에서 /tmp 로 URL 을가져옵니다. 작동 eam.log 에서오류확인 아니요 브라우저에서 URL 을열어봅니다. 아니요 NSX 저장소서비스가작동되고있지않습니다. NSX 장치로그를확인합니다. 작동 NSX FQDN 이확인가능합니까? 아니요 DNS 서버에 NSX FQDN 항목을추가합니다. 예 eam.log 에서오류확인 아니요 포트 443 에서 vcenter Server 에서 NSX 로의패킷을차단하는방화벽이있습니까? 예 방화벽의포트 443 에서 vcenter Server-NSX 통신을허용합니다. 해결옵션을사용하여문제가해결되지않음 네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 호스트준비 (Host Preparation) 탭또는서비스배포 (Service Deployment) 탭에서설치상태가클러스터및호스트에서준비안됨으로나타납니다. 해결 (Resolve) 옵션을클릭해도문제가해결되지않습니다. VMware, Inc. 44

45 문제 준비안됨링크를클릭하면에이전트에대한 VIB 모듈이호스트에설치되지않음으로오류가표시됩니다. ESXi 호스트가 vcenter Server에서 VIB에액세스하지못합니다. vshield Endpoint에서 NSX Manager로변경하는동안상태가실패로표시될수있습니다. 해결책 1 DNS가 vcenter Server, ESXi 호스트및 NSX Manager에서올바르게구성되어있는지확인하십시오. vcenter Server, ESXi 호스트, NSX Manager 및 vsphere Update Manager의정방향및역방향 DNS 확인이작동하는지확인합니다. 2 문제가 DNS와관련이있는지확인하려면 esxupdate 로그를검토하고 esxupdate.log 파일에서 esxupdate: ERROR: MetadataDownloadError:IOError: <urlopen error [Errno -2] Name= or service not known 메시지를찾습니다. 이메시지는 ESXi 호스트에서 vcenter Server의 FQDN( 정규화된도메인이름 ) 에액세스할수없음을나타냅니다. 자세한내용은 VMware vcenter Server 관리 IP 주소확인 ( ) 을참조하십시오. 3 NTP( 네트워크타임프로토콜 ) 가올바르게구성되어있는지확인합니다. NTP를구성하는것이좋습니다. NTP가동기화되지않는문제가작업환경에영향을미치는지확인하려면버전 이상의 NSX Manager 지원번들에서 /etc/ntp.drift 파일을확인하십시오. 4 NSX Data Center for vsphere에필요한모든포트가방화벽에의해차단되지않는지확인하십시오. 자세한내용은다음을참조하십시오. VMware NSX for vsphere에대한네트워크포트요구사항 ( ) VMware vcenter Server, VMware ESXi 및 ESX 호스트, 기타네트워크구성요소에액세스하는데필요한 TCP 및 UDP 포트 ( ) 참고 VMware vsphere 6.x에서는포트 443( 포트 80 대신 ) 을통한 VIB 다운로드를지원합니다. 이포트는동적으로열리고닫힙니다. ESXi 호스트와 vcenter Server 간의중간디바이스는이포트를사용하여트래픽을허용해야합니다. 5 vcenter Server 관리 IP 주소가올바르게구성되어있는지확인합니다. 자세한내용은 VMware vcenter Server 관리 IP 주소확인 ( ) 을참조하십시오. 6 vsphere Update Manager가올바르게작동되고있는지확인합니다. vcenter Server 6.0U3부터는 NSX 설치및업그레이드절차의경우더이상 ESX Agent Manager에서 vsphere Update Manager를사용하지않습니다. vcenter Server 6.0U3 이상을실행할것을강력히권장합니다. 업그레이드할수없는경우 vsphere Update Manager 서비스가실행되고있는지확인합니다. KB 에따라 vsphere Update Manager 바이패스옵션을구성할수있습니다. 7 vcenter Server를배포하는동안비기본포트를지정하는경우이러한포트가 ESXi 호스트방화벽에의해차단되지않는지확인합니다. VMware, Inc. 45

46 8 vpxd 프로세스가 vcenter Server TCP 포트 8089 에서수신하는지확인합니다. NSX Manager 는기본포트 8089 만지원합니다. vsphere EAM(ESX Agent Manager) 정보 vsphere ESX Agent Manager가 vsphere 솔루션에필요한추가서비스를제공하도록 ESXi 호스트의기능을확장하면서 NSX 네트워킹및보안서비스를배포및관리하는프로세스를자동화합니다. ESX Agent Manager의로그및서비스 ESX Agent Manager 로그는 vcenter Server 로그번들의일부로포함되어있습니다. Windows C:\ProgramData\VMware\vCenterServer\logs\eam\eam.log VCSA /var/log/vmware/vpx/eam.log ESXi /var/log/esxupdate.log ESX Agent Manager 모니터링중요 NSX Data Center for vsphere 설치를시작하기전에 bypassvumenabled 플래그를 True로변경하고설치이후에다시 False로변경해야합니다. ESX Agent Manager의상태를확인하려면 : 1 vsphere Web Client로이동합니다. 2 관리 > vcenter Server 확장 (Administration > vcenter Server Extensions) 을클릭하고 vsphere ESX Agent Manager를클릭합니다. a 관리 (Manage) 탭을클릭합니다. 관리 (Manage) 탭에서는실행중인에이전시에대한정보가표시되고, 분리된 ESX 에이전트가나열되고, ESX Agent Manager가관리하는 ESX 에이전트에대한정보가로깅됩니다. 에이전트및에이전시에대한자세한내용은 vsphere 설명서를참조하십시오. b 모니터 (Monitor) 탭을클릭합니다. 모니터 (Monitor) > 이벤트 (Events) 탭에는 ESX Agent Manager와연결된이벤트에대한정보가표시됩니다. NSX Manager 문제해결 문제 VMware NSX Manager 설치가실패합니다. VMware NSX Manager 업그레이드가실패합니다. VMware NSX Manager로의로그인이실패합니다. VMware, Inc. 46

47 VMware NSX Manager 액세스가실패합니다. 해결책각문제해결단계가작업환경에맞는지확인하십시오. 각단계에서는가능한원인을해결하고필요한경우수정조치를취하기위한지침을제공합니다. 이러한단계는문제를분리하고적절한해결책을찾아내는데가장적합한순서대로진행됩니다. 단계를건너뛰지마십시오. 절차 1 현재릴리스의 NSX 릴리스정보를확인하여버그가해결되었는지알아봅니다. 2 VMware NSX Manager를설치할때최소시스템요구사항이충족되었는지확인합니다. NSX 설치가이드를참조하십시오. 3 NSX Manager에서모든필수포트가열려있는지확인하십시오. NSX 설치가이드를참조하십시오. 4 설치문제 : Lookup Service 또는 vcenter Server 구성이실패하면 NSX Manager 및 Lookup Service 장치의시간이동기화되어있는지확인합니다. NSX Manager 및 Lookup Service에서동일한 NTP 서버구성을사용합니다. 또한 DNS가제대로구성되어있는지확인하십시오. OVA 파일이올바르게설치되어있는지확인하십시오. NSX OVA 파일을설치할수없을경우 vsphere Client의오류창에실패한부분이표시됩니다. 또한다운로드한 OVA/OVF 파일의 MD5 체크섬을확인하고유효한지검사하십시오. ESXi 호스트의시간이 NSX Manager와동기화되어있는지확인합니다. VMware에서는 NSX Manager를설치한직후에 NSX Manager 데이터의백업을예약하는것을권장합니다. 5 업그레이드문제 : 업그레이드하기전에 [ 제품상호운용성매트릭스 ] 페이지에서최신상호운용성정보를참조하십시오. 업그레이드하기전에현재구성을백업하고기술지원로그를다운로드하는것이좋습니다. NSX Manager 업그레이드후에 vcenter Server와의강제다시동기화가필요할수있습니다. 이렇게하려면 NSX Manager 웹인터페이스 GUI에로그인합니다. 그런다음 vcenter 등록관리 > NSX 관리서비스 > 편집 (Manage vcenter Registration > NSX Management Service > Edit) 으로이동하고관리자암호를다시입력합니다. 6 성능문제 : 최소 vcpu 요구사항이충족되었는지확인합니다. 루트 (/) 파티션에적절한공간이있는지확인합니다. ESXi 호스트에로그인하고 df -h 명령을입력하여이를확인할수있습니다. VMware, Inc. 47

48 예 : [root@esx-01a:~] df -h Filesystem Size Used Available Use% Mounted on NFS 111.4G 80.8G 30.5G 73% /vmfs/volumes/ds-site-a-nfs01 vfat 249.7M 172.2M 77.5M 69% /vmfs/volumes/68cb5875-d887b9c6-a f83f3d4 vfat 249.7M 167.7M 82.0M 67% /vmfs/volumes/fe84b77a-b2a8860f-38cf-168d5dfe66a5 vfat 285.8M 206.3M 79.6M 72% /vmfs/volumes/54de790f-05f8a633-2ad a esxtop 명령을사용하여대량의 CPU 및메모리를사용하고있는프로세스를확인합니다. NSX Manager의로그에메모리부족오류가있는경우 /common/dumps/java.hprof 파일이있는지확인합니다. 이파일이있는경우이파일의복사본을생성하여이를 NSX 기술지원로그번들에포함합니다. 작업환경에스토리지지연시간문제가없는지확인합니다. NSX Manager를다른 ESXi 호스트로마이그레이션합니다. 7 연결문제 : NSX Manager와 vcenter Server 또는 ESXi 호스트간에연결문제가있는경우 NSX Manager CLI 콘솔에로그인하여 debug connection IP_of_ESXi_or_VC 명령을실행하고출력을확인합니다. Virtual Center 웹관리서비스가시작되고브라우저가오류상태가아닌지확인하십시오. NSX Manager 웹 UI( 사용자인터페이스 ) 가업데이트되고있지않으면웹서비스를사용하지않도록설정한후다시사용하도록설정하여문제해결을시도해볼수있습니다. ESXi 호스트에서 esxtop 명령을사용하여 NSX Manager에서사용되는포트그룹및업링크 NIC를확인합니다. 자세한내용은 항목을참조하십시오. NSX Manager를다른 ESXi 호스트로마이그레이션합니다. NSX Manager 가상시스템장치를확인합니다. vsphere Web Client에서네트워킹및보안 (Networking & Security) > 시스템 (System) > 이벤트 (Events) 로이동합니다. 모니터 (Monitor) 탭으로이동하고시스템이벤트및작업을확인합니다. NSX Manager와 vcenter Server 간에연결문제가있는경우 NSX Manager를 vcenter Server 가상시스템이실행되고있는동일한 ESXi 호스트로마이그레이션을시도하여가능한기본물리적네트워크문제를제거합니다. 이작업은두가상시스템이같은 VLAN/ 포트그룹에있는경우에만작동합니다. 관리자역할이있는 vcenter Server 사용자계정의자격증명을변경하는경우 NSX Manager 가상장치에서자격증명을업데이트해야합니다. vcenter Server를 NSX Manager 가상장치의새자격증명으로업데이트합니다. VMware, Inc. 48

49 NSX Manager 를 vcenter Server 에연결 NSX Manager와 vcenter Server 간연결을통해 NSX Manager는 vsphere API를사용하여서비스 VM 배포, 호스트준비및논리적스위치포트그룹생성과같은기능을수행할수있습니다. 연결프로세스가진행되면 Web Client Server에웹클라이언트플러그인이설치됩니다. 연결이작동되려면 NSX Manager, vcenter Server 및 ESXi 호스트에 DNS 및 NTP가구성되어야합니다. 이름을사용하여 ESXi 호스트를 vsphere 인벤토리에추가한경우 NSX Manager에서 DNS 서버가구성되었고이름확인이작동하고있는지확인합니다. 그렇지않으면 NSX Manager에서 IP 주소를확인할수없습니다. SSO 서버시간과 NSX Manager 시간이동기화되도록 NTP 서버를지정해야합니다. NSX Manager에서 /etc/ntp.drift의드리프트파일은 NSX Manager에대한기술지원번들에포함되어있습니다. NSX Manager를 vcenter Server에연결하는데사용하는계정은 vcenter 역할 " 관리자 " 여야합니다. " 관리자 " 역할이있으면 NSX Manager는자체적으로보안토큰서비스서버에등록될수있습니다. 특정사용자계정이 NSX Manager를 vcenter에연결하는데사용되면해당사용자의 엔터프라이즈관리자 " 역할도 NSX Manager에서생성됩니다. NSX Manager 를 vcenter Server로연결하는작업과관련된일반적인문제 DNS가 NSX Manager, vcenter Server 또는 ESXi 호스트에서잘못구성되었습니다. NTP가 NSX Manager, vcenter Server 또는 ESXi 호스트에서잘못구성되었습니다. vcenter 관리자역할이없는사용자계정이 NSX Manager를 vcenter에연결하는데사용되었습니다. NSX Manager와 vcenter Server 간에네트워크연결문제가있습니다. 사용자가 NSX Manager에서역할이없는계정을사용하여 vcenter에로그인하려합니다. 처음에는 NSX Manager를 vcenter Server에연결하는데사용한계정으로 vcenter에로그인해야합니다. 그런다음홈 (Home) > 네트워킹및보안 (Networking & Security) > 시스템 (System) > 사용자및도메인 (Users and Domains) > 사용자 (Users) 탭으로이동하여 NSX Manager에서역할을가진추가사용자를생성할수있습니다. vcenter가 NSX UI 번들을로드하고배포하는동안첫번째로그인이진행되는데 4분까지소요될수있습니다. NSX Manager 에서 vcenter Server 에대한연결확인 NSX Manager CLI 콘솔에로그인합니다. 연결을확인하려면 ARP 및라우팅테이블을봅니다. nsxmgr# show arp IP address HW type Flags HW address Mask Device x1 0x2 00:50:56:ae:ab:01 * mgmt x1 0x2 00:50:56:01:20:a5 * mgmt x1 0x2 00:50:56:01:20:a5 * mgmt x1 0x2 00:50:56:ae:4f:7c * mgmt x1 0x2 00:50:56:ae:50:bf * mgmt VMware, Inc. 49

50 x1 0x2 00:50:56:03:19:4e * mgmt x1 0x2 00:50:56:03:30:2a * mgmt x1 0x2 00:50:56:01:21:f9 * mgmt x1 0x2 00:50:56:01:23:21 * mgmt x1 0x2 00:50:56:01:21:ef * mgmt x1 0x2 00:50:56:01:22:ef * mgmt x1 0x2 00:50:56:03:30:16 * mgmt nsxmgr# show ip route Codes: K - kernel route, C - connected, S - static, > - selected route, * - FIB route S>* /0 [1/0] via , mgmt C>* /24 is directly connected, mgmt NSX Manager 로그에서오류를조회하여 vcenter Server 로연결되지않는이유를확인합니 다. 로그를보기위한명령은 show log manager follow 입니다. debug connection IP_of_ESXi_or_VC 명령을실행하고출력을검토합니다. NSX Manager 에서패킷캡처를수행하여연결확인다음디버그패킷명령을사용합니다. debug packet [capture display] interface interface filter NSX Manager의인터페이스이름은 mgmt입니다. 필터구문은 "port_80_or_port_443" 형식을따릅니다. 이명령은권한이있는모드에서만실행됩니다. 권한이있는모드를시작하려면 enable 명령을실행하고관리자암호를제공하십시오. 패킷캡처예제 : nsxmgr# en nsxmgr# debug packet display interface mgmt port_80_or_port_443 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on mgmt, link-type EN10MB (Ethernet), capture size bytes 23:40: IP > : Flags [P.], seq : , ack , win 244, options [nop,nop,ts val ecr ], length VMware, Inc. 50

51 NSX Manager 에서네트워크구성확인 show running-config 명령은관리인터페이스, NTP 및기본경로설정에대한기본구성을표시합니 다. nsxmgr# show running-config Building configuration... Current configuration:! ntp server ! ip name server ! hostname nsxmgr! interface mgmt ip address /24! ip route / ! web-manager NSX Manager 인증서 NSX Manager는인증서를생성하는두가지방법을지원합니다. NSX Manager에서 CSR 생성 : 기본 CSR 때문에기능이제한됨 PKCS#12: 운영환경에서사용권장 CMS가자동으로 API 호출을수행하는데실패하는알려진문제가있습니다. 인증서발급자가신뢰할수없는루트 CA( 인증기관 ) 이거나인증서가자체서명되었으므로호출자에게알려지지않은경우에이러한문제가발생합니다. 이문제를해결하려면브라우저를사용하여 NSX Manager IP 주소또는호스트이름으로이동한후인증서를수락합니다. 보조 NSX Manager 가전송모드에서중단됨 문제에설명된대로보조 NSX Manager가전송모드에서중단되면아래에설명된해결방법을사용합니다. 보조 NSX Manager가전송모드일때기본 NSX Manager에서백업을복원하는경우이문제가발생합니다. 문제 1 기본및보조 NSX Manager를구성했습니다. 2 기본 NSX Manager의백업을작성합니다. 3 나중에보조 NSX Manager를제거합니다. 보조 NSX Manager가전송모드에있습니다. 4 이제몇가지이유로인해기본 NSX Manager에서백업을복원합니다. VMware, Inc. 51

52 5 데이터베이스에서전송 NSX Manager가보조 (Secondary) 로업데이트되지만 UI에서전송 (Transit) 으로표시되고동기화는실패합니다. 6 보조 NSX Manager를제거하거나다시보조로승격시키지못할수있습니다. 7 전송 NSX Manager를승격하는경우 IP 주소 / 호스트이름을갖는 NSX Manager 노드가이미있습니다. 라는오류메시지가표시됩니다. 8 전송 NSX Manager를제거하는경우잘못된사용자이름또는암호라는오류메시지가표시됩니다. 해결책 1 vsphere Web Client를사용하여기본 NSX Manager에연결된 vcenter에로그인합니다. 2 홈 (Home) > 네트워킹및보안 (Networking & Security)> 설치및업그레이드 (Installation and Upgrade) 로이동한다음관리 (Management) 탭을선택합니다. 3 삭제하려는보조 NSX Manager를선택하고작업 (Actions) 을클릭한다음보조 NSX Manager 제거 (Remove Secondary NSX Manager) 를클릭합니다. 확인대화상자가나타납니다. 4 NSX Manager에액세스할수없는경우에도작업수행 (Perform operation even if NSX Manager is inaccessible) 확인란을선택합니다. 5 확인 (OK) 을클릭합니다. 보조 NSX Manager가기본데이터베이스에서삭제됩니다. 6 보조 NSX Manager를다시추가합니다. 다음에수행할작업보조 NSX Manager 추가에대한자세한내용은 NSX 설치가이드를참조하십시오. SSO Lookup Service 구성실패 문제 vcenter Server 에대한 NSX Manager 등록실패 SSO Lookup Service 구성실패 VMware, Inc. 52

53 다음오류가표시될수있습니다. nested exception is java.net.unknownhostexception: vc.local( vc.corp.local ) NSX Management Service operation failed.( Initialization of Admin Registration Service Provider failed. Root Cause: Error occurred while registration of lookup service, com.vmware.vim.sso.admin.exception.internalerror: General failure. com.vmware.vshield.vsm.security.service.impl.samltokenssoauthenticator : SSO is not configured or initialized properly so cannot authenticate user. 해결책 1 연결문제 : NSX Manager와 vcenter Server 또는 ESXi 호스트간에연결문제가있는경우 NSX Manager CLI 콘솔에로그인하여 debug connection IP_of_ESXi_or_VC 명령을실행하고출력을확인합니다. 다음명령을사용하여 IP 주소및 FQDN을통해 NSX Manager에서 vcenter Server로 Ping하여 NSX Manager의라우팅, 정적또는기본경로를확인합니다. nsxmgr-l-01a# show ip route 코드 : K 커널경로, C 연결됨, S 정적 > 선택된경로, * FIB 경로 S>* /0 [1/0] via , mgmt C>* /24 is directly connected, mgmt 2 DNS 문제다음명령을사용하여 FQDN으로 NSX Manager에서 vcenter Server로 Ping을수행합니다. nsx-mgr> ping vc-l-01a.corp.local 다음예와비슷한출력이표시됩니다. nsx-mgr> ping vc-l-01a.corp.local PING vc-1-01a.corp.local ( ): 56 data bytes 64 bytes from : icmp_seq=0 ttl=64 time=1.749 ms 64 bytes from : icmp_seq=1 ttl=64 time=2.111 ms 64 bytes from : icmp_seq=2 ttl=64 time=8.082 ms 64 bytes from : icmp_seq=3 ttl=64 time=2.010 ms 64 bytes from : icmp_seq=4 ttl=64 time=0.857 ms VMware, Inc. 53

54 이러한방법으로출력이표시되지않으면 NSX Manager에서관리 > 네트워크 > DNS 서버 (Manage > Network > DNS Servers) 로이동한후 DNS가제대로구성되어있는지확인합니다. 3 방화벽문제 NSX Manager와 vcenter Server 간에방화벽이있는경우 TCP/443에서 SSL이허용되는지확인합니다. 또한 ping을수행하여연결을확인합니다. 4 NSX Manager에서다음필수포트가열려있는지확인합니다. 표 2 1. NSX Manager 의열린포트 포트 443/TCP 80/TCP 1234/TCP 다음에필요함배포를위해 ESXI 호스트에서 OVA 파일다운로드 REST API 사용 NSX Manager 사용자인터페이스사용 vsphere SDK에대한연결시작 NSX Manager와 NSX 호스트모듈간메시징 NSX Controller와 NSX Manager 간통신 5671 Rabbit MQ( 메시징버스기술 ) 22/TCP CLI 에대한콘솔액세스 (SSH) 참고 : 기본적으로이포트는닫혀있습니다. 5 NTP 문제 vcenter Server와 NSX Manager 간에시간이동기화되었는지확인합니다. 이를위해서는 NSX Manager 및 vcenter Server에서동일한 NTP 서버구성을사용합니다. NSX Manager에서시간을확인하려면 CLI에서다음명령을실행합니다. nsxmgr-l-01a# show clock Tue Nov 18 06:51:34 UTC 2014 vcenter Server에서시간을확인하려면 CLI에서다음명령을실행합니다. vc-l-01a:~ # date 다음과비슷한출력이표시됩니다. Tue Nov 18 06:51:31 UTC 2014 참고 : 시간설정을구성한후에장치를다시시작합니다. 6 사용자사용권한문제사용자에게관리자권한이있는지확인합니다. vcenter Server 또는 SSO Lookup Service에등록하려면관리권한이있어야합니다. 기본계정은 administrator user: administrator@vsphere.local입니다. VMware, Inc. 54

55 7 자격증명을입력하여 SSO 에다시연결합니다. 논리적네트워크준비 : VXLAN 전송 NSX 는 VTEP VMkernel NIC 에대한분산가상포트그룹을생성하여 VXLAN 에대해사용자가 선택한 vsphere Distributed Switch 를준비합니다. VXLAN 구성중에 VTEP의팀구성정책, 로드밸런싱메서드, MTU 및 VLAN ID가선택됩니다. 팀구성및로드밸런싱메서드는 VXLAN에대해선택된 DVS의구성과일치해야합니다. MTU는 DVS에이미구성된수준으로최소 1600 이상으로설정되어야합니다. 생성되는 VTEP 수는선택된팀구성정책과 DVS 구성에따라다릅니다. VXLAN 준비중에발생하는일반적인문제 VXLAN 준비는다음과같은몇가지이유로실패할수있습니다. VXLAN에대해선택된팀구성방법이 DVS에서지원되는방법과일치하지않습니다. 지원되는방법을검토하려면 NSX 네트워크가상화설계가이드를참조하십시오. VTEP에대해잘못된 VLAN ID를선택했습니다. VTEP IP 주소를할당하기위해 DHCP를선택했으나 DHCP 서버를사용할수없습니다. VMkernel NIC가없습니다. VXLAN VMkernel NIC가동기화되지않음에설명된대로오류를해결합니다. VMkernel NIC의 IP 주소가잘못되었습니다. VTEP에대해잘못된 MTU 설정을선택했습니다. 이항목의뒷부분에설명된대로 MTU 불일치가있는지조사해야합니다. 잘못된 VXLAN 게이트웨이를선택했습니다. 이항목의뒷부분에설명된대로 VXLAN 게이트웨이를구성하는동안오류가발생하는지조사해야합니다. 중요한포트번호 VXLAN UDP 포트는 UDP 캡슐화에사용됩니다. NSX 이전에는기본 VXLAN 포트번호가 8472였습니다. NSX 6.2.3에서는새설치의경우기본 VXLAN 포트번호가 4789로변경되었습니다. 하드웨어 VTEP를사용하는 NSX 6.2 이상설치에서는 VXLAN 포트번호 4789를사용해야합니다. VXLAN 포트구성변경에대한자세한내용은 NSX 관리가이드에서 "VXLAN 포트변경 " 을참조하십시오. 호스트에컨트롤러연결이필요한활성 VM 이없는경우제어부상태는사용안함으로표시됩니다. 호스트에서 VXLAN 세부정보를보려면 show logical-switch 명령을사용합니다. 자세한내용은 NSX 명령줄인터페이스참조를참조하십시오. VMware, Inc. 55

56 show logical-switch host hostid verbose 명령은호스트가테이블정보를전달하기위해컨트롤러클 러스터에연결해야하는 VM 으로채워지지않은경우제어부상태를사용안함으로표시합니다. Network count: 18 VXLAN network: Multicast IP: Control plane: Disabled <<======== MAC entry count: 0 ARP entry count: 0 Port count: 1 VXLAN 게이트웨이구성중오류 정적 IP 풀을사용하여 VXLAN을구성할때 ( 네트워킹및보안 > 설치및업그레이드 > 호스트준비 > VXLAN 구성 (Networking & Security > Installation and Upgrade> Host Preparation > Configure VXLAN) 에서 ) 구성이 VTEP에서 IP 풀게이트웨이의설정에실패하면, VXLAN 구성상태가호스트클러스터에대해오류 ( 빨간색 ) 상태에진입합니다. 오류메시지는 호스트에서 VXLAN 게이트웨이를설정할수없음 이며오류상태는 VXLAN_GATEWAY_SETUP_FAILURE 입니다. REST API 호출 GET 에서 VXLAN의상태는다음과같습니다. <nwfabricfeaturestatus> <featureid>com.vmware.vshield.nsxmgr.vxlan</featureid> <featureversion>5.5</featureversion> <updateavailable>false</updateavailable> <status>red</status> <message>vxlan Gateway cannot be set on host</message> <installed>true</installed> <enabled>true</enabled> <errorstatus>vxlan_gateway_setup_failure</errorstatus> </nwfabricfeaturestatus> 해결방법 : 오류를수정하는옵션에는두가지가있습니다. Option 1: 호스트클러스터에대한 VXLAN 구성을제거하고, 게이트웨이가제대로구성되고연결가능한지확인하여 IP 풀에서기본게이트웨이설정을수정한다음호스트클러스터에대한 VXLAN을재구성합니다. Option 2: 다음단계를수행하십시오. a 게이트웨이가제대로구성되고연결가능한지확인하여 IP 풀에서기본게이트웨이설정을수 정합니다. b 호스트에활성화된 VM 트래픽이없도록호스트를유지보수모드로전환합니다. c 호스트에서 VXLAN VTEP 를삭제합니다. d 호스트의유지보수모드설정을해제합니다. 호스트의유지보수모드설정을해제하면 NSX Manager 에서 VXLAN VTEP 생성프로세스가트리거됩니다. NSX Manager 는호 스트에서필요한 VTEP 의재생성을시도합니다. VMware, Inc. 56

57 MTU 불일치조사 다음명령을실행하여 MTU가 1600 이상으로구성되었는지확인합니다. ping ++netstack=vxlan -d -s I <vmkx hostname_or_ip> 여기서 vmkx는 VMkernel 포트의 ID이고 hostname_or_ip는 VMkernel 포트의 IP 또는호스트이름입니다. 이명령을사용하면모든업링크의유효성을확인할수있습니다. 다중 VTEP 환경에서작업하는경우가능한각 VTEP VMkernel 소스 / 대상인터페이스에서 ping 명령을통해모든업링크를확인하여모든경로가유효한지확인할수있습니다. 물리적인프라를확인합니다. 대부분의경우물리적인프라의구성을변경하면문제가해결됩니다. 문제가단일논리적스위치로국한되는지또는다른논리적스위치에도영향이미치는지를확인합니다. 이문제가모든논리적스위치에영향을주는지확인합니다. MTU 확인방법에대한자세한내용은 NSX 업그레이드가이드에서 "NSX 작동상태확인 " 을참조하십시오. VXLAN VMkernel NIC 가동기화되지않음 호스트에서 VMkernel NIC가삭제되지만 VMkernel NIC 정보를 NSX에서여전히사용할수있으면 NSX Manager는오류 (Error) 아이콘을사용하여삭제된 VMkernel NIC를나타냅니다. 사전요구사항 VMkernel NIC는호스트에서삭제됩니다. 절차 1 vsphere Web Client에서네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 논리적네트워크준비 (Logical Network Preparation) 로이동합니다. 2 VXLAN 전송 (VXLAN Transport) 탭에서 [ 클러스터및호스트 ] 를확장합니다. 3 오류 (Error) 아이콘을클릭하여호스트에서삭제된 VMkernel NIC 의정보를확인합니다. 4 모두해결 (Resolve All) 버튼을클릭하여호스트에서삭제된 VMkernel NIC 를다시생성합니 다. VMware, Inc. 57

58 삭제된 VMkernel NIC 가호스트에서다시생성됩니다. VXLAN 팀구성정책및 MTU 설정변경 VXLAN 팀구성정책및 MTU 설정은준비된호스트및클러스터에서변경될수있지만변경사항은 VXLAN에대한새호스트및클러스터를준비하는경우에만적용됩니다. 수동으로호스트및클러스터를다시준비해야만 VTEP VMkernel에대한기존가상포트그룹을변경할수있습니다. API를사용하여팀구성정책및 MTU 설정을변경할수있습니다. 문제 VTEP에대해잘못된 MTU 설정을선택했습니다. 해결책 1 GET API를사용하여모든 VXLAN 준비스위치에대한정보를검색합니다. API의출력에서수정하려는스위치를찾아이름을적어둡니다. 예를들면 dvs-35와같습니다. 2 이제이전에적어둔특정 vsphere Distributed Switch를사용하여쿼리합니다. 예를들면 GET API와같습니다. 다음예와비슷한출력이표시됩니다. <vdscontext> <switch> <objectid>dvs-35</objectid> <objecttypename>vmwaredistributedvirtualswitch</objecttypename> <vsmuuid>423a993f-bee f1-54e48d508d90</vsmuuid> <nodeid>916287b3-761d-430b-8ab dfe3e7f</nodeid> <revision>6</revision> <type> <typename>vmwaredistributedvirtualswitch</typename> </type> < name>vds-site-a</name> <scope> <id>datacenter-21</id> <objecttypename>datacenter</objecttypename> < name>datacenter Site A</name> </scope> <clienthandle/> <extendedattributes/> <isuniversal>false</isuniversal> <universalrevision>0</universalrevision> </switch> <mtu>1600</mtu> <teaming>failover_order</teaming> <uplinkportname>uplink 4</uplinkPortName> <promiscuousmode>false</promiscuousmode </vdscontext> VMware, Inc. 58

59 3 API 호출을사용하여 vsphere Distributed Switch에서팀구성및 / 또는 MTU같은매개변수를수정할수있습니다. 다음예제에서는팀구성정책 dvs-35를 FAILOVER_ORDER에서 LOADBALANCE_SRCMAC로, MTU를 1600에서 9000으로바꾸는방법을보여줍니다. NSX: PUT 다음예와비슷한출력이표시됩니다. <vdscontext> <switch> <objectid>dvs-35</objectid> <objecttypename>vmwaredistributedvirtualswitch</objecttypename> <vsmuuid>423a993f-bee f1-54e48d508d90</vsmuuid> <nodeid>916287b3-761d-430b-8ab dfe3e7f</nodeid> <revision>6</revision> <type> <typename>vmwaredistributedvirtualswitch</typename> </type> <name>vds-site-a</name> <scope> <id>datacenter-21</id> <objecttypename>datacenter</objecttypename> <name>datacenter Site A</name> </scope> <clienthandle/> <extendedattributes/> <isuniversal>false</isuniversal> <universalrevision>0</universalrevision> </switch> <mtu>9000</mtu> <teaming>loadbalance_srcmac</teaming> <uplinkportname>uplink 4</uplinkPortName> <promiscuousmode>false</promiscuousmode> </vdscontext> 참고다음은 <teaming> 매개변수의올바른팀구성정책항목목록입니다. FAILOVER_ORDER ETHER_CHANNEL LACP_ACTIVE LACP_PASSIVE LOADBALANCE_LOADBASED LOADBALANCE_SRCID LOADBALANCE_SRCMAC LACP_V2 4 GET 명령을사용하여사용한구문이올바른지와작동중인 vsphere Distributed Switch 에대 해변경사항이활성화되었는지를확인하십시오. 예를들면 GET Address>/api/2.0/vdn/switches/dvs-35 와같습니다. VMware, Inc. 59

60 5 vsphere Web Client 를열고구성변경사항이반영되었는지확인합니다. 논리적스위치포트그룹이동기화되지않음 논리적스위치의백업 DVPG( 분산가상포트그룹 ) 가 vcenter Server에서삭제되면논리적스위치 (Logical Switches) 페이지의 [ 상태 ] 열에동기화되지않음 (Out of sync) 상태가표시됩니다. 사전요구사항논리적스위치의 DVPG가 vcenter Server에서삭제되었습니다. 절차 1 vsphere Web Client에서홈 (Home) > 네트워킹및보안 (Networking & Security) > 논리적스위치 (Logical Switches) 로이동합니다. 2 [ 상태 ] 열에서동기화되지않음 (Out of sync) 링크를클릭하여이동기화되지않음상태에대한 자세한원인을확인하십시오. 3 해결 (Resolve) 버튼을클릭하여문제를해결하십시오. 백업 DVPG 를다시생성하기위한 API 가호출됩니다. VMware, Inc. 60

61 NSX 라우팅문제해결 3 NSX에는 2가지핵심요구에맞게최적화된 2가지유형의라우팅하위시스템이있습니다. NSX 라우팅하위시스템은다음과같습니다. DLR( 논리적분산라우터 ) 에서제공하는 동쪽- 서쪽 라우팅으로도알려져있는논리적공간내라우팅 ESG(Edge Services Gateway) 가제공하는 북쪽 - 남쪽 라우팅으로도알려져있는물리적및논리적공간사이의라우팅둘다수평크기조절을위한옵션을제공합니다. DLR을통해분산 E-W 라우팅을확장할수있습니다. DLR은한번에단일동적라우팅프로토콜 (OSPF 또는 BGP) 의실행을지원하지만 ESG는두라우팅프로토콜의동시실행을지원합니다. 이는 DLR이단일출력경로가있는 스텁 라우터로설계되었기때문입니다. 즉, 좀더고급수준의라우팅구성이필요하지않습니다. DLR 및 ESG 둘다정적및동적경로조합을지원합니다. DLR 및 ESG 둘다 ECMP 경로를지원합니다. 둘다 L3 도메인분리를제공합니다. 즉, 논리적분산라우터또는 Edge Services Gateway의각인스턴스에는 L3VPN VRF와비슷하게자체 L3 구성이있습니다. VMware, Inc. 61

62 그림 3 1. DLR 생성 관리부제어부데이터부 7 경로업데이트가호스트로전송됨 2 노드와의통신설정 UW Agent 보안 VXLAN DR NSX Manager 4 4 새논리적라우터인스턴스가생성됨 라우터가업데이트를전송함 컨트롤러 6 3 논리적라우터마스터노드에의해호스트로푸시된정보조각화 5 호스트는 DLR 인스턴스마스터컨트롤러에연결하고 LIF 및경로를가져옴 UW Agent UW Agent 보안 VXLAN DR 보안 VXLAN DR NSX Edge 논리적분산라우터 1 vsfwd 를통해호스트의 netcpa 는 Manager 에서컨트롤러정보를요청함 그런다음 Manager 에서컨트롤러 IP 및지문을 config-by-vsm.xml 의호스트에전송함 본장은다음항목을포함합니다. 논리적분산라우터이해 Edge Services Gateway에서제공하는라우팅이해 ECMP 패킷흐름 NSX 라우팅 : 전제조건및고려사항 DLR 및 ESG UI 새 NSX Edge(DLR) 일반적인 ESG 및 DLR UI 작업 라우팅문제해결 논리적분산라우터이해 DLR은 VM 간의논리적공간, VXLAN 지원또는 VLAN 지원포트그룹에서전달을수행하도록최적화되어있습니다. DLR은다음속성을갖습니다. 고성능, 낮은오버헤드첫번째홉라우팅 : VMware, Inc. 62

63 호스트수를선형으로확장 업링크에서 8방향 ECMP 지원 호스트별최대 1,000개의 DLR 인스턴스 각 DLR( 업링크 8개 + 내부 991개 ) 에대해최대 999개의 LIF( 논리적인터페이스 ) + 관리 1개 모든 DLR 인스턴스간에분산된호스트별최대 10,000개의 LIF(NSX Manager에의해적용되지는않음 ) 다음과같은사항에유의하십시오. 둘이상의 DLR을지정된 VLAN 또는 VXLAN에연결할수없습니다. 각 DLR에서둘이상의라우팅프로토콜을실행할수없습니다. OSPF가사용될경우, 둘이상의 DLR 업링크에서실행할수없습니다. VXLAN 및 VLAN 간에경로를지정하려면전송영역이단일 DVS를포함해야합니다. DLR의설계를자세히들여다보면다음과같은방식에서모듈식라우터섀시와유사합니다. ESXi 호스트는다음과같은측면에서라인카드와같습니다. 연결된엔드스테이션 (VM) 을포함하는포트가있습니다. 여기에서전달결정이수행됩니다. DLR 제어 VM은다음과같은측면에서경로프로세서엔진과같습니다. 동적라우팅프로토콜을실행하여나머지네트워크와라우팅정보를교환합니다. 인터페이스구성, 정적경로및동적라우팅정보를토대로 " 라인카드 " 에대한전달테이블을계산합니다. 이러한전달테이블을 라인카드 로프로그래밍합니다 ( 컨트롤러클러스터를통해확장성및복원력설정 ). ESXi 호스트를함께연결하는물리적네트워크는다음과같은측면에서백플레인과같습니다. 라인카드 사이에 VLAN 캡슐화또는 VXLAN 캡슐화데이터를전달합니다. 상위수준 DLR 패킷흐름 각 ESXi 호스트에는구성된각 DLR 인스턴스의자체복사본이있습니다. 각 DLR 인스턴스에는패킷전달에필요한정보가들어있는고유한테이블세트가있습니다. 이정보는이 DLR 인스턴스가있는모든호스트에서동기화됩니다. 여러다른호스트에있는개별 DLR의인스턴스는정확히동일한정보를갖고있습니다. 라우팅은항상소스 VM이실행되는동일한호스트의 DLR 인스턴스에의해처리됩니다. 즉, 소스및대상 VM이다른호스트에있을때이들사이에라우팅을제공하는 DLR 인스턴스는한방향 ( 소스 VM에서대상으로 ) 으로만패킷을확인합니다. 반환트래픽은대상 VM 호스트에서동일한 DLR의해당인스턴스에서만확인됩니다. DLR이라우팅을완료하면최종대상으로의전달은소스및대상 VM이다른호스트에있는경우 L2 VXLAN 또는 VLAN을통해 DVS가처리하고, 같은호스트에있는경우 DVS가직접처리합니다. VMware, Inc. 63

64 그림 3 2 에서는다른호스트에서실행되고 2 개의다른논리적스위치 VXLAN 5000 및 VXLAN 5001 에연결된 2 개의 VM 인 VM1 및 VM2 사이의데이터흐름을보여줍니다. 그림 3 2. 상위수준 DLR 패킷흐름 ESXi 호스트 A ESXi 호스트 B VM 1 VXLAN 5000 DLR DLR VXLAN 5001 VM 1 패킷흐름 (ARP 확인은건너뜀 ): 1 VM1은 VM2로패킷을전송하며해당주소는 VM2 서브넷에대한 VM1 게이트웨이 ( 또는기본값 ) 로지정되어있습니다. 이게이트웨이는 DLR의 VXLAN 5000 LIF입니다. 2 ESXi 호스트 A의 DVS는패킷을해당호스트의 DLR로전달합니다. 여기서조회가수행되고송신 LIF가확인됩니다 ( 이경우 VXLAN 5001 LIF). 3 그런다음패킷이해당 LIF에서전송됩니다. 이 LIF는기본적으로이러한패킷을다른논리적스위치 (5001) 의 DVS로반환합니다. 4 그러면 DVS는 L2를통해해당패킷을대상호스트 (ESXi 호스트 B) 로전달합니다. 여기서 DVS 는패킷을 VM2로전달합니다. 반환트래픽은동일한순서를따릅니다. 즉, VM2의트래픽이 ESXi 호스트 B의 DLR 인스턴스로전달된후 VXLAN 5000의 L2를통해전달됩니다. DLR ARP 확인프로세스 VM1의트래픽이 VM2에도달하려면먼저 DLR이 VM2의 MAC 주소를인식해야합니다. VM2의 MAC 주소를인식한후에 DLR은아웃바운드패킷에대해올바른 L2 헤더를생성할수있습니다. 그림3 3에는 DLR의 ARP 확인프로세스가나와있습니다. VMware, Inc. 64

65 그림 3 3. DLR ARP 프로세스 ESXi 호스트 A ESXi 호스트 B VM1 (MAC1) VXLAN 5000 DLR DLR VXLAN 5001 VM2 (MAC2) MAC 주소를인식하기위해 DLR은다음단계를따릅니다. 1 호스트 A의 DLR 인스턴스는 SRC MAC = vmac 및 DST MAC = Broadcast인 ARP 요청패킷을생성합니다. 호스트 A의 VXLAN 모듈은송신 VXLAN 5001에서모든 VTEP를찾은후각각에해당브로드캐스트프레임사본을전송합니다. 2 프레임이 VXLAN 캡슐화프로세스를통해호스트를나가면 SRC MAC은 vmac에서 pmac A 로변경되므로반환트래픽은호스트 A에서원래 DLR 인스턴스를찾을수있습니다. 이제프레임은 SRC MAC = pmac A 및 DST MAC = Broadcast입니다. 3 프레임이호스트 B에서수신되고캡슐화가해제되면검사가진행된후 VXLAN 5001의로컬 DLR 인스턴스 LIF와일치하는 IP 주소에서소싱되는지확인됩니다. 이경우프레임은프록시 ARP 기능을수행하기위한요청으로태그가지정됩니다. 해당프레임이로컬 DLR 인스턴스에도달할수있도록 DST MAC이 Broadcast에서 vmac으로변경됩니다. 4 호스트 B의로컬 DLR 인스턴스는 ARP 요청프레임, SRC MAC = pmac A, DST MAC = vmac을수신하며, 이를요청하는자체 LIF IP 주소를확인합니다. 그런다음 SRC MAC을저장하고새로운 ARP 요청패킷, SRC MAC = vmac, DST MAC = Broadcast를생성합니다. 이프레임은 dvuplink를통해폭발적으로증가하지않도록하기위해 DVS 로컬 로태그가지정됩니다. DVS는프레임을 VM2에전달합니다. 5 VM2는 ARP 응답, SRC MAC = MAC2, DST MAC = vmac을전송합니다. DVS는이를로컬 DLR 인스턴스로전송합니다. 6 호스트 B의 DLR 인스턴스는 DST MAC을 4단계에서저장된 pmac A로바꾼후호스트 A로다시전송하기위해패킷을 DVS로보냅니다. VMware, Inc. 65

66 7 ARP 응답이호스트 A에도달하면 DST MAC은 vmac으로변경되고 SRC MAC = MAC2 및 DST MAC = vmac이지정된 ARP 응답프레임은호스트 A의 DLR 인스턴스에도달합니다. ARP 확인프로세스가완료되고이제호스트 A의 DLR 인스턴스는 VM2로트래픽을전송할수있습니다. DLR ARP 억제 ARP( 주소확인프로토콜 ) 억제는동일한논리적스위치에연결된 VM 사이에서개별 VXLAN 세그먼트내의 ARP 브로드캐스트플러딩양을줄이는데사용되는기술입니다. VM1이 VM2의 MAC 주소를알려고할경우 ARP 요청을전송합니다. 이 ARP 요청이논리적스위치에의해인터셉트되고논리적스위치에대상에대한 ARP 항목이이미있으면논리적스위치는 VM 으로 ARP 응답을전송합니다. 그렇지않은경우 NSX Controller에 ARP 쿼리를전송합니다. 컨트롤러가 VM IP - MAC 바인딩을알고있는경우컨트롤러는해당바인딩을통해응답하고논리적스위치는 ARP 응답을전송합니다. 컨트롤러에 ARP 항목이없는경우논리적스위치에서 ARP 요청이다시브로드캐스트됩니다. NSX Controller는 ARP 요청 /DHCP 패킷에서스누핑하는스위치보안모듈을통해 MAC 주소를학습합니다. ARP 억제는 DLR( 논리적분산라우터 ) 도포함하도록확장되었습니다. 논리적분산라우터의 ARP 요청은다른 VM의 ARP 요청과동일한방식으로취급되며억제됩니다. 논리적분산라우터가대상 IP의 ARP 요청을해결해야할경우 ARP 요청이논리적스위치에의해억제되어컨트롤러에서 IP - MAC 바인딩을이미알고있는경우플러딩이방지됩니다. LIF가생성되면논리적분산라우터는논리적스위치에 LIF IP에대한 ARP 항목을추가하므로 LIF IP에대한 ARP 요청도논리적스위치에의해억제됩니다. Edge Services Gateway 에서제공하는라우팅이해 NSX 라우팅의두번째하위시스템은 Edge Services Gateway에서제공됩니다. ESG는기본적으로가상시스템의라우터입니다. 이기능은 4가지크기의장치형폼팩터로제공되며전체수명주기가 NSX Manager를통해관리됩니다. ESG의기본사용사례는주변라우터로서사용되는방식입니다. 이경우여러 DLR 간및물리적환경과가상화된네트워크간에배포됩니다. ESG는다음과같은속성을갖습니다. 각 ESG에는최대 10개의 vnic 인터페이스또는 200개의트렁크하위인터페이스가있습니다. 각 ESG는경로이중화및확장성을위해 8방향 ECMP를지원합니다. ECMP 패킷흐름 물리적환경이있는양방향 ECMP 업링크를 DLR 인스턴스에제공하기위해 2개의 ESG가배포된다고가정해보겠습니다. 그림3 4에서는두 ESG 및물리적인프라간에 ECMP( 동일비용다중경로 ) 라우팅이사용되도록설정된경우의 ESG 및 DLR 패킷흐름을보여줍니다. VMware, Inc. 66

67 따라서 VM1은단일 ESG가있는배포와비교할때 2배의양방향처리량을보여줍니다. VM1은 VNI 5000을사용하여논리적스위치에연결됩니다. DLR에는 2개의 LIF가있습니다. 하나는 VNI 5000의내부용이고, 다른하나는 VNI 5001의업링크용입니다. DLR에는 ECMP가사용되도록설정되어있으며, 동적라우팅프로토콜 (BGP 또는 OSPF) 을통해 ESG 쌍인 ESG A 및 ESG B에서 VLAN 20의 IP 서브넷으로이동되는동일비용경로가수신됩니다. 두 ESG가 VLAN 10에연결된 VLAN 지원 dvportgroup에연결됩니다. 여기서 VLAN 20에대한연결을제공하는물리적라우터도연결됩니다. ESG는물리적라우터에서동적라우팅프로토콜을통해 VLAN 20에대한외부경로를수신합니다. 대신, 물리적라우터는두 ESG의 VXLAN 5000과연결된 IP 서브넷에대해학습하고해당서브넷의 VM으로전달되는트래픽에대해 ECMP 로드밸런싱을수행합니다. 그림 3 4. ECMP를사용하는고급 ESG 및 DLR 패킷흐름 ESXi 호스트 A ESXi 호스트 B VM 1 VXLAN 5000 DLR DLR 물리적서버 ECMP VXLAN 5001 VLAN 20 ESG A ESG B VLAN 10 ECMP 물리적라우터 DLR은최대 8개의동일비용경로를수신하고경로간에트래픽밸런스를유지할수있습니다. 다이어그램의 ESG A 및 ESG B는 2개의동일비용경로를제공합니다. ESG는물리적네트워크로의 ECMP 라우팅을수행할수있으며여러물리적경로가존재한다고가정합니다. 단순화를위해이다이어그램에서는단일물리적라우터를표시합니다. 모든 DLR LIF가 ESG가상주하는동일한호스트에서 로컬 이므로 ECMP를 DLR에대한 ESG에구성할필요가없습니다. DLR에여러업링크인터페이스를구성함으로써제공되는추가적인이점은없습니다. VMware, Inc. 67

68 추가북쪽-남쪽대역폭이필요한상황에서는여러 ESG를다른 ESXi 호스트에배치하여 8개의 ESG 로 80Gbps까지확장할수있습니다. ECMP 패킷흐름 (ARP 확인포함안함 ): 1 VM1은물리적서버로패킷을전송하며, 이패킷은 ESXi 호스트 A의 VM1 IP 게이트웨이 (DLR LIF) 로전송됩니다. 2 DLR은물리적서버 IP의경로를조회하고, 직접연결되지않았지만 ESG A 및 ESG B에서수신된두 ECMP 경로에일치하는지확인합니다. 3 DLR은 ECMP 해시를계산하고, ESG A 또는 ESG B 중에서다음홉이될수있는항목을결정한다음패킷을 VXLAN 5001 LIF로전송합니다. 4 DVS는선택된 ESG로패킷을전달합니다. 5 ESG는라우팅조회를수행하고, 물리적서버의서브넷을 ESG의인터페이스중하나에직접연결된 VLAN 10의물리적라우터 IP 주소를통해액세스할수있는지확인합니다. 6 패킷은 DVS를통해전송되며 DVS는 VLAN ID 10을사용하여해당패킷에올바른 801.Q 태그를지정한후물리적네트워크로전달합니다. 7 패킷은물리적스위칭인프라를통해이동하여물리적라우터에도달합니다. 그러면물리적라우터는조회를통해물리적서버가 VLAN 20의인터페이스에직접연결되었는지확인합니다. 8 물리적라우터는물리적서버에패킷을전송합니다. 역방향전송 : 1 물리적서버는물리적라우터를다음홉으로사용하여 VM1으로패킷을전송합니다. 2 물리적라우터는 VM1의서브넷을조회하고, 다음홉인 ESG A 및 ESG B의 VLAN 10 인터페이스각각의해당서브넷에대한두동일비용경로를확인합니다. 3 물리적라우터는경로중하나를선택하고해당 ESG로패킷을전송합니다. 4 물리적네트워크는 ESG가상주하는 ESXi 호스트로패킷을전달한다음패킷캡슐화를해제하는 DVS로전달하고 VLAN 10에연결된 dvportgroup의패킷을 ESG로전달합니다. 5 ESG는라우팅조회를수행하고다음홉인 DLR의업링크인터페이스 IP 주소의 VXLAN 5001 과연결된해당인터페이스를통해 VM1 서브넷에액세스할수있는지확인합니다. 6 ESG는 ESG와동일한호스트의 DLR 인스턴스로패킷을전송합니다. 7 DLR은라우팅조회를수행하여 VM1을해당 VXLAN 5000 LIF를통해사용할수있는지확인합니다. 8 DLR은 VXLAN 5000 LIF에서 DVS로패킷을전송하며, DVS에서최종전달을수행합니다. NSX 라우팅 : 전제조건및고려사항 DLR 및 ESG는 dvportgroup(vxlan 및 VLAN 기반 ) 에 L2 전달서비스를제공하여종단간연결을작동하기위해 DVS에의존합니다. 즉, DLR 또는 ESG에연결된서비스를전달하는 L2가구성되고작동되어야함을의미합니다. NSX 설치프로세스에서이러한서비스는 호스트준비 및 논리적네트워크준비 를통해제공됩니다. VMware, Inc. 68

69 다중클러스터 DVS 구성에서전송영역을생성할경우선택된 DVS의모든클러스터가전송영역에포함되어있는지확인하십시오. 이를통해 DVS dvportgroup을사용할수있는모든클러스터에서 DLR을사용할수있도록합니다. 전송영역이 DVS 경계에맞춰설정되면 DLR 인스턴스가올바르게생성됩니다. 그림 3 5. 전송영역이 DVS 경계에맞춰설정된경우 web1 app1 web2 LB db1 VTEP: VTEP: VTEP: VTEP: VTEP: VTEP: esxcomp-01a esxcomp-02a esxcomp-01b esxcomp-02b esx-01a esx-02a [ 클러스터 : Comp A ] [ 클러스터 : Comp B ] [ 클러스터 : Mgmt/Edge ] [ DVS: Compute_DVS ] [ DVS: Mgmt_Edge_DVS ] [ 전송영역 : Global-Transport-Zone ] 전송영역이 DVS 경계에맞춰지지않은경우논리적스위치의범위 (5001, 5002 및 5003) 및이논리적스위치가연결된 DLR 인스턴스가연결해제되기때문에 Comp A 클러스터의 VM이 DLR LIF에액세스할수없게됩니다. 위다이어그램에서 DVS Compute_DVS 는 2개의클러스터, 즉 Comp A 및 Comp B 를포함합니다. Global-Transport-Zone 에는 Comp A 와 Comp B 가둘다포함됩니다. 결과적으로논리적스위치의범위 (5001, 5002, 5003) 와이러한논리적스위치가있는모든클러스터의모든호스트에서생성된 DLR 인스턴스가올바르게정렬됩니다. 이제전송영역이클러스터 Comp A 를포함하지않도록구성된다른경우를살펴보겠습니다. VMware, Inc. 69

70 그림 3 6. 전송영역이 DVS 경계에맞춰설정되지않은경우 web1 app1 web2 LB 5001 DLR 누락 DLR 누락 db1 VTEP: VTEP: VTEP: VTEP: VTEP: VTEP: esxcomp-01a esxcomp-02a esxcomp-01b esxcomp-02b esx-01a esx-02a [ 클러스터 : Comp A ] [ 클러스터 : Comp B ] [ 클러스터 : Mgmt/Edge ] [ TZ/DVS 어긋남 ] [ DVS: Compute_DVS ] [ 전송영역 : Global-Transport-Zone ] [ DVS: Mgmt_Edge_DVS ] 이경우클러스터 Comp A 에서실행되는 VM은모든논리적스위치에대해모든액세스권한을갖습니다. 논리적스위치가호스트의 dvportgroup으로표현되고 dvprotgroup이 DVS 전체구성이기때문입니다. 샘플환경에서 Compute_DVS 는 Comp A 와 Comp B 를둘다포함합니다. 그렇지만 DLR 인스턴스는전송영역범위에딱맞게생성됩니다. 즉, DLR 인스턴스는 Comp A 의호스트에생성되지않습니다. 결과적으로 VM web2 및 LB 가같은논리적스위치에있기때문에 VM web1 에서이러한항목에연결할수있지만 VM app1 및 db1 은어떤대상과도통신할수없습니다. DLR은작동을위해컨트롤러클러스터가필요하지만 ESG는그렇지않습니다. DLR 구성을생성하거나변경하기전에컨트롤러클러스터가최신상태이고사용가능한지확인하십시오. DLR을 VLAN dvportgroup에연결해야할경우 DLR VLAN 기반 ARP 프록시가작동하려면 DLR이구성된 ESXi 호스트가 UDP/6999에서서로연결할수있어야합니다. 고려사항 : 지정한 DLR 인스턴스는다른전송영역에있는논리적스위치에연결할수없습니다. 이를통해모든논리적스위치와 DLR 인스턴스가서로맞춰정렬될수있게됩니다. DLR이둘이상의 DVS에걸쳐있는논리적스위치에연결된경우해당 DLR을 VLAN 지원포트그룹에연결할수없습니다. 위와같이이를통해 DLR 인스턴스가호스트간의논리적스위치및 dvportgroup에맞춰올바르게정렬될수있게됩니다. VMware, Inc. 70

71 DLR 제어 VM을배치할때동일한클러스터에있는경우 DRS 반선호도규칙을사용하여하나이상의업스트림 ESG와동일한호스트에배치하지않도록하십시오. 이렇게하면호스트장애가 DLR 전달에미치는영향을줄일수있습니다. OSPF는단일업링크에서만사용하도록설정할수있습니다 ( 그렇지만다중인접성을지원함 ). 그렇지만 BGP는필요한경우여러업링크인터페이스에서사용되도록설정할수있습니다. DLR 및 ESG UI DLR 및 ESG UI 는시스템작동상태표시기를제공합니다. NSX 라우팅 UI vsphere Web Client UI는 NSX 라우팅과관련된 2가지주요섹션을제공합니다. 여기에는 L2 및제어부인프라종속성과라우팅하위시스템구성이포함됩니다. NSX 분산라우팅에는컨트롤러클러스터에서제공하는기능이필요합니다. 다음스크린샷은정상상태의컨트롤러클러스터를보여줍니다. 유의사항 : 배포된 3개의컨트롤러가있습니다. 모든컨트롤러의 실행상태 는 연결됨 입니다. 모든컨트롤러에대한소프트웨어버전이같습니다. 각컨트롤러노드에는 2개의피어가있습니다. 분산라우팅에대한호스트커널모듈이호스트에설치되고 VXLAN 구성의일부로구성됩니다. 즉, 분산라우팅에서는 ESXi 호스트가준비되고이위에 VXLAN이구성되어야합니다. 유의사항 : 설치상태 가녹색입니다. VXLAN 은 구성됨 " 입니다. VXLAN 전송구성요소가올바르게구성되어있는지확인하십시오. VMware, Inc. 71

72 유의사항 : VTEP 전송 VLAN의 VLAN ID가올바른것이어야합니다. 위스크린샷에서는 "0" 으로나와있지만대부분의실제배포에서는그렇지않습니다. MTU는 1600 이상으로구성됩니다. VM의 MTU도 9000으로설정될것이라는가정하에 MTU를 9000으로설정하지않았는지확인하십시오. DVS 최대 MTU가 9000이고, VM도 9000에있는경우 VXLAN 헤더에대한공간이없습니다. VMKNic가올바른주소를가져야합니다 x.x 주소로설정되어있지않은지확인하십시오. 이주소로설정되어있으면노드가 DHCP에서주소를가져오지못한것입니다. 동일한 DVS의모든클러스터멤버에대해팀구성정책이일관되어야합니다. VTEP의수가 dvuplink의수와같아야합니다. 유효한 / 예상된 IP 주소가나열되는지확인하십시오. 일부클러스터에서 DLR이누락되는상황을피하려면전송영역이 DVS 경계에맞춰올바르게정렬되어야합니다. NSX Edge UI NSX 라우팅하위시스템은 UI 의 NSX Edge 섹션에서구성되고관리됩니다. 이 UI 부분을선택하면다음보기가나타납니다. 현재배포된모든 DLR 및 ESG가표시되고각각에대해다음정보가표시됩니다. Id 는해당 ESG 또는 DLR을나타내는모든 API 호출에사용할수있는 ESG 또는 DLR Edge 장치 ID를표시합니다. Tenant + Id 가 DLR 인스턴스이름을만듭니다. 이이름은 NSX CLI에서표시되고사용됩니다. Size 는 DLR에대해항상 소형 이며 ESG의작업자가선택한크기가됩니다. 테이블에표시된정보외에버튼이나 " 작업 " 을통해액세스할수있는컨텍스트메뉴가있습니다. VMware, Inc. 72

73 표 3 1. NSX Edge 컨텍스트메뉴 아이콘 작업 강제동기화 작업은 ESG 또는 DLR의제어 VM 구성을지우고재부팅하고구성을다시푸시합니다. 다시배포 는 ESG 또는 DLR을분해하고동일한구성의새 ESG 또는 DLR을만듭니다. 기존 ID 는보존됩니다. 자동규칙구성변경 은 ESG에서서비스가사용되도록설정될때생성된 ESG의내장방화벽규칙에적용됩니다 ( 예 : TCP/179가필요한 BGP). 기술지원로그다운로드 는 ESG 또는 DLR 제어 VM에서로그번들을만듭니다. DLR의경우호스트로그는기술지원번들에포함되지않으며별도로수집해야합니다. 장치크기변경 은 ESG에만적용됩니다. 새장치에 다시배포 가수행됩니다 (vnic MAC 주소가변경됨 ). CLI 자격증명변경 은작업자가 CLI 자격증명을강제로업데이트할수있도록합니다. 5번의로그인시도가실패한후에 ESG 또는 DLR 제어 VM에서 CLI가잠겨진경우이옵션을선택하면잠금이해제됩니다. 5분동안기다리거나 ESG/DLR을 다시배포 하여올바른자격증명으로되돌아가야합니다. 로그수준변경 은 ESG/DLR Syslog로전송할세부정보의수준을변경합니다. 고급디버깅구성 은사용하도록설정된코어덤프와코어덤프파일을저장하기위해연결된추가가상디스크를포함한 ESG 또는 DLR을다시배포합니다. 배포 는 ESG가생성되기만하고배포되지않았을때사용할수있습니다. 이옵션은배포단계 (OVF 배포, 인터페이스구성, 생성한장치에구성푸시 ) 를실행합니다. DLR/ESG의버전이 NSX Manager보다오래된경우 버전업그레이드 옵션을사용할수있게됩니다. 필터 는 이름 으로 ESG/DLR을검색할수있도록합니다. 새 NSX Edge(DLR) 작업자가새 DLR 을만들면다음마법사에서필요한정보를수집합니다. VMware, Inc. 73

74 이름및설명 화면에서다음정보가수집됩니다. 이름 이 NSX Edge UI에나타납니다. 호스트이름 은 SSH/ 콘솔세션, syslog 메시지및 ESG/DLR VM에대한 vcenter 요약 페이지에있는 DNS 이름 에표시되는 ESG 또는 DLR 제어 VM의 DNS 이름을설정하는데사용됩니다. 설명 은 NSX Edge의목록을표시하는 UI에있습니다. 테넌트 는 NSX CLI에사용되는 DLR 인스턴스이름을만드는데사용됩니다. 외부클라우드관리플랫폼에서도사용될수있습니다. 설정 화면 : 사용자이름 및 암호 는 DLR 제어 VM에액세스하기위한 CLI/VM 콘솔자격증명을설정합니다. NSX는 ESG 또는 DLR 제어 VM에서 AAA를지원하지않습니다. 이계정은 ESG/DLR 제어 VM에대해모든권한을가지지만 CLI/VMconsole을통해 ESG/DLR 구성을변경할수없습니다. SSH 액세스사용 을선택하면 DLR 제어 VM의 SSH 데몬을시작할수있습니다. SSH 네트워크액세스를허용하려면제어 VM 방화벽규칙을조정해야합니다. VMware, Inc. 74

75 작업자는제어 VM 관리인터페이스의서브넷에있는호스트에서또는프로토콜주소가구성된경우 OSPF/BGP 프로토콜주소 " 에대한이러한제한없이 DLR 제어 VM에연결할수있습니다. 참고 DLR 제어 VM과해당 DLR의 내부 인터페이스에구성된임의서브넷에속하는임의 IP 주소간에네트워크연결을할수없습니다. DLR 제어 VM의이러한서브넷에대한송신인터페이스가데이터부에연결되지않은유사인터페이스 VDR" 을가리키기때문입니다. HA 사용 을선택하면제어 VM이활성 / 대기 HA 쌍으로배포됩니다. Edge 제어수준로깅 을선택하면 Edge 장치에대해 syslog 수준이설정됩니다. 배포구성 화면 : 데이터센터 를선택하면제어 VM을배포할 vcenter 데이터센터가선택됩니다. NSX Edge Appliance 는 DLR 제어 VM을나타내며, 정확히 1개를정의할수있도록합니다 ( 그림참조 ). HA 를사용하도록설정하면동일한클러스터, 호스트및데이터스토어에대기 Edge가배포됩니다. 활성및대기 DLR 제어 VM에대해 DRS 별도의가상시스템 규칙이생성됩니다. 인터페이스구성 화면 : HA 인터페이스 라우팅할수있는 DLR 논리적인터페이스로생성되지않습니다. 제어 VM 의유일한 vnic 입 니다. VMware, Inc. 75

76 NSX는 VMCI를통해 DLR 구성을관리하므로이인터페이스에는 IP 주소가필요하지않습니다. " 이름및설명 " 화면에서 DLR " 고가용성사용 을선택한경우 HA 하트비트에이인터페이스가사용됩니다. 이 NSX Edge의인터페이스 는 DLR LIF( 논리적인터페이스 ) 를나타냅니다. DLR은해당서브넷의 IP 주소가있는 연결대상 dvportgroup 또는논리적스위치의 VM에 L3 게이트웨이서비스를제공합니다. 업링크 유형 LIF는제어 VM에서 vnic로생성되므로최대 8개가지원됩니다. 사용가능한마지막두 vnic는 HA 인터페이스와예약된 1개의 vnic에할당됩니다. DLR에대해동적라우팅이작동하려면 업링크 유형 LIF가필요합니다. 또한 내부 유형 LIF가제어 VM에서유사 vnic로생성되며최대 991개가가능합니다. 기본게이트웨이설정 화면 : [ 기본게이트웨이구성 ] 을선택하면 DLR에대한정적기본경로가생성됩니다. 이옵션은 업링크 유형의 LIF가이전화면에서만들어지는경우에사용할수있습니다. 업링크에서 ECMP가사용될경우다음홉실패시데이터부중단을방지하기위해이옵션을사용하지않도록설정하는것이좋습니다. 참고상단오른쪽모서리에있는이중오른쪽화살표는진행중인마법사를 일시중단 하는데사용됩니다. 일시중단한마법사는나중에다시시작할수있습니다. ESG 및 DLR 차이점 ESG 가배포될때의마법사화면은 DLR 의경우와비교할때약간다릅니다. 첫번째차이는 배포구성 화면에서나타납니다. VMware, Inc. 76

77 ESG의경우 배포구성 에서 Edge 크기를선택할수있습니다. ESG가라우팅에만사용되는경우 중형 이대부분의시나리오에적합한크기입니다. 더큰크기를선택한다고해서 ESG 라우팅프로세스에더많은 CPU 리소스가제공되는것은아니며처리량이늘어나지도않습니다. 또한배포하지않고 ESG를생성할수도있습니다. 이경우에도 Edge Appliance를구성해야합니다. 배포되지않은 Edge는나중에 API 호출또는 배포 UI 작업을통해배포할수있습니다. Edge HA를선택한경우하나이상의 내부 인터페이스를생성해야합니다. 그러지않으면 HA가자동으로실패하여 분할브레인 시나리오가발생합니다. NSX UI 및 API를사용하여작업자는마지막 내부 인터페이스를제거하여 HA가자동으로실패하도록할수있습니다. 일반적인 ESG 및 DLR UI 작업 생성외에초기배포이후에실행되는몇가지구성작업이있습니다. 여기에는다음이포함됩니다. Syslog 구성 정적경로관리 라우팅프로토콜및경로재배포구성 Syslog 구성 원격 Syslog 서버로로그항목을보내도록 ESG 또는 DLR 제어 VM 을구성합니다. VMware, Inc. 77

78 참고 : ESG/DLR 제어 VM은 DNS 확인자로구성되지않으므로 Syslog 서버는 IP 주소로구성해야합니다. ESG의경우 ESG 자체가 DNS 이름을확인하는데사용할수있는 DNS 서비스사용 (DNS 프록시 ) 을설정할수있지만일반적으로좀더안정적이면서종속성을줄이는방법은 Syslog 서버를 IP 주소로지정하는것입니다. UI에서는 Syslog 포트 ( 항상 514) 를지정할수없지만프로토콜 (UDP/TCP) 을지정할수있습니다. Syslog 메시지는 Edge 전달테이블에의해 Syslog 서버 IP에대한송신으로선택된 Edge 인터페이스의 IP 주소에서생성됩니다. DLR의경우 Syslog 서버의 IP 주소는 DLR 내부 인터페이스에구성된서브넷에있을수없습니다. DLR 제어 VM의이러한서브넷에대한송신인터페이스가데이터부에연결되지않은유사인터페이스 VDR 을가리키기때문입니다. 기본적으로 ESG/DLR 라우팅엔진에대한로깅은사용되지않도록설정됩니다. 필요한경우 동적라우팅구성 " 에대해 " 편집 을클릭하여 UI에서이기능을사용하도록설정하십시오. VMware, Inc. 78

79 일반적으로업링크인터페이스의 IP 주소가되는라우터 ID 도구성해야합니다. 정적경로 정적경로에서는다음홉이 DLR 의 LIF 또는 ESG 의인터페이스중하나와연결된서브넷의 IP 주소 로설정되어야합니다. 그러지않으면구성이실패합니다. VMware, Inc. 79

80 인터페이스 를선택하지않으면다음홉을직접연결된서브넷중하나와일치시키는방식으로인터 페이스가자동으로설정됩니다. 경로재배포 경로재배포테이블 에항목을추가해도선택한 학습자프로토콜 " 에대한재배포가자동으로사용되도록설정되지않습니다. 이작업은 경로재배포상태 " 의 " 편집 " 에서명시적으로수행되어야합니다. DLR은기본적으로 OSPF로연결된경로를재배포하도록구성되어있으나 ESG는그렇지않습니다. VMware, Inc. 80

81 경로재배포테이블 은위에서아래로처리되며첫번째일치항목이나타나면처리가중지됩니다. 재배포에서일부접두사를제외하려면맨위에좀더구체적인항목을포함하십시오. 라우팅문제해결 NSX Data Center for vsphere 는라우팅이작동되는지확인하기위한여러도구를제공합니다. NSX 라우팅 CLI 작업자가 NSX 라우팅하위시스템의다양한부분에대한실행상태를검사할수있는 CLI 명령모음 이있습니다. NSX 라우팅하위시스템의분산특성때문에 NSX의다양한구성요소에서액세스할수있는여러 CLI가있습니다. NSX 버전 6.2부터 NSX는다양한분산구성요소에액세스하고로그인하는데필요한 " 이동시간 " 을줄이는데도움이되는중앙 CLI도제공합니다. 또한단일위치인 NSX Manager 셸에서대부분의정보에액세스할수있도록합니다. 전제조건확인각 ESXi 호스트에대해다음 2가지주요전제조건이충족되어야합니다. DLR에연결되는모든논리적스위치는정상상태여야합니다. ESXi 호스트는 VXLAN에대해준비완료상태여야합니다. VMware, Inc. 81

82 논리적스위치상태점검 NSX 라우팅은 NSX 논리적스위치와함께작동합니다. DLR에연결된논리적스위치가정상상태인지확인하려면 : 문제의 DLR에연결된각논리적스위치의세그먼트 ID(VXLAN VNI) 를찾습니다 ( 예 : ). 이 DLR 에서제공하는 VM 이실행중인 ESXi 호스트에서이 DLR 에연결된논리적스위치에대 한 VXLAN 제어부의상태를확인합니다. # esxcli network vswitch dvs vmware vxlan network list --vds-name=compute_vds VXLAN ID Multicast IP Control Plane Controller Connection Port Count MAC Entry Count ARP Entry Count N/A (headend replication) Enabled (multicast proxy,arp proxy) (up) N/A (headend replication) Enabled (multicast proxy,arp proxy) (up) N/A (headend replication) Enabled (multicast proxy,arp proxy) (up) N/A (headend replication) Enabled (multicast proxy,arp proxy) (up) 각관련 VXLAN에대해다음을확인합니다. 하이브리드또는유니캐스트모드인논리적스위치의경우 : 제어부가 " 사용 " 으로설정되어있습니다. 멀티캐스트프록시 및 ARP 프록시 가나열됩니다. ARP 프록시 는 IP 검색을사용하지않도록설정한경우에도표시됩니다. 유효한컨트롤러 IP 주소가 " 컨트롤러 " 아래에나열되고 " 연결 " 은 " 실행 " 상태입니다. 포트수 는맞는것처럼보입니다. 문제의논리적스위치에연결된해당호스트에 VM이없더라도포트수는 1 이상입니다. 이포트는 ESXi 호스트의 DLR 커널모듈에연결된특수한 dvport인 vdrport입니다. VMware, Inc. 82

83 다음명령을실행하여 vdrport 가관련 VXLAN 각각에연결되어있는지확인합니다. ~ # esxcli network vswitch dvs vmware vxlan network port list --vds-name=compute_vds --vxlan-id=5004 Switch Port ID VDS Port ID VMKNIC ID vdrport 0 ~ # esxcli network vswitch dvs vmware vxlan network port list --vds-name=compute_vds --vxlan-id=5005 Switch Port ID VDS Port ID VMKNIC ID vdrport 0 위예에서 VXLAN 5004에는하나의 VM 및하나의 DLR 연결이있지만 VXLAN 5005에는 DLR 연결만있습니다. 해당 VM이해당 VXLAN에제대로연결되어있는지확인합니다 ( 예 : VXLAN 5004의 websv-01a). ~ # esxcfg-vswitch -l DVS Name Num Ports Used Ports Configured Ports MTU Uplinks Compute_VDS vmnic0 DVPort ID In Use Client [..skipped..] 53 1 web-sv-01a.eth0 VXLAN 준비점검 ESXi 호스트에대한 VXLAN 구성의일부로 DLR 커널모듈도 VXLAN용으로준비된 DVS의 dvport에설치되고, 구성되고, 연결됩니다. 1 show cluster all을실행하여클러스터 ID를가져옵니다. 2 show cluster cluster-id를실행하여호스트 ID를가져옵니다. 3 show logical-router host hostid connection를실행하여상태정보를가져옵니다. nsxmgr-01a# show logical-router host <hostid> connection Connection Information: DvsName VdrPort NumLifs VdrVmac Compute_VDS vdrport 4 02:50:56:56:44:52 Teaming Policy: Default Teaming Uplink : dvuplink1( ): 00:50:56:eb:41:d7(Team member) VMware, Inc. 83

84 Stats : Pkt Dropped Pkt Replaced Pkt Skipped Input : Output : VXLAN이사용하도록설정된 DVS에하나의 vdrport가생성되며해당 ESXi 호스트의모든 DLR 인스턴스에서공유됩니다. NumLifs 는이호스트에존재하는모든 DLR 인스턴스의 LIF 합계를나타냅니다. VdrVmac 는 DLR이모든인스턴스의모든 LIF에서사용하는 vmac입니다. 이 MAC는모든호스트에서동일합니다. ESXi 호스트외부의물리적네트워크를이동하는프레임에서는확인되지않습니다. LACP/Etherchannel 팀구성모드가사용되어, dvuplink 수와관계없이 VTEP가 1개만생성되는경우를제외하고, VXLAN이사용하도록설정된 DVS의각 dvuplink에대해일치하는 VTEP가있습니다. 호스트를나갈때 DLR이전송하는트래픽 (SRC MAC = vmac) 의경우 SRC MAC가해당 dvuplink의 pmac로변경됩니다. 원래 VM의소스포트또는소스 MAC는 dvuplink를확인하는데사용됩니다 (DVS의메타데이터에있는각패킷에대해보존됨 ). 호스트에여러 VTEP가있고 dvuplink 중하나가실패할경우실패한 dvuplink와연결된 VTEP는해당 VTEP에고정된모든 VM과함께남은 dvuplink 중하나로이동됩니다. 이작업은다른 VTEP로 VM을이동할때발생하는제어부변경내용이너무많아지지않도록하기위해수행됩니다. 각 dvuplinkx 옆의 () 에있는숫자는 dvport 번호입니다. 개별업링크의패킷캡처에유용합니다. 각 dvuplinkx 에대해표시되는 MAC 주소는해당 dvuplink와연결된 pmac 입니다. 이 MAC 주소는 DLR에서시작된트래픽 ( 예 : DLR에서생성된 ARP 쿼리및이러한패킷이 ESXi 호스트를나갈때 DLR에서라우팅한모든패킷 ) 에사용됩니다. 이 MAC 주소는물리적네트워크에서볼수있습니다 (DLR LIF가 VLAN 유형인경우직접또는 VXLAN LIF의경우 VXLAN 패킷내부에서 ). [Pkt Dropped], [Replaced], [Skipped] 는 DLR의내부구현세부정보와관련된카운터를나타내며, 일반적으로문제해결이나모니터링에는사용되지않습니다. 라우팅요약 라우팅문제를효과적으로해결하려면라우팅이작동하는방식과관련정보테이블을검토하는것이도움이됩니다. 1 대상 IP 주소로전송할패킷을수신합니다. 2 라우팅테이블을확인하고다음홉의 IP 주소를파악합니다. 3 여기에연결될수있는네트워크인터페이스를확인합니다. 4 다음홉의 MAC 주소를가져옵니다 (ARP를통해 ). VMware, Inc. 84

85 5 L2 프레임을구축합니다. 6 인터페이스외부로프레임을전송합니다. 라우팅을수행하려면다음이필요합니다. 인터페이스테이블 ( 인터페이스 IP 주소및넷마스크포함 ) 라우팅테이블 ARP 테이블 샘플라우팅토폴로지를사용하여 DLR 상태확인 이섹션에서는 DLR이패킷을라우팅하기위해필요로하는정보를확인하는방법을설명합니다. 샘플라우팅토폴로지를살펴보고 NSX에서생성하기위한논리적스위치및 DLR 집합을생성해보겠습니다. VMware, Inc. 85

86 그림 3 7. 샘플라우팅토폴로지 Edge Services Gateway 링크유형 : 내부 전송논리적스위치 링크유형 : 업링크프로토콜주소 : 링크유형 : 내부 논리적라우터 링크유형 : 내부 애플리케이션논리적스위치 웹논리적스위치 애플리케이션 VM 웹 VM 이다이어그램에는다음이표시됩니다. 각각자체서브넷이있는논리적스위치 4개 논리적스위치별하나씩연결된 VM 3개 각각자체 IP 주소및 IP 게이트웨이포함 각각 MAC 주소 ( 마지막 2개의 8진수가표시됨 ) 포함 4개의논리적스위치에연결된 DLR 1개, 논리적스위치 1개는 업링크 용이고나머지는내부용임 ESG일수있으며 DLR에대한업스트림게이트웨이로작동하는외부게이트웨이위의 DLR에대해 완료준비 마법사화면이표시됩니다. VMware, Inc. 86

87 DLR 배포가완료되면 ESXi CLI 명령을사용하여참여호스트에서문제가있는 DLR 의분산상태를 확인하고유효한지검사할수있습니다. DLR 인스턴스확인확인할첫번째항목은 DLR 인스턴스가생성되었는지여부및해당제어부가활성상태인지여부입니다. 1 NSX Manager 셸에서 show cluster all을실행하여클러스터 ID를가져옵니다. 2 show cluster cluster-id를실행하여호스트 ID를가져옵니다. 3 show logical-router host hostid dlr all verbose를실행하여상태정보를가져옵니다. nsxmgr# show logical-router host host-id dlr all verbose VDR Instance Information : Vdr Name: default+edge-1 Vdr Id: Number of Lifs: 4 Number of Routes: 5 State: Enabled Controller IP: Control Plane Active: Yes Control Plane IP: Edge Active: No 유의사항 : 이명령은지정된 ESXi 호스트에있는모든 DLR 인스턴스를표시합니다. VMware, Inc. 87

88 Vdr Name 은 테넌트 + Edge ID 로구성됩니다. 이예에서 테넌트 는지정되지않았으므로단어 default 가사용됩니다. Edge ID 는 NSX UI에서볼수있는 edge-1 입니다. 호스트에많은 DLR 인스턴스가있는경우적절한인스턴스를찾는방법은 UI NSX Edge 에표시된 Edge ID 를찾는것입니다. Vdr Id 는로그를포함하는추가조회에유용합니다. Number of Lifs 는이개별 DLR 인스턴스에있는 LIF를나타냅니다. 이경우 Number of Routes 는직접연결된경로 4개 ( 각 LIF에대해하나씩 ) 와기본경로 1 개를합한 5개입니다. State, Controller IP 및 Control Plane Active 는 DLR 제어부의상태를나타내며 Control Plane Active: Yes인올바른컨트롤러 IP를나열해야합니다. DLR 기능에는작업컨트롤러가필요합니다. 위출력에는정상상태의 DLR 인스턴스에필요한컨트롤러를보여줍니다. Control Plane IP 는 ESXi 호스트가컨트롤러에연결하는데사용하는 IP 주소를나타냅니다. 이 IP는항상 ESXi 호스트의관리 vmknic( 대부분의경우 vmk0) 와연결된 IP입니다. Edge Active 는이호스트가이 DLR 인스턴스의제어 VM이실행되고있는호스트인지여부와활성상태여부를나타냅니다. 활성 DLR 제어 VM의배치에따라 NSX L2 브리징 ( 사용하도록설정된경우 ) 을수행하는데사용되는 ESXi 호스트가결정됩니다. 위명령의경우빠르게살펴보는데유용한압축된출력을생성하는 간단 버전도있습니다. Vdr Id 는여기에서 16진수형식으로표시됩니다. nsxmgr# show logical-router host host-id dlr all brief VDR Instance Information : State Legend: [A: Active], [D: Deleting], [X: Deleted], [I: Init] State Legend: [SF-R: Soft Flush Route], [SF-L: Soft Flush LIF] Vdr Name Vdr Id #Lifs #Routes State Controller Ip CP Ip default+edge-1 0x570d A Soft Flush 상태는 LIF 수명주기의단기일시적상태를나타내며정상상태의 DLR 에서는일반 적으로확인되지않습니다. DLR의논리적인터페이스 DLR이생성되면모든 DLR의논리적인터페이스가존재하는지와구성이올바른지확인하십시오. 1 NSX Manager 셸에서 show cluster all을실행하여클러스터 ID를가져옵니다. 2 show cluster cluster-id를실행하여호스트 ID를가져옵니다. VMware, Inc. 88

89 3 show logical-router host hostid dlr all brief를실행하여 dlrid(vdr 이름 ) 를가져옵니다. 4 show logical-router host hostid dlr dlrid interface all brief를실행하여모든인터페이스에대한상태정보요약을가져옵니다. 5 show logical-router host hostid dlr dlrid interface (all intname) verbose를실행하여모든인터페이스또는특정인터페이스에대한상태정보를가져옵니다. nsxmgr# show logical-router host hostid dlr dlrid interface all verbose VDR default+edge-1: LIF Information : Name: 570d a Mode: Routing, Distributed, Internal Id: Vxlan:5000 Ip(Mask): ( ) Connected Dvs: Compute_VDS VXLAN Control Plane: Enabled VXLAN Multicast IP: State: Enabled Flags: 0x2388 DHCP Relay: Not enabled Name: 570d c Mode: Routing, Distributed, Internal Id: Vxlan:5002 Ip(Mask): ( ) Connected Dvs: Compute_VDS VXLAN Control Plane: Enabled VXLAN Multicast IP: State: Enabled Flags: 0x2288 DHCP Relay: Not enabled Name: 570d b Mode: Routing, Distributed, Internal Id: Vxlan:5001 Ip(Mask): ( ) Connected Dvs: Compute_VDS VXLAN Control Plane: Enabled VXLAN Multicast IP: State: Enabled Flags: 0x2388 DHCP Relay: Not enabled Name: 570d Mode: Routing, Distributed, Uplink Id: Vxlan:5003 Ip(Mask): ( ) Connected Dvs: Compute_VDS VXLAN Control Plane: Enabled VMware, Inc. 89

90 VXLAN Multicast IP: State: Enabled Flags: 0x2208 DHCP Relay: Not enabled 유의사항 : LIF "Name" 은호스트의모든 DLR 인스턴스에서고유합니다. 호스트및 DLR의마스터컨트롤러노드에서동일합니다. LIF의 Mode 는 LIF가라우팅하는지또는브리징하는지와내부인지또는업링크인지를나타냅니다. Id 는 LIF 유형및해당서비스 ID(VXLAN 및 VNI 또는 VLAN 및 VID) 를나타냅니다. Ip(Mask) 는 라우팅 LIF에대해표시됩니다. LIF가하이브리드또는유니캐스트모드로 VXLAN에연결되어있으면 VXLAN Control Plane 이 Enabled 입니다. VXLAN이유니캐스트모드인 VXLAN LIF의경우 VXLAN Multicast IP 는 로표시되고, 그렇지않은경우실제멀티캐스트 IP 주소가표시됩니다. State 는라우팅된 LIF에대해 Enabled 여야합니다. 브리징 LIF의경우브리징을수행하는호스트에서는 Enabled 이고, 다른모든호스트에서는 Init 입니다. Flags 는 LIF 상태의요약표현이고 LIF가다음중어떤상태인지를나타냅니다. 라우팅또는브리징되었는지여부 VLAN LIF가 DI인지여부 DHCP 릴레이가사용되도록설정되어있는지여부 중요한사항은플래그 0x0100입니다. 이플래그는 VXLAN VNI 연결이 DLR( 해당 VXLAN 에 VM이있는호스트가아님 ) 에의해발생했을때설정됩니다. 플래그는 " 간단 " 모드에서좀더읽기쉬운형식으로표시됩니다. nsxmgr# show logical-router host hostid dlr dlrid interface all brief VDR default+edge-1 LIF Information : State Legend: [A:Active], [d:deleting], [X:Deleted], [I:Init],[SF-L:Soft Flush LIF] Modes Legend: [B:Bridging],[E: Empty], [R:Routing],[S:Sedimented],[D:Distributed] Modes Legend: [In:Internal],[Up:Uplink] Lif Name Id Mode State Ip(Mask) d a Vxlan:5001 R,D,In A ( ) 570d c Vxlan:5003 R,D,In A ( ) 570d b Vxlan:5002 R,D,In A ( ) 570d Vxlan:5000 R,D,Up A ( ) VMware, Inc. 90

91 DLR 경로 DLR이존재하고정상상태이며모든 LIF가있는지확인한후에는라우팅테이블을확인해야합니다. 1 NSX Manager 셸에서 show cluster all을실행하여클러스터 ID를가져옵니다. 2 show cluster cluster-id를실행하여호스트 ID를가져옵니다. 3 show logical-router host hostid dlr all brief를실행하여 dlrid(vdr 이름 ) 를가져옵니다. 4 show logical-router host hostid dlr dlrid route를실행하여모든인터페이스에대한상태정보를가져옵니다. nsxmgr# show logical-router host hostid dlr dlrid route VDR default+edge-1: Route Table Legend: [U: Up], [G: Gateway], [C: Connected], [I: Interface] Legend: [H: Host], [F: Soft Flush] [!: Reject] [E: ECMP] Destination GenMask Gateway Flags Ref Origin UpTime Interface UG 1 AUTO d UCI 1 MANUAL d a UCI 1 MANUAL d b UCI 1 MANUAL d c UCI 1 MANUAL d 유의사항 : Interface 는해당 Destination 에대해선택할송신 LIF를나타냅니다. DLR LIF 중하나의 Lif Name 으로설정됩니다. ECMP 경로의경우 [Destination], [GenMask] 및 [Interface] 는동일하지만 [Gateway] 는다른둘이상의경로가존재합니다. [Flags] 에는해당경로의 ECMP 특성을반영하기위해 "E" 가포함됩니다. DLR 의 ARP 테이블 DLR 을전달하는패킷에대해다음홉의 IP 주소에대한 ARP 요청을확인할수있어야합니다. 이러 한확인프로세스의결과는개별호스트의 DLR 인스턴스에로컬로저장됩니다. 컨트롤러는이프로세스에서아무런역할도하지않으며결과 ARP 항목을다른호스트에분산하는데사용되지않습니다. 비활성캐시항목은 600초동안보존되었다가제거됩니다. DLR ARP 확인프로세스에대한자세한내용은 DLR ARP 확인프로세스를참조하십시오. 1 NSX Manager 셸에서 show cluster all을실행하여클러스터 ID를가져옵니다. 2 show cluster cluster-id를실행하여호스트 ID를가져옵니다. 3 show logical-router host hostid dlr all brief를실행하여 dlrid(vdr 이름 ) 를가져옵니다. VMware, Inc. 91

92 4 show logical-router host hostid dlr dlrid arp 를실행하여모든인터페이스에대한상태정보를 가져옵니다. nsxmgr# show logical-router host hostid dlr dlrid arp VDR default+edge-1: ARP Information : Legend: [S: Static], [V: Valid], [P: Proxy], [I: Interface] Legend: [N: Nascent], [L: Local], [D: Deleted] Network Mac Flags Expiry SrcPort Interface Refcnt :50:56:56:44:52 VI permanent 0 570d a :50:56:a6:7a:a2 VL d a :50:56:56:44:52 VI permanent 0 570d c :50:56:a6:ba:09 V d c :50:56:a6:84:52 VL d b :50:56:56:44:52 VI permanent 0 570d b :50:56:56:44:52 VI permanent 0 570d :50:56:8e:ee:ce V d 유의사항 : DLR의자체 LIF에대한모든 ARP 항목 ( I 플래그 ) 은동일하며 VXLAN 준비점검에언급된동일한 vmac을나타냅니다. L 플래그가있는 ARP 항목은 CLI 명령이실행된호스트에서실행되는 VM에해당합니다. SrcPort 는 ARP 항목이시작된 dvport ID를나타냅니다. ARP 항목이다른호스트에서시작된경우 dvuplink의 dvport ID가표시됩니다. 이 dvport ID는 VXLAN 준비점검에설명된 dvuplink dvport ID와상호참조될수있습니다. Nascent 플래그는일반적으로확인되지않습니다. DLR이 ARP 응답이도착되기를기다리는동안설정됩니다. 이플래그가설정된모든항목은 ARP 확인에문제가있음을나타낼수있습니다. 시각적으로나타낸 DLR 및관련호스트구성요소 다음다이어그램은 2 개의호스트즉 ESXi 호스트 A 와 ESXi 호스트 B 를나타냅니다. 여기서는예제 DLR 인스턴스 A 가구성되고 4 개의 VXLAN LIF 에연결되어있습니다. VMware, Inc. 92

93 그림 3 8. 단일 DLR 인스턴스가있는 2 개의호스트 /24 ESXi 호스트 A DLR 커널모듈 DLR 인스턴스 A /29 LIF A LIF D / /24 LIF B LIF C /24 ESXi 호스트 B DLR 커널모듈 DLR 인스턴스 A /29 LIF A LIF D / /24 LIF B LIF C vdrport VXLAN 5000 vdrport VXLAN 5000 VXLAN 5001 VXLAN 5001 VM 1.11:7A:A2 DVS VXLAN 5002 VXLAN /29 VM 2.11:84:52 VM 3.11:BA:09 :EE:CE 외부게이트웨이 VM DVS VXLAN 5002 VXLAN 5003 각호스트에는 L2 스위치 (DVS) 와 " 트렁크 " 인터페이스 (vdrport) 를통해해당 " 스위치 " 에연결된 스틱위의라우터 (DLR 커널모듈 ) 가있습니다. 이 트렁크 는 VLAN과 VXLAN을둘다전송할수있지만 vdrport를탐색하는패킷에 801.Q 또는 UDP/VXLAN 헤더가없습니다. 대신 DVS는내부메타데이터태그지정방법을사용하여해당정보를 DLR 커널모듈에전달합니다. DVS는 Destination MAC = vmac의프레임을만나면 DLR에대한것임을알고해당프레임을 vdrport로전달합니다. 패킷이 vdrport를통해 DLR 커널모듈에도착하면해당메타데이터가속하는 VXLAN VNI 또는 VLAN ID가확인됩니다. 그런후에이정보는패킷이속하는 DLR 인스턴스의 LIF를확인하는데사용됩니다. 이시스템의단점은둘이상의 DLR 인스턴스가지정된 VLAN 또는 VXLAN에연결될수없다는것입니다. 둘이상의 DLR 인스턴스가있으면위다이어그램은다음과같아집니다. VMware, Inc. 93

94 그림 개의 DLR 인스턴스가있는 2 개의호스트 ESXi 호스트 A DLR 커널모듈 DLR 인스턴스 A DLR 인스턴스 B ESXi 호스트 B DLR 커널모듈 DLR 인스턴스 A DLR 인스턴스 B IP A/vMAC LIF A IP B/vMAC LIF B IP C/vMAC LIF C IP D/vMAC LIF D IP A/vMAC LIF A IP B/vMAC LIF B IP C/vMAC LIF C IP D/vMAC LIF D vdrport VXLAN A vdrport VXLAN A VXLAN B VXLAN B VXLAN C VXLAN C VLAN D VLAN D DVS DVS VM 1 IP 1 MAC 1 VM 2 IP 2 MAC 2 VM 4 IP 4 MAC 4 VM 3 IP 3 MAC 3 VM 5 IP 5 MAC 5 이것은 2 개의독립적인라우팅도메인이서로완전하게분리되어작동하고 IP 주소가겹칠수있는네 트워크토폴로지에해당합니다. 그림 개의호스트및 2 개의 DLR 인스턴스가있는네트워크토폴로지 SVR 1 IP 1 MAC 1 SVR 3 IP 3 MAC 3 SVR 4 IP 4 MAC 4 서브넷 A IF A 서브넷 C IF C RTR A RTR B 서브넷 B IF B 서브넷 D IF D SVR 2 IP 2 MAC 2 SVR 5 IP 5 MAC 5 분산라우팅하위시스템아키텍처 ESXi 호스트의 DLR 인스턴스는 L3 라우팅을수행하는데필요한모든정보에액세스할수있어야합니다. 네트워크가직접연결됨 ( 인터페이스의구성에서학습 ) VMware, Inc. 94

95 각서브넷의다음홉 ( 라우팅테이블에서조회 ) 다음홉에도달하기위해송신프레임에삽입할 MAC 주소 (ARP 테이블 ) 이정보는여러 ESXi 호스트간에분산된인스턴스로전달됩니다. DLR 생성프로세스 다음다이어그램은 NSX 가새 DLR 을생성하기위해진행하는프로세스를자세히나타낸그림입니다. 그림 DLR 생성프로세스 ESXi 호스트 A ESXi 호스트 B 논리적라우터인스턴스 A 논리적라우터인스턴스 A 논리적라우터 A 장치 *LIF * 경로 *LIF * 경로 *LIF * 기본경로 (3) 새논리적라우터인스턴스 (2) 장치배포 (5) LIF 생성 (8) LIF 및경로 (7) 경로 (1) 논리적라우터생성 NSX Manager (4) 새논리적라우터인스턴스 논리적라우터인스턴스 A 마스터컨트롤러 * 논리적라우터 * 논리적라우터별구성 (6) LIF 생성 *LIF * 경로 UI 마법사가 완료 버튼으로제출되거나새 DLR 배포에대한 API 호출이수행되면시스템은다음단계를진행합니다. 1 NSX Manager는새 DLR을배포하기위한 API 호출을수신합니다 ( 직접또는 UI 마법사에의해호출된 vsphere Web Client를통해 ). 2 NSX Manager는연결된 vcenter Server를호출하여 DLR 제어 VM( 또는 HA가요청된경우한쌍 ) 을배포합니다. a b DLR 제어 VM이켜지고 NSX Manager에다시연결되어구성을수신할준비가완료됩니다. HA 쌍이배포된경우 NSX Manager는 HA 쌍을다른호스트에서계속실행하게하는반선호도규칙을구성합니다. 그러면 DRS는이들을분리하는작업을수행합니다. 3 NSX Manager 는호스트에서 DLR 인스턴스를생성합니다. a NSX Manager 는새 DLR 에연결될논리적스위치를조회하여논리적스위치가속할전송 영역을확인합니다. VMware, Inc. 95

96 b c 그런다음이전송영역에구성된클러스터목록을조회한후이러한클러스터의각호스트에새 DLR을생성합니다. 이때호스트는새 DLR ID만알고있으며해당정보 (LIF 또는경로 ) 는보유하고있지않습니다. 4 NSX Manager 는컨트롤러클러스터에새 DLR 인스턴스를생성합니다. a 컨트롤러클러스터는컨트롤러노드중하나를이 DLR 인스턴스의마스터로할당합니다. 5 NSX Manager 는 LIF 를포함하는구성을 DLR 제어 VM 으로전송합니다. a ESXi 호스트 (DLR 제어 VM 이실행되는호스트포함 ) 는컨트롤러클러스터에서조각화정보 를수신하고, 새 DLR 인스턴스를담당할컨트롤러노드를결정하고, 해당컨트롤러노드에연 결합니다 ( 기존연결이없는경우 ). 6 DLR 제어 VM에서 LIF가생성된후에 NSX Manager는컨트롤러클러스터에서새 DLR의 LIF 를생성합니다. 7 DLR 제어 VM은새 DLR 인스턴스의컨트롤러노드에연결한후해당컨트롤러노드에경로를전송합니다. a 먼저 DLR은라우팅테이블을전달테이블로변환합니다 (LIF의접두사로확인 ). b 그런다음 DLR은결과테이블을컨트롤러노드로전송합니다. 8 컨트롤러노드는 5.a 단계에서설정된연결을통해새 DLR 인스턴스가있는다른호스트로 LIF 및경로를푸시합니다. DLR에동적라우팅추가 DLR이 직접 API 호출을통해생성되면 (vsphere Web Client UI를사용하는경우와다름 ) 동적라우팅을포함하는완전한구성을제공할수있습니다 (1). VMware, Inc. 96

97 그림 DLR 의동적라우팅 ESXi 호스트 A ESXi 호스트 B DLR 인스턴스 A DLR 인스턴스 A DLR A Ctrl VM (3) 동적경로교환 *LIF * 경로 *LIF * 경로 *LIF * 기본경로 외부라우터 (2) 제어 VM 구성 (5) 경로 (4) 정적및학습된경로 (1) DLR 업데이트 NSX Manager DLR 인스턴스 A 마스터컨트롤러 *DLR *DLR 당구성 *LIF * 경로 1 NSX Manager는기존 DLR의구성을변경 ( 이경우동적라우팅추가 ) 하기위한 API 호출을수신합니다. 2 NSX Manager는 DLR 제어 VM으로새구성을보냅니다. 3 DLR 제어 VM은구성을적용하고, 라우팅인접성을설정하고, 라우팅정보를교환하는등의프로세스를진행합니다. 4 라우팅교환후에 DLR 제어 VM은전달테이블을계산한후 DLR의마스터컨트롤러노드로전송합니다. 5 DLR의마스터컨트롤러노드는업데이트된경로를 DLR 인스턴스가있는 ESXi 호스트로분산합니다. DLR 제어 VM이실행되는 ESXi 호스트의 DLR 인스턴스는 LIF를수신하고, DLR 제어 VM 또는 NSX Manager로부터직접라우팅되지않고 DLR의마스터컨트롤러노드로부터만라우팅됩니다. DLR 제어부및관리부구성요소및통신이섹션에서는 DLR 제어부및관리부의구성요소에대해간단히설명합니다. 그림에서는구성요소와해당구성요소간의통신채널을보여줍니다. VMware, Inc. 97

98 그림 DLR 제어부및관리부구성요소 NSX Manager DLR 인스턴스 A 마스터컨트롤러 REST/SSL RMQ/SSL TCP/SSL 소켓 VMCI VMKLINK UDP/6999 ESXi 호스트 A ESXi 호스트 B vsfwd vsfwd netcpa netcpa DLR A Ctrl VM DLR 커널모듈 DLR A DI DLR 커널모듈 DLR A NSX Manager: 컨트롤러클러스터와직접통신이설정되어있습니다. NSX용으로준비된각호스트에서실행되는메시지버스클라이언트 (vsfwd) 프로세스와의직접영구연결이설정되어있습니다. 각 DLR 인스턴스에대해하나의컨트롤러노드 ( 사용가능한 3개중하나 ) 가마스터로선택됩니다. 마스터기능은원래컨트롤러노드에장애가발생할경우다른컨트롤러노드로이동될수있습니다. 각 ESXi 호스트에서 2개의 UWA(User World Agents), 즉메시지버스클라이언트 (vsfwd) 와제어부에이전트 (netcpa) 를실행합니다. netcpa가작동하려면 NSX Manager의정보가필요합니다 ( 예 : 컨트롤러를찾는위치, 컨트롤러인증방법 ). 이정보는 vsfwd에서제공하는메시지버스연결을통해액세스할수있습니다. 또한 netcpa는 DLR 커널모듈과통신하여컨트롤러에서받은관련정보로프로그래밍합니다. 각 DLR 인스턴스에대해 ESXi 호스트중하나에서실행되는 DLR 제어 VM이있습니다. DLR 제어 VM에는다음과같은 2개의통신채널이있습니다. vsfwd를통한 VMCI 채널과 NSX Manager 연결은제어 VM을구성하는데사용됩니다. netcpa를통한 VMCI 채널과 DLR 마스터컨트롤러간연결은 DLR의라우팅테이블을컨트롤러로전송하는데사용됩니다. VMware, Inc. 98

99 DLR 에 VLAN LIF 가있는경우포함되는 ESXi 호스트중하나가컨트롤러에의해 DI( 지정된인 스턴스 ) 로지명됩니다. 다른 ESXi 호스트의 DLR 커널모듈은 DI 가연결된 VLAN 에대해프록시 ARP 쿼리를수행하도록요청합니다. NSX 라우팅하위시스템구성요소 NSX 라우팅하위시스템은여러구성요소에의해사용되도록설정됩니다. NSX Manager 컨트롤러클러스터 ESXi 호스트모듈 ( 커널및 UWA) DLR 제어 VM ESG NSX Manager NSX Manager는 NSX 라우팅과관련해서다음기능을제공합니다. 중앙집중관리부로작동하여모든 NSX 관리작업을위한통합 API 액세스지점을제공합니다. 호스트에분산라우팅커널모듈및 User World Agent를설치하여 NSX 작동준비를진행합니다. DLR 및 DLR LIF를생성 / 소멸시킵니다. vcenter를통해 DLR 제어 VM 및 ESG를배포 / 삭제합니다. REST API를통해컨트롤러클러스터를구성하고메시지버스를통해호스트를구성합니다. 호스트제어부에이전트에컨트롤러의 IP 주소를제공합니다. 인증서를생성한후호스트및컨트롤러에배포하여제어부통신의보안을유지합니다. 메시지버스를통해 ESG 및 DLR 제어 VM을구성합니다. ESG를준비되지않은호스트에배포할수있습니다. 이경우 VIX가메시지버스대신사용됩니다. 컨트롤러클러스터 NSX 분산라우팅에는확장및가용성을위해클러스터링된컨트롤러가필요합니다. 이러한컨트롤러는다음기능을제공합니다. VXLAN 및분산라우팅제어부를지원합니다. 통계및런타임상태에대한 CLI 인터페이스를제공합니다. 각 DLR 인스턴스에대한마스터컨트롤러노드를선택합니다. 마스터노드는 DLR 제어 VM에서라우팅정보를수신한후호스트에배포합니다. 호스트에 LIF 테이블을전송합니다. DLR 제어 VM이위치하는호스트를추적합니다. VMware, Inc. 99

100 VLAN LIF에대해지정된인스턴스를선택하고이정보를호스트에전달합니다. 제어부 KeepAlive를통해 DI 호스트를모니터링합니다 ( 시간초과는 30초, 감지시간은 20~40초일수있음 ). 그리고선택한 DI 호스트가사라질경우호스트에업데이트내용을전송합니다. ESXi 호스트모듈 NSX 라우팅은 2개의 UWA(User World Agent) 와라우팅커널모듈을직접활용하고 VXLAN 커널모듈을통해 VXLAN에연결합니다. 다음은이러한각구성요소가수행하는작업에대한요약입니다. 제어부에이전트 (netcpa) 는제어부프로토콜을사용하여컨트롤러와통신하는 TCP(SSL) 클라이언트입니다. 여러컨트롤러에연결될수있습니다. netcpa는메시지버스클라이언트 (vsfwd) 와통신하여 NSX Manager에서제어부관련정보를검색합니다. netcpa 패키징및배포 : 에이전트는 VXLAN VIB(vSphere 설치번들 ) 에패키징됩니다. 호스트준비동안 EAM(ESX Agency Manager) 을통해 NSX Manager에의해설치됩니다. ESXi netcpa에대한서비스데몬으로실행됩니다. 시작스크립트 /etc/init.d/netcpad를통해시작 / 중지 / 쿼리될수있습니다. 개별호스트또는전체클러스터의 [ 네트워킹및보안 UI 설치 ] -> [ 호스트준비 ] -> [ 설치상태 ] 를통해원격으로다시시작할수있습니다. DLR 커널모듈 (vdrb) 은 L3 전달을사용하기위해 DVS와통합됩니다. netcpa에의해구성됩니다. VXLAN VIB 배포의일부로설치됩니다. VLAN 및 VXLAN을둘다지원하는 vdrport" 라는특수트렁크를통해 DVS에연결됩니다. DLR 인스턴스에대한정보를인스턴스별로포함합니다. LIF 및경로테이블 host-local ARP 캐시 메시지버스클라이언트 (vsfwd) 는 netcpa, ESG 및 DLR 제어 VM에서 NSX Manager와통신하는데사용됩니다. vsfwd는 vcenter가 vpxa/hosd를통해설정한 /UserVars/RmqIpAddress에서 NSX Manager의 IP 주소를가져오고다른 /UserVars/Rmq* 변수에저장된호스트별자격증명을사용하여메시지버스서버에로그인합니다. ESXi 호스트에서실행되는 netcpa는 vsfwd를활용하여다음을수행합니다. NSX Manager에서호스트의제어부 SSL 개인키및인증서를가져옵니다. 이러한항목은 /etc/vmware/ssl/rui-for-netcpa에저장됩니다.* NSX Manager에서컨트롤러의 IP 주소및 SSL 지문을가져옵니다. 이러한항목은 /etc/vmware/netcpa/config-by-vsm.xml에저장됩니다. VMware, Inc. 100

101 NSX Manager의지침에따라해당호스트에서 DLR 인스턴스를만들고삭제합니다. 패키징및배포 netcpa와같이 VXLAN VIB의일부입니다. ESXi vsfwd에대한서비스데몬으로실행됩니다. 시작스크립트 /etc/init.d/ vshield-stateful-firewall을통해시작 / 중지 / 쿼리될수있습니다. ESG 및 DLR 제어 VM은 vsfwd에대한 VMCI 채널을사용하여 NSX Manager에서구성을수신합니다. DLR 제어 VM 및 ESG DLR 제어 VM은 DLR 인스턴스에대한 경로프로세서 입니다. 각 DLR LIF에대한 위치지정자 또는 실제 vnic 인터페이스와 IP 구성을포함합니다. 사용가능한두동적라우팅프로토콜 (BGP 또는 OSPF) 중하나를실행하거나정적경로를사용할수있습니다. OSPF 또는 BGP를실행하기위해하나이상의 " 업링크 " LIF가필요합니다. 직접연결된 (LIF) 서브넷, 정적및동적경로에서전달테이블을계산한후 netcpa에대한 VMCI 링크를통해 DLR 인스턴스의마스터컨트롤러로보냅니다. 활성 / 대기 VM 쌍구성에서 HA를지원합니다. ESG는 VM의자체포함라우터입니다. NSX DLR 라우팅하위시스템에서완전히독립됩니다 (NSX 제어부통합없음 ). 일반적으로하나이상의 DLR에대한업스트림게이트웨이로사용됩니다. 동시에실행되는둘이상의동적라우팅프로토콜을지원합니다. NSX 라우팅제어부 CLI 호스트구성요소외에 NSX 라우팅은 DLR 제어부의정보출처이며검사를위한자체 CLI 가있는컨 트롤러클러스터및 DLR 제어 VM 의서비스를사용합니다. DLR 인스턴스마스터컨트롤러 각 DLR 인스턴스는컨트롤러노드중하나에서제공됩니다. 다음 CLI 명령을사용하여이컨트롤러 노드가마스터로작용하는 DLR 인스턴스에대해제공하는정보를볼수있습니다. nsx-controller # show control-cluster logical-routers instance LR-Id LR-Name Hosts[] Edge-Connection Service-Controller default+edge VMware, Inc. 101

102 nsx-controller # show control-cluster logical-routers interface-summary Interface Type Id IP[] 570d vxlan /29 570d b vxlan /24 570d c vxlan /24 570d a vxlan /24 nsx-controller # show control-cluster logical-routers routes LR-Id Destination Next-Hop / show control-cluster logical-routers 명령의 instance 하위명령은이 DLR 인스턴스에대해이컨트롤러에연결된호스트목록을표시합니다. 올바르게작동하는환경에서이목록에는 DLR이존재하는모든클러스터의모든호스트가포함됩니다. interface-summary 를실행하면컨트롤러가 NSX Manager에서확인한 LIF가표시됩니다. 이정보는호스트로전송됩니다. routes 를실행하면이 DLR 제어 VM에서이컨트롤러로보낸라우팅테이블이표시됩니다. ESXi 호스트에서와달리이테이블에는직접연결된서브넷은포함되지않습니다. 이정보는 LIF 구성에서제공하기때문입니다. DLR 제어 VM DLR 제어 VM 에는 LIF 및라우팅 / 전달테이블이있습니다. DLR 제어 VM 수명주기의주요출력은 인터페이스및경로로이루어진 DLR 라우팅테이블입니다. edge-1-0> show ip route Codes: O - OSPF derived, i - IS-IS derived, B - BGP derived, C - connected, S - static, L1 - IS-IS level-1, L2 - IS-IS level-2, IA - OSPF inter area, E1 - OSPF external type 1, E2 - OSPF external type 2 Total number of routes: 5 S /0 [1/1] via C /24 [0/0] via C /24 [0/0] via C /24 [0/0] via C /29 [0/0] via edge-1-0> show ip forwarding Codes: C - connected, R - remote, > - selected route, * - FIB route R>* /0 via , vnic_2 VMware, Inc. 102

103 C>* /24 is directly connected, VDR C>* /24 is directly connected, VDR C>* /24 is directly connected, VDR C>* /29 is directly connected, vnic_2 전달테이블은지정된대상서브넷에대한송신으로선택된 DLR 인터페이스를표시하는데사용됩니다. VDR 인터페이스는 내부 유형의모든 LIF에대해표시됩니다. VDR 인터페이스는 vnic에해당되지않는유사인터페이스입니다. DLR 제어 VM의인터페이스는다음과같이표시될수있습니다. edge-1-0> show interface Interface VDR is up, line protocol is up index 2 metric 1 mtu 1500 <UP,BROADCAST,RUNNING,NOARP> HWaddr: be:3d:a1:52:90:f4 inet6 fe80::bc3d:a1ff:fe52:90f4/64 inet /24 inet /24 inet /24 proxy_arp: disabled Auto-duplex (Full), Auto-speed (2460Mb/s) input packets 0, bytes 0, dropped 0, multicast packets 0 input errors 0, length 0, overrun 0, CRC 0, frame 0, fifo 0, missed 0 output packets 0, bytes 0, dropped 0 output errors 0, aborted 0, carrier 0, fifo 0, heartbeat 0, window 0 collisions 0 Interface vnic_0 is up, line protocol is up index 3 metric 1 mtu 1500 <UP,BROADCAST,RUNNING,MULTICAST> HWaddr: 00:50:56:8e:1c:fb inet6 fe80::250:56ff:fe8e:1cfb/64 inet /30 inet /24 proxy_arp: disabled Auto-duplex (Full), Auto-speed (2460Mb/s) input packets , bytes , dropped 49, multicast packets 0 input errors 0, length 0, overrun 0, CRC 0, frame 0, fifo 0, missed 0 output packets , bytes , dropped 0 output errors 0, aborted 0, carrier 0, fifo 0, heartbeat 0, window 0 collisions 0 Interface vnic_2 is up, line protocol is up index 9 metric 1 mtu 1500 <UP,BROADCAST,RUNNING,MULTICAST> HWaddr: 00:50:56:8e:ae:08 inet /29 inet6 fe80::250:56ff:fe8e:ae08/64 proxy_arp: disabled Auto-duplex (Full), Auto-speed (2460Mb/s) input packets , bytes , dropped 0, multicast packets VMware, Inc. 103

104 input errors 0, length 0, overrun 0, CRC 0, frame 0, fifo 0, missed 0 output packets , bytes , dropped 0 output errors 0, aborted 0, carrier 0, fifo 0, heartbeat 0, window 0 collisions 0 주요참고 : 인터페이스 VDR 에는연결된 vnic(vm NIC) 가없습니다. 모든 DLR의 내부 LIF에대한모든 IP 주소로구성된단일 유사인터페이스 입니다. 이예에서인터페이스 vnic_0은 HA 인터페이스입니다. 위출력은 HA가설정된상태로배포된 DLR에서가져온것이며 HA 인터페이스에는 IP 주소가할당되어있습니다. 이것은 2개의 IP 주소, 즉 /30(HA에대해자동으로할당됨 ) 및 /24(HA 인터페이스에수동으로할당됨 ) 로나타납니다. ESG에서작업자는수동으로해당 vnic 중하나를 HA로할당하거나, 시스템이사용가능한 " 내부 " 인터페이스중에서자동으로선택할수있게기본값상태로둘수있습니다. 내부 유형을반드시지정해야합니다. 그러지않으면 HA가실패합니다. 인터페이스 vnic_2는업링크유형이므로 실제 vnic로표시됩니다. 이인터페이스에표시된 IP 주소는 DLR의 LIF와같지만 DLR 제어 VM은 LIF IP 주소에대한 ARP 쿼리에답변하지않습니다 ( 이경우 /29). 이를가능하게하는이 vnic의 MAC 주소에적용된 ARP 필터가있습니다. 동적라우팅프로토콜이 DLR에대해구성되고, IP 주소가 ARP 필터에따라제거된후, 동적라우팅프로토콜구성동안지정된 프로토콜 IP 주소로대체될때까지위의사항이적용됩니다. 이 vnic는 DLR 제어 VM에서실행되는동적라우팅프로토콜이경로를알리고확인하기위해다른라우터와통신하는데사용됩니다. Edge의연결이끊기고 HA 페일오버가수행된후, 연결이끊긴 Edge 인터페이스 IP 주소가활성 Edge RIB( 라우팅정보기반 )/FIB( 전달정보기반 ) 에서제거됩니다. 하지만대기 Edge FIB 테이블또는 show ip forwarding 명령은해당 IP를계속표시하며 IP는 FIB 테이블에서제거되지않습니다. 이는예상된동작입니다. NSX 라우팅하위시스템실패모드및결과 이장에서는 NSX 라우팅하위시스템의구성요소에영향을미칠수있는일반적인실패시나리오를 검토하고이러한실패의결과를대략적으로설명합니다. VMware, Inc. 104

105 NSX Manager 표 3 2. NSX Manager 실패모드및결과 실패모드 실패결과 NSX Manager VM에대한네트워크연결해제 모든 NSX Manager 기능 (NSX 라우팅 / 브리징의 CRUD 포함 ) 완전중단 구성데이터손실없음 데이터또는제어부중단없음 NSX Manager 와 ESXi 호스트간네트워크연결해제또 는 RabbitMQ 서버가실패합니다. 영향받는호스트에서 DLR 제어 VM 또는 ESG가실행되고있는경우해당 CRUD 작업이실패합니다. 영향받는호스트의 DLR 인스턴스생성및삭제가실패합니다. 구성데이터손실없음 데이터또는제어부중단없음 동적라우팅업데이트는계속작동합니다. NSX Manager 및컨트롤러간네트워크연결해제 NSX 분산라우팅및브리징에대한생성, 업데이트및삭제작업이실패합니다. 구성데이터손실없음 데이터또는제어부중단없음 NSX Manager VM이소멸됩니다 ( 데이터스토어실패 ). 모든 NSX Manager 기능 (NSX 라우팅 / 브리징의 CRUD 포함 ) 완전중단 NSX Manager가이전구성으로복원되는경우라우팅 / 브리징인스턴스의일부가분리될수있으며수동정리및조정이필요합니다. 조정이필요하지않는한데이터또는제어부는중단되지않습니다. 컨트롤러클러스터 표 3 3. NSX Controller 실패모드및결과 실패모드 컨트롤러클러스터와 ESXi 호스트간네트워크연결이끊어 집니다. 실패결과 DLR 제어부기능 ( 동적인경우를포함하여경로생성, 업데이트및삭제 ) 완전중단 DLR 관리부기능 ( 호스트의 LIF 생성, 업데이트및삭제 ) 중단 VXLAN 전달에영향을미쳐종단간 (L2+L3) 전달프로세스도실패할수있습니다. 데이터부는마지막으로알려진상태를기준으로계속작동합니다. 하나이상의컨트롤러와 ESXi 호스트간연결이끊어집니다. 영향받은컨트롤러가클러스터의다른컨트롤러에여전히연결할수있으면이컨트롤러가통제하는모든 DLR 인스턴스에는위에설명된것과동일한결과가나타납니다. 다른컨트롤러가자동으로인계받지않습니다. VMware, Inc. 105

106 표 3 3. NSX Controller 실패모드및결과 ( 계속 ) 실패모드 한컨트롤러와다른컨트롤러간의네트워크연결이끊어집니 다 ( 또는완전히 ). 실패결과 나머지두컨트롤러가격리된컨트롤러에서처리하던 VXLAN 및 DLR을인계받습니다. 영향받는컨트롤러는읽기전용모드로전환되고, 호스트와의세션을삭제하고, 새세션을거부합니다. 컨트롤러간연결이끊어집니다. 모든컨트롤러가읽기전용모드로전환되고, 호스트와의연결이끊어지고, 새연결을거부합니다. 모든 DLR LIF 및경로 ( 동적포함 ) 에대한생성, 업데이트및삭제작업이실패합니다. NSX Manager와컨트롤러클러스터간에동기화되지않아 NSX 라우팅구성 (LIF) 을수동으로다시동기화해야할수있습니다. 호스트는마지막에알려진제어부상태에서계속작동합니다. 하나의컨트롤러 VM이유실됩니다. 컨트롤러클러스터가중복성을유실합니다. 관리 / 제어부는평소처럼계속작동합니다. 두컨트롤러 VM이유실됩니다. 나머지컨트롤러는읽기전용모드로전환되고, 컨트롤러간연결이끊어진경우 ( 위참조 ) 와동일한영향을미칩니다. 수동클러스터복구가필요할수있습니다. 호스트모듈 netcpa는컨트롤러와의보안통신을설정하기위해호스트 SSL 키및인증서와 SSL 지문을사용합니다. 이러한항목은메시지버스를통해 NSX Manager에서가져옵니다 (vsfwd에의해제공됨 ). 인증서교환프로세스가실패하면 netcpa는컨트롤러에제대로연결하지못할수있습니다. 참고 : 이섹션에서는커널모듈이실패하는경우에대해서는다루지않습니다. 그결과가심각하고 (PSOD) 드물게발생하기때문입니다. 표 3 4. 호스트모듈실패모드및결과 실패모드 vsfwd 는사용자이름 / 암호인증을사용하여메시지버스서 버에액세스하며, 이러한인증은만료될수있습니다. 실패결과 새로준비한 ESXi 호스트의 vsfwd가 2시간이내에 NSX Manager에연결할수없으면설치중에제공된임시로그인 / 암호가만료되고이호스트의메시지버스가작동되지않게됩니다. 메시지버스클라이언트 (vsfwd) 의실패결과는타이밍에따라다릅니다. VMware, Inc. 106

107 표 3 4. 호스트모듈실패모드및결과 ( 계속 ) 실패모드 NSX 제어부의다른부분이안정적인실행상태에도달할수 있게되기전에실패하는경우 실패결과 호스트가컨트롤러와통신할수없기때문에호스트의분산라우팅이작동을중지합니다. 호스트가 NSX Manager에서 DLR 인스턴스를확인하지않습니다. 호스트가안정적인상태에도달한후에실패하는경우 호스트에서실행되는 ESG 및 DLR 제어 VM이구성업데이트를수신할수없게됩니다. 호스트가새 DLR을확인하지않아기존 DLR을삭제할수없습니다. 호스트데이터경로는실패시에호스트에지정되었던구성을기준으로계속작동합니다. 표 3 5. netcpa 실패모드및결과 실패모드 실패결과 제어부에이전트 (netcpa) 의실패결과는타이밍에따라다릅니다. NSX 데이터경로커널모듈이안정적인실행상태에도달할 수있게되기전에실패하는경우 호스트의분산라우팅이작동을중지합니다. 호스트가안정적인상태에도달한후에실패하는경우 호스트에서실행되는 DLR 제어 VM이전달테이블업데이트를컨트롤러에전송할수없게됩니다. 분산라우팅데이터경로는컨트롤러에서 LIF 또는경로업데이트를수신하지않지만실패이전상태를기준으로계속작동합니다. DLR 제어 VM 표 3 6. DLR 제어 VM 실패모드및결과 실패모드 실패결과 DLR 제어 VM이유실되거나전원이꺼졌습니다. 이 DLR LIF 및경로에대한생성, 업데이트및삭제작업이실패합니다. 동적경로업데이트가호스트로전송되지않습니다 ( 현재끊어진인접성을통해수신된접두사의철회포함 ). DLR 제어 VM 과 NSX Manager 및컨트롤러와의연결이 끊어집니다. DLR 제어 VM 및해당라우팅인접성이여전히작동되 는경우를제외하고이전에확인된접두사와의트래픽은 영향을받지않으며동일한결과가나타납니다. DLR 제어 VM과 NSX Manager과의연결이끊어집니다. 이 DLR의 LIF 및경로에대한 NSX Manager의생성, 업데이트및삭제작업이실패하고다시시도되지않습니다. 동적라우팅업데이트가계속전파됩니다. DLR 제어 VM과컨트롤러와의연결이끊어집니다. 이 DLR에대한라우팅변경내용 ( 정적또는동적 ) 이호스트로전파되지않습니다. VMware, Inc. 107

108 라우팅관련 NSX 로그 모범사례는로그를중앙수집기로보내도록 NSX의모든구성요소를구성하는것입니다. 그러면중앙수집기에서이러한구성요소가검사될수있습니다. 필요한경우 NSX 구성요소의로그수준을변경할수있습니다. 자세한내용은 NSX 로깅및시스템이벤트에서 "NSX 구성요소의로깅수준설정 " 항목을참조하십시오. NSX Manager 로그 NSX Manager CLI에서 show log NSX Manager UI를통해수집된기술지원로그번들 NSX Manager 로그에는 CRUD( 생성, 읽기, 업데이트및삭제 ) 작업을포함하는관리부관련정보가포함됩니다. 컨트롤러로그컨트롤러에는여러모듈이포함되어있으며많은경우에자체로그파일이있습니다. 컨트롤러로그는 show log <log file> [ filtered-by <string> ] 명령을사용하여액세스할수있습니다. 라우팅과관련된로그파일은다음과같습니다. cloudnet/cloudnet_java-vnet-controller.<start-time-stamp>.log: 이로그는구성및내부 API 서버를관리합니다. cloudnet/cloudnet.nsx-controller.log: 컨트롤러주프로세스로그입니다. cloudnet/cloudnet_cpp.log.nsx-controller.log: 이로그는클러스터링및부트스트랩을관리합니다. cloudnet/cloudnet_cpp.log.error: 이파일은오류가발생하는경우에생깁니다. 컨트롤러로그는상세로그로대부분의경우 VMware 고객지원서비스에서문제를해결하는데만필요합니다. show log CLI 외에 watch log <logfile> [ filtered-by <string> ] 명령을사용하여개별로그파일이업데이트될때실시간으로로그파일을확인할수있습니다. 로그는 NSX UI에서컨트롤러노드를선택하고기술지원로그다운로드 (Download tech support logs) 아이콘을클릭하여생성및다운로드할수있는컨트롤러지원번들에포함되어있습니다. VMware, Inc. 108

109 ESXi 호스트로그 ESXi 호스트에서실행되는 NSX 구성요소는다음과같은몇가지로그파일을작성합니다. VMkernel 로그 : /var/log/vmkernel.log 제어부에이전트로그 : /var/log/netcpa.log 메시지버스클라이언트로그 : /var/log/vsfwd.log 또한 vcenter Server에서생성된 VM 지원번들의일부로로그를수집할수도있습니다. 로그파일은루트권한이있는사용자또는사용자그룹에서만액세스할수있습니다. ESG/DLR 제어 VM 로그 ESG 및 DLR 제어 VM의로그파일에액세스하는방법에는두가지가있습니다. 하나는 CLI를사용하여표시하는것이고다른하나는 CLI 또는 UI를사용하여기술지원번들을다운로드하는것입니다. 로그를표시하기위한 CLI 명령은 show log [ follow reverse ] 입니다. 기술지원번들을다운로드하려면 : CLI에서 enable 모드를입력하고 export tech-support <[ scp ftp ]> <URI> 명령을실행합니다. vsphere Web Client에서네트워킹및보안 (Networking & Security) > NSX Edge(NSX Edges) 로이동합니다. Edge를선택하고작업 (Actions) > 기술지원로그다운로드 (Download Tech Support Logs) 를클릭합니다. 기타유용한파일및해당위치엄격히말해서로그는아니지만 NSX 라우팅을이해하고관련문제를해결하는데도움이될수있는일부파일이있습니다. 제어부에이전트구성 (/etc/vmware/netcpa/config-by-vsm.xml) 에는다음구성요소에대한정보가포함되어있습니다. 컨트롤러 IP 주소, TCP 포트, 인증서지문, SSL 사용 / 사용안함 VXLAN을사용하여 DVS가사용되도록설정된 dvuplink( 팀구성정책, 이름, UUID) 호스트가알고있는 DLR 인스턴스 (DLR ID, 이름 ) 제어부에이전트구성 (/etc/vmware/netcpa/netcpa.xml) 에는로깅수준 ( 기본적으로정보 (info)) 을비롯하여 netcpa에대한다양한구성옵션이포함되어있습니다. 제어부인증서파일 : /etc/vmware/ssl/rui-for-netcpa.* 2개의파일 : 호스트인증서및호스트개인키 컨트롤러에대한호스트연결을인증하는데사용이러한모든파일은 vsfwd에서제공하는메시지버스연결을통해 NSX Manager에서수신된정보를사용하여제어부에이전트에서만듭니다. VMware, Inc. 109

110 일반실패시나리오및수정사항 가장일반적인실패시나리오는두범주로나뉩니다. 즉구성및제어부문제입니다. 관리부문제도발생하기는하지만일반적이지않습니다. 구성문제및수정사항 일반구성문제및해당결과는표 3 7 에설명되어있습니다. 표 3 7. 일반구성문제및결과 문제프로토콜및전달 IP 주소가동적라우팅에대해뒤바뀜전송영역이 DVS 경계에맞춰조정되지않음동적라우팅프로토콜구성불일치 ( 타이머, MTU, BGP ASN, 암호, 인터페이스-OSPF 영역매핑 ) DLR HA 인터페이스에 IP 주소가할당되고연결된경로의재분산이사용되도록설정됨 결과동적프로토콜인접성이발생하지않음분산라우팅이 ESXi 호스트일부에서작동하지않음 ( 전송영역에서누락된호스트 ) 동적프로토콜인접성이발생하지않음 DLR 제어 VM이 HA 인터페이스서브넷의트래픽을끌어온후해당트래픽을흡수함 이러한문제를해결하려면구성을검토하고필요한경우수정하십시오. 필요한경우 debug ip ospf 또는 debug ip bgp CLI 명령을사용하고 DLR 제어 VM 또는 ESG 콘솔 (SSH 세션아님 ) 의로그를확인하여프로토콜구성문제가있는지감지합니다. 제어부문제및수정사항확인되는제어부문제는다음문제로인해발생하는경우가많습니다. 호스트제어부에이전트 (netcpa) 가 vsfwd에서제공하는메시지버스채널을통해 NSX Manager에연결할수없음 컨트롤러클러스터에서 DLR/VXLAN 인스턴스에대한마스터역할처리를수행하는데문제가있음마스터역할처리와관련된컨트롤러클러스터문제는종종 NSX Controller 중하나를다시시작하여해결할수있습니다 ( 컨트롤러의 CLI에서 restart controller). 제어부문제해결에대한자세한내용은장8NSX Controller 문제해결을참조하십시오. 문제해결데이터수집 이섹션에서는 NSX 라우팅문제해결에일반적으로사용되는 CLI 명령을요약해서설명합니다. NSX Manager NSX 6.2부터 NSX 라우팅문제해결을위해 NSX Controller 및기타 NSX 구성요소에서실행되던명령이 NSX Manager에서직접실행됩니다. DLR 인스턴스목록 VMware, Inc. 110

111 각 DLR 인스턴스에대한 LIF 목록 각 DLR 인스턴스에대한경로목록 각 DLR 브리징인스턴스에대한 MAC 주소목록 인터페이스 라우팅및전달테이블 동적라우팅프로토콜상태 (OSPF 또는 BGP) NSX Manager에서 DLR 제어 VM 또는 ESG로전송하는구성 DLR 제어 VM 및 ESG DLR 제어 VM 및 ESG는해당인터페이스에서패킷을캡처하기위한기능을제공합니다. 패킷캡처는라우팅프로토콜문제해결에도움이될수있습니다. 1 show interfaces를실행하여인터페이스이름을나열합니다. 2 debug packet [ display capture ] interface <interface name> 을실행합니다. 캡처를사용하는경우패킷이.pcap 파일에저장됩니다. 3 debug show files를실행하여저장된캡처파일을나열합니다. 4 debug copy [ scp ftp ]... 를실행하여오프라인분석을위해캡처를다운로드합니다. dlr-01-0> debug packet capture interface vnic_2 tcpdump: listening on vnic_2, link-type EN10MB (Ethernet), capture size bytes 43 packets captured 48 packets received by filter 0 packets dropped by kernel dlr-01-0> debug show files total 4.0K -rw K Mar 30 23:49 tcpdump_vnic_2.0 dlr-01-0> debug copy scp use scp to copy ftp use ftp to copy dlr-01-0> debug copy scp URL user@<remote-host>:<path-to> debug packet 명령은백그라운드에서 tcpdump 를사용하고 UNIX 의 tcpdump 필터링수정자같은 형식의필터링수정자를수락할수있습니다. 필터표현식의공백을밑줄 ("_") 로바꾸어야하는지만고 려하면됩니다. VMware, Inc. 111

112 예를들어다음명령은대화형세션자체에속하는트래픽을검토하지않기위해 SSH 를제외하고 vnic_0 을통과하는모든트래픽을표시합니다. plr-02-0> debug packet display interface vnic_0 port_not_22 tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on vnic_0, link-type EN10MB (Ethernet), capture size bytes 04:10: IP > : Flags [P.], seq : , ack , win 913, length 19: BGP, length: 19 04:10: IP > : Flags [.], ack 19, win 2623, length 0 04:10: IP > : Flags [P.], seq 1:20, ack 19, win 2623, length 19: BGP, length: 19 04:10: IP > : Flags [.], ack 20, win 913, length 0 04:10: IP > : Flags [P.], seq 19:38, ack 20, win 913, length 19: BGP, length: 19 ESXi 호스트호스트는 NSX 라우팅과긴밀히연결되어있습니다. 그림3 14에서는라우팅하위시스템에포함되는구성요소와관련정보를표시하는데사용되는 NSX Manager CLI 명령을시각적으로보여줍니다. 그림 NSX 라우팅문제해결과관련된호스트구성요소 show logical-router host 호스트 ID dlr all verbose show logical-router host 호스트 ID connection ESXi 호스트 A 논리적라우터커널모듈 논리적라우터인스턴스 A "(default+edge-1) / / /24 LIF..0a LIF..0b LIF..0c..657 VM 1.11:7A:A2 vdrport..656 DVS(Compute_VDS)..658 VM 2.11:84:52 vmac: 02:50:56:56:44:52 pmac: xx:xx:xx xx:xx:xx 경로테이블 ARP 캐시 /29 LIF..0d VXLAN 5000 VXLAN 5001 VXLAN 5002 VXLAN 5003 show logical-router host 호스트 ID connection show logical-router host 호스트 ID dlr DLR ID route show logical-router host 호스트 ID dlr DLR ID arp show logical-router host 호스트 ID dlr DLR ID verbose show logical-router host 호스트 ID dlr DLR ID interface 인터페이스 ID verbose show logical-switch host 호스트 ID verbose 데이터경로에캡처된패킷은패킷전달의다양한단계에서발생하는문제를식별하는데도움이될수 있습니다. 그림 3 15 에서는사용할주요캡처지점및각 CLI 명령에대해설명합니다. VMware, Inc. 112

113 그림 캡처지점및관련 CLI 명령 ESXi 호스트 A DLR 커널모듈 DLR 인스턴스 A LIF A LIF B vdrport VXLAN A VXLAN B DLR 트래픽 : DLR 에서나오기 : pktcap-uw --switchport dir=0 DLR 로들어가기 : pktcap-uw --switchport dir=1 dvport DVS(Compute_VDS) dvuplink DFW(2) SwSec(1) DLR dvfilters VXLAN IOChain pnic 캡슐화되지않은업링크트래픽 : DVS-> 업링크 : pktcap-uw --uplink vmnic0 --dir=1 --stage=0 업링크 ->DVS: pktcap-uw --uplink vmnic0 --dir=0 --stage=1 VXLAN 에캡슐화된트래픽 : 호스트에서나오기 : pktcap-uw --uplink vmnic0 --dir=1 --stage=1 호스트로들어가기 : pktcap-uw --uplink vmnic0 --dir=0 --stage=0 VM 트래픽 : VM 에서나오기 : pktcap-uw --switchport dir=0 VM 으로들어가기 : pktcap-uw --switchport dir=1 VMware, Inc. 113

114 NSX Edge 문제해결 4 이항목에서는 NSX Edge를이해하고문제를해결하기위한정보를제공합니다. NSX Edge 장치문제를해결하려면아래의각문제해결단계가작업환경에맞는지확인하십시오. 각단계에서는가능한원인을해결하고필요한경우수정조치를취하기위한지침또는문서에대한링크를제공합니다. 이러한단계는문제를분리하고적절한해결책을찾아내는데가장적합한순서대로진행됩니다. 단계를건너뛰지마십시오. 현재릴리스의릴리스정보를확인하여문제가해결되었는지알아봅니다. NSX Edge를설치할때최소시스템요구사항이충족되었는지확인합니다. NSX 설치가이드를참조하십시오. 설치및업그레이드문제 발생하는문제가 "Would Block( 차단 )" 문제와관련되지않았는지확인합니다. 자세한내용은 항목을참조하십시오. 업그레이드또는재배포가성공적으로수행되었으나 Edge 인터페이스에연결되지않으면백엔드계층 2 스위치의연결을확인하십시오. Edge 배포또는업그레이드가오류를발생하며실패하는경우 : /sbin/ifconfig vnic_1 up failed : SIOCSIFFLAGS: Invalid argument 또는 배포또는업그레이드가성공적으로수행되었으나 Edge 인터페이스에연결되지않는경우 : show interface 명령과 Edge 지원로그를실행하면다음과비슷한항목이표시됩니다. vnic_0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN qlen 1000 link/ether 00:50:56:32:05:03 brd ff:ff:ff:ff:ff:ff inet /23 scope global vnic_0 inet6 fe80::250:56ff:fe32:503/64 scope link tentative dadfailed valid_lft forever preferred_lft forever 두경우모두호스트스위치가준비되지않았거나문제가있습니다. 이러한상황을해결하려면호 스트스위치를조사하십시오. VMware, Inc. 114

115 구성문제 NSX Edge 진단정보를수집합니다. 문자열 vse_die를검색하여 NSX Edge 로그를필터링합니다. 이문자열가까이에있는로그는구성오류에대한정보를제공합니다. 높은 CPU 활용도 NSX Edge에서 CPU 활용도가높은경우 ESXi 호스트에서 esxtop 명령을사용하여장치의성능을확인하십시오. 다음기술자료문서를검토하십시오 ksoftirqd 프로세스의값이높으면수신패킷속도가높은것을나타냅니다. 방화벽규칙의경우처럼데이터경로에대해로깅이사용되도록설정되어있는지확인하십시오. show log follow 명령을실행하여많은수의로그적중수가기록되고있는지확인합니다. 패킷삭제통계표시 NSX Data Center for vsphere 6.2.3부터 show packet drops 명령을사용하여다음에대한패킷삭제통계를표시할수있습니다. 인터페이스 드라이버 L2 L3 방화벽이명령을실행하려면 NSX Edge CLI에로그인하고기본모드로전환합니다. 자세한내용은 NSX 명령줄인터페이스참조를참조하십시오. 예 : show packet drops vshield Edge Packet Drop Stats: Driver Errors ============= TX TX TX RX RX RX Interface Dropped Error Ring Full Dropped Error Out Of Buf VMware, Inc. 115

116 vnic_ vnic_ vnic_ vnic_ vnic_ vnic_ Interface Drops =============== Interface RX Dropped TX Dropped vnic_0 4 0 vnic_ vnic_2 0 0 vnic_3 2 0 vnic_4 2 0 vnic_5 2 0 L2 RX Errors ============ Interface length crc frame fifo missed vnic_ vnic_ vnic_ vnic_ vnic_ vnic_ L2 TX Errors ============ Interface aborted fifo window heartbeat vnic_ vnic_ vnic_ vnic_ vnic_ vnic_ L3 Errors ========= IP: ReasmFails : 0 InHdrErrors : 0 InDiscards : 0 FragFails : 0 InAddrErrors : 0 OutDiscards : 0 OutNoRoutes : 0 ReasmTimeout : 0 ICMP: InTimeExcds : 0 InErrors : 227 OutTimeExcds : 0 OutDestUnreachs : 152 OutParmProbs : 0 InSrcQuenchs : 0 VMware, Inc. 116

117 InRedirects : 0 OutSrcQuenchs : 0 InDestUnreachs : 151 OutErrors : 0 InParmProbs : 0 Firewall Drop Counters ====================== Ipv4 Rules ========== Chain - INPUT rid pkts bytes target prot opt in out source destination DROP all -- * * / /0 state INVALID DROP all -- * * / /0 Chain - POSTROUTING rid pkts bytes target prot opt in out source destination DROP all -- * * / /0 state INVALID DROP all -- * * / /0 Ipv6 Rules ========== Chain - INPUT rid pkts bytes target prot opt in out source destination DROP all * * ::/0 ::/0 state INVALID DROP all * * ::/0 ::/0 Chain - POSTROUTING rid pkts bytes target prot opt in out source destination DROP all * * ::/0 ::/0 state INVALID DROP all * * ::/0 ::/0 NSX Edge 관리시예상되는동작 vsphere Web Client에서 NSX Edge의 L2 VPN을구성하고사이트구성세부정보 (Site Configuration Details) 를추가, 제거또는수정할때기존연결이끊어졌다가다시연결됩니다. 이는예상된동작입니다. NSX Edge는 VM( 가상시스템 ) 으로, 스토리지디바이스에저장된여러파일로구성됩니다. 키파일은구성파일, 가상디스크파일, NVRAM 설정파일, 스왑파일및로그파일입니다. 적용된 VM 스토리지프로파일또는수동배치에따라, 가상시스템구성파일, 가상디스크파일, 스왑파일은같은위치또는다른데이터스토어의별도위치에배치될수있습니다. 서로다른위치에가상시스템파일이있는경우, NSX Manager는 VM 배포에대한 VMX 파일이있는데이터스토어를표시하고사용합니다. 재배포또는업그레이드작업동안 NSX Manager는구성된데이터스토어또는 VMX 파일을호스트하는라이브데이터스토어에 NSX Edge VM을배포합니다. 데이터스토어이름및데이터스토어 ID (VM의 VMX 파일호스트 ) 는 Appliance 매개변수의일부로반환되고, UI에표시되거나 REST API에대한응답으로제공됩니다. 정확한각 NSX Manager VM 파일및파일에배치되는하나이상의데이터스토어의정확한배치에대한자세한내용은 vcenter Server를참조해야합니다. 자세한내용은다음문서를참조하십시오. vsphere 가상시스템관리자. VMware, Inc. 117

118 vsphere 리소스관리. vcenter Server 및호스트관리본장은다음항목을포함합니다. Edge 방화벽패킷삭제문제 Edge 라우팅연결문제 NSX Manager 및 Edge 통신문제 메시지버스디버깅 Edge 진단및복구 Edge 방화벽패킷삭제문제 NSX CLI 를사용하여방화벽패킷삭제문제를해결할수있습니다. 방화벽패킷삭제통계표시 NSX Data Center for vsphere 6.2.3부터 show packet drops 명령을사용하여방화벽에대한패킷삭제통계를표시할수있습니다. 이명령을실행하려면 NSX Edge CLI에로그인하고기본모드로전환합니다. 자세한내용은 NSX 명령줄인터페이스참조를참조하십시오. 예 : show packet drops vshield Edge Packet Drop Stats: Firewall Drop Counters ====================== Ipv4 Rules ========== Chain - INPUT rid pkts bytes target prot opt in out source destination DROP all -- * * / /0 state INVALID DROP all -- * * / /0 Chain - POSTROUTING rid pkts bytes target prot opt in out source destination DROP all -- * * / /0 state INVALID DROP all -- * * / /0 Ipv6 Rules ========== Chain - INPUT rid pkts bytes target prot opt in out source destination DROP all * * ::/0 ::/0 state INVALID DROP all * * ::/0 ::/0 VMware, Inc. 118

119 Chain - POSTROUTING rid pkts bytes target prot opt in out source destination DROP all * * ::/0 ::/0 state INVALID DROP all * * ::/0 ::/0 Edge 패킷방화벽문제 명령을실행하려면 NSX Edge CLI에로그인하고기본모드로전환합니다. 자세한내용은 NSX 명령줄인터페이스참조를참조하십시오. 1 show firewall 명령을사용하여방화벽규칙테이블을확인합니다. usr_rules 테이블에구성된규칙이표시됩니다. nsxedge> show firewall Chain PREROUTING (policy ACCEPT 3146M packets, 4098G bytes) rid pkts bytes target prot opt in out source destination Chain INPUT (policy ACCEPT 0 packets, 0 bytes) rid pkts bytes target prot opt in out source destination M ACCEPT all -- lo * / / DROP all -- * * / /0 state INVALID 0 140K 9558K block_in all -- * * / / K ACCEPT all -- * * / /0 state RELATED,ESTABLISHED 0 116K 8374K usr_rules all -- * * / / DROP all -- * * / /0 Chain FORWARD (policy ACCEPT 3146M packets, 4098G bytes) rid pkts bytes target prot opt in out source destination Chain OUTPUT (policy ACCEPT 173K packets, 22M bytes) rid pkts bytes target prot opt in out source destination Chain POSTROUTING (policy ACCEPT 0 packets, 0 bytes) rid pkts bytes target prot opt in out source destination M ACCEPT all -- * lo / / K 41M DROP all -- * * / /0 state INVALID M 4098G block_out all -- * * / / ACCEPT all -- * * / /0 PHYSDEV match --physdev-in tap0 --physdev-out vnic_ ACCEPT all -- * * / /0 PHYSDEV match --physdev-in vnic_+ --physdev-out tap ACCEPT all -- * * / /0 PHYSDEV match --physdev-in na+ --physdev-out vnic_ ACCEPT all -- * * / /0 PHYSDEV match --physdev-in vnic_+ --physdev-out na M 4098G ACCEPT all -- * * / /0 state RELATED,ESTABLISHED 0 221K 13M usr_rules all -- * * / / DROP all -- * * / /0 Chain block_in (1 references) rid pkts bytes target prot opt in out source destination VMware, Inc. 119

120 Chain block_out (1 references) rid pkts bytes target prot opt in out source destination Chain usr_rules (2 references) rid pkts bytes target prot opt in out source destination K ACCEPT all -- * * / /0 match-set 0_ os-v4-1 src K 8370K ACCEPT all -- * * / /0 match-set 1_ ov-v4-1 dst K 7844K ACCEPT all -- * * / /0 show firewall 명령의 POST_ROUTING 섹션에서 DROP invalid 규칙의증분값을확인합니다. 일반적인원인은다음과같습니다. 비대칭라우팅문제 1시간넘게비활성상태였던 TCP 기반애플리케이션. 비활성시간초과문제가있으며애플리케이션이장시간유휴상태인경우 REST API를사용하여비활성시간초과설정을늘리십시오. 항목을참조하십시오. 2 show ipset 명령출력을수집합니다. nsxedge> show ipset Name: 0_ os-v4-1 Type: bitmap:if (Interface Match) Revision: 3 Header: range Size in memory: 8116 References: 1 Number of entries: 1 Members: vse (vshield Edge Device) Name: 0_ os-v6-1 Type: bitmap:if (Interface Match) Revision: 3 Header: range Size in memory: 8116 References: 1 Number of entries: 1 Members: vse (vshield Edge Device) Name: 1_ ov-v4-1 Type: hash:oservice (Match un-translated Ports) Revision: 2 Header: family inet hashsize 64 maxelem Size in memory: 704 References: 1 Number of entries: 2 Members: Proto=6, DestPort=179, SrcPort=Any (encoded: , /16) Proto=89, DestPort=Any, SrcPort=Any (encoded: /16, /16) VMware, Inc. 120

121 Name: 1_ ov-v6-1 Type: hash:oservice (Match un-translated Ports) Revision: 2 Header: family inet hashsize 64 maxelem Size in memory: 704 References: 1 Number of entries: 2 Members: Proto=89, DestPort=Any, SrcPort=Any (encoded: /16, /16) Proto=6, DestPort=179, SrcPort=Any (encoded: , /16) 3 REST API 또는 Edge 사용자인터페이스를사용하여특정방화벽규칙에대해로깅을사용하도록설정하고 show log follow 명령을사용하여로그를모니터링합니다. 로그가보이지않으면다음 REST API를사용하여 DROP Invalid 규칙에대해로깅을사용하도록설정합니다. URL : PUT Method Input representation <globalconfig> <!-- Optional --> <tcppickongoingconnections>false</tcppickongoingconnections> <!-- Optional. Defaults to false --> <tcpallowoutofwindowpackets>false</tcpallowoutofwindowpackets> <!-- Optional. Defaults to false --> <tcpsendresetforclosedvseports>true</tcpsendresetforclosedvseports> <!-- Optional. Defaults to true --> <dropinvalidtraffic>true</dropinvalidtraffic> <!-- Optional. Defaults to true --> <loginvalidtraffic>true</loginvalidtraffic> <!-- Optional. Defaults to false --> <tcptimeoutopen>30</tcptimeoutopen> <!-- Optional. Defaults to 30 --> <tcptimeoutestablished>3600</tcptimeoutestablished> <!-- Optional. Defaults to > <tcptimeoutclose>30</tcptimeoutclose> <!-- Optional. Defaults to 30 --> <udptimeout>60</udptimeout> <!-- Optional. Defaults to 60 --> <icmptimeout>10</icmptimeout> <!-- Optional. Defaults to 10 --> <icmp6timeout>10</icmp6timeout> <!-- Optional. Defaults to 10 --> <ipgenerictimeout>120</ipgenerictimeout> <!-- Optional. Defaults to > </globalconfig> Output representation No payload show log follow 명령을사용하여다음과비슷한로그를찾습니다 T20:53:31+00:00 edge-0 kernel: nf_ct_tcp: invalid TCP flag combination IN= OUT= SRC= DST= LEN=40 TOS=0x00 PREC=0x00 TTL=64 ID=43343 PROTO=TCP SPT=5050 DPT=80 SEQ=0 ACK= WINDOW=512 RES=0x00 URG PSH FIN URGP= T20:53:31+00:00 edge-0 kernel: INVALID IN= OUT=vNic_1 SRC= DST= LEN=40 TOS=0x00 PREC=0x00 TTL=63 ID=43343 PROTO=TCP SPT=5050 DPT=80 WINDOW=512 RES=0x00 URG PSH FIN URGP=0 VMware, Inc. 121

122 4 show flowtable rule_id 명령을사용하여 Edge 방화벽상태테이블에서일치하는연결을확인합 니다. nsxedge> show flowtable 1: tcp ESTABLISHED src= dst= sport=25981 d port=22 pkts=52 bytes=5432 src= dst= sport=22 dport= pkts=44 bytes=7201 [ASSURED] mark=0 rid= use=1 2: tcp ESTABLISHED src= dst= sport=53194 dport= pkts=33334 bytes= src= dst= sport=10001 dport= pkts=33324 bytes= [ASSURED] mark=0 rid=0 use=1 show flowstats 명령을사용하여활성연결개수및허용되는최대연결개수를비교합니다. nsxedge> show flowstats Total Flow Capacity: Current Statistics : cpu=0 searched= found= new=52678 invalid= ignore=77605 delete=52667 delete_list=49778 insert=49789 insert_failed=0 drop=0 early_drop=0 error=0 search_restart=0 5 show log follow 명령을사용하여 Edge 로그를확인하고 ALG 삭제를찾습니다. tftp_alg, msrpc_alg 또는 oracle_tns와비슷한문자열을검색합니다. 자세한내용은다음을참조하십시오. Edge 라우팅연결문제 수신및송신인터페이스의트래픽을캡처하여 Edge 연결문제를해결하십시오. 1 ping <destination_ip_address> 명령을사용하여클라이언트에서제어되는트래픽을시작합니다. 2 두인터페이스에서동시에트래픽을캡처하고, 출력을파일에쓰고, SCP를사용하여내보냅니다. 예 : 다음명령을사용하여수신인터페이스의트래픽을캡처합니다. debug packet display interface vnic_0 n_src_host_ 다음명령을사용하여송신인터페이스의트래픽을캡처합니다. debug packet display interface vnic_1 n_src_host_ 동시패킷캡처의경우 ESXi의 ESXi 패킷캡처유틸리티 pktcap-uw 도구를사용하십시오. 패킷삭제가일관되게나타나면다음과관련된구성오류를확인하십시오. IP 주소및경로 방화벽규칙또는 NAT 규칙 VMware, Inc. 122

123 비대칭라우팅 RP 필터확인 a show interface 명령을사용하여인터페이스 IP/ 서브넷을확인합니다. b 데이터부에누락된경로가있으면다음명령을실행합니다. show ip route show ip route static show ip route bgp show ip route ospf c show ip forwarding 명령을실행하여라우팅테이블에서필요한경로를확인합니다. d 여러개의경로가있으면 show rpfilter 명령을실행합니다. nsxedge> show rpfilter net.ipv4.conf.vdr.rp_filter = 0 net.ipv4.conf.all.rp_filter = 0 net.ipv4.conf.br-sub.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.lo.rp_filter = 0 net.ipv4.conf.vnic_0.rp_filter = 1 net.ipv4.conf.vnic_1.rp_filter = 1 net.ipv4.conf.vnic_2.rp_filter = 1 net.ipv4.conf.vnic_3.rp_filter = 1 net.ipv4.conf.vnic_4.rp_filter = 1 net.ipv4.conf.vnic_5.rp_filter = 1 net.ipv4.conf.vnic_6.rp_filter = 1 net.ipv4.conf.vnic_7.rp_filter = 1 net.ipv4.conf.vnic_8.rp_filter = 1 net.ipv4.conf.vnic_9.rp_filter = 1 nsxedge> show rpfstats RPF drop packet count: 484 RPF 통계를확인하려면 show rpfstats 명령을실행합니다. nsxedge> show rpfstats RPF drop packet count: 484 패킷삭제가무작위로나타나면리소스제한을확인하십시오. a CPU 또는메모리사용량의경우다음명령을실행합니다. show system cpu show system memory show system storage show process monitor VMware, Inc. 123

124 top ESXi 의경우 esxtop n 명령을실행합니다. PCPU USED(%): AVG: 22 PCPU UTIL(%): AVG: 24 ID GID NAME NWLD %USED %RUN %SYS %WAIT esxtop system app-01a db-01a app-02a %VMWAIT %RDY %IDLE %OVRLP %CSTP %MLMTD %SWPWT NSX Manager 및 Edge 통신문제 NSX Manager는 VIX 또는메시지버스를통해 NSX Edge와통신합니다. 해당 Edge가배포된후변경되지않으면 NSX Manager에서선택됩니다. 참고 VIX는 NSX 이상에서지원되지않습니다. VIX VIX는 ESXi 호스트가준비되지않은경우 NSX Edge에사용됩니다. NSX Manager는 vcenter Server에서호스트자격증명을가져와 ESXi 호스트에먼저연결합니다. NSX Manager는 Edge 자격증명을사용하여 Edge 장치에로그인합니다. Edge의 vmtoolsd 프로세스는 VIX 통신을처리합니다. 다음과같은이유로 VIX 장애가발생합니다. NSX Manager가 vcenter Server와통신할수없습니다. NSX Manager가 ESXi 호스트와통신할수없습니다. NSX Manager 내부문제가있습니다. Edge 내부문제가있습니다. VMware, Inc. 124

125 VIX 디버깅 NSX Manager 로그에서 VIX 오류 VIX_E_<error> 를확인하여원인을좁히십시오. 다음과비슷한 오류를찾습니다. Vix Command failed, reason com.vmware.vshield.edge.exception.vixexception: vshield Edge:10013:Error code 'VIX_E_FILE_NOT_FOUND' was returned by VIX API.:null Health check failed for edge edge-13 VM vm-5025 reason: com.vmware.vshield.edge.exception.vixexception: vshield Edge:10013:Error code 'VIX_E_VM_NOT_RUNNING' was returned by VIX API.:null 일반적으로많은 Edge 에대해동일한오류가동시에발생하면 Edge 측문제가아닙니다. 메시지버스디버깅 ESXi 호스트가준비되어있을때 NSX Edge 통신에메시지버스가사용됩니다. 문제가발생하면 NSX Manager 로그에다음과비슷한항목이포함되어있을수있습니다. GMT ERROR taskscheduler-6 PublishTask:963 - Failed to configure VSE-vm index 0, vm-id vm-117, edge edge-5. Error: RPC request timed out 이문제는다음경우에발생합니다. Edge가잘못된상태입니다. 메시지버스연결이끊어졌습니다. Edge의문제를진단하려면 : rmq 연결을확인하려면다음명령을실행합니다. nsxedge> show messagebus messages Message bus is enabled cmd conn state : listening init_req : 1 init_resp : 1 init_req_err : 0... vmci 연결을확인하려면다음명령을실행합니다. nsxedge> show messagebus forwarder Forwarder Command Channel vmci_conn : up app_client_conn : up vmci_rx : 3649 vmci_tx : 3648 vmci_rx_err : 0 VMware, Inc. 125

126 vmci_tx_err : 0 vmci_closed_by_peer: 8 vmci_tx_no_socket : 0 app_rx : 3648 app_tx : 3649 app_rx_err : 0 app_tx_err : 0 app_conn_req : 1 app_closed_by_peer : 0 app_tx_no_socket : Forwarder Event Channel vmci_conn : up app_client_conn : up vmci_rx : 1143 vmci_tx : vmci_rx_err : 0 vmci_tx_err : 0 vmci_closed_by_peer: 0 vmci_tx_no_socket : 0 app_rx : app_tx : 1143 app_rx_err : 0 app_tx_err : 0 app_conn_req : 1 app_closed_by_peer : 0 app_tx_no_socket : cli_rx : 1 cli_tx : 1 cli_tx_err : 0 counters_reset : 0 이예에서출력 vmci_closed_by_peer: 8은호스트에이전트에서연결을닫은횟수를나타냅니다. 이횟수가늘어나고있으며 vmci conn이다운되면호스트에이전트는 RMQ 브로커에연결할수없습니다. show log follow의 Edge 로그에서다음오류가반복적으로나타나는지확인합니다. VmciProxy: [daemon.debug] VMCI Socket is closed by peer( 소켓이피어에의해닫힘 ) ESXi 호스트의문제를진단하려면 : ESXi 호스트가 RMQ 브로커에연결되어있는지확인하려면다음명령을실행합니다. esxcli network ip connection list grep 5671 tcp : :5671 ESTABLISHED newreno vsfwd tcp : :5671 ESTABLISHED newreno vsfwd tcp : :5671 ESTABLISHED newreno vsfwd tcp : :5671 ESTABLISHED newreno vsfwd Edge 진단및복구 Edge 가정상상태인지확인하는데사용할수있는몇가지명령이있습니다. VMware, Inc. 126

127 Edge 진단 다음명령을사용하여 vmtoolsd 가실행되고있는지확인합니다. nsxedge> show process list Perimeter-Gateway-01-0> show process list %CPU %MEM VSZ RSZ STAT STARTED TIME COMMAND Ss May 16 00:00:15 init [3] S May 16 00:00:00 logger -p daemon debug -t vserrdd S May 16 00:23:07 /usr/local/bin/vmtoolsd --plugin-pa SLs May 16 00:01:54 /usr/sbin/watchdog... 다음명령을실행하여 Edge 가정상상태인지확인합니다. nsxedge> show eventmgr messagebus : enabled debug : 0 profiling : 0 cfg_rx : 1 cfg_rx_msgbus : 0... show eventmgr 명령을사용하여쿼리명령이수신되고처리되는지확인하십시오. nsxedge> show eventmgr messagebus : enabled debug : 0 profiling : 0 cfg_rx : 1 cfg_rx_msgbus : 0 cfg_rx_err : 0 cfg_exec_err : 0 cfg_resp : 0 cfg_resp_err : 0 cfg_resp_ln_err: 0 fastquery_rx : 0 fastquery_err : 0 clearcmd_rx : 0 clearcmd_err : 0 ha_rx : 0 ha_rx_err : 0 ha_exec_err : 0 status_rx : 16 status_rx_err : 0 status_svr : 10 status_evt : 0 status_evt_push: 0 status_ha : 0 status_ver : 1 VMware, Inc. 127

128 status_sys : 5 status_cmd : 0 status_svr_err : 0 status_evt_err : 0 status_sys_err : 0 status_ha_err : 0 status_ver_err : 0 status_cmd_err : 0 evt_report : 1 evt_report_err : 0 hc_report : hc_report_err : 0 cli_rx : 2 cli_resp : 1 cli_resp_err : 0 counter_reset : Health Status system status : good ha state : active cfg version : 7 generation : 0 server status : 1 syslog-ng : 1 haproxy : 0 ipsec : 0 sslvpn : 0 l2vpn : 0 dns : 0 dhcp : 0 heartbeat : 0 monitor : 0 gslb : System Events Edge 복구 vmtoolsd 가실행되고있지않거나 NSX Edge 가잘못된상태이면 Edge 를재부팅하십시오. 충돌에서복구하려는경우재부팅만으로충분합니다. 다시배포할필요는없습니다. 참고다시배포가완료되면이전 Edge 의모든로깅정보를적어둡니다. 커널충돌을디버깅하려면다음이필요합니다. 충돌상태에있는동안 Edge VM에대한 vmss(vm 일시중단 ) 또는 vmsn(vm 스냅샷 ) 파일. vmem 파일이있는경우에도필요합니다. 이러한파일은 VMware 지원이분석할수있는커널코어덤프파일을추출하는데사용할수있습니다. 충돌한 Edge가재부팅 ( 다시배포는아님 ) 된직후에생성된 Edge 지원로그. Edge 로그를확인할수도있습니다. Edge 콘솔의스크린샷은항상전체충돌보고서를포함하는것은아니지만도움이될수있습니다. VMware, Inc. 128

129 방화벽문제해결 5 이섹션에서는방화벽문제해결에대한정보를제공합니다. 본장은다음항목을포함합니다. 분산방화벽정보 ID 방화벽 분산방화벽정보 RabbitMQ 메시지버스는 vsfwd(rmq 클라이언트 ) 및 NSX Manager에호스팅된 RMQ 서버프로세스간통신에사용됩니다. 이메시지버스는 NSX Manager가커널의분산방화벽에서프로그래밍되어야하는정책규칙을비롯한다양한정보를 ESXi 호스트에보내는데사용합니다. NSX 분산방화벽은가상워크로드와네트워크에대한가시성및제어기능을제공하는하이퍼바이저커널이포함된방화벽입니다. 데이터센터및클러스터, 가상시스템이름및태그, IP/VLAN/VXLAN 주소와같은네트워크구성요소, Active Directory의사용자그룹 ID와같은 VMware vcenter 개체를기반으로액세스제어정책을생성할수있습니다. 이제가상시스템이물리적호스트에서 vmotion을통해이동될때일관된액세스제어정책이강제로적용되므로방화벽규칙을다시작성할필요가없습니다. 분산방화벽은하이퍼바이저에포함되어있기때문에회선에가까운속도의처리량을제공함으로써물리적서버에서더높은수준의워크로드통합을가능하게합니다. 이방화벽이지닌분산특성은데이터센터에호스트가추가될때마다방화벽용량을자동확장하는확장아키텍처를제공합니다. ESXi 호스트의 NSX Manager 웹애플리케이션및 NSX 구성요소는 NSX Manager 웹애플리케이션과동일한가상시스템에서실행되는 RabbitMQ 브로커프로세스를통해서로통신합니다. 사용되는통신프로토콜은 AMQP(Advanced Message Queueing Protocol) 이고해당채널은 SSL을사용하여보호됩니다. ESXi 호스트에서 VSFWD(vShield 방화벽데몬 ) 프로세스는브로커에대한 SSL 연결을설정및유지보수하고다른구성요소대신메시지를송수신하며 IPC를통해통신합니다. VMware, Inc. 129

130 그림 5 1. ESXi 호스트사용자및커널공간다이어그램 NSX Manager 컨트롤러클러스터 내부 REST API RabbitMQ 메시지버스 TCP over SSL netcpa(uwa) 컨트롤러연결 vsfwd 소켓 사용자 커널 코어 VXLAN 라우팅 vmlink DFW VDS VXLAN 라우팅 ESXi 호스트 DFW 에대한 CLI 명령 NSX Manager 중앙 CLI 에서분산방화벽에대한대부분의정보를가져올수있습니다. Show dfw 중앙 CLI 명령사용원하는정보로드릴다운하는경로는다음과같습니다. 1 관리자자격증명을사용하여 NSX Manager 중앙 CLI에로그인합니다. 2 다음명령을실행합니다. a 모든클러스터를표시하려면 show cluster all 명령을실행합니다. nsxmgr>show cluster all No. Cluster Name Cluster Id Datacenter Name Firewall Status 1 Compute Cluster A domain-c33 Datacenter Site A Enabled 2 Management & Edge Cluster domain-c41 Datacenter Site A Enabled b 특정클러스터에호스트를표시하려면 show cluster <clusterid> 명령을실행합니다. nsxmgr> show cluster domain-c33 Datacenter: Datacenter Site A Cluster: Compute Cluster A No. Host Name Host Id Installation Status 1 esx-02a.corp.local host-32 Enabled 2 esx-01a.corp.local host-28 Enabled VMware, Inc. 130

131 c 호스트의모든 VM 을표시하려면 show host <hostid> 를실행합니다. nsxmgr> show host host-28 Datacenter: Datacenter Site A Cluster: Compute Cluster A Host: esx-01a.corp.local No. VM Name VM Id Power Status 1 web-02a vm-219 on 2 web-01a vm-216 on 3 win8-01a vm-206 off 4 app-02a vm-264 on d 필터이름및 vnic ID 를포함하는 VM 에대한정보를표시하려면 show vm <vmid> 명령을실 행합니다. nsxmgr> show vm vm-264 Datacenter: Datacenter Site A Cluster: Compute Cluster A Host: esx-01a.corp.local Host-ID: host-28 VM: app-02a Virtual Nics List: 1. Vnic Name app-02a - Network adapter 1 Vnic Id 502ef2fa-62cf-d178-cb1b-c825fb300c Filters nic eth0-vmware-sfw.2 e vnic ID 를기록하고 show dfw vnic <vnicid> 및 show dfw host <hostid> filter <filter ID> rules 와같은추가명령을실행합니다. nsxmgr> show dfw vnic 502ef2fa-62cf-d178-cb1b-c825fb300c Vnic Name app-02a - Network adapter 1 Vnic Id 502ef2fa-62cf-d178-cb1b-c825fb300c Mac Address 00:50:56:ae:6c:6b Port Group Id dvportgroup-385 Filters nic eth0-vmware-sfw.2 nsxmgr> show dfw host host-28 filter nic eth0-vmware-sfw.2 rules ruleset domain-c33 { # Filter rules rule 1012 at 1 inout protocol any from addrset ip-securitygroup-10 to addrset ip-securitygroup-10 drop with log; rule 1013 at 2 inout protocol any from addrset src1013 to addrset src1013 drop; rule 1011 at 3 inout protocol tcp from any to addrset dst1011 port 443 accept; rule 1011 at 4 inout protocol icmp icmptype 8 from any to addrset dst1011 accept; rule 1010 at 5 inout protocol tcp from addrset ip-securitygroup-10 to addrset ip-securitygroup-11 port 8443 accept; rule 1010 at 6 inout protocol icmp icmptype 8 from addrset ip-securitygroup-10 to addrset ipsecuritygroup-11 accept; rule 1009 at 7 inout protocol tcp from addrset ip-securitygroup-11 to addrset ip-securitygroup-12 port VMware, Inc. 131

132 3306 accept; rule 1009 at 8 inout protocol icmp icmptype 8 from addrset ip-securitygroup-11 to addrset ipsecuritygroup-12 accept; rule 1003 at 9 inout protocol ipv6-icmp icmptype 136 from any to any accept; rule 1003 at 10 inout protocol ipv6-icmp icmptype 135 from any to any accept; rule 1002 at 11 inout protocol udp from any to any port 67 accept; rule 1002 at 12 inout protocol udp from any to any port 68 accept; rule 1001 at 13 inout protocol any from any to any accept; } ruleset domain-c33_l2 { # Filter rules rule 1004 at 1 inout ethertype any from any to any accept; } export host-tech-support 중앙 CLI 명령사용 export host-tech-support 명령을사용하면 ESXi 호스트지원번들을지정된서버로내보낼수있습니다. 또한이명령은지정된호스트에대해다음과같은 NSX 관련출력및파일 ( 다음으로제한되지않음 ) 을수집합니다. VMKernel 및 vsfwd 로그파일 필터목록 DFW 규칙목록 컨테이너목록 SpoofGuard 세부정보 호스트관련정보 IP 검색관련정보 RMQ 명령출력 보안그룹, 서비스프로파일및인스턴스세부정보 ESX CLI 관련출력또한이명령은 NSX Manager에대한모든임시파일을제거합니다. NSX 관련출력및파일을수집하려면 : 1 관리자자격증명을사용하여 NSX Manager 중앙 CLI에로그인합니다. 2 다음명령을실행합니다. a show cluster all - 필요한호스트 ID 찾기. b export host-tech-support host-id scp uid@ip:/path - NSX 기술지원번들을생성하고지 정된서버에복사. 자세한내용은다음을참조하십시오. NSX 명령줄인터페이스빠른참조. VMware, Inc. 132

133 NSX 명령줄인터페이스참조. 분산방화벽문제해결 이항목에서는 VMware NSX 6.x DFW( 분산방화벽 ) 를이해하고관련문제를해결하기위한정보 를제공합니다. 문제 분산방화벽규칙게시가실패합니다. 분산방화벽규칙업데이트가실패합니다. 원인아래의각문제해결단계가작업환경에맞는지확인하십시오. 각단계에서는가능한원인을해결하고필요한경우수정조치를취하기위한지침또는문서에대한링크를제공합니다. 이러한단계는문제를분리하고적절한해결책을찾아내는데가장적합한순서대로진행됩니다. 각단계를수행한후에분산방화벽규칙업데이트 / 게시를다시시도하십시오. 해결책 1 NSX VIB가클러스터의각 ESXi 호스트에성공적으로설치되었는지확인합니다. 이렇게하려면클러스터의각 ESXi 호스트에대해다음명령을실행합니다. # esxcli software vib list grep vsip esx-vsip VMware VMwareCertified # esxcli software vib list grep vxlan esx-vxlan VMware VMwareCertified ESXi 6.0 이상이있는 NSX 부터 esx-vxlan 및 esx-vsip VIB 가 esx-nsxv 로대체됩니 다. # esxcli software vib list grep nsxv esx-nsxv VMware VMwareCertified ESXi 호스트에서 vshield-stateful-firewall 서비스가실행상태인지확인합니다. 예 : # /etc/init.d/vshield-stateful-firewall status vshield-stateful-firewall is running VMware, Inc. 133

134 3 메시지버스가 NSX Manager와제대로통신하고있는지확인합니다. 이프로세스는감시스크립트에의해자동으로시작되며, 알수없는이유로프로세스가종료되는경우프로세스가다시시작됩니다. 클러스터의각 ESXi 호스트에대해다음명령을실행합니다. 예 : # ps grep vsfwd vsfwd /usr/lib/vmware/vsfw/vsfwd 명령출력에서 12개이상의 vsfwd 프로세스가실행되고있어야합니다. 더적은 ( 주로 2개만 ) 프로세스가실행중인경우 vsfwd가제대로실행되지않는것입니다. 4 방화벽구성에서통신을위해포트 5671이열려있는지확인합니다. 이명령은 RabbitMQ 브로커와의 VSFWD 연결을보여줍니다. ESXi 호스트에대해다음명령을실행하여 ESXi 호스트의 vsfwd 프로세스에서 NSX Manager로의연결목록을확인합니다. 통신이가능하도록환경의외부방화벽에서포트 5671이열려있는지확인합니다. 또한포트 5671에둘이상의연결이있어야합니다. ESXi 호스트에는 RMQ 브로커와도연결되는 NSX Edge 가상시스템이배포되어있으므로포트 5671에더많은연결이있을수있습니다. 예 : # esxcli network ip connection list grep 5671 tcp : :5671 ESTABLISHED newreno vsfwd tcp : :5671 ESTABLISHED newreno vsfwd 5 VSFWD 가구성되어있는지확인합니다. 다음명령은 NSX Manager IP 주소를표시합니다. # esxcfg-advcfg -g /UserVars/RmqIpAddress 6 이 ESXi 호스트에대해호스트파일을사용하는경우호스트프로파일에 RabbitMQ 구성이설정되지않아야합니다. 참조할사항 : ESXi 호스트의 RabbitMQ 자격증명이 NSX Manager와동기화되지않았는지확인합니다. NSX Manager 기술지원로그를다운로드합니다. 모든 NSX Manager 기술지원로그를수집한후에모든로그에서다음과같은항목을검색합니다. host-420을문제가의심되는호스트의호스트 ID로바꿉니다. PLAIN login refused: user 'uw-host-420' - invalid credentials. VMware, Inc. 134

135 8 이러한항목을의심되는 ESXi 호스트에대한로그에서찾으면메시지버스를다시동기화하십시오. 메시지버스를다시동기화하려면 REST API를사용하십시오. 문제를보다잘이해하려면메시지버스가다시동기화된직후에로그를수집하십시오. HTTP Method : POST Headers, Authorization : base64encoded value of username password Accept : application/xml Content-Type : application/xml Request: POST Request Body: <nwfabricfeatureconfig> <featureid>com.vmware.vshield.vsm.messaginginfra</featureid> <resourceconfig> <resourceid>{host/cluster MOID}</resourceId> </resourceconfig> </nwfabricfeatureconfig> 9 export host-tech-support <host-id> scp <uid@ip:/path> 명령을사용하여호스트별방화벽로그 를수집합니다. 예 : nsxmgr# export host-tech-support host-28 scp Administrator@ Generating logs for Host: host show dfw host host-id summarize-dvfilter 명령을사용하여방화벽규칙이호스트에배포되었는지와가상시스템에적용되었는지확인합니다. 출력에서 module: vsip는 DFW 모듈이로드되어실행중임을나타냅니다. name은각 vnic에서실행중인방화벽을표시합니다. 클러스터도메인 ID를가져오는 show dfw cluster all 명령을실행한다음호스트 ID를가져오는 show dfw cluster domain-id를실행하여호스트 ID를가져올수있습니다. 예 : # show dfw host host-28 summarize-dvfilter Fastpaths: agent: dvfilter-faulter, refcount: 1, rev: 0x , apirev: 0x , module: dvfilter agent: ESXi-Firewall, refcount: 5, rev: 0x , apirev: 0x , module: esxfw agent: dvfilter-generic-vmware, refcount: 1, rev: 0x , apirev: 0x , module: dvfilter-genericfastpath agent: dvfilter-generic-vmware-swsec, refcount: 4, rev: 0x , apirev: 0x , module: dvfilter-switchsecurity agent: bridgelearningfilter, refcount: 1, rev: 0x , apirev: 0x , module: vdrb VMware, Inc. 135

136 agent: dvfg-igmp, refcount: 1, rev: 0x , apirev: 0x , module: dvfg-igmp agent: vmware-sfw, refcount: 4, rev: 0x , apirev: 0x , module: vsip Slowpaths: Filters: world vmm0:2-vm_rhel63_srv_64-shared-846-3f f54-4e5a-8d a4e9979 vcuuid:'3f f 54 4e 5a-8d a 4e 99 79' port vm_RHEL63_srv_64-shared-846-3f f54-4e5a-8d a4e9979.eth1 vnic slot 2 name: nic eth1-vmware-sfw.2 agentname: vmware-sfw state: IOChain Attached vmstate: Detached failurepolicy: failclosed slowpathid: none filter source: Dynamic Filter Creation vnic slot 1 name: nic eth1-dvfilter-generic-vmware-swsec.1 agentname: dvfilter-generic-vmware-swsec state: IOChain Attached vmstate: Detached failurepolicy: failclosed slowpathid: none filter source: Alternate Opaque Channel port (disconnected) vnic slot 2 name: nic eth2-vmware-sfw.2 <======= DFW filter agentname: vmware-sfw state: IOChain Detached vmstate: Detached failurepolicy: failclosed slowpathid: none filter source: Dynamic Filter Creation port vm_RHEL63_srv_64-shared-846-3f f54-4e5a-8d a4e9979 vnic slot 2 name: nic eth0-vmware-sfw.2<========= DFW filter agentname: vmware-sfw state: IOChain Attached vmstate: Detached failurepolicy: failclosed slowpathid: none filter source: Dynamic Filter Creation 11 show dfw host hostid filter filterid rules 명령을실행합니다. 예 : # show dfw host host-28 filter nic eth0-vmware-sfw.2 rules ruleset domain-c33 { # Filter rules rule 1012 at 1 inout protocol any from addrset ip-securitygroup-10 to addrset ip-securitygroup-10 drop with log; rule 1013 at 2 inout protocol any from addrset src1013 to addrset src1013 drop; VMware, Inc. 136

137 rule 1011 at 3 inout protocol tcp from any to addrset dst1011 port 443 accept; rule 1011 at 4 inout protocol icmp icmptype 8 from any to addrset dst1011 accept; rule 1010 at 5 inout protocol tcp from addrset ip-securitygroup-10 to addrset ip-securitygroup-11 port 8443 accept; rule 1010 at 6 inout protocol icmp icmptype 8 from addrset ip-securitygroup-10 to addrset ipsecuritygroup-11 accept; rule 1009 at 7 inout protocol tcp from addrset ip-securitygroup-11 to addrset ip-securitygroup-12 port 3306 accept; rule 1009 at 8 inout protocol icmp icmptype 8 from addrset ip-securitygroup-11 to addrset ipsecuritygroup-12 accept; rule 1003 at 9 inout protocol ipv6-icmp icmptype 136 from any to any accept; rule 1003 at 10 inout protocol ipv6-icmp icmptype 135 from any to any accept; rule 1002 at 11 inout protocol udp from any to any port 67 accept; rule 1002 at 12 inout protocol udp from any to any port 68 accept; rule 1001 at 13 inout protocol any from any to any accept; } ruleset domain-c33_l2 { # Filter rules rule 1004 at 1 inout ethertype any from any to any accept; 12 show dfw host hostid filter filterid addrsets 명령을실행합니다. 예 : # show dfw host host-28 filter nic eth2-vmware-sfw.2 addrsets addrset dst1011 { ip , ip , ip , ip fe80::250:56ff:feae:3e3d, ip fe80::250:56ff:feae:f86b, } addrset ip-securitygroup-10 { ip , ip , ip fe80::250:56ff:feae:3e3d, ip fe80::250:56ff:feae:f86b, } addrset ip-securitygroup-11 { ip , ip fe80::250:56ff:feae:23b9, } addrset ip-securitygroup-12 { ip , ip fe80::250:56ff:feae:d42b, } addrset src1013 { ip , ip , ip fe80::250:56ff:feae:cf88, ip fe80::250:56ff:feae:f86b, } VMware, Inc. 137

138 13 위의각문제해결단계가유효한지확인했으나호스트가상시스템에방화벽규칙을게시할수없 는경우 NSX Manager UI 또는다음 REST API 호출을통해호스트수준강제동기화를실행 하십시오. URL : [ HTTP Method : POST Headers, Authorization : base64encoded value of username password Accept : application/xml Content-Type : application/xml 참고 : 방화벽규칙이 IP 주소를사용하지않는경우가상시스템에서 VMware Tools가실행되고있는지확인하십시오. 자세한내용은 항목을참조하십시오. VMware NSX 6.2.0에는 DHCP 스누핑또는 ARP 스누핑을사용하여가상시스템의 IP 주소를검색하는옵션이추가되었습니다. NSX는이새로운검색메커니즘을통해 VMware Tools가설치되지않은가상시스템에서 IP 주소기반보안규칙을적용할수있습니다. 자세한내용은 NSX 릴리스정보를참조하십시오. DFW는호스트준비프로세스가완료되는즉시활성화됩니다. 가상시스템에 DFW 서비스가전혀필요하지않을경우제외목록기능에추가될수있습니다 ( 기본적으로 NSX Manager, NSX Controller 및 Edge Services Gateway는 DFW 기능에서자동으로제외됨 ). DFW에서 [ 모두거부 ] 규칙을생성한후에 vcenter Server 액세스가차단될수있습니다. 자세한내용은 항목을참조하십시오. VMware 기술지원을통해 VMware NSX 6.x DFW( 분산방화벽 ) 문제를해결할경우다음이필요합니다. 클러스터의각 ESXi 호스트에대한 show dfw host hostid summarize-dvfilter 명령의출력 네트워킹및보안 > 방화벽 > 일반 (Networking and Security > Firewall > General) 탭에서분산방화벽구성을누르고구성내보내기 (Export Configuration) 를클릭합니다. 이렇게하면분산방화벽구성이 XML 형식으로내보내집니다. NSX Manager 로그자세한내용은 항목을참조하십시오. vcenter Server 로그자세한내용은 항목을참조하십시오. ID 방화벽 ID 방화벽문제를해결하는데사용할수있는몇가지구성요소가있습니다. 문제 ID 방화벽규칙의게시또는업데이트가실패합니다. VMware, Inc. 138

139 원인 IDFW(ID 방화벽 ) 는사용자기반 DFW( 분산방화벽규칙 ) 를허용합니다. 사용자기반분산방화벽규칙은 AD(Active Directory) 그룹멤버자격의자격에따라결정됩니다. IDFW는 Active Directory 사용자가로그인된위치를모니터링하고 DFW에서방화벽규칙을적용하는데사용하는 IP 주소에로그인을매핑합니다. IDFW에는 Guest Introspection 프레임워크및 / 또는 Active Directory 이벤트로그스크랩이필요합니다. 해결책 1 Active Directory 서버전체 / 델타동기화가 NSX Manager에서작동하는지확인합니다. a vsphere Web Client에서 NSX Manager에연결된 vcenter에로그인합니다. b 홈 (Home) > 네트워킹및보안 (Networking & Security) > 시스템 (System) > 사용자 및도메인 (Users and Domains) 으로이동합니다. c 도메인 (Domains) 탭을클릭하고드롭다운메뉴에서 NSX Manager 를선택합니다. d 목록에서도메인을선택합니다. 마지막동기화상태 (Last Synchronization Status) 열에 [ 성공 ] 이표시되고마지막동기화시간 (Last Synchronization Time) 은현재인지확인합 니다. 2 방화벽환경이로그인감지에이벤트로그스크랩방법을사용하는경우다음단계에따라도메인 에대해이벤트로그서버를구성했는지확인합니다. a vsphere Web Client 에서 NSX Manager 에연결된 vcenter 에로그인합니다. b 홈 (Home) > 네트워킹및보안 (Networking & Security) > 시스템 (System) > 사용자 및도메인 (Users and Domains) 으로이동합니다. c 도메인 (Domains) 탭을클릭하고드롭다운메뉴에서 NSX Manager 를선택합니다. d 목록에서도메인을선택합니다. 여기서자세한도메인구성을보고편집할수있습니다. e f 도메인세부정보에서이벤트로그서버 (Event Log Servers) 를선택하고이벤트로그서버가추가되었는지확인합니다. 이벤트로그서버를선택하고마지막동기화상태 (Last Sync Status) 열에 [ 성공 ] 이표시되고마지막동기화시간 (Last Sync Time) 이현재인지확인합니다. 3 방화벽환경이 Guest Introspection 을사용하는경우해당프레임워크를 IDFW 보호 VM 이상 주할계산클러스터에배포해야합니다. UI 의서비스상태는녹색입니다. Guest Introspection 진단및로그정보는장 9Guest Introspection 문제해결에서찾을수있습니다. VMware, Inc. 139

140 4 로그인감지방법의구성이올바른지확인한후에 NSX Manager가로그인이벤트를수신하는지확인합니다. a Active Directory 사용자로로그인합니다. b 다음명령을실행하여로그인이벤트를쿼리합니다. 사용자가결과에반환되는지확인합니다. GET Example output: <UserIpMappings> <UserIpMapping> <ip> </ip> <username>user1_group20</username> <displayname>user1_group20</displayname> <domainname>cd.ad1.db.com</domainname> <starttime class="sql-timestamp"> :30:51.0</startTime> <starttype>eventlog</starttype> <lastseentime class="sql-timestamp"> :30:52.0</lastSeenTime> <lastseentype>eventlog</lastseentype> </UserIpMapping> </UserIpMappings> 5 보안그룹이방화벽규칙에서사용되는지또는할당된보안정책이있는지확인합니다. 다음조건중하나가충족되지않으면 IDFW의보안그룹처리는진행되지않습니다. 6 IDFW가로그인을올바르게감지한후에데스크톱 VM이상주하는 ESXi 호스트가올바른구성을수신하는지확인합니다. 이러한단계는 NSX Manager 중앙 CLI를사용합니다. ipsecuritygroup 목록에채워진데스크톱 VM IP 주소를확인하려면 a DFW에대한 CLI 명령을참조하여데스크톱 VM에적용된필터이름을검색하십시오. b c DFW 찾기규칙항목을확인하려면 show dfw host hostid filter filterid rules 명령을실행합니다. ip-securitygroup 목록에채워진 IP 주소를보려면 show dfw host hostid filter filterid addrsets 명령을실행합니다. 목록에 IP가표시되는지확인합니다. 참고 : VMware 기술지원을통해 ID IDFW 문제를해결할때는다음데이터가유용합니다. 이벤트로그스크랩을사용하는경우다음 Active Directory 크기데이터 : 단일 NSX Manager의도메인수포리스트수사용자 / 포리스트수사용자 / 도메인수도메인당 Active Directory 그룹수사용자 /Active Directory 그룹수 Active Directory/ 사용자수 VMware, Inc. 140

141 도메인컨트롤러수 Active Directory 로그서버수 다음사용자로그인크기데이터 : 분당평균사용자수 VDI와 IDFW를사용하는배포세부정보 : VDI 데스크톱 /VC 수호스트 /VC 수 VDI 데스크톱 / 호스트수 Guest Introspection을사용하는경우 : VMTools 버전 (Guest Introspection 드라이버 ) Windows Guest OS 버전 VMware, Inc. 141

142 로드밸런싱문제해결 6 NSX Edge 로드밸런스를사용하면특정대상으로이어지는여러경로로네트워크트래픽을보낼수있습니다. 즉, 로드분산이사용자에게투명하게진행되도록들어오는서비스요청을여러서버간에균일하게분산합니다. NSX에서구성하는로드밸런싱서비스에는 2가지유형이있습니다. 하나는프록시모드로도알려져있는단일암모드이고, 다른하나는투명모드로도알려져있는인라인모드입니다. 자세한내용은 NSX 관리가이드를참조하십시오. 문제해결및구성확인을시작하기전에오류에대한정확한설명을가져오고, 클라이언트, 가상서버및백엔드서버와관련된토폴로지맵을생성하고, 애플리케이션요구사항을이해합니다. 예를들어클라이언트가연결할수없거나연결후에임의세션오류와다른오류가표시될수있습니다. 로드밸런서문제를해결할때항상맨먼저연결오류를확인합니다. 본장은다음항목을포함합니다. 단일암로드밸런서구성 로드밸런서에대한문제해결순서도 UI를사용하여로드밸런서구성확인및문제해결 CLI를사용하여로드밸런서문제해결 일반로드밸런서문제 단일암로드밸런서구성 ESG(Edge Services Gateway) 는수신클라이언트트래픽에대한프록시로간주될수있습니다. VMware, Inc. 142

143 1단계 IP DST SRC TCP DST 80 SRC 단계 (DNAT+SNAT) IP DST SRC TCP DST 80 SRC 단계 IP DST SRC TCP DST 1025 SRC 80 3단계 IP DST SRC TCP DST 4099 SRC 80 SLB ( 선택됨 ) TCP 80 클라이언트주소 NSX Edge Services Gateway VLAN V 논리적스위치 (VXLAN) 쉬운삽입 클라이언트 IP 가감지되지않음 HTTP 에대한해결방법 X-Forwarded-For HTTP 헤더 VMware, Inc. 143

144 프록시모드에서로드밸런서는자체 IP 주소를소스주소로사용하여백엔드서버로요청을전송합니다. 백엔드서버는로드밸런서에서전송되는모든트래픽을확인하고응답을로드밸런서로직접보냅니다. 이모드는 SNAT 모드또는비투명모드라고도합니다. 자세한내용은 NSX 관리가이드를참조하십시오. 일반적인 NSX 단일암로드밸런서는논리적라우터와는별도로해당백엔드서버가있는동일한서브넷에배포됩니다. NSX 로드밸런서가상서버는클라이언트의수신요청을가상 IP에서수신하고해당요청을백엔드서버로발송합니다. 반환트래픽의경우소스 IP 주소를백엔드서버에서 VIP( 가상 IP) 주소로변경한다음가상 IP 주소를클라이언트로보내기위해역방향 NAT가필요합니다. 이작업이없으면클라이언트로의연결이끊어질수있습니다. ESG는트래픽을수신하면두가지작업을수행합니다. 하나는 VIP 주소를로드밸런싱된시스템중하나의 IP 주소로변경하기위한 DNAT( 대상네트워크주소변환 ) 이고다른하나는클라이언트 IP 주소를 ESG IP 주소와교환하기위한 SNAT( 소스네트워크주소변환 ) 입니다. 그런다음 ESG 서버는로드밸런싱된서버로트래픽을전송하며, 로드밸런싱된서버는응답을 ESG 로보낸후클라이언트로다시보냅니다. 이옵션은인라인모드보다구성하기가훨씬더쉽지만두가지잠재적인문제가있습니다. 첫째는이모드에는전용 ESG 서버가필요하다는것이고둘째는로드밸런서서버가원래클라이언트 IP 주소를알지못한다는것입니다. HTTP/HTTPS 애플리케이션에대한한가지해결방법은클라이언트 IP 주소가요청의 X-Forwarded-For HTTP 헤더를통해백엔드서버로전달되도록 HTTP 애플리케이션프로파일에서 [X-Forwarded-Forheader 삽입 ] 을사용하도록설정하는것입니다. HTTP/HTTPS 이외의애플리케이션에대한백엔드서버에클라이언트 IP 주소가시성이필요한경우 IP 풀을투명하게구성할수있습니다. 클라이언트가백엔드서버와동일한서브넷에있지않은경우인라인모드가권장됩니다. 그렇지않은경우백엔드서버의기본게이트웨이로로드밸런서 IP 주소를사용해야합니다. 참고일반적으로연결무결성을보장하는방법에는다음세가지가있습니다. 인라인 / 투명모드 SNAT/ 프록시 / 비투명모드 ( 위에설명됨 ) DSR( 직접서버반환 ) - 현재지원되지않습니다. DSR 모드에서백엔드서버는클라이언트에직접응답합니다. 현재 NSX 로드밸런서는 DSR을지원하지않습니다. 절차 1 예를들어 SSL 오프로드를사용하여단일암가상서버를구성해보겠습니다. Edge를두번클릭한다음관리 > 설정 > 인증서 (Manage > Settings > Certificate) 를선택하여인증서를생성합니다. VMware, Inc. 144

145 2 관리 > 로드밸런서 > 글로벌구성 > 편집 (Manage > Load Balancer > Global Configuration > Edit) 을선택하여로드밸런서서비스를사용하도록설정합니다. 3 관리 > 로드밸런서 > 애플리케이션프로파일 (Manage > Load Balancer > Application Profiles) 을선택하여 HTTPS 애플리케이션프로파일을생성합니다. 참고위의스크린샷은문서용도로만자체서명된인증서를사용합니다. 4 필요한경우관리 > 로드밸런서 > 서비스모니터링 (Manage > Load Balancer > Service Monitoring) 을클릭하고기본서비스모니터링을편집하여기본 HTTP/HTTPS에서특정 URL/URI로변경합니다. VMware, Inc. 145

146 5 관리 > 로드밸런서 > 풀 (Manage > Load Balancer > Pools) 을선택하여서버풀을생성합니다. SNAT 모드를사용하려면풀구성에서투명 (Transparent) 확인란을선택취소된상태로둡니다. VM이나열되고사용되도록설정되어있는지확인합니다. 6 필요한경우관리 > 로드밸런서 > 풀 > 풀통계표시 (Manage > Load Balancer > Pools > Show Pool Statistics) 를클릭하여상태를확인합니다. 멤버상태가 [UP] 인지확인합니다. VMware, Inc. 146

147 7 관리 > 로드밸런서 > 가상서버 (Manage > Load Balancer > Virtual Servers) 를선택하여가상서버를생성합니다. UDP 또는고성능 TCP에대해 L4 로드밸런서를사용하려면가속사용 (Enable Acceleration) 을선택합니다. 가속사용 (Enable Acceleration) 을선택하는경우 L4 SNAT 에서방화벽이필요하므로로드밸런서 NSX Edge에서방화벽상태가사용 (Enabled) 인지확인합니다. IP 주소가서버풀에연결되어있는지확인합니다. 8 필요한경우애플리케이션규칙을사용하고있으면관리 > 로드밸런서 > 애플리케이션규칙 (Manage > Load Balancer > Application Rules) 에서구성을확인합니다. VMware, Inc. 147

148 9 애플리케이션규칙을사용하는경우관리 > 로드밸런서 > 가상서버 > 고급 (Manage > Load Balancer > Virtual Servers > Advanced) 에서애플리케이션규칙이가상서버에연결되어있는지확인합니다. 지원되는예제를보려면 비투명모드에서백엔드서버는클라이언트 IP를볼수없으나로드밸런서내부 IP 주소를볼수있습니다. HTTP/HTTPS 트래픽에대한해결방법으로 X-Forwarded-For HTTP 헤더삽입 (Insert X-Forwarded-For HTTP header) 을선택합니다. 이옵션을선택하면 Edge 로드밸런서는클라이언트소스 IP 주소값과함께 "X-Forwarded-For" 헤더를추가합니다. VMware, Inc. 148

149 로드밸런서에대한문제해결순서도 다음순서도는로드밸런서문제해결방법에대한개요를보여줍니다. 가상서버에연결할수없음 토폴로지가요구사항을충족하는지확인 가상서버에 ping 할수있습니까? 예 풀멤버의상태확인 아래로 모니터에영향을미치는문제확인 / 멤버가작동되는지확인 풀게이트웨이및 Edge Services Gateway 토폴로지확인 ( 투명전환 ) 아니요 아니요 방화벽확인 Edge Services Gateway 로의경로 / Edge Services Gateway 에서의경로확인 애플리케이션규칙문제를수정한경우애플리케이션규칙제거 애플리케이션프로파일확인 애플리케이션서버확인 애플리케이션규칙없이문제가지속되면가속으로전환 가상서버간소화 애플리케이션규칙확인 UI 를사용하여로드밸런서구성확인및문제해결 vsphere Web Client를통해로드밸런서구성을확인할수있습니다. UI를사용하여일부로드밸런서문제를해결할수있습니다. 문제로드밸런서가예상대로작동하지않습니다. 해결책작동하는기능을이해하고문제를정의한후에다음과같이 UI를통해구성을확인합니다. 사전요구사항다음세부정보를적어두십시오. 가상서버의 IP, 프로토콜및포트. 백엔드애플리케이션서버의 IP 및포트. VMware, Inc. 149

150 의도한토폴로지 ( 인라인또는단일암 ). 자세한내용은 NSX 관리가이드에서논리적로드밸런서항목을참조하십시오. 추적경로를확인하고다른네트워크연결도구를사용하여패킷이올바른위치 (Edge Services Gateway) 로이동되는지확인합니다. 업스트림방화벽이트래픽을올바르게허용하는지확인합니다. 발생한문제를정의합니다. 예를들어가상서버에대한 DNS 레코드는올바르지만컨텐츠가반환되지않거나잘못된컨텐츠가반환됩니다. 절차 1 다음애플리케이션요구사항을확인합니다. 즉, 로드밸런서에서지원되어야하는프로토콜 (TCP, UDP, HTTP, HTTPS), 포트, 지속성요구사항및풀멤버를확인해야합니다. 로드밸런서및방화벽이사용되도록설정되어있고 Edge Services Gateway에적절한경로가있습니까? 가상서버가수신하는 IP 주소, 포트및프로토콜은무엇입니까? SSL 오프로드가사용되고있습니까? 백엔드서버와통신할때 SSL을사용해야합니까? 애플리케이션규칙을사용하고있습니까? 토폴로지란무엇입니까? NSX 로드밸런서는클라이언트및서버의모든트래픽을구문분석해야합니다. NSX 로드밸런서가인라인이거나반환트래픽이로드밸런서로다시이동하도록클라이언트소스주소가변환됩니까? VMware, Inc. 150

151 2 NSX Edge 로이동하고로드밸런싱을사용하도록설정하는데필요한구성을확인한후다음 과같이트래픽이흐르도록합니다. a 로드밸런서가작동 (Up) 으로표시되는지확인합니다. b 방화벽이사용 (Enabled) 인지확인합니다. 가속가상서버를위해서는방화벽을사용하도 록설정해야합니다. 비가속 TCP 및 L7 HTTP/HTTPS VIP 에는트래픽을허용하는정책 이있어야합니다. 방화벽필터는가속가상서버에영향을미치지않습니다. VMware, Inc. 151

152 c 가상서버에대해 NAT 규칙이생성되는지확인합니다. NAT 탭에서내부규칙숨기기 (Hide internal rules) 또는내부규칙숨기기취소 (Unhide internal rules) 링크를 클릭하여확인합니다. 참고 로드밸런싱을사용하도록설정하고서비스를구성했으나 NAT 규칙을구성하지않 은경우자동규칙구성이사용되도록설정되지않은것입니다. VMware, Inc. 152

153 d 자동규칙구성을변경할수있습니다. 자세한내용은 NSX 관리가이드에서 " 자동규칙구성변경 " 항목을참조하십시오. NSX Edge Services Gateway가배포되면자동규칙구성을구성하는옵션이제공됩니다. Edge Services Gateway를배포하는동안이옵션을선택하지않은경우사용하도록설정해야로드밸런서가제대로작동합니다. UI를통해풀멤버상태를확인합니다. e 라우팅을확인하고, Edge Service Gateway에클라이언트시스템및백엔드서버에대한기본경로또는정적경로가있는지확인합니다. 서버에대한경로가없으면상태검사가실패합니다. 동적라우팅프로토콜을사용하는경우 CLI를사용해야할수있습니다. 자세한내용은 NSX 라우팅 CLI를참조하십시오. a 기본경로를확인합니다. VMware, Inc. 153

154 페이스가있는경로입니다. 대부분애플리케이션서버는이러한서버에연결됩니다. c 라우팅 (Routing) 탭 > 정적경로 (Static Routes) 에서정적경로를확인합니다. VMware, Inc. 154

155 3 가상서버의 IP 주소, 포트및프로토콜을확인합니다. a NSX Edge 를두번클릭하고관리 (Manage) > 설정 (Settings)> 인터페이스 (Interfaces) 로이동합니다. 가상서버의 IP 주소가인터페이스에추가되었는지확인합니 다. b 가상서버에애플리케이션을지원하도록구성된적절한 IP 주소, 포트및프로토콜이있는지확인합니다. a 가상서버에사용되는애플리케이션프로파일을확인합니다. VMware, Inc. 155

156 HTTPS) 을확인합니다. VMware, Inc. 156

157 c 애플리케이션프로파일이지원되는지속성방법, 유형 ( 프로토콜 ) 및 SSL( 필요한경우 ) 을 충족하는지확인합니다. SSL 을사용하는경우올바른이름및만료날짜의인증서를사용 하고있는지확인합니다. VMware, Inc. 157

158 d 클라이언트가연결하기위한올바른인증서가사용되는지확인합니다. VMware, Inc. 158

159 e 클라이언트인증서가필요하지만클라이언트가구성되어있지않은지확인합니다. 또한좁 은암호목록을선택한경우암호목록이너무좁은지확인합니다 ( 예 : 이전브라우저를사 용하는클라이언트 ). f 백엔드서버에대한 SSL 이필요한지확인합니다. VMware, Inc. 159

160 4 다음과같이풀상태및구성을확인합니다. a 풀상태를확인합니다. 하나이상의멤버가트래픽을제공할수있도록작동상태여야하지 만한멤버가모든트래픽을제공하는데충분하지않을수있습니다. 0 개또는제한된수 의풀멤버가작동상태인경우다음단계에설명된대로문제를수정해보십시오. b 토폴로지가올바른지확인합니다. SNAT 클라이언트트래픽은풀구성에서제어됩니다. 로드밸런서함수를호스팅하는 Edge Services Gateway가인라인이아니어서모든트래픽을볼수는없는경우실패합니다. 클라이언트소스의 IP를유지하려면투명 (Transparent) 모드를선택합니다. 자세한내용은 NSX 관리가이드를참조하십시오. VMware, Inc. 160

161 5 애플리케이션규칙을사용하는경우규칙을확인합니다. 필요한경우규칙을제거하여트래픽 이흐르는지확인합니다. a 규칙순서를바꾸어규칙순서로인해논리가트래픽흐름을중단시키는지확인합니다. 애 플리케이션규칙을추가하고애플리케이션규칙예를보는방법에대한자세한내용은 NSX 관리가이드의 " 애플리케이션규칙추가 " 항목을참조하십시오. 다음에수행할작업 문제를찾을수없으면 CLI( 명령줄인터페이스 ) 를사용하여발생하는현상을확인할수있습니다. 자 세한내용은 CLI 를사용하여로드밸런서문제해결를참조하십시오. CLI 를사용하여로드밸런서문제해결 NSX CLI를사용하여자세한비상로그를가져오고, 패킷캡처를수행하고, 로드밸런서문제해결을위한메트릭을확인할수있습니다. 문제로드밸런싱이예상대로진행되지않습니다. VMware, Inc. 161

162 해결책 1 사용하도록설정하거나가상장치에대해 SSH를수행할수있는지확인합니다. Edge Services Gateway는배포중에 SSH를사용하도록설정하기위한옵션이있는가상장치입니다. SSH를사용하도록설정해야하는경우필요한장치를선택하고작업 (Actions) 메뉴에서 CLI 자격증명변경 (Change CLI Credentials) 을클릭합니다. 2 Edge Services Gateway 에는런타임상태및구성상태를확인하기위한몇가지 show 명령 이있습니다. 명령을사용하여구성및통계정보를표시합니다. nsxedge> show configuration loadbalancer nsxedge> show configuration loadbalancer virtual [virtual-server-name] nsxedge> show configuration loadbalancer pool [pool-name] nsxedge> show configuration loadbalancer monitor [monitor-name] nsxedge> show configuration loadbalancer profile [profile-name] nsxedge> show configuration loadbalancer rule [rule-name] VMware, Inc. 162

163 3 로드밸런싱및 NAT 가제대로작동하려면방화벽을사용하도록설정해야합니다. #show firewall 명령을사용합니다. 명령을사용하여의미있는출력을얻지못할경우 UI 를사용하여로드밸런서 구성확인및문제해결섹션을참조하십시오. VMware, Inc. 163

164 4 로드밸런서가제대로작동하려면 NAT 가필요합니다. show nat 명령을사용합니다. 명령을사용 하여의미있는출력을얻지못할경우 UI 를사용하여로드밸런서구성확인및문제해결섹션을 참조하십시오. 5 방화벽이사용되도록설정되고로드밸런서에 NAT 규칙이지정되는것외에도, 로드밸런싱프로 세스를사용하도록설정해야합니다. show service loadbalancer 명령을사용하여로드밸런서엔 진상태 (L4/L7) 를확인합니다. nsxedge> show service loadbalancer haindex: Loadbalancer Services Status: VMware, Inc. 164

165 L7 Loadbalancer : running L7 Loadbalancer Statistics: STATUS PID MAX_MEM_MB MAX_SOCK MAX_CONN MAX_PIPE CUR_CONN CONN_RATE CONN_RATE_LIMIT MAX_CONN_RATE running L4 Loadbalancer Statistics: MAX_CONN ACT_CONN INACT_CONN TOTAL_CONN Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn a show service loadbalancer session 명령을사용하여로드밸런서세션테이블을확인합니다. 시스템에트래픽이있으면세션이표시됩니다. nsxedge> show service loadbalancer session L7 Loadbalancer Statistics: STATUS PID MAX_MEM_MB MAX_SOCK MAX_CONN MAX_PIPE CUR_CONN CONN_RATE CONN_RATE_LIMIT MAX_CONN_RATE running L7 Loadbalancer Current Sessions: 0x2192df1f300: proto=unix_stream src=unix:1 fe=global be=<none> srv=<none> ts=09 age=0s calls=2 rq[f=c08200h, i=0,an=00h,rx=20s,wx=,ax=] rp[f=008000h,i=0,an=00h,rx=,wx=,ax=] s0=[7,8h,fd=1,ex=] s1=[7,0h,fd=-1,ex=] exp=19s L4 Loadbalancer Statistics: MAX_CONN ACT_CONN INACT_CONN TOTAL_CONN L4 Loadbalancer Current Sessions: pro expire state source virtual destination b show service loadbalancer 명령을사용하여로드밸런서계층 7 고정테이블상태를확인합니 다. 이테이블에는가속가상서버에대한정보는표시되지않습니다. nsxedge> show service loadbalancer table L7 Loadbalancer Sticky Table Status: TABLE TYPE SIZE(BYTE) USED(BYTE) VMware, Inc. 165

166 6 모든필수서비스가제대로실행되는경우라우팅테이블을확인하고클라이언트및서버에대한 경로가있어야합니다. 경로를인터페이스에매핑하는 show ip route 및 show ip forwarding 명령 을사용합니다. 7 show arp 명령을사용하여시스템에대한 ARP 항목 ( 예 : 게이트웨이또는다음홉 ) 과백엔드서버 가있는지확인합니다. VMware, Inc. 166

167 8 로그에는문제를진단하는데도움이될수있는트래픽을찾기위한정보가제공됩니다. show log 또는 show log follow 명령을사용하여트래픽을찾는데도움이되는로그에태그를지정합니다. 로깅 (Logging) 을사용하도록설정하고정보 (Info) 또는디버그 (Debug) 로설정한상태로로드밸런서를실행하고있는지확인합니다. nsxedge> show log T20:15:36+00:00 vshieldedge kernel: Initializing cgroup subsys cpuset T20:15:36+00:00 vshieldedge kernel: Initializing cgroup subsys cpu T20:15:36+00:00 vshieldedge kernel: Initializing cgroup subsys cpuacct... 9 기본서비스가클라이언트에대한적절한경로로실행되고있음을확인했으므로애플리케이션계층에서진행되는상황을살펴보겠습니다. show service loadbalancer pool 명령을사용하여로드밸런서풀상태 (L4/L7) 를확인합니다. 하나이상의멤버가컨텐츠를제공할수있도록작동상태여야합니다. 일반적으로요청볼륨이단일워크로드의용량을초과하므로둘이상의멤버가필요합니다. 기본제공상태검사가상태모니터를제공하는경우상태검사가실패할때출력에마지막상태변경시간및실패원인도표시됩니다. 모니터서비스에서상태모니터를제공하는경우위의두가지출력외에마지막확인시간도표시됩니다. nsxedge> show service loadbalancer pool Loadbalancer Pool Statistics: POOL Web-Tier-Pool-01 LB METHOD round-robin LB PROTOCOL L7 Transparent disabled SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) +->POOL MEMBER: Web-Tier-Pool-01/web-01a, STATUS: UP HEALTH MONITOR = BUILT-IN, default_https_monitor:l7ok LAST STATE CHANGE: :02:00 SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) +->POOL MEMBER: Web-Tier-Pool-01/web-02a, STATUS: UP HEALTH MONITOR = BUILT-IN, default_https_monitor:l7ok LAST STATE CHANGE: :02:01 SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) 10 서비스모니터상태 ( 정상, 경고, 주의 ) 를확인하여구성된모든백엔드서버의상태를알아봅니다. nsxedge> show service loadbalancer monitor Loadbalancer Health Check Statistics: MONITOR PROVIDER POOL MEMBER HEALTH STATUS built-in Web-Tier-Pool-01 web-01a default_https_monitor:l7ok built-in Web-Tier-Pool-01 web-02a default_https_monitor:l7ok VMware, Inc. 167

168 show service load balancer monitor 명령의경우다음세가지유형의상태모니터값이 CLI 출력에표시됩니다. 기본제공 : 상태점검이사용되도록설정되고 L7 엔진 (HA 프록시 ) 에의해수행됩니다. 모니터서비스 : 상태점검이사용되도록설정되고모니터서비스엔진 (NAGIOS) 에의해수행됩니다. 모니터서비스실행상태는 show service monitor 및 show service monitor service CLI 명령을사용하여확인할수있습니다. 상태 (Status) 필드는정상, 주의또는위험일수있습니다. 정의되지않음 : 상태점검이사용되지않도록설정됩니다. 출력의마지막열은풀멤버의상태입니다. 다음상태가표시됩니다. 표 6 1. 상태및설명 상태 설명 기본제공 UNK: 알수없음 INI: 초기화중 SOCKERR: 소켓오류 L4OK: 계층 4에서검사통과. 상위계층테스트를사용하도록설정되지않음 L4TOUT: 계층 1~4 시간초과 L4CON: 계층 1~4 연결문제. 예 : " 연결이거부됨 "(tcp rst) 또는 " 호스트에대한경로없음 "(icmp) L6OK: 계층 6에서검사통과 L6TOUT: 계층 6(SSL) 시간초과 L6RSP: 계층 6 잘못된응답 - 프로토콜오류. 발생가능한원인은다음과같습니다. 백엔드서버가 "SSLv3" 또는 "TLSv1.0" 만지원하는경우 백엔드서버의인증서가올바르지않은경우 암호협상에실패하는경우 L7OK: 계층 7에서검사통과 L7OKC: 계층 7에서조건부로검사통과. 예 : disable-on-404 상태의 404 L7TOUT: 계층 7(HTTP/SMTP) 시간초과 L7RSP: 계층 7 잘못된응답 - 프로토콜오류 L7STS: 계층 7 응답오류. 예 : HTTP 5xx 위험 SSL 프로토콜버전 2가 SSL 라이브러리에서지원되지않음 지원되지않는 SSL 프로토콜버전 SSL 컨텍스트를만들수없음 SSL 연결을만들수없음 SSL 핸드셰이크를시작할수없음 서버인증서를검색할수없음 인증서주체를검색할수없음 인증서의잘못된시간형식 인증서 '<cn>' 이 ( 가 ) <expire time of certificate> 에만료됨 인증서 '<cn>' 이 ( 가 ) 오늘 <expire time of certificate> 에만료됨 주의 / 위험 인증서 '<cn>' 이 ( 가 ) <days_left/expire time of certificate> 일후에만료됨 VMware, Inc. 168

169 표 6 1. 상태및설명 ( 계속 ) 상태 설명 ICMP 네트워크에연결할수없음 호스트에연결할수없음 프로토콜에연결할수없음 포트에연결할수없음 소스경로실패 소스호스트가분리됨 알수없는네트워크 알수없는호스트 네트워크가거부됨 호스트가거부됨 네트워크에대한잘못된 ToS( 서비스유형 ) 호스트에대한잘못된 ToS( 서비스유형 ) 필터로금지됨 호스트우선순위위반 우선순위구분. 작업에필요한최소우선순위수준 잘못된코드 UDP/TCP 소켓생성실패 주소 xxxx 및포트 xxx에연결 : [Linux 오류코드참조 ] 호스트에서데이터가수신되지않음 호스트 / 소켓의예기치않은응답 HTTP/HTTPS HTTP 알수없음 : 메모리할당오류 HTTP 위험 : TCP 소켓을열수없음 ( 소켓생성또는서버연결실패 ) HTTP 위험 : 데이터를수신하는동안오류발생 HTTP 위험 : 호스트에서데이터가수신되지않음 HTTP 위험 : 호스트에서잘못된 HTTP 응답을수신함 : <status line>( 잘못된예상상태줄형식 ) HTTP 위험 : 잘못된상태줄 <status line>( 상태코드가 3자리숫자 : XXX가아님 ) HTTP 위험 : 잘못된상태 <status line>( 상태코드 >= 600 또는 < 100) HTTP 위험 : 문자열을찾을수없음 HTTP 위험 : 패턴을찾을수없음 HTTP 주의 : 페이지크기 <page_length> 이 ( 가 ) 너무큼 HTTP 주의 : 페이지크기 <page_length> 이 ( 가 ) 너무작음 VMware, Inc. 169

170 11 오류코드가 L4TOUT/L4CON 인경우일반적으로기본네트워킹에연결문제가있는것입니다. Duplicate IP 는다음이유가근본원인인경우가많습니다. 이오류가발생하면다음과같이문제 를해결합니다. a b c 두 Edge에서 show service highavailability 명령을사용하여 HA가사용되도록설정될때 Edge의 HA( 고가용성 ) 상태를확인합니다. HA 링크가 DOWN 상태인지와모든 Edge가 Active 상태인지그리고결과적으로네트워크에중복된 Edge IP가없는지확인합니다. show arp 명령으로 Edge ARP 테이블을확인하고, 두 MAC 주소간에백엔드서버의 ARP 항목이변경되는지도확인합니다. 백엔드서버 ARP 테이블을확인하거나 arp-ping 명령을사용하고다른시스템이 Edge IP와동일한 IP를갖는지여부를확인합니다. 12 로드밸런서개체통계 (VIP, 풀, 멤버 ) 를확인합니다. 특정풀을확인하고멤버가작동및실행되고있는지확인합니다. 투명모드가사용되도록설정되어있는지확인합니다. 이렇게설정된경우 Edge Services Gateway가클라이언트와서버간에인라인상태여야합니다. 서버가세션카운터증분을표시하는지확인합니다. nsxedge> show service loadbalancer pool Web-Tier-VIP-01 TIMESTAMP SESSIONS BYTESIN BYTESOUT SESSIONRATE HTTPREQS :56: :55: nsxedge> show service loadbalancer pool Web-Tier-VIP-01 MEMBER + > POOL MEMBER: TENANT-1-TCP-POOL-80/SERVER-1, STATUS: UP + > POOL MEMBER: TENANT-1-TCP-POOL-80/SERVER-2, STATUS: UP 13 이제가상서버를확인하고기본풀이있는지와풀이바인딩되어있는지확인합니다. 애플리케이션 규칙을통해풀을사용하는경우 #show service loadbalancer pool 명령에표시되는것처럼특정 풀을확인해야합니다. 가상서버의이름을지정합니다. nsxedge> show service loadbalancer virtual Web-Tier-VIP Loadbalancer VirtualServer Statistics: VIRTUAL Web-Tier-VIP-01 ADDRESS [ ]:443 SESSION (cur, max, total) = (0, 0, 0) RATE (cur, max, limit) = (0, 0, 0) BYTES in = (0), out = (0) +->POOL Web-Tier-Pool-01 LB METHOD round-robin LB PROTOCOL L7 Transparent disabled SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) +->POOL MEMBER: Web-Tier-Pool-01/web-01a, STATUS: UP HEALTH MONITOR = BUILT-IN, default_https_monitor:l7ok LAST STATE CHANGE: :02:00 VMware, Inc. 170

171 SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) +->POOL MEMBER: Web-Tier-Pool-01/web-02a, STATUS: UP HEALTH MONITOR = BUILT-IN, default_https_monitor:l7ok LAST STATE CHANGE: :02:01 SESSION (cur, max, total) = (0, 0, 0) BYTES in = (0), out = (0) 14 모든항목이제대로구성된것처럼보이는데도여전히오류가발생하면상황을이해하기위해트래픽을캡처해야합니다. 두가지연결, 즉클라이언트에서가상서버로의연결과 Edge Services Gateway에서백엔드풀로의연결이있습니다 ( 풀수준에서투명구성포함또는미포함 ). #show ip forwarding 명령은 vnic 인터페이스를나열하며해당데이터를사용할수있습니다. 예를들어클라이언트컴퓨터가 vnic_0에있고서버가 vnic_1에있다고가정하고포트 80에서실행되는클라이언트 IP 주소 와 VIP IP 를사용합니다. 로드밸런서인터페이스 IP는 이고백엔드서버 IP는 입니다. 두개의다른패킷캡처명령이있습니다. 하나는패킷을표시하지만, 다른하나는다운로드할수있는파일에패킷을캡처합니다. 패킷을캡처하여로드밸런서비정상오류를감지합니다. 다음두방향에서패킷을캡처할수있습니다. 클라이언트에서패킷을캡처합니다. 백엔드서버로전송된패킷을캡처합니다. #debug packet capture interface interface-name [filter using _ for space]- creates a packet capture file that you can download #debug packet display interface interface-name [filter using _ for space]- outputs packet data to the console #debug show files - to see a list of packet capture #debug copy scp user@url:path file-name/all - to download the packet capture 예 : vnic_0에캡처 : debug packet display interface vnic_0 모든인터페이스에캡처 : debug packet display interface any 필터를사용하여 vnic_0에캡처 : debug packet display interface vnic_0 host_ _and_host_ 클라이언트에서가상서버로의트래픽패킷캡처 : #debug packet display capture interface vnic_0 host_ _and_host_ _and_port_80 풀이투명모드인경우 Edge Services Gateway와서버간패킷캡처 : #debug packet display capture interface vnic_1 host _and_host_ _and_port_80 풀이투명모드가아닌경우 Edge Services Gateway와서버간패킷캡처 : #debug packet display capture interface vnic_1 host _and_host_ _and_port_80 일반로드밸런서문제 이항목에서는몇가지문제와해결방법을살펴봅니다. VMware, Inc. 171

172 다음문제는 NSX 로드밸런싱을사용할때일반적으로나타납니다. TCP 포트 ( 예 : 포트 443) 의로드밸런싱은작동하지않습니다. 토폴로지를확인합니다. 자세한내용은 NSX 관리가이드를참조하십시오. Ping을사용하여가상서버 IP 주소에연결할수있는지확인하거나업스트림라우터를확인하여 ARP 테이블이채워져있도록합니다. UI를사용하여로드밸런서구성확인및문제해결. CLI를사용하여로드밸런서문제해결. 패킷을캡처합니다. 로드밸런싱풀의멤버가활용되지않습니다. 서버가풀에있는지, 사용되도록설정되어있는지확인하고상태를모니터링합니다. Edge 트래픽이로드밸런싱되지않습니다. 풀및지속성구성을확인합니다. 지속성이구성되어있고소수의클라이언트를사용하는경우연결이백엔드풀멤버로동등하게분산되지않을수있습니다. 계층 7 로드밸런싱엔진이중지되었습니다. 상태모니터엔진이중지되었습니다. 로드밸런서서비스를사용하도록설정합니다. NSX 관리가이드를참조하십시오. 풀멤버모니터상태가주의 / 위험입니다. 로드밸런서에서애플리케이션서버에연결할수있는지확인합니다. 애플리케이션서버방화벽또는 DFW가트래픽을허용하는지확인합니다. 애플리케이션서버가지정된상태탐색에응답할수있는지확인합니다. 풀멤버가비활성상태입니다. 풀구성에서풀멤버가사용되도록설정되어있는지확인합니다. 계층 7 고정테이블이대기 Edge와동기화되지않습니다. HA가구성되어있는지확인합니다. 클라이언트연결이구성되어있으나애플리케이션트랜잭션을완료할수없습니다. 애플리케이션프로파일에서적절한지속성이구성되어있는지확인합니다. 애플리케이션이풀의 ( 둘이아니고 ) 한서버에서만작동할경우지속성문제일가능성이높습니다. 기본문제해결 1 vsphere Web Client에서로드밸런서구성상태를확인합니다. a 네트워킹및보안 > NSX Edge(Networking & Security > NSX Edges) 를클릭합니다. b NSX Edge를두번클릭합니다. VMware, Inc. 172

173 c 관리 (Manage) 를클릭한다음로드밸런서 (Load Balancer) 탭을클릭합니다. d 로드밸런서상태및로깅수준이구성되어있는지확인합니다. 2 로드밸런서서비스문제를해결하기전에 NSX Manager에서다음명령을실행하여서비스가작동및실행되고있는지확인합니다. nsxmgr> show edge edge-4 service loadbalancer haindex: Loadbalancer Services Status: L7 Loadbalancer : running L7 Loadbalancer Statistics: STATUS PID MAX_MEM_MB MAX_SOCK MAX_CONN MAX_PIPE CUR_CONN CONN_RATE CONN_RATE_LIMIT MAX_CONN_RATE running L4 Loadbalancer Statistics: MAX_CONN ACT_CONN INACT_CONN TOTAL_CONN Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 참고 show edge all 을실행하여 NSX Edge 의이름을조회할수있습니다. 구성문제해결 로드밸런서구성작업이 NSX 사용자인터페이스또는 REST API 호출에의해거부되면구성문제 로분류됩니다. 데이터부문제해결 로드밸런서구성이 NSX Manager에서수락되지만클라이언트-Edge 로드밸런서서버간에연결또는성능문제가있습니다. 데이터부문제에는로드밸런서런타임 CLI 문제및로드밸런서시스템이벤트문제도포함됩니다. 1 다음 REST API 호출을사용하여 NSX Manager의 Edge 로깅수준을 INFO에서 TRACE 또는 DEBUG로변경합니다. URL: Method: POST 2 vsphere Web Client에서풀멤버상태를확인합니다. a 네트워킹및보안 > NSX Edge(Networking & Security > NSX Edges) 를클릭합니다. b NSX Edge를두번클릭합니다. c 관리 (Manage) 를클릭한다음로드밸런서 (Load Balancer) 탭을클릭합니다. VMware, Inc. 173

174 d 풀 (Pools) 을클릭하여구성된로드밸런서풀의요약을확인하십시오. e 로드밸런서풀을선택합니다. 풀통계표시 (Show Pool Statistics) 를클릭하여풀상태가 UP 인지확인하십시오. 3 다음 REST API 호출을사용하여 NSX Manager 에서보다자세한로드밸런서풀구성통계를 얻을수있습니다. URL: Method: GET <?xml version="1.0" encoding="utf-8"?> <loadbalancerstatusandstats> <timestamp> </timestamp> <pool> <poolid>pool-1</poolid> <name>web-tier-pool-01</name> <member> <memberid>member-1</memberid> <name>web-01a</name> <ipaddress> </ipaddress> <status>up</status> <laststatechangetime> :02:00</lastStateChangeTime> <bytesin>0</bytesin> <bytesout>0</bytesout> <cursessions>0</cursessions> <httpreqtotal>0</httpreqtotal> <httpreqrate>0</httpreqrate> <httpreqratemax>0</httpreqratemax> <maxsessions>0</maxsessions> <rate>0</rate> <ratelimit>0</ratelimit> <ratemax>0</ratemax> <totalsessions>0</totalsessions> </member> <member> <memberid>member-2</memberid> <name>web-02a</name> <ipaddress> </ipaddress> <status>up</status> <laststatechangetime> :02:01</lastStateChangeTime> <bytesin>0</bytesin> <bytesout>0</bytesout> <cursessions>0</cursessions> <httpreqtotal>0</httpreqtotal> <httpreqrate>0</httpreqrate> <httpreqratemax>0</httpreqratemax> <maxsessions>0</maxsessions> <rate>0</rate> <ratelimit>0</ratelimit> <ratemax>0</ratemax> <totalsessions>0</totalsessions> </member> <status>up</status> <bytesin>0</bytesin> VMware, Inc. 174

175 <bytesout>0</bytesout> <cursessions>0</cursessions> <httpreqtotal>0</httpreqtotal> <httpreqrate>0</httpreqrate> <httpreqratemax>0</httpreqratemax> <maxsessions>0</maxsessions> <rate>0</rate> <ratelimit>0</ratelimit> <ratemax>0</ratemax> <totalsessions>0</totalsessions> </pool> <virtualserver> <virtualserverid>virtualserver-1</virtualserverid> <name>web-tier-vip-01</name> <ipaddress> </ipaddress> <status>open</status> <bytesin>0</bytesin> <bytesout>0</bytesout> <cursessions>0</cursessions> <httpreqtotal>0</httpreqtotal> <httpreqrate>0</httpreqrate> <httpreqratemax>0</httpreqratemax> <maxsessions>0</maxsessions> <rate>0</rate> <ratelimit>0</ratelimit> <ratemax>0</ratemax> <totalsessions>0</totalsessions> </virtualserver> </loadbalancerstatusandstats> 4 명령줄에서로드밸런서통계를확인하려면 NSX Edge 에서다음명령을실행합니다. 특정가상서버 : 먼저 show service loadbalancer virtual 을실행하여가상서버이름을가져옵니 다. 그런다음 show statistics loadbalancer virtual <virtual-server-name> 을실행합니다. 특정 TCP 풀 : 먼저 show service loadbalancer pool 을실행하여풀이름을가져옵니다. 그런다 음 show statistics loadbalancer pool <pool-name> 을실행합니다. 5 로드밸런서통계에서실패표시를확인하십시오. VMware, Inc. 175

176 VPN(Virtual Private 7 Network) 문제해결 NSX Edge는여러가지유형의 VPN을지원합니다. 이문제해결섹션에서는 L2 VPN 및 SSL VPN 문제해결방법을설명합니다. 본장은다음항목을포함합니다. L2 VPN SSL VPN IPSec VPN L2 VPN L2 VPN을사용할경우 SSL VPN 내에서터널링하여여러논리적 L2 네트워크 (VLAN 및 VXLAN) 를 L3 경계간에확장할수있습니다. 또한 L2 VPN 서버에서여러사이트를구성할수있습니다. 가상시스템은사이트간에이동할때동일한서브넷에남아있으며해당 IP 주소는바뀌지않습니다. 또한원격사이트에서 "NSX를사용 " 하도록설정하지않고도독립형 Edge를배포할수도있습니다. 송신최적화를통해 Edge는모든패킷을송신최적화 IP 주소에로컬로전송하고다른모든것을브리지할수있습니다. 따라서 L2 VPN을사용하는엔터프라이즈는 VXLAN 또는 VLAN으로지원되는워크로드를물리적으로분리된위치간에원활하게마이그레이션할수있습니다. 클라우드제공자의경우 L2 VPN은워크로드및애플리케이션에대한기존 IP 주소를수정하지않고온보드테넌트를수용하는메커니즘을제공합니다. L2 VPN 일반구성문제 이항목에서는 L2 VPN 에관련된일반구성문제를설명합니다. 문제다음구성문제는라우팅트래픽을위해 SSL VPN 터널을사용하는 L2 VPN 클라이언트와관련이있습니다. L2 VPN 클라이언트가구성되어있으나인터넷연결방화벽에서트래픽이대상포트 443을사용하여터널을통과해서흐르도록허용하지않습니다. L2 VPN 클라이언트가서버인증서의유효성을검사하도록구성되어있으나올바른 CA 인증서또는 FQDN으로구성되지않았습니다. VMware, Inc. 176

177 다음구성문제는라우팅트래픽을위해 SSL VPN 터널또는 IPSec VPN 터널을사용하는 L2 VPN 클라이언트에게일반적입니다. L2 VPN 서버가구성되었으나인터넷연결방화벽에서 NAT 또는방화벽규칙이생성되지않았습니다. 트렁크인터페이스가분산포트그룹또는표준포트그룹을통해지원되지않습니다. 참고 SSL 터널에서실행되는 L2 VPN의경우다음에유의해야합니다. L2 VPN 서버는기본적으로포트 443에서수신됩니다. 이포트는 L2 VPN 서버설정에서구성할수있습니다. L2 VPN 클라이언트는기본적으로포트 443에대해송신연결을설정합니다. 이포트는 L2 VPN 클라이언트설정에서구성할수있습니다. 해결책다음절차에서각각의의미는다음과같습니다. 1, 2, 3단계는 SSL 터널에서 L2 VPN 서비스를실행하는경우에만적용됩니다. 4, 5, 6단계는 SSL 및 IPSec 터널에서 L2 VPN 서비스를실행하는경우에적용됩니다. 절차 1 L2 VPN 서버프로세스가실행되고있는지확인합니다. a NSX Edge VM 에로그인합니다. b c show process monitor 명령을실행하고이름이 l2vpn인프로세스를찾을수있는지확인합니다. show service network-connections 명령을실행하고 l2vpn 프로세스가포트 443에서수신하는지확인합니다. 2 L2 VPN 클라이언트프로세스가실행되고있는지확인합니다. a NSX Edge VM 에로그인합니다. b c show process monitor 명령을실행하고이름이 naclientd인프로세스를찾을수있는지확인합니다. show service network-connections 명령을실행하고 naclientd 프로세스가포트 443에서수신하는지확인합니다. 3 L2 VPN 서버를인터넷에서액세스할수있는지확인합니다. a 브라우저를열고 VPN 공용 IP> 로이동합니다. b 포털로그인페이지가표시되어야합니다. 포털페이지가표시되면인터넷을통해 L2 VPN 서버에연결할수있는것입니다. VMware, Inc. 177

178 4 트렁크인터페이스가분산포트그룹또는표준포트그룹을통해지원되는지확인합니다. a 트렁크인터페이스가분산포트그룹을통해지원되면싱크포트가자동으로설정됩니다. b 트렁크인터페이스가표준포트그룹을통해지원되면다음과같이 vsphere Distributed Switch 를수동으로구성해야합니다. 포트를비규칙 (promiscuous) 모드로설정합니다. 위조전송 (Forged Transmits) 을수락 (Accept) 으로설정합니다. 5 L2 VPN 루핑문제를완화합니다. a NIC 팀구성이제대로구성되지않으면 MAC 플래핑과중복된패킷의두가지주요문제 가관찰됩니다. 반복을완화하기위한 L2VPN 옵션에설명된구성을확인합니다. 6 L2 VPN 의 VM 이서로통신할수있는지확인합니다. a b L2 VPN 서버 CLI에로그인하고해당탭인터페이스 debug packet capture interface name에서패킷을캡처합니다. L2 VPN 클라이언트에로그인하고해당탭인터페이스 debug packet capture interface name에서패킷을캡처합니다. c 이러한캡처를분석하여 ARP 가해결되고있는지와데이터트래픽흐름을확인합니다. VMware, Inc. 178

179 d e Allow Forged Transmits: dvswitch 속성이 L2 VPN 트렁크포트로설정되어있는지확인합니다. 싱크포트가 L2 VPN 트렁크포트로설정되어있는지확인합니다. 이렇게하려면호스트에로그인하고 net-dvs -l 명령을실행합니다. L2 VPN Edge 내부포트에대해설정된 SINK 속성 (com.vmware.etherswitch.port.extraethfrp = SINK) 을확인합니다. 내부포트는 NSX Edge 트렁크가연결되는 dvport를나타냅니다. 반복을완화하기위한 L2VPN 옵션 반복을완화하기위한두가지옵션이있습니다. NSX Edge와 VM을서로다른 ESXi 호스트에배치할수도있고또는동일한 ESXi 호스트에배치할수도있습니다. 옵션 1: L2VPN Edge용 ESXi 호스트와 VM용 ESXi 호스트구분 VMware, Inc. 179

180 1. 별도 ESXi 호스트에 L2VPN Edge 및 VM 배포 원래가상포트를기반으로라우팅 업링크 임의팀구성정책 업링크 무차별모드 : 사용안함 활성 활성 팀구성활성 / 활성 : 지원되지않음 대기 활성 dvportgroup dvportgroup SINK 트렁크인터페이스 vds 1 Edge와 VM을별도의 ESXi 호스트에배포합니다. 2 다음과같이 Edge의트렁크 vnic에연결된분산포트그룹에대한팀구성및페일오버정책을구성합니다. a 로드밸런싱을 " 원래가상포트를기반으로라우팅 " 으로설정합니다. b 업링크하나만활성으로설정하고나머지업링크는대기로설정합니다. 3 다음과같이 VM에연결된분산포트그룹에대한팀구성및페일오버정책을구성합니다. a 모든팀구성정책이허용됩니다. b 활성업링크를여러개구성할수있습니다. VMware, Inc. 180

181 4 SINK 포트모드를사용하도록 Edge를구성하고트렁크 vnic에서비규칙모드를사용하지않도록설정합니다. 참고 비규칙모드사용안함 : vsphere Distributed Switch를사용하는경우 비규칙모드사용 : 가상스위치를사용하여트렁크인터페이스를구성하는경우가상스위치의비규칙모드가사용으로설정된경우현재비규칙포트에서사용되지않는업링크의패킷일부가삭제되지않습니다. ReversePathFwdCheckPromisc를사용하도록설정했다가사용하지않도록설정하면비규칙포트에대해현재사용되지않은업링크에서들어오는모든패킷이명시적으로삭제됩니다. 중복된패킷을차단하려면 NSX Edge가있는 ESXi CLI에서비규칙모드에대한 RPF 확인을활성화합니다. esxcli system settings advanced set -o /Net/ReversePathFwdCheckPromisc -i 1 esxcli system settings advanced list -o /Net/ReversePathFwdCheckPromisc Path: /Net/ReversePathFwdCheckPromisc Type: integer Int Value: 1 Default Int Value: 0 Max Value: 1 Min Value: 0 String Value: Default String Value: Valid Characters: Description: Block duplicate packet in a teamed environment when the virtual switch is set to Promiscuous mode. 포트그룹 (PortGroup) 보안정책에서비규칙모드 (PromiscousMode) 를수락 (Accept) 에서거 부 (Reject) 로설정했다가다시수락 (Accept) 으로설정하여구성된변경사항을활성화합니다. 옵션 2: 동일한 ESXi 호스트의 Edge 및 VM VMware, Inc. 181

182 2. 동일한호스트에 L2VPN Edge 및 VM 배포 원래가상포트를기반으로라우팅 업링크 원래가상포트를기반으로라우팅 업링크 무차별모드 : 사용안함 활성 활성 대기 대기 트렁크인터페이스 dvportgroup SINK vds dvportgroup 활성 / 대기업링크는두 dvportgroup 에대해동일해야합니다. a 다음과같이 Edge 의트렁크 vnic 에연결된분산포트그룹에대한팀구성및페일오버정책 을구성합니다. 1 로드밸런싱을 " 원래가상포트를기반으로라우팅 " 으로설정합니다. 2 업링크하나만활성으로설정하고나머지업링크는대기로설정합니다. b 다음과같이 VM에연결된분산포트그룹에대한팀구성및페일오버정책을구성합니다. 1 모든팀구성정책이허용됩니다. 2 업링크중하나만활성상태일수있습니다. 3 VM의분산포트그룹과 Edge의트렁크 vnic 분산포트그룹에대해활성 / 대기업링크의순서가동일해야합니다. c SINK 포트모드를사용하도록클라이언트측독립형 Edge 를구성하고트렁크 vnic 에서비 규칙모드를사용하지않도록설정합니다. CLI 를사용하여문제해결 NSX CLI( 명령줄인터페이스 ) 를사용하여 SSL 및 IPSec 터널을통한 L2 VPN 서비스문제를해결할수있습니다. 문제 L2 VPN 서비스가예상대로작동하지않습니다. VMware, Inc. 182

183 해결책 1 다음중앙 CLI 명령을사용하여구성문제를확인합니다. show edge <edgeid> configuration l2vpn. 예 : show edge edge-1 configuration l2vpn. 2 클라이언트및서버 Edge 둘다에서다음명령을사용합니다. SSL 터널을통한 L2 VPN의경우 show configuration l2vpn 명령을실행하고서버에서다음과같은네가지키값을확인합니다. IPSec 터널을통한 L2 VPN의경우 show configuration l2vpn 명령을실행하고각터널의사이트 ID를확인합니다. L2 VPN 구성에서각터널의사이트 ID가경로기반 IPSec 터널을만들때자동으로생성된사이트 ID와일치하는지확인합니다. SSL 및 IPSec 터널을통한 L2 VPN의경우 show service l2vpn bridge 명령을실행하여로컬및원격사이트에서학습된 MAC 주소를확인합니다. ON BRIDGE 플래그가 false이면트렁크인터페이스에서학습된 MAC 주소는로컬사이트의 VM에속해있습니다. 마찬가지로, ON BRIDGE 플래그가 false이면탭디바이스에서학습된 MAC 주소 (tap0/na<index>/l2t- <index>) 가원격사이트에있는 VM에속합니다. VMware, Inc. 183

184 IPSec 클라이언트및서버를통한 L2 VPN 의경우 show service l2vpn bridge 명령의 CLI 출력은다음과같습니다. nsx-edge> show service l2vpn bridge bridge name bridge id STP enabled interfaces br-sub e5f no l2t-1 vnic_1 List of learned MAC addresses for L2 VPN bridge br-sub INTERFACES MAC ADDR VLAN ID ON BRIDGE AGING TIMER vnic_1 00:50:56:90:2e:5f 0 yes 0.00 vnic_1 00:50:56:90:c2:e4 0 no l2t-1 9a:80:b8:56:c7:0e 0 yes 0.00 SSL 서버를통한 L2 VPN 의경우 show service l2vpn bridge 명령의 CLI 출력은다음과같 습니다. nsx-edge> show service l2vpn bridge bridge name bridge id STP enabled interfaces br-sub a99b no na1 vnic_1 List of learned MAC addresses for L2 VPN bridge br-sub INTERFACES MAC ADDR VLAN ID ON BRIDGE AGING TIMER vnic_1 00:50:56:90:0d:52 30 no na1 00:50:56:90:0d:52 10 no vnic_1 00:50:56:90:a9:9b 30 yes 0.00 na1 d6:60:19:cb:e7:ca 0 yes 0.00 SSL 클라이언트를통한 L2 VPN 의경우 show service l2vpn bridge 명령의 CLI 출력은다음 과같습니다. nsx-edge> show service l2vpn bridge bridge name bridge id STP enabled interfaces br-sub d52 no tap0 vnic_1 List of learned MAC addresses for L2 VPN bridge br-sub INTERFACES MAC ADDR VLAN ID ON BRIDGE AGING TIMER vnic_1 00:50:56:90:0d:52 10 yes 0.00 vnic_1 00:50:56:90:a9:9b 30 no 3.84 tap0 00:50:56:90:a9:9b 20 no 0.84 tap0 00:50:56:90:a9:9b 10 no 2.84 VMware, Inc. 184

185 IPSec 터널을통한 L2 VPN 의경우서버및클라이언트둘다에서 show service l2vpn 명령 을실행합니다. 예를들어, 서버의다음 CLI 출력은두 IPSec 터널의상태를보여줍니다. NSX-edge-23-0> show service l2vpn L2 VPN is running L2 VPN type: Server/Hub SITENAME IPSECSTATUS VTI GRE Site 1 UP vti-1 l2t-36 Site 2 UP vti-1 l2t-34 터널상태가 UP인지확인합니다. 터널상태가 UP이면터널의사이트 ID가경로기반 IPSec 터널을만들때자동으로생성된사이트 ID와일치하는지여부를확인합니다. IPSec 터널을통한 L2 VPN의경우 show interface [interface-name] 명령을실행하여모든 VTI 인터페이스의세부정보를확인합니다. SSL 및 IPSec 터널을통한 L2 VPN의경우 show service l2vpn trunk table 명령을실행합니다. SSL 및 IPSec 터널을통한 L2 VPN의경우 show service l2vpn conversion table 명령을실행합니다. 다음예에서 1번터널에도달하는이더넷프레임은패킷이 VDS에전달되기전에해당 1번 VLAN ID가 VLAN 번호 5001을갖는 VXLAN으로변환됩니다. SSL 을통한 L2 VPN 터널다운 vsphere Web Client 와 L2 VPN 장치의콘솔둘다에서 L2 VPN 터널상태및터널실패이유를 확인할수있습니다. 문제 클라이언트와서버사이에서 SSL 터널을통한 L2 VPN 이다운되었습니다. 원인 L2 VPN 서버측에서터널이다운되면다음과같은일반오류메시지가표시됩니다. 사용할수없습니다. 자세한내용은 L2VPN 클라이언트및서버시스템로그 /CLI 를확인하십시오. VMware, Inc. 185

186 L2 VPN 클라이언트측에서다음과같은이유로인해터널이다운되면 SSL 연결이실패했습니다. 라는메시지가표시됩니다. 서버주소가올바르지않습니다. L2 VPN Edge 서버에연결할수없거나서버가응답하지않습니다. 암호또는포트번호가 L2 VPN 서버에서잘못구성되었습니다. 그러나사용자 ID 또는암호가올바르지않거나, 서버에서사이트가사용되지않도록설정되면 L2 VPN 클라이언트에다음과같은메시지가표시됩니다. 인증에실패했습니다. 다시로그인하십시오. 해결책 1 NSX Edge에대한기술지원로그를다운로드하고 L2 VPN과관련된로그파일에서실패또는오류메시지를확인합니다. 일반적으로 L2 VPN 서버에대한모든로그형식은다음과같습니다. {Date}NSX-edge-1-0l2vpn:[local0:info]INFO:{MESSAGE} 2 클라이언트와서버간의 SSL 연결실패로인해터널이다운된경우다음방법을사용하여문제를해결하십시오. 서버주소, 서버포트및암호화알고리즘이올바르게구성되어있는지확인합니다. 업링크포트에서독립형 L2 VPN Edge 클라이언트가인터넷에연결되어있는지와 L2 VPN Edge 서버에연결할수있는지확인합니다. 방화벽이포트 443을차단하지않는지확인합니다. 3 인증실패로인해터널이다운된경우사용자이름또는암호를수정하고다시로그인합니다. L2 VPN 터널을흐르지않는데이터트래픽 서버와클라이언트간의 L2 VPN 터널이작동상태이지만터널을통해데이터가흐르지않습니다. 문제 L2 VPN 서버와 L2 VPN 클라이언트간의데이터경로에연결문제가존재합니다. 원인다음과같은이유중하나로인해 L2 VPN 터널에서데이터트래픽이흐르지않을수있습니다. 독립형 L2 VPN 클라이언트의터널 ID가 L2 VPN 서버에서구성된터널 ID와일치하지않습니다. 분산스위치의트렁크포트에독립형 L2 VPN Edge 가상장치와연결하기위한 vnic 인터페이스가할당되어있지않습니다. 독립형 L2 VPN Edge의분산스위치에있는트렁크포트그룹의 VLAN 범위에 VM의업링크인터페이스에구성된 VLAN ID가포함되지않습니다. VMware, Inc. 186

187 싱크가독립형 L2 VPN Edge 장치에연결되는트렁크인터페이스의포트번호에서사용되도록설정되어있지않을수있습니다. 해결책다음절차의단계는 SSL 터널및 IPSec 터널둘다를사용하는 L2 VPN 서비스에적용됩니다. 절차 1 L2 VPN 클라이언트의터널 ID가 L2 VPN 서버의터널 ID와일치하는지여부를확인하려면독립형 L2 VPN 장치의 CLI에로그인하고 show service l2vpn conversion-table 명령을실행합니다. 2 분산스위치의트렁크포트에독립형 L2 VPN Edge 장치에연결하기위한 vnic 인터페이스가할당되어있는지여부를확인하려면 vsphere Web Client에서다음단계를수행합니다. a 호스트및클러스터 (Hosts and Clusters) 를클릭합니다. b 독립형 L2 VPN Edge 를마우스오른쪽단추로클릭하고설정편집 (Edit Settings) 을 클릭합니다. c 가상하드웨어 (Virtual Hardware) 탭페이지에있는지확인합니다. d 네트워크어댑터 2(Network adapter 2) 드롭다운메뉴에서분산스위치의트렁크포 트가선택되어있는지확인하고연결됨 (Connected) 확인란이선택되어있는지확인합니 다. 3 분산스위치의트렁크포트그룹에서 VLAN 트렁크범위를확인하려면 vsphere Web Client에서다음단계를수행합니다. a 호스트및클러스터 (Hosts and Clusters) 를클릭합니다. b 네트워킹 (Networking) 탭을클릭합니다. c 분산스위치의트렁크포트그룹을마우스오른쪽단추로클릭하고설정편집 (Edit Settings) 을클릭합니다. d VLAN 페이지를엽니다. e 트렁크포트그룹의 VLAN 범위에데이터트래픽이시작된 VM 의업링크포트에지정한 VLAN ID 가포함되어있는지확인합니다. 참고 Edge 장치에연결될수있도록 VLAN 트렁크에대해구성된분산스위치에전용포트그룹이있는것이좋습니다. 4 독립형 L2 VPN Edge 장치에연결된트렁크포트그룹의포트번호에서싱크가사용되도록설정되어있는지를확인하려면 vsphere Web Client에서다음단계를수행합니다. a 호스트및클러스터 (Hosts and Clusters) 를클릭합니다. b 네트워킹 (Networking) 탭을클릭합니다. c 분산스위치의트렁크포트그룹을클릭한다음, 포트 (Ports) 탭을클릭합니다. VMware, Inc. 187

188 d 독립형 L2 VPN 장치에연결된포트번호또는포트 ID 를찾습니다. e 독립형 L2 VPN 클라이언트가배포된 ESXi 호스트의 CLI 에로그인하고다음명령을실 행하여이포트번호에대해싱크가사용되도록설정되어있는지확인합니다. net-dvs -l grep "port\ [0-9]\ SINK\ com.vmware.common.alias" 예를들어싱크가포트 30 에서사용되도록설정되어있으면 ESXi 호스트의 CLI 는다음 출력을표시합니다. port 30:com.vmware.etherswitch.port.extraEthFRP = SINK SSL VPN 다음정보를사용하여설정문제를해결할수있습니다. SSL VPN 웹포털이열리지않음 SSL VPN 사용자는 [SSL VPN 웹포털로그인 ] 페이지를열어 SSL VPN-Plus Client 설치패키지를다운로드한후설치할수없습니다. 문제 [SSL VPN 웹포털로그인 ] 페이지가열리지않거나페이지가시스템브라우저에서올바르게렌더링되지않습니다. 원인다음과같은이유중하나로이문제가발생할수있습니다. 시스템이지원되지않는브라우저버전을사용합니다. 브라우저에서쿠키및 JavaScript가사용하도록설정되어있지않습니다. 해결책 1 다음과같은지원되는브라우저중하나에서 [SSL VPN 웹포털로그인 ] 페이지를열어야합니다. 브라우저 지원되는최소버전 Internet Explorer Chrome Safari 10.x 2 브라우저설정을열고쿠키및 JavaScript가사용하도록설정되어있는지확인합니다. 3 브라우저언어가영어로설정되지않은경우언어를영어로설정하고문제가지속되는지확인합니다. 4 SSL VPN 서버에서 AES 암호를선택했는지확인합니다. 일부브라우저는 AES 암호화를지원하지않습니다. VMware, Inc. 188

189 SSL VPN-Plus: 설치실패 발생가능한 SSL VPN-Plus Client 관련설치문제및해결방법을이해하려면이항목을사용하십 시오. 문제 SSL VPN-Plus Client 설치와관련된일반적인문제는다음과같습니다. SSL VPN-Plus Client가성공적으로설치되었지만클라이언트가작동하지않습니다. Mac 시스템에서커널확장주의메시지가표시됩니다. Mac OS High Sierra에서다음과같은설치오류메시지가표시됩니다. /opt/sslvpn-plus/naclient/signed_kext/tap.kext failed to load - (libkern/kext)system policy prevents loading; check the system/kernel logs for errors or try kextutil(8). Error: Could not load /opt/sslvpn-plus/naclient/signed_kext/tap.kext installer[4571] <Debug>: install:didfailwitherror:error Domain= PKInstallErrorDomain Code=112 "An error occurred while running scripts from the package naclient.pkg. " UserInfo={NSFilePath=./postinstall,NSURL=file://<pathtofile>/naclient.pkg,PKInstallPackageIdentifier= com.vmware.sslvpn,nslocalizeddescription=an error occurred while running scripts from the package naclient.pkg.} installer[4571] <Error>: Install failed: The Installer encountered an error that caused the installation to fail. Contact the software manufacturer for assistance. installer: The install failed (The Installer encountered an error that caused the installation to fail. Contact the software manufacturer for assistance.) Windows 시스템에서다음과같은오류메시지가표시됩니다. 다음과같은이유때문에드라이 버를설치하지못했습니다. E000024B. 시스템을재부팅해보십시오. 원인다음과같은이유중하나로인해 SSL VPN-Plus Client를컴퓨터에성공적으로설치한후에이프로그램이실패할수있습니다. 구성파일 (naclient.cfg) 이누락되었거나구성파일이잘못되었습니다. 디렉토리사용권한또는사용자사용권한이올바르지않습니다. SSL VPN 서버에연결할수없습니다. Mac 및 Linux 시스템에서탭드라이버가로드되지않았습니다. Mac 시스템에서는커널확장로드가차단되므로커널확장주의메시지가표시됩니다. Mac OS High Sierra에서는 Mac 시스템에서 kext를허용하지않고 kext를로드하도록요구하지도않을경우설치오류가표시됩니다. Windows 시스템에서는 Edge SSL VPN-Plus Client 설치관리자에서 SSL 클라이언트네트워크어댑터숨기기 (Hide SSL client network adapter) 옵션을사용하도록설정했으므로드라이버설치실패 (E000024B) 가표시됩니다. VMware, Inc. 189

190 해결책 1 지원되는운영체제에서 SSL VPN-Plus Client를설치해야합니다. 지원되는운영체제에대한자세한내용은 NSX 관리가이드에서 SSL VPN-Plus 개요항목을참조하십시오. 2 Windows 시스템에서 SSL VPN-Plus Client를설치하는사용자에게관리자권한이있는지확인합니다. Mac 및 Linux 시스템에서 SSL VPN-Plus Client를설치하려면사용자에게루트권한이있어야합니다. 또한 Mac 시스템에서 SSL VPN-Plus Client가성공적으로시작및실행되려면 usr/local/lib 디렉토리에대해실행권한이있어야합니다. 3 Linux 시스템에서다음과같은라이브러리가설치되어있는지확인합니다. UI가작동하려면다음라이브러리가필요합니다. TCL TK NSS 4 탭드라이버가 Mac 및 Linux 시스템에서로드되지않으면 shell script를실행하여드라이버를로드합니다. 운영체제 Mac Linux 설명 sudo 권한을사용하여 /opt/sslvpn-plus/naclient/ 디렉토리에서 Naclient.sh shell script를실행합니다. sudo 권한을사용하여 naclient.sh shell script를실행합니다. 이스크립트는 linux_phat_client/linux_phat_client 디렉토리에서찾을수있습니다. 5 macos High Sierra 이상이있는시스템에서커널확장주의메시지를해결하려면커널확장 (kext) 을로드하기위한명시적사용자승인을제공해야합니다. 다음단계를수행합니다. a b Mac 시스템에서시스템환경설정 (System Preferences) > 보안및개인정보 (Security & Privacy) 창을엽니다. 창아래쪽에서 " 일부시스템소프트웨어의로드가차단되었습니다." 와유사한메시지가표시될수있습니다. " 허용 " 버튼을클릭합니다. c 설치를계속하려면허용 (Allow) 을클릭합니다. 커널확장로드에대한사용자승인을제공하는방법에대한자세한내용은 d 커널확장을로드하는동안 SSL VPN-Plus Client 설치프로세스가백그라운드에서계속실행됩니다. SSL VPN-Plus Client가설치되지만다음오류메시지가표시됩니다. 설치가실패했습니다. 설치관리자에서설치실패를야기하는오류가발생했습니다. 소프트웨어제조업체에도움을요청하십시오. e 이오류를해결하려면 SSL VPN-Plus Client 를제거했다가다시설치합니다. VMware, Inc. 190

191 6 Mac OS High Sierra 에서설치오류메시지를해결하려면다음단계를수행합니다. a 알림이사용하도록설정되어있는지확인합니다. 시스템환경설정 (System Preferences) > 보안및개인정보 (Security & Privacy) > 알림허용 (Allow Notifications) 으로이동 합니다. 참고 Mac OS High Sierra에서 SSL VPN-Plus Client를처음설치하는경우알림창에설치를허용할지묻는메시지가표시됩니다. 이알림은일반적으로 30분동안지속됩니다. 이알림이허용 (Allow) 을클릭하기전에사라지면시스템을다시시작하고 SSL VPN-Plus Client를다시설치합니다. 설치가계속실패하면커널확장 (kext) 이허용되지않고 kext를로드하라는메시지도표시되지않습니다. 나머지하위단계를완료하여미리승인된 kext 목록에 tuntap kext team id를추가합니다. b 복구모드에서 Mac 시스템을다시시작합니다. 1 화면왼쪽상단에서 Apple 로고를클릭합니다. 2 다시시작 (Restart) 을클릭합니다. 3 Apple 로고또는회전하는지구본이보일때까지 Command와 R 키를즉시누릅니다. 회전하는지구본은 Mac 시스템이기본제공복구시스템을통해시작할수없어인터넷에연결하여 macos 복구를시작하려고하면나타납니다. 이제 Mac이복구모드에서시작됩니다. c 맨위막대에서유틸리티 (Utlities) > 터미널 (Terminal) 을클릭합니다. d 사전승인된 kext 목록에 tuntap kext team id 를추가하려면 - spctl kext-consent add KS8XL6T9FZ 명령을실행합니다. e 표준모드에서 Mac 시스템을다시시작합니다. f 사전승인된 kext 목록에 team-id 가표시되는지여부를확인하려면 - spctl kext-consent list 명령을실행합니다. g SSL VPN-Plus Client 패키지를설치합니다. 7 Windows 시스템에서드라이바설치실패오류 (E00024B) 가표시되면 Edge SSL VPN-Plus Client 설치관리자에서 SSL 클라이언트네트워크어댑터숨기기 (Hide SSL client network adapter) 옵션을사용하지않도록설정합니다. 이옵션을사용하지않도록설정하기위한지침을보려면 VMware 기술자료문서를참조하십시오. SSL VPN-Plus: 통신문제 발생가능한 SSL VPN 연결및데이터경로문제와해결방법을이해하려면이항목을사용하십시오. 문제 SSL VPN 연결및데이터경로와관련된일반적인문제는다음과같습니다. SSL VPN-Plus Client 가 SSL VPN 서버에연결할수없습니다. VMware, Inc. 191

192 SSL VPN-Plus Client가설치되어있지만 SSL VPN-Plus 서비스가실행되고있지않습니다. 로그인한사용자의최대수에도달했습니다. SSL VPN 웹포털또는 SSL VPN-Plus Client에다음과같은메시지가표시됩니다. 최대사용자수에도달했습니다 /SSL VPN-Plus 라이센스에따라로그인한사용자의최대수에도달했습니다. 잠시후다시시도하십시오. 또는 SSL 읽기에실패했습니다. 가표시됩니다. SSL VPN 서비스가실행되고있지만데이터경로가작동하지않습니다. SSL VPN 연결이설정되었지만전용네트워크의애플리케이션에액세스할수없습니다. 해결책 1 SSL VPN-Plus Client가 SSL VPN 서버에연결할수없으면다음을수행합니다. SSL VPN 사용자가올바른사용자이름및암호를사용하여로그인되어있는지확인합니다. SSL VPN 사용자가유효한지여부를확인합니다. SSL VPN 사용자가웹포털을사용하여 SSL VPN 서버에연결할수있는지여부를확인합니다. 2 NSX Edge에서다음단계를수행하여 SSL VPN 프로세스가실행중인지여부를확인합니다. a CLI 에서 NSX Edge 에로그인합니다. Edge CLI 에로그인하는방법에대한자세한내용은 NSX 명령줄인터페이스참조를참조하십시오. b show process monitor 명령을실행하고 sslvpn 프로세스를찾습니다. c show service network-connections 명령을실행하고 sslvpn 프로세스가포트 443 에서수신 대기하는지확인합니다. 참고기본적으로 SSL 트래픽에대해포트 443이사용됩니다. 그러나 SSL 트래픽에대해다른 TCP 포트를구성한경우 sslvpn 프로세스가해당 TCP 포트번호에서수신대기하는지확인합니다. 3 SSL VPN-Plus Client에서 SSL VPN-Plus 서비스가실행중인지여부를확인합니다. 운영체제 Windows 설명 작업관리자를열고 SSL VPN-Plus Client 서비스가시작되었는지여부를확 인합니다. Mac naclientd 프로세스가데몬에대해시작되었는지확인합니다. naclient 프로세스가 GUI에대해시작되었는지확인합니다. 프로세스가실행중인지여부를확인하려면 ps -ef grep "naclient" 명령을실행합니다. Linux naclientd 및 naclient_poll 프로세스가시작되었는지확인합니다. 프로세스가실행중인지여부를확인하려면 ps -ef grep "naclient" 명령을실행합니다. VMware, Inc. 192

193 서비스가실행되고있지않으면다음명령을실행하여서비스를시작합니다. 운영체제 Mac 명령 sudo launchctl load -w /Library/LaunchDaemons/com.vmware.naclientd.plist 명령을실행합니다. Linux sudo service naclient start 명령을실행합니다. 4 로그인한 SSL VPN 사용자가최대수에도달한경우 NSX Edge 폼팩터를늘려 CCU( 동시사용자수 ) 를늘립니다. 자세한내용은 NSX 관리가이드를참조하십시오. 이작업을수행하면연결된사용자가 VPN에서연결이끊어집니다. 5 SSL VPN 서비스가실행되고있지만데이터경로가작동하지않는경우다음단계를수행합니다. a 연결에성공한후가상 IP가지정되었는지여부를확인합니다. b 경로가추가되었는지여부를확인합니다. 6 전용 ( 백엔드 ) 네트워크의애플리케이션에액세스할수없는경우다음단계를수행하여문제를해결합니다. a 전용네트워크및 IP 풀이동일한서브넷에있지않은지확인합니다. b 관리자가 IP 풀을정의하지않았거나 IP 풀이모두사용된경우다음단계를수행합니다. 1 vsphere Web Client에로그인합니다. 2 네트워킹및보안 (Networking & Security) 를클릭한다음 NSX Edge(NSX Edges) 를클릭합니다. 3 NSX Edge를두번클릭하고 SSL VPN-Plus 탭을클릭합니다. 4 NSX 관리가이드의 "IP 풀추가 " 항목에설명된대로정적 IP 풀을추가합니다. 게이트웨이 (Gateway) 텍스트상자에서 IP 주소를추가해야합니다. 게이트웨이 IP 주소가 na0 인터페이스에할당됩니다. 모든 TCP 이외트래픽은 na0 인터페이스라는가상어댑터를통해흐릅니다. 동일한 na0 인터페이스에할당된다른게이트웨이 IP 주소로여러 IP 풀을생성할수있습니다. 5 show interface na0 명령을사용하여제공된 IP 주소를확인하고모든 IP 풀이동일한 na0 인터페이스에할당되었는지확인합니다. 6 클라이언트시스템에로그인하고 SSL VPN-Plus Client - 통계 (SSL VPN-Plus Client - Statistics) 화면으로이동한후할당된가상 IP 주소를확인합니다. c NSX Edge CLI( 명령줄인터페이스 ) 에로그인하고 debug packet capture interface na0 명령을실행하여 na0 인터페이스에대해패킷캡처를수행합니다. 또한패킷캡처 (Packet Capture) 도구를사용하여패킷을캡처할수도있습니다. 자세한내용은 NSX 관리가이드를참조하십시오. 참고 no debug packet capture interface na0 명령을실행하여캡처를중지할때까지패킷 캡처는백그라운드에서계속실행됩니다. VMware, Inc. 193

194 d TCP 최적화가사용되도록설정되면방화벽규칙을확인합니다. e f TCP 이외트래픽의경우백엔드네트워크의기본게이트웨이가 Edge의내부인터페이스로설정되어있는지확인합니다. Mac 및 Linux 클라이언트의경우 SSL VPN Client가설치된시스템으로로그인한후 tcpdump -i tap0 -s w filepath 명령을실행하여 tap0 인터페이스또는가상어댑터에대해패킷캡처를수행합니다. Windows 클라이언트에서는 Wireshark와같은패킷분석기도구를사용하여 SSL VPN-Plus Client 어댑터에서패킷을캡처합니다. 7 위의모든단계로문제가해결되지않으면다음 NSX Edge CLI 명령을사용하여문제를추가적 으로해결합니다. 용도 SSL VPN 상태를확인합니다. SSL VPN 통계를확인합니다. 연결된 VPN 클라이언트를확인합니다. SSL VPN-Plus 세션을확인합니다. 명령 show service sslvpn-plus show service sslvpn-plus stats show service sslvpn-plus tunnels show service sslvpn-plus sessions SSL VPN-Plus: 인증문제 SSL VPN-Plus 인증문제가발생했습니다. 문제 SSL VPN-Plus 인증에실패합니다. 해결책 u 인증문제가발생하면다음설정을확인하십시오. a b c d NSX Edge에서외부인증서버에연결할수있는지확인합니다. NSX Edge에서인증서버를 ping하고해당서버에연결할수있는지확인합니다. LDAP 브라우저와같은도구를사용하여외부인증서버구성을확인하고구성이작동하는지검토하십시오. LDAP 및 AD 인증서버만 LDAP 브라우저를통해확인할수있습니다. 로컬인증서버가인증프로세스에서구성된경우가장낮은우선순위로설정되어있는지확인합니다. AD(Active Directory) 를사용하는경우 no-ssl 모드로설정하고 AD 서버에연결할수있는인터페이스에서패킷캡처를수행합니다. e syslog 서버에서인증이성공하면다음과비슷한메시지가표시됩니다. Log Output - SVP_LOG_NOTICE, ,09:28:39,Authentication,a,-,-, ,-,PHAT,,SUCCESS,,, ,09:28:39,-,-,,,,,,,,,,-,,-, f syslog 서버에서인증이실패하면다음과비슷한메시지가표시됩니다. Log Output - SVP_LOG_NOTICE, ,09:28:39,Authentication,a,-,-, ,-,PHAT,,FAILURE,,, ,09:28:39,-,-,,,,,,,,,,-,,-, VMware, Inc. 194

195 SSL VPN-Plus Client 가응답을중지함 TCP 최적화를사용하도록설정할경우 SSL VPN-Plus Client 가응답을중지합니다. u 이문제를해결하려면 vsphere Web Client 에서다음단계를수행하여 SSL VPN 터널을통한 전용네트워크트래픽에대해 TCP 최적화를사용하지않도록설정합니다. a SSL VPN-Plus 서비스를구성한 NSX Edge VM 을두번클릭합니다. b SSL VPN-Plus 탭을클릭하고개인네트워크를선택합니다. c TCP 최적화사용 (Enable TCP Optimization) 확인란을선택취소합니다. 기본로그분석 SSL VPN-Plus Gateway 로그는 NSX Edge Appliance에구성된 Syslog 서버로전송됩니다. SSL VPN-Plus Client 로그는원격사용자컴퓨터 C:\Users\username\AppData\Local\VMware\vpn\svp_client.log 디렉토리에저장됩니다. 문제터널을통해트래픽을전송하기위해 SSL VPN-Plus 서비스를 NSX Edge에서실행되도록구성하고 TCP 최적화를사용하도록설정했습니다. SSL VPN-Plus Client에서네트워크성능측정및조정도구 ( 예 : iperf3) 를실행할때 SSL VPN-Plus Client가응답을중지합니다. 원인다음두시나리오중하나는에SSL VPN-Plus Client에서데이터를전송할때터널읽기오류를일으킬수있습니다. 백엔드서버는 TCP FIN 시퀀스를전송하여 SSL VPN 서버와의 TCP 연결을닫습니다. 백엔드서버에데이터를전달하는동안터널쓰기작업이실패합니다. 터널읽기오류는알수없는프로토콜 ID입니다. 이오류는 SSL VPN 서버와 SSL VPN-Plus Client 간에터널을지우며, 이로인해클라이언트에서 SSL 읽기 / 쓰기작업이실패하고 SSL VPN- Plus Client가응답을중지합니다. 해결책 기본로그분석 - 인증인증성공 다음로그출력은사용자 a가 2016년 10월 28일, 0928시에네트워크액세스클라이언트에서성공적으로인증되었음을보여줍니다. SVP_LOG_NOTICE, ,09:28:39,Authentication,a,-,-, ,-,PHAT,,SUCCESS,,, ,09:28:39,-,-,,,,,,,,,,,,-,,-,- 인증실패 다음로그출력은사용자 a가 2016년 10월 28일, 0928시에네트워크액세스클라이언트에서인증되지못했음을보여줍니다. VMware, Inc. 195

196 SVP_LOG_NOTICE, ,09:28:39,Authentication,a,-,-, ,-,PHAT,,FAILURE,,, 인증문제를해결하려면 SSL VPN-Plus: 설치실패를참조하십시오 ,09:28:39,-,-,,,,,,,,,,,,-,,-,- 기본로그분석 - 데이터경로데이터경로성공 다음로그출력은사용자 a가 2016년 10월 28일, 0941시에 TCP를통한네트워크액세스클라이언트로백엔드웹서버 에성공적으로연결되었음을보여줍니다. SVP_LOG_INFO, ,09:41:03,TCP Connect,a,-,-, ,-,PHAT,,SUCCESS,,, ,09:41:03,-,-, ,80,,,,,,,,,,-,,-,- 데이터경로실패 다음로그출력은사용자 a가 2016년 10월 28일, 0941시에 TCP를통한네트워크액세스클라이언트로백엔드웹서버 에연결되지못했음을보여줍니다. SVP_LOG_INFO, ,09:41:03,TCP Connect,a,-,-, ,-,PHAT,,FAILURE,,, ,09:41:03,-,-, ,80,,,,,,,,,,-,,-,- IPSec VPN NSX Edge는 NSX Edge 인스턴스와원격사이트사이에서사이트간 IPSec VPN을지원합니다. IPSec VPN 터널은두끝으로구성됩니다. 터널은 IP 서브넷및암호화표준을포함하여양쪽에서일관되어야합니다. 다음포트는 IPSec VPN 터널의모든구성요소에서열려있어야합니다. 포트 500. 이포트는끝점간에 NAT 디바이스가없을때사용됩니다. 포트 이포트는끝점간에 NAT 디바이스가있는경우에사용됩니다. 방화벽규칙에서 ESP( 보안페이로드캡슐화 ) 패킷을허용합니다. IPSec 터널실패를초래할수있는몇가지일반적인잘못된구성문제는다음과같습니다. vsphere Distributed Switch의 MTU 구성이너무낮게설정되어있습니다. MTU 구성값이낮으면패킷조각화가발생하고터널생성이실패합니다. 일부타사 VPN 솔루션은적극적협상모드를제공합니다. NSX Data Center for vsphere는표준협상모드만지원합니다 ( 기본모드 ). 가상시스템은 IPSec VPN 터널을통해 IPv6 통신용으로구성됩니다. 현재 NSX Data Center for vsphere는 IPv6를지원하지않습니다. IPSec VPN 터널생성및연결문제 NSX Edge CLI에서 IPSec 구성명령을실행하여 IPSec VPN 터널연결문제를해결할수있습니다. 또한 vsphere Web Client 및 NSX Data Center for vsphere REST API를사용하여터널실패의원인을확인하고터널오류메시지를볼수있습니다. 터널생성및연결문제를해결하려면다음절차를사용하십시오. VMware, Inc. 196

197 절차 1 두사이트에서지원로그를수집합니다. NSX Data Center for vsphere에대한진단정보를수집하려면 VMware 기술자료문서 NSX Edge에대한진단정보를수집하려면 VMware 기술자료문서 중요 NSX Edge 장치의제한된디스크공간때문에 Syslog 서버로로그를리디렉션해야합니다. 자세한내용은 NSX Data Center for vsphere 관리가이드의 " 원격 Syslog 서버구성 " 섹션을참조하십시오. 2 타사 VPN 솔루션에서로그를수집합니다. 3 NSX Edge CLI에서다음명령을실행하여 Edge의양쪽에서 IPSec 구성을확인합니다. show config ipsec 팁 SSH를사용하면 NSX Edge 명령의출력을보다쉽게검토하고캡처할수있습니다. NSX Edge에서 SSH를사용하도록설정하는방법에대한자세한내용은 NSX 명령줄인터페이스참조가이드의 "CLI에서로그인및로그아웃 " 항목을참조하십시오. 4 NSX Edge에서문제가발생할때의실시간상태를기록합니다. 다음명령을실행하고결과를기록합니다. 명령 용도 show service ipsec IPSec VPN 서비스의상태를확인합니다. show service ipsec sp 보안정책의상태를확인합니다. show service ipsec sa SA( 보안연결 ) 의상태를확인합니다. 5 이문제가여전히나타나는경우타사 VPN 솔루션에서 IPSec 관련로그및출력을캡처합니다. 6 문제를확인하기위해 IPSec 관련로그및출력을검토합니다. IPSec VPN 서비스가실행되고있고, 보안정책이생성되었고, 디바이스간에보안연결이구성되어있는지확인합니다. 로그에서확인할수있는일반적인문제는다음과같습니다. 잘못된 ID: INVALID_ID_INFORMATION 또는 PAYLOAD_MALFORMED 신뢰할수있는 CA 없음 : INVALID_KEY_INFORMATION 또는보다구체적인오류예를들어 'C=CN, ST=BJ, O=VMWare, OU=CINS, Cn=left 또는 PAYLOAD_MALFORMED에대해알려진 RSA 공개키가없습니다. 제안된 proxy-id를찾을수없습니다. INVALID_ID_INFORMATION 또는 PAYLOAD_MALFORMED DPD 피어에서응답이없습니다. 예 : DPD: 피어의응답이없습니다. 피어비활성을선언합니다. VMware, Inc. 197

198 7 vsphere Web Client, 또는 NSX Edge CLI에서또는 NSX Data Center for vsphere REST API를실행하여터널오류메시지를확인합니다. 예를들어 vsphere Web Client에서오류메시지를보려면 NSX Edge를두번클릭하고 IPSec VPN 페이지로이동한후다음단계를수행합니다. a IPSec 통계표시 (Show IPSec Statistics) 를클릭합니다. b 다운된 IPSec 채널을선택합니다. c 선택한채널에대해다운상태인터널을선택하고세부정보보기 (View Details) 를클릭합니 다. 터널세부정보가표시됩니다. 다음표에는 IPSec 터널연결문제의가능한원인과각문제와연결된오류메시지가나와있습니 다. 원인 IKEv1 피어에연결할수없습니다. IKEv1 1단계제안이일치하지않습니다. 다음중하나가일치하지않습니다. IKEv1 PSK 오류메시지 Version-IKEv1 피어의응답이없으므로 IKE 메시지를다시전송합니다. Version-IKEv1 선택한제안이없습니다. 구성된 Encryption/Authentication/DH/IKE- Version을확인하십시오. Version-IKEv1 인증이실패했습니다. 구성된암호또는로컬 / 피어 ID 구성을확인하십시오. IKEv1 ID IKEv1 인증서 IKEv1 2단계제안이일치하지않습니다. IKEv2 피어에연결할수없습니다. IKEv2 IKE SA 제안이일치하지않습니다. IKEv2 IPSec SA 제안이일치하지않습니다. IKEv2 IPSec SA 트래픽선택기가일치하지않습니다. 다음중하나가일치하지않습니다. IKEv2 PSK IPSec-SA 제안또는트래픽선택기가일치하지않습니다. Version-IKEv2 피어의응답이없으므로 IKE 메시지를다시전송합니다. Version-IKEv2 선택한제안이없습니다. 구성된 Encrypt/Authentication/DH/IKEversion 을확인하십시오. IPSec-SA 제안또는트래픽선택기가일치하지않습니다. 트래픽선택기가일치하지않습니다. 왼쪽 / 오른쪽서브넷구성을확인하십시오. Version-IKEv2 인증이실패했습니다. 구성된암호또는로컬 / 피어 ID 구성을확인하십시오. IKEv2 ID IKEv2 인증서 8 IKE 패킷이나 ESP 패킷중하나또는둘다에대해 NSX Edge에서패킷캡처를설정합니다. 다음그림을참조하십시오. 패킷전송이실패했거나패킷이삭제된지점을확인합니다. a 지점 1과 2에서패킷캡처를설정합니다. b VM 1에서호스트 2로 Ping합니다. VMware, Inc. 198

199 c 호스트 2 에서 VM 1 로 Ping 합니다. 그림 7 1. 데이터전송의다양한지점에서패킷캡처 VM VM1 NSX Edge Ping1 원본 개인서브넷 1 패킷캡처 1 IPSec 터널 패킷캡처 2 HW 방화벽 개인서브넷 2 호스트 2 Ping 2 원본 NSX Edge와 Cisco 디바이스간패킷캡처세션의작동예제에대해서는 NSX 문제해결가이드의 " 성공적인협상을위한패킷캡처 " 항목을참조하십시오. 9 모든데이터를검토하고분석하십시오. 패킷캡처데이터는문제가발생한위치를파악하는데도움이됩니다. 예를들어, 다음문제를확인할수있습니다. IKEv1 채널및터널오류 IKEv2 채널및터널오류 데이터경로오류 IPSec VPN 터널다운오류 IPSec VPN 터널이다운된방향 IPSec VPN 터널불안정문제 IPSec VPN 터널이불안정해지면 NSX Data Center for vsphere 제품로그를수집하여기본적인문제해결을시작합니다. 데이터경로에서패킷캡처세션을설정하고, 일부 NSX Edge CLI 명령을실행하여터널불안정의원인을확인합니다. 다음절차를사용하여 IPSec VPN 터널불안정의원인을해결하십시오. 사전요구사항 데이터경로에대해패킷캡처세션을설정하기전에다음과같은요구사항이충족되는지확인합니다. UDP 포트 500 및 4500 에서패킷이송수신될수있습니다. VMware, Inc. 199

200 방화벽규칙에서데이터트래픽이포트 500 및 4500을통과하도록허용합니다. 방화벽규칙에서 ESP( 보안페이로드캡슐화 ) 패킷을허용합니다. IPSec 인터페이스를통한로컬서브넷라우팅이올바르게구성되어있습니다. 터널끝의 IP로작은 ping 페이로드및더큰 ping 페이로드를전송하여 MTU 구성에조각화문제가있는지확인하십시오. 절차 1 두사이트에서지원로그를수집합니다. NSX Data Center for vsphere에대한진단정보를수집하려면 VMware 기술자료문서 NSX Edge에대한진단정보를수집하려면 VMware 기술자료문서 중요 NSX Edge 장치의제한된디스크공간때문에 Syslog 서버로로그를리디렉션해야합니다. 자세한내용은 NSX Data Center for vsphere 관리가이드의 " 원격 Syslog 서버구성 " 섹션을참조하십시오. 2 NSX Edge의 IPSec VPN 서비스가 SonicWall, Watchguard 등과같은타사하드웨어 VPN 방화벽솔루션을사용하도록올바르게구성되었는지확인합니다. 필요한경우 VPN 공급업체에필요한구체적인구성정보를문의하십시오. 3 NSX Edge와타사방화벽간에 IKE 패킷또는 ESP 패킷의패킷캡처를설정합니다. 4 NSX Edge에서문제가발생할때의실시간상태를기록합니다. 다음명령을실행하고결과를기록합니다. 명령 용도 show service ipsec IPSec VPN 서비스의상태를확인합니다. show service ipsec sp 보안정책의상태를확인합니다. show service ipsec sa SA( 보안연결 ) 의상태를확인합니다. 5 이문제가여전히나타나는경우타사 VPN 솔루션에서 IPSec 관련로그및출력을캡처합니다. 6 문제를확인하기위해 IPSec 관련로그및출력을검토합니다. IPSec VPN 서비스가실행되고있고, 보안정책이생성되었고, 디바이스간에보안연결이구성되어있는지확인합니다. 로그에서확인할수있는일반적인문제는다음과같습니다. 잘못된 ID: INVALID_ID_INFORMATION 또는 PAYLOAD_MALFORMED 신뢰할수있는 CA 없음 : INVALID_KEY_INFORMATION 또는보다구체적인오류예를들어 'C=CN, ST=BJ, O=VMWare, OU=CINS, Cn=left 또는 PAYLOAD_MALFORMED에대해알려진 RSA 공개키가없습니다. 제안된 proxy-id를찾을수없습니다. INVALID_ID_INFORMATION 또는 PAYLOAD_MALFORMED VMware, Inc. 200

201 DPD 피어에서응답이없습니다. 예 : DPD: 피어의응답이없습니다. 피어비활성을선언합니다. 7 vsphere Web Client, 또는 NSX Edge CLI에서또는 NSX Data Center for vsphere REST API를실행하여터널오류메시지를확인합니다. 예를들어 vsphere Web Client에서오류메시지를보려면 NSX Edge를두번클릭하고 IPSec VPN 페이지로이동한후다음단계를수행합니다. a IPSec 통계표시 (Show IPSec Statistics) 를클릭합니다. b 다운된 IPSec 채널을선택합니다. c 선택한채널에대해다운상태인터널을선택하고세부정보보기 (View Details) 를클릭합니 다. 터널세부정보가표시됩니다. 다음표에는 IPSec 터널연결문제의가능한원인과각문제와연결된오류메시지가나와있습니 다. 원인 IKEv1 피어에연결할수없습니다. IKEv1 1단계제안이일치하지않습니다. 다음중하나가일치하지않습니다. IKEv1 PSK 오류메시지 Version-IKEv1 피어의응답이없으므로 IKE 메시지를다시전송합니다. Version-IKEv1 선택한제안이없습니다. 구성된 Encryption/Authentication/DH/IKE- Version을확인하십시오. Version-IKEv1 인증이실패했습니다. 구성된암호또는로컬 / 피어 ID 구성을확인하십시오. IKEv1 ID IKEv1 인증서 IKEv1 2단계제안이일치하지않습니다. IKEv2 피어에연결할수없습니다. IKEv2 IKE SA 제안이일치하지않습니다. IKEv2 IPSec SA 제안이일치하지않습니다. IKEv2 IPSec SA 트래픽선택기가일치하지않습니다. 다음중하나가일치하지않습니다. IKEv2 PSK IPSec-SA 제안또는트래픽선택기가일치하지않습니다. Version-IKEv2 피어의응답이없으므로 IKE 메시지를다시전송합니다. Version-IKEv2 선택한제안이없습니다. 구성된 Encrypt/Authentication/DH/IKEversion 을확인하십시오. IPSec-SA 제안또는트래픽선택기가일치하지않습니다. 트래픽선택기가일치하지않습니다. 왼쪽 / 오른쪽서브넷구성을확인하십시오. Version-IKEv2 인증이실패했습니다. 구성된암호또는로컬 / 피어 ID 구성을확인하십시오. IKEv2 ID IKEv2 인증서 VMware, Inc. 201

202 8 이문제가여전히발생하는경우런타임상태, 트래픽상태및전체데이터경로의패킷캡처세션을캡처하십시오. 트래픽에문제가있는위치를확인하려면 IPSec 터널의한쪽에있는개인서브넷에서 IPSec 터널의다른쪽에있는다른개인서브넷으로 Ping합니다. a 다음그림에서와같이지점 1, 2, 3 및 4에서패킷캡처를설정합니다. b VM 1에서호스트 2로 Ping합니다. c 호스트 2에서 VM 1로 Ping합니다. d 패킷전송이실패했거나패킷을삭제된지점을확인합니다. 그림 7 2. 데이터경로의다양한지점에서패킷캡처 VM VM1 Ping1 원본 개인서브넷 1 패킷캡처 1 NSX Edge 패킷캡처 2 IPSec 터널 패킷캡처 3 HW 방화벽 패킷캡처 4 개인서브넷 2 호스트 2 Ping 2 원본 성공적협상 (1 단계및 2 단계 ) 다음예는 NSX Edge 와 Cisco 디바이스간의성공적인협상을보여줍니다. NSX Edge show service ipsec 명령의 CLI 출력 NSX-edge-6-0> show service ipsec vshield Edge IPSec Service Status: IPSec Server is running. AESNI is enabled. Total Sites: 2, 2 UP, 0 Down Total Tunnels: 2, 2 UP, 0 Down Site: _ / _ /0 Channel: PeerIp: LocalIP: Version: IKEv2 Status: UP Tunnel: PeerSubnet: /0 LocalSubnet: /0 Status: UP VMware, Inc. 202

203 Site: _ / _ /24 Channel: PeerIp: LocalIP: Version: IKEv1 Status: UP Tunnel: PeerSubnet: /24 LocalSubnet: /24 Status: UP Cisco ciscoasa# show crypto isakmp sa detail Active SA: 1 Rekey SA: 0 (A tunnel will report 1 Active and 1 Rekey SA during rekey) Total IKE SA: 1 IKE Peer: Type : L2L Role : responder Rekey : no State : MM_ACTIVE Encrypt : 3des Hash : SHA Auth : preshared Lifetime: Lifetime Remaining: 성공적협상을위한패킷캡처 아래에는 NSX Edge 와 Cisco 디바이스간의성공적협상을위한패킷캡처세션이나와있습니다. No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9203 (190 bytes on wire, 190 bytes captured) Ethernet II, Src: Vmware_9d:2c:dd (00:50:56:9d:2c:dd), Dst: Cisco_80:70:f5 (00:13:c4:80:70:f5) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: Next payload: Security Association (1) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x00 Message ID: 0x Length: 148 Security Association payload Next payload: Vendor ID (13) Payload length: 84 Domain of interpretation: IPSEC (1) Situation: IDENTITY (1) Proposal payload # 0 Next payload: NONE (0) Payload length: 72 Proposal number: 0 VMware, Inc. 203

204 Protocol ID: ISAKMP (1) SPI Size: 0 Proposal transforms: 2 Transform payload # 0 Next payload: Transform (3) Payload length: 32 Transform number: 0 Transform ID: KEY_IKE (1) Life-Type (11): Seconds (1) Life-Duration (12): Duration-Value (28800) Encryption-Algorithm (1): 3DES-CBC (5) Hash-Algorithm (2): SHA (2) Authentication-Method (3): PSK (1) Group-Description (4): 1536 bit MODP group (5) Transform payload # 1 Next payload: NONE (0) Payload length: 32 Transform number: 1 Transform ID: KEY_IKE (1) Life-Type (11): Seconds (1) Life-Duration (12): Duration-Value (28800) Encryption-Algorithm (1): 3DES-CBC (5) Hash-Algorithm (2): SHA (2) Authentication-Method (3): PSK (1) Group-Description (4): Alternate 1024-bit MODP group (2) Vendor ID: 4F456C6A405D72544D42754D Next payload: Vendor ID (13) Payload length: 16 Vendor ID: 4F456C6A405D72544D42754D Vendor ID: RFC 3706 Detecting Dead IKE Peers (DPD) Next payload: NONE (0) Payload length: 20 Vendor ID: RFC 3706 Detecting Dead IKE Peers (DPD) No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9204 (146 bytes on wire, 146 bytes captured) Ethernet II, Src: Cisco_80:70:f5 (00:13:c4:80:70:f5), Dst: Vmware_9d:2c:dd (00:50:56:9d:2c:dd) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Security Association (1) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x00 Message ID: 0x Length: 104 Security Association payload Next payload: Vendor ID (13) VMware, Inc. 204

205 Payload length: 52 Domain of interpretation: IPSEC (1) Situation: IDENTITY (1) Proposal payload # 1 Next payload: NONE (0) Payload length: 40 Proposal number: 1 Protocol ID: ISAKMP (1) SPI Size: 0 Proposal transforms: 1 Transform payload # 1 Next payload: NONE (0) Payload length: 32 Transform number: 1 Transform ID: KEY_IKE (1) Encryption-Algorithm (1): 3DES-CBC (5) Hash-Algorithm (2): SHA (2) Group-Description (4): Alternate 1024-bit MODP group (2) Authentication-Method (3): PSK (1) Life-Type (11): Seconds (1) Life-Duration (12): Duration-Value (28800) Vendor ID: Microsoft L2TP/IPSec VPN Client Next payload: NONE (0) Payload length: 24 Vendor ID: Microsoft L2TP/IPSec VPN Client No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9205 (222 bytes on wire, 222 bytes captured) Ethernet II, Src: Vmware_9d:2c:dd (00:50:56:9d:2c:dd), Dst: Cisco_80:70:f5 (00:13:c4:80:70:f5) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Key Exchange (4) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x00 Message ID: 0x Length: 180 Key Exchange payload Next payload: Nonce (10) Payload length: 132 Key Exchange Data (128 bytes / 1024 bits) Nonce payload Next payload: NONE (0) Payload length: 20 Nonce Data VMware, Inc. 205

206 No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9206 (298 bytes on wire, 298 bytes captured) Ethernet II, Src: Cisco_80:70:f5 (00:13:c4:80:70:f5), Dst: Vmware_9d:2c:dd (00:50:56:9d:2c:dd) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Key Exchange (4) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x00 Message ID: 0x Length: 256 Key Exchange payload Next payload: Nonce (10) Payload length: 132 Key Exchange Data (128 bytes / 1024 bits) Nonce payload Next payload: Vendor ID (13) Payload length: 24 Nonce Data Vendor ID: CISCO-UNITY-1.0 Next payload: Vendor ID (13) Payload length: 20 Vendor ID: CISCO-UNITY-1.0 Vendor ID: draft-beaulieu-ike-xauth-02.txt Next payload: Vendor ID (13) Payload length: 12 Vendor ID: draft-beaulieu-ike-xauth-02.txt Vendor ID: C1B7EBE18C8CBD099E89695E2CB16A4A Next payload: Vendor ID (13) Payload length: 20 Vendor ID: C1B7EBE18C8CBD099E89695E2CB16A4A Vendor ID: CISCO-CONCENTRATOR Next payload: NONE (0) Payload length: 20 Vendor ID: CISCO-CONCENTRATOR No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9207 (110 bytes on wire, 110 bytes captured) Ethernet II, Src: Vmware_9d:2c:dd (00:50:56:9d:2c:dd), Dst: Cisco_80:70:f5 (00:13:c4:80:70:f5) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 VMware, Inc. 206

207 Responder cookie: 34704CFC8C8DBD09 Next payload: Identification (5) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x01 Message ID: 0x Length: 68 Encrypted payload (40 bytes) No. Time Source Destination Protocol Info ISAKMP Identity Protection (Main Mode) Frame 9208 (126 bytes on wire, 126 bytes captured) Ethernet II, Src: Cisco_80:70:f5 (00:13:c4:80:70:f5), Dst: Vmware_9d:2c:dd (00:50:56:9d:2c:dd) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Identification (5) Version: 1.0 Exchange type: Identity Protection (Main Mode) (2) Flags: 0x01 Message ID: 0x Length: 84 Encrypted payload (56 bytes) No. Time Source Destination Protocol Info ISAKMP Quick Mode Frame 9209 (334 bytes on wire, 334 bytes captured) Ethernet II, Src: Vmware_9d:2c:dd (00:50:56:9d:2c:dd), Dst: Cisco_80:70:f5 (00:13:c4:80:70:f5) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Hash (8) Version: 1.0 Exchange type: Quick Mode (32) Flags: 0x01 Message ID: 0x79a63fb1 Length: 292 Encrypted payload (264 bytes) No. Time Source Destination Protocol Info ISAKMP Quick Mode Frame 9210 (334 bytes on wire, 334 bytes captured) Ethernet II, Src: Cisco_80:70:f5 (00:13:c4:80:70:f5), Dst: Vmware_9d:2c:dd (00:50:56:9d:2c:dd) VMware, Inc. 207

208 Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Hash (8) Version: 1.0 Exchange type: Quick Mode (32) Flags: 0x01 Message ID: 0x79a63fb1 Length: 292 Encrypted payload (264 bytes) No. Time Source Destination Protocol Info ISAKMP Quick Mode Frame 9211 (94 bytes on wire, 94 bytes captured) Ethernet II, Src: Vmware_9d:2c:dd (00:50:56:9d:2c:dd), Dst: Cisco_80:70:f5 (00:13:c4:80:70:f5) Internet Protocol, Src: ( ), Dst: ( ) User Datagram Protocol, Src Port: isakmp (500), Dst Port: isakmp (500) Internet Security Association and Key Management Protocol Initiator cookie: 92585D2D797E9C52 Responder cookie: 34704CFC8C8DBD09 Next payload: Hash (8) Version: 1.0 Exchange type: Quick Mode (32) Flags: 0x01 Message ID: 0x79a63fb1 Length: 52 Encrypted payload (24 bytes) VMware, Inc. 208

209 NSX Controller 문제해결 8 이섹션에서는 NSX Controller 실패의원인을식별하고컨트롤러문제를해결하는방법에대한정보를제공합니다. 본장은다음항목을포함합니다. 컨트롤러클러스터아키텍처의이해 NSX Controller 배포문제 디스크지연시간문제해결 NSX Controller 클러스터오류 NSX Controller의연결이끊김 제어부에이전트 (netcpa) 문제 컨트롤러클러스터아키텍처의이해 NSX Controller 클러스터는각컨트롤러노드에노드가구현할수있는작업유형을정의하는역할집합이할당되는스케일아웃분산시스템을나타냅니다. 복원력및성능을위해컨트롤러 VM의배포는 3개의고유호스트에서진행해야합니다. NSX Controller 클러스터노드간에워크로드를분산하기위해샤딩이사용됩니다. 샤딩은각 NSX Controller 인스턴스가동일한작업부분을포함하도록 NSX Controller 워크로드를여러다 른샤드로나누는작업입니다. VMware, Inc. 209

210 논리적스위치 - VNI 논리적라우터 개체 샤드 VXLAN VXLAN VXLAN 논리적라우터 논리적라우터 논리적라우터 여기서는고유한컨트롤러노드가논리적스위칭, 논리적라우팅및기타서비스등의지정된엔티티에대한마스터로작동하는방식을보여줍니다. 역할에대해마스터 NSX Controller 인스턴스가선택되면해당 NSX Controller는여러다른논리적스위치및라우터를클러스터의사용가능한모든 NSX Controller 인스턴스간에나눕니다. 샤드에서번호가매겨진각상자는마스터가워크로드를나누는데사용하는샤드를나타냅니다. 논리적스위치마스터는논리적스위치를샤드로나눈후이러한샤드를여러다른 NSX Controller 인스턴스에할당합니다. 또한논리적라우터에대한마스터는논리적라우터를샤드로나눈후이러한샤드를여러다른 NSX Controller 인스턴스에할당합니다. 이러한샤드는해당클러스터의여러다른 NSX Controller 인스턴스에할당됩니다. 역할에대한마스터는어떤샤드에어떤 NSX Controller 인스턴스가할당되는지를결정합니다. 요청이라우터샤드 3에서발생하면샤드는세번째 NSX Controller 인스턴스에연결하라는지시를받습니다. 요청이논리적스위치샤드 2에서발생하면해당요청은두번째 NSX Controller 인스턴스에의해처리됩니다. VMware, Inc. 210

211 클러스터에서 NSX Controller 인스턴스중하나가실패하면역할에대한마스터는샤드를사용가능한나머지클러스터로재분산합니다. 컨트롤러노드중하나가각역할에대한마스터로선택됩니다. 마스터는개별컨트롤러노드에샤드를할당하는일을담당하고한노드가실패할경우샤드를다른노드로재배치하는일을담당합니다. 또한마스터는클러스터노드의실패사실을 ESXi 호스트에알립니다. 각역할에대한마스터를선택하려면클러스터의모든활성및비활성노드에서과반수투표수를얻어야합니다. 주로이로인해컨트롤러클러스터는항상홀수개수의노드로배포되어야합니다. ZooKeeper ZooKeeper는 NSX Controller 클러스터메커니즘을담당하는클라이언트서버아키텍처입니다. ZooKeeper를사용하여컨트롤러클러스터가검색되고생성됩니다. 클러스터가작동된다는것은모든노드에서 ZooKeeper가작동된다는것을의미합니다. ZooKeeper 노드는선택프로세스를거쳐제어클러스터를형성합니다. 클러스터에는 1개의 ZooKeeper 마스터노드가있어야합니다. 이는노드간선택을통해수행됩니다. 새컨트롤러노드가생성되면 NSX Manager는노드 IP 및 ID를포함하는노드정보를현재클러스터에전파합니다. 이와같이각노드는클러스터링에사용할수있는전체노드수를알게됩니다. ZooKeeper 마스터선택동안각노드는마스터노드를선택하기위해한번씩투표합니다. 한노드가과반수투표수를얻을때까지선택이다시트리거됩니다. 예를들어 3개의노드클러스터에서마스터는 2표이상을받아야합니다. 참고 ZooKeeper 마스터를선택할수없는시나리오를방지하려면클러스터의노드수가 3개여야합니다. 첫번째컨트롤러가배포될때는특수한경우로, 첫번째컨트롤러가마스터가됩니다. 이와같이컨트롤러를배포할때첫번째노드의배포가완료되어야만다른노드가추가될수있습니다. 두번째컨트롤러를추가할때도이번에는노드수가짝수이므로특수한경우가됩니다. 세번째노드가추가될경우클러스터는지원되는안정적인상태에도달합니다. ZooKeeper는한번에하나의실패만허용할수있습니다. 즉, 한컨트롤러노드가다운될경우다른실패가발생하기전에복구해야합니다. 그러지않으면클러스터중단과관련된문제가발생할수있습니다. CCP( 중앙제어부 ) 도메인관리자 이는 ZooKeeper 위계층으로, 모든노드의 ZooKeeper가시작되기위한구성을제공합니다. 도메인관리자는클러스터의모든노드간에구성을업데이트한다음 ZooKeeper 프로세스가시작되도록원격프로시저호출을수행합니다. 도메인관리자는모든도메인을시작하는일을담당합니다. 클러스터에연결하기위해 CCP 도메인은다른시스템의 CCP 도메인과소통합니다. 클러스터초기화에도움이되는 CCP 도메인의구성요소는 ZK 클러스터부트스트랩입니다. VMware, Inc. 211

212 다른구성요소와의컨트롤러관계 컨트롤러클러스터는논리적스위치, 논리적라우터및 VTEP에대한정보를유지하고 ESXi 호스트에제공하는역할을합니다. 논리적스위치가생성되면컨트롤러노드는클러스터내에서어떤노드가해당논리적스위치에대해마스터인지또는소유자인지를결정합니다. 논리적라우터가추가될때도마찬가지입니다. 논리적스위치또는논리적라우터에대해소유권이설정되면노드는해당스위치또는라우터의전송영역에속하는 ESXi 호스트로해당소유권을전송합니다. 소유권의선택과호스트로의소유권정보전파전체를 샤딩 이라고합니다. 소유권은노드가해당논리적스위치또는논리적라우터에대한모든 NSX 관련작업을담당함을의미합니다. 다른노드는해당논리적스위치에대해어떤작업도수행하지않습니다. 하나의소유자만논리적스위치및논리적라우터의소스여야하므로, 둘이상의노드가논리적스위치또는논리적라우터에대한소유자로선택되면네트워크의각호스트가논리적스위치또는논리적라우터의소스와관련해서다른정보를가질수있으므로컨트롤러클러스터가중단됩니다. 이러한경우네트워크제어부및데이터부작업은하나의소스만가질수있으므로네트워크중단이발생합니다. 컨트롤러노드가다운되면클러스터의나머지노드는샤딩을다시실행하여논리적스위치및논리적라우팅의소유권을결정합니다. NSX Controller 배포문제 NSX Controller는 NSX Manager에의해 OVA 형식으로배포됩니다. 컨트롤러클러스터가있으면고가용성이보장됩니다. 컨트롤러를배포하려면 NSX Manager, vcenter Server 및 ESXi 호스트에 DNS 및 NTP가구성되어있어야합니다. 정적 IP 풀을사용하여각컨트롤러에 IP 주소를할당해야합니다. 별도의호스트에 NSX Controller를유지하려면 DRS 선호도방지규칙을구현하는것이좋습니다. 3개의 NSX Controller를배포해야합니다. 컨트롤러의일반적인문제 NSX Controller 배포중에발생할수있는일반적인문제는다음과같습니다. NSX Controller 배포가실패합니다. NSX Controller에서클러스터에연결하지못합니다. show control-cluster status 명령을실행하면클러스터대부분에연결됨과클러스터대부분에대해연결이중단됨간의과반수상태플래핑이표시됩니다. VMware, Inc. 212

213 NSX 대시보드에표시되는연결상태문제. show control-cluster status 명령은컨트롤러가제어클러스터에연결되었는지여부를확인하기위한권장명령입니다. 각컨트롤러에대해이명령을실행하여전체클러스터상태를확인해야합니다. controller # show control-cluster status Type Status Since Join status: Join complete 10/17 18:16:58 Majority status: Connected to cluster majority 10/17 18:16:46 Restart status: This controller can be safely restarted 10/17 18:16:51 Cluster ID: af2e9dec-19b e Node UUID: af2e9dec-19b e Role Configured status Active status api_provider enabled activated persistence_server enabled activated switch_manager enabled activated logical_manager enabled activated dht_node enabled activated 참고컨트롤러노드의연결이끊어지면 join cluster 또는 force join 명령을사용하지마십시오. 이명령은클러스터에노드를연결하기위한것이아닙니다. 이명령을수행하면클러스터는완전히불확실한상태가될수있습니다. 클러스터시작노드는클러스터멤버에게멤버가시작될때확인할위치에대한정보를제공하는힌트일뿐입니다. 이목록에더이상서비스되지않는클러스터멤버가포함되어있더라도안심하십시오. 이는클러스터기능에영향을미치지않습니다. 모든클러스터멤버는동일한클러스터 ID를가져야합니다. 그러지않으면클러스터가중단된상태가되므로 VMware 기술지원팀을통해복구해야합니다. show control-cluster startup-nodes 명령은클러스터에현재있는모든노드를표시하기위한것이아닙니다. 대신, 이명령은컨트롤러프로세스가다시시작될때이노드에서멤버자격을클러스터에부트스트랩하는데사용하는다른컨트롤러노드를표시합니다. 따라서명령출력에는종료되었거나클러스터에서삭제된일부노드가표시될수있습니다. 또한 show control-cluster network ipsec status 명령을사용하여 IPSec( 인터넷프로토콜보안 ) 상태를조사할수있습니다. 컨트롤러가몇분에서몇시간동안서로통신할수없으면 cat /var/log/syslog egrep "sending DPD request IKE_SA" 명령을실행하고로그메시지가트래픽이없음을나타내는지확인합니다. ipsec statusall egrep "bytes_i bytes_o" 명령을실행하고설정된 2개의 IPSec 터널이없는지확인할수도있습니다. VMware 기술지원담당자에게의심되는제어클러스터문제를보고할때이러한명령의출력과컨트롤러로그를제공합니다. NSX Manager와 NSX Controller 간 IP 연결문제. 이문제는일반적으로물리적네트워크연결문제또는방화벽의통신차단으로인해발생합니다. VMware, Inc. 213

214 vsphere 에서사용가능한스토리지와같이컨트롤러를호스팅하기위한리소스부족. 컨트롤러 배포중에 vcenter 이벤트및작업로그를확인하면이러한문제를식별할수있습니다. "rogue" 컨트롤러가잘못동작하거나업그레이드된컨트롤러가연결해제됨 (Disconnected) 상태입니다. ESXi 호스트및 NSX Manager의 DNS가제대로구성되지않았습니다. ESXi 호스트의 NTP와 NSX Manager가동기화되지않았습니다. 새로연결된 VM이네트워크에액세스할수없으면제어부문제일수있습니다. 컨트롤러상태를확인합니다. 또한 ESXi 호스트에서 esxcli network vswitch dvs vmware vxlan network list --vds-name <name> 명령을실행하여제어부상태를확인하십시오. 컨트롤러연결이끊어져있는지확인하십시오. VMware, Inc. 214

215 show log manager follow NSX Manager CLI 명령을실행하면컨트롤러배포실패에대한다른 원인을파악할수있습니다. 호스트연결문제 다음명령을사용하여호스트연결오류를확인합니다. 각컨트롤러노드에대해다음명령을실행합니다. show log cloudnet/cloudnet_java-vnet-controller*.log filtered-by host_ip 명령을사용하여비정상오류통계를확인합니다. 다음명령을사용하여논리적스위치 / 라우터메시지통계또는높은메시지속도를확인합니다. show control-cluster core stats: 전체통계 show control-cluster core stats-sample: 최신통계샘플 show control-cluster core connection-stats ip: 연결별통계 show control-cluster logical-switches stats show control-cluster logical-routers stats show control-cluster logical-switches stats-sample show control-cluster logical-routers stats-sample show control-cluster logical-switches vni-stats vni show control-cluster logical-switches vni-stats-sample vni show control-cluster logical-switches connection-stats ip show control-cluster logical-routers connection-stats ip show host hostid health-status 명령을사용하여준비된클러스터에있는호스트의상태를확인할수있습니다. 컨트롤러문제해결을위해다음상태검사가지원됩니다. net-config-by-vsm.xml이컨트롤러목록과동기화되는지확인합니다. 컨트롤러에대한소켓연결이있는지확인합니다. VNI(VXLAN 네트워크식별자 ) 가생성되었는지와구성이올바른지확인합니다. VNI가마스터컨트롤러에연결되는지확인합니다 ( 제어부가사용되도록설정된경우 ). VMware, Inc. 215

216 설치및배포문제 클러스터에 3개이상의컨트롤러노드가배포되었는지확인합니다. VMware에서는네이티브 vsphere 반선호도규칙을활용하여동일한 ESXi 호스트에둘이상의컨트롤러노드가배포되지않도록하는것을권장합니다. 모든 NSX Controller에연결됨상태가표시되는지확인합니다. 컨트롤러노드에연결해제됨상태가표시되면모든컨트롤러노드에대해 show control-cluster status 명령을실행하여다음정보가일관적인지확인합니다. 유형연결상태과반수상태클러스터 ID 상태연결완료클러스터대부분에연결됨모든컨트롤러노드에대한동일한정보 모든컨트롤러노드에서모든역할이일관되는지확인합니다. 역할 구성된상태 활성상태 api_provider 사용 활성화됨 persistence_server 사용 활성화됨 switch_manager 사용 활성화됨 logical_manager 사용 활성화됨 directory_server 사용 활성화됨 vnet-controller 프로세스가실행중인지확인합니다. 모든컨트롤러노드에서 show process 명령을실행하고 java-dir-server 서비스가실행되고있는지확인합니다. 클러스터기록을확인하고호스트연결플래핑또는 VNI 연결실패및비정상클러스터멤버자격변경표시가없는지확인합니다. 이를확인하려면 show control-cluster history 명령을실행합니다. 또한이명령은노드가자주다시시작되는지여부도표시합니다. 크기가 0이고다른프로세스 ID를갖는많은로그파일이없는지확인합니다. VNI(VXLAN 네트워크식별자 ) 가구성되어있는지확인합니다. 자세한내용은 VMware VXLAN Deployment Guide의 VXLAN 준비단계섹션을참조하십시오. 컨트롤러클러스터에서 SSL이사용되도록설정되어있는지확인합니다. 각컨트롤러노드에대해 show log cloudnet/cloudnet_java-vnet-controller*.log filtered-by sslenabled 명령을실행합니다. 디스크지연시간문제해결 관리 (Management) 탭에서디스크지연시간경고를볼수있습니다. NSX Controller 는낮은지 연시간을가진디스크에서작동해야합니다. VMware, Inc. 216

217 디스크지연시간경고보기 디스크지연시간경고는디스크가용성또는지연시간문제를모니터링하고보고합니다. 각 NSX Controller에대해디스크지연시간세부정보를볼수있습니다. 읽기지연시간및쓰기지연시간계산결과는 5초 ( 기본값 ) 이동평균에입력됩니다. 이값은지연시간제한을위반할때경고를트리거하는데사용됩니다. 평균시간이낮은워터마크에도달하면경고가해제됩니다. 기본적으로높은워터마크는 200ms로, 낮은워터마크는 100ms로설정됩니다. 높은지연시간은각컨트롤러노드에서분산클러스터링애플리케이션작업에영향을미칩니다. NSX Controller에대한디스크지연시간경고를보려면다음절차를수행합니다. 사전요구사항지연시간제한에도달했습니다. 절차 1 vsphere Web Client에로그인합니다. 2 네트워킹및보안 (Networking & Security) 를클릭하고설치및업그레이드 (Installation and Upgrade) 를클릭합니다. VMware, Inc. 217

218 3 관리 (Management) 에서필요한컨트롤러로이동한후디스크경고 (Disk Alert) 링크를클릭 합니다. 디스크지연시간경고창이나타납니다. 선택한컨트롤러에대한지연시간세부정보를볼수있습니다. cloudnet/run/iostat/iostat_alert.log 파일에 7일동안경고로그가저장됩니다. show log cloudnet/run/iostat/iostat_alert.log 명령을사용하여로그파일을표시할수있습니다. 다음에수행할작업디스크지연시간문제해결에대한자세한내용은디스크지연시간문제를참조하십시오. 로그메시지에대한자세한내용은 NSX 로깅및시스템이벤트를참조하십시오. 디스크지연시간문제 컨트롤러는낮은지연시간을가진디스크에서작동해야합니다. 클러스터는각노드에대한디스크스토리지시스템이 300ms보다작은최대쓰기지연시간과 100ms보다작은평균쓰기지연시간을갖도록요구합니다. 문제 배포된 NSX Controller의연결이컨트롤러클러스터에서끊깁니다. 디스크파티션이꽉차있으므로컨트롤러로그를수집할수없습니다. VMware, Inc. 218

219 스토리지시스템이이러한요구사항을충족하지못하면클러스터가불안정해지며시스템다운타임이발생할수있습니다. 작동하는 NSX Controller에적용되는 TCP 수신기는더이상 show network connections oftype tcp 명령의출력에나타나지않습니다. 연결이끊긴컨트롤러는유효하지않은, 모두 0으로구성된 UUID를사용하여클러스터에연결하려고합니다. show control-cluster history 명령을실행하면다음과비슷한메시지가표시됩니다. INFO :D :25: zookeeper_client.cc:774] Zookeeper client disconnected! NSX Controller 콘솔에서 show log cloudnet/cloudnet_java-zookeeper*.log 명령을실행하면다음과비슷한항목이포함됩니다. cloudnet_java-zookeeper log :25:07, [SyncThread:1] WARN org.apache.zookeeper.server.persistence.filetxnlog - fsync-ing the write ahead log in SyncThread:1 took 3219ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide NSX Controller 로그에는다음과비슷한항목이포함됩니다. D :46: rpc-broker.cc:369] Registering address resolution for: :7777 D :46: rpc-tcp.cc:548] Handshake complete, both peers support the same protocol D :46: rpc-tcp.cc:1048] Rejecting a connection from peer :42195/ef f05d-4862-be2c-35630df39060, cluster 9f7ea8ff-ab80-4c0c-825e-628e834aa8a5, which doesn't match our cluster ( ) D :46: rpc-tcp.cc:1048] Rejecting a connection from peer :42195/ef f05d-4862-be2c-35630df39060, cluster 9f7ea8ff-ab80-4c0c-825e-628e834aa8a5, which doesn't match our cluster ( ) 원인이문제는디스크성능저하로인해발생할수있으며 NSX Controller 클러스터에좋지않은영향을미칩니다. /var/log/cloudnet/cloudnet_java-zookeeper log 파일에서 fsync 메시지를찾아느린디스크를확인합니다. fsync가 1초보다오래걸리면 ZooKeeper는 fsync 경고메시지를표시하며, 이는디스크가너무느리다는의미입니다. VMware에서는제어클러스터용으로 LUN( 논리적단위번호 ) 을특별히지정하고, 지연시간측면에서제어클러스터에더가깝게스토리지어레이를이동하는것을권장합니다. VMware, Inc. 219

220 5초 ( 기본값 ) 이동평균에입력된읽기지연시간및쓰기지연시간계산을볼수있습니다. 이값은지연시간제한을위반할때경고를트리거하는데사용됩니다. 평균시간이낮은워터마크에도달하면경고가해제됩니다. 기본적으로높은워터마크는 200ms로, 낮은워터마크는 100ms로설정됩니다. show disk-latency-alert config 명령을사용할수있습니다. 출력은다음과같이표시됩니다. enabled=true low-wm=51 high-wm=150 nsx-controller # set disk-latency-alert enabled yes nsx-controller # set disk-latency-alert low-wm 100 nsx-controller # set disk-latency-alert high-wm 200 GET /api/2.0/vdn/controller/<controller-id>/systemstats REST API를사용하여컨트롤러노드의지연시간경고상태를가져옵니다. GET /api/2.0/vdn/controller REST API를사용하여디스크지연시간경고가컨트롤러노드에서감지되는지여부를나타냅니다. 해결책 1 지연시간이낮은디스크에 NSX Controller를배포합니다. 2 각컨트롤러는자체디스크스토리지서버를사용해야합니다. 두컨트롤러간에동일한디스크스토리지서버를공유하지마십시오. 다음에수행할작업경고를보는방법에대한자세한내용은디스크지연시간경고보기를참조하십시오. NSX Controller 클러스터오류 NSX Controller 실패의경우에도작동중인컨트롤러가아직 2 개남아있을수있습니다. 컨트롤러 클러스터를다시배포하지않고먼저문제해결을시도하십시오. 문제 NSX Controller 클러스터오류. 해결책 1 vsphere Web Client에로그인합니다. 2 네트워킹및보안 (Networking & Security) 에서설치및업그레이드 > 관리 (Installation and Upgrade > Management) 를클릭합니다. 3 NSX Controller 노드섹션에서 [ 피어 ] 열로이동합니다. [ 피어 ] 열에녹색상자가표시되면클러스터의피어컨트롤러연결에오류가없는것입니다. 빨간색상자는피어에오류가있는것을나타냅니다. 세부정보를보려면이상자를클릭합니다. VMware, Inc. 220

221 4 컨트롤러클러스터에서 [ 피어 ] 열에문제가표시되면각 NSX Controller CLI로로그인하여자세한진단을수행합니다. show control-cluster status 명령을실행하여각컨트롤러의상태를진단합니다. 클러스터의모든컨트롤러는동일한클러스터 UUID를갖지만클러스터 UUID가마스터컨트롤러의 UUID와같지않을수있습니다. NSX Controller 배포문제에설명된대로배포문제에대한정보를확인할수있습니다. 5 컨트롤러노드를다시배포하기전에다음방법을사용하여문제를해결할수있습니다. a 컨트롤러의전원이켜져있는지확인합니다. b 영향받은컨트롤러에서다른노드및관리자로또는영향받은컨트롤러로 ping을수행합니다. 네트워크문제가발견되면 NSX Controller 배포문제의설명대로해결하십시오. c 다음 CLI 명령을사용하여 IPSec( 인터넷프로토콜보안 ) 상태를확인합니다. u u show control-cluster network ipsec status 명령을사용하여 IPSec가사용되도록설정되었는지확인합니다. show control-cluster network ipsec tunnels 명령을사용하여 IPSec 터널의상태를확인합니다. IPSec 상태정보를사용하여 VMware 기술지원팀에보고할수도있습니다. d 컨트롤러클러스터에대한 IPSec VPN 공유키를관리 : 컨트롤러노드는클러스터링및스토리지작업을위해서로통신합니다. 통신은 IPSec VPN 으로보호됩니다. 컨트롤러클러스터에대해 IPSec VPN을사용하도록설정되어있으면 IPSec에대한공유키가생성됩니다. 키가동기화되지않았거나손상이의심될경우미리공유한키를순환해야합니다. IPSec VPN 키를변경하려면사용하지않도록설정하고즉시 IPSec VPN을사용하도록설정합니다. 새키가생성된후모든컨트롤러에푸시됩니다. IPSec VPN을사용하거나사용하지않도록설정하는방법에대한자세한내용은 NSX 관리가이드를참조하십시오. e 문제가네트워크문제가아닌경우재부팅할지또는다시배포할지를선택할수있습니다. 노드를재부팅하려는경우한번에한컨트롤러만재부팅해야합니다. 하지만컨트롤러클러스터가둘이상의노드가실패한상태이면모든컨트롤러클러스터를동시에재부팅합니다. 정상클러스터에서노드를재부팅할때는항상그이후에클러스터가재구성되는지확인한다음리샤딩이제대로수행되었는지확인합니다. 6 다시배포하기로결정한경우먼저문제가있는컨트롤러를삭제한다음새컨트롤러를다시배포해야합니다. 다음에수행할작업 NSX Controller 삭제에설명된대로영향받은컨트롤러를삭제합니다. NSX Controller 다시배포에설명된대로새컨트롤러를다시배포합니다. VMware, Inc. 221

222 NSX Controller 삭제 필요한경우 NSX Controller를삭제할수있습니다. 노드의마지막컨트롤러만강제로삭제할수있습니다. 강제제거절차에서는컨트롤러노드를제거하기전에위에언급된조건을확인하지않습니다. 컨트롤러를삭제할때기억해둘사항 : vsphere Web Client UI 또는 API를통해삭제하기전에컨트롤러 VM을삭제하려고시도하지마십시오. UI를사용할수없으면 DELETE /2.0/vdn/controller/{controllerId} API를사용하여컨트롤러를삭제하십시오. 노드삭제후에기존클러스터가안정적인상태인지확인합니다. 클러스터의모든노드를삭제할경우마지막으로남은노드는강제삭제 (Forcefully Delete) 옵션을사용하여삭제해야합니다. 항상컨트롤러 VM이성공적으로삭제되었는지확인합니다. 삭제되지않은경우수동으로 VM 전원을끄고 UI를사용하여컨트롤러 VM을삭제하십시오. 삭제가실패하거나연결끊김과같은특정상태에있는컨트롤러를삭제할수없는경우 API에서 forceremoval 매개변수를 true로설정합니다. 예를들면 DELETE /2.0/vdn/controller/{controllerId}?forceRemoval=true와같이입력합니다. 강제제거후수동으로 VM 전원을끕니다. 다중노드클러스터는 1번의실패만허용할수있으므로삭제는실패횟수로계산됩니다. 다른실패가발생하기전에삭제된노드를재배포해야합니다. 크로스 vcenter NSX 환경 : vcenter Server에서직접컨트롤러 VM을삭제하거나전원을끄는작업은지원되지않습니다. 상태 (Status) 열에동기화되지않음 (Out of sync) 상태가표시됩니다. 컨트롤러삭제가부분적으로만성공하고항목이크로스 vcenter NSX 환경의 NSX Manager 데이터베이스에남아있으면 DELETE api/2.0/vdn/controller/external API 를사용합니다. 컨트롤러를 NSX Manager API를통해가져온경우 removeexternalcontrollerreference API와 forceremoval 옵션을함께사용합니다. 컨트롤러가삭제되면 NSX는 VM의 MOID( 관리개체 ID) 를사용하여 vcenter Server를통해컨트롤러 VM을삭제할것을요청합니다. vcenter Server가해당 MOID로 VM을찾을수없으면 NSX는컨트롤러삭제요청에대해실패를보고하고작업을중단합니다. 강제삭제 (Forcefully Delete) 옵션이선택되면 NSX는컨트롤러삭제작업을중단하지않고컨트롤러의정보를지웁니다. 또한 NSX는삭제된컨트롤러를더이상신뢰하지않도록모든호스트를업데이트합니다. 그렇지만컨트롤러 VM이여전히활성상태이고다른 MOID를사용하여실행되는경우에는컨트롤러클러스터의멤버로참여하기위한자격증명이여전히있는것입니다. 이시나리오에서 ESXi 호스트는더이상삭제된컨트롤러를신뢰하지않으므로이컨트롤러노드에할당된논리적스위치또는라우터는제대로작동하지않습니다. NSX Controller를삭제하려면다음절차를수행합니다. VMware, Inc. 222

223 절차 1 NSX Controller로이동합니다. NSX 이상에서네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 관리 (Management) > NSX Controller 노드 (NSX Controller Nodes) 로이동합니다. NSX 6.4.0에서네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 관리 (Management) 로이동합니다. 2 삭제할컨트롤러를선택합니다. 3 삭제 (x)(delete (x)) 아이콘을클릭합니다. 참고클러스터의마지막컨트롤러를삭제하는경우강제삭제 (Forcefully Delete) 옵션을선택하여마지막컨트롤러노드를제거해야합니다. 시스템에컨트롤러가없는경우호스트가 " 헤드리스 " 모드로작동중인것입니다. 새컨트롤러가배포되고동기화가완료될때까지는새 VM 또는 vmotion으로이동한 VM에서네트워킹문제가발생합니다. 강제삭제 (Forcefully Delete) 옵션은모든오류를무시하고데이터베이스에서데이터를지웁니다. 가능한실패가수동으로처리되도록해야합니다. 컨트롤러 VM이삭제되었는지확인해야합니다. 그렇지않은경우 vcenter Server를통해삭제해야합니다. 4 예 (Yes) 를클릭합니다. 컨트롤러삭제에서는다음순서대로작업이진행됩니다. a 노드의전원을끕니다. b 클러스터상태를확인합니다. c 클러스터가정상상태가아니면컨트롤러의전원을켜고제거요청을삭제합니다. d 클러스터가정상상태인경우컨트롤러의 VM을제거하고노드의 IP 주소를해제합니다. e 클러스터에서컨트롤러 VM의 ID를제거합니다. 선택된컨트롤러가삭제됩니다. 5 작업 > 컨트롤러상태업데이트 (Actions > Update Controller State) 를클릭하여컨트롤러상태를재동기화합니다. 다음에수행할작업 NSX Controller 실패의경우에도작동중인컨트롤러가아직 2개남아있을수있습니다. 클러스터과반수가유지되고제어부가계속작동합니다. 자세한내용은 NSX Controller 다시배포를참조하십시오. 컨트롤러가동기화되지않음상태에대한자세한내용은 NSX Controller의연결이끊김를참조하십시오. API에대한자세한내용은 NSX API 가이드를참조하십시오. 가상컨트롤러에대한자세한내용은가상컨트롤러를참조하십시오. VMware, Inc. 223

224 NSX Controller 다시배포 NSX Controller 실패의경우에도작동중인컨트롤러가아직 2개남아있을수있습니다. 클러스터과반수가유지되고제어부가계속작동합니다. VMware에서는하나이상의컨트롤러에서복구가불가능한심각한오류가발생하거나컨트롤러 VM 중하나가액세스할수없는문제가발생했으며이를해결할수없는경우컨트롤러를교체하는것을권장합니다. 먼저문제가있는컨트롤러를삭제한다음새컨트롤러를다시배포해야합니다. 사전요구사항 NSX Controller 클러스터오류에설명된문제를해결할수있는지확인합니다. 절차 1 vsphere Web Client에로그인합니다. 2 네트워킹및보안 (Networking & Security) 에서설치및업그레이드 > 관리 (Installation and Upgrade> Management) 를클릭합니다. 3 NSX Controller 노드섹션에서영향받은컨트롤러를클릭하고 [NSX Controller 세부정보 ] 화면을스크린샷으로생성하거나화면을인쇄합니다. 또는나중에참조할수있도록구성정보를기록합니다. 예 : 4 노드추가 (+)(Add Node (+)) 아이콘을클릭하여새 NSX Controller 노드를배포합니다. 5 [ 컨트롤러추가 ] 대화상자에서노드를추가할데이터센터를선택하고컨트롤러설정을구성합니다. a 적절한클러스터를선택합니다. b 클러스터및스토리지에서 [ 호스트 ] 를선택합니다. c 분산포트그룹을선택합니다. d 노드에할당할 IP 주소가포함된 IP 풀을선택합니다. e 확인 (OK) 을클릭하고설치가완료될때까지기다린후노드의상태가 [ 보통 ] 으로표시되는지 확인합니다. VMware, Inc. 224

225 6 작업 > 컨트롤러상태업데이트 (Actions > Update Controller State) 를클릭하여컨트롤러 상태를재동기화합니다. [ 컨트롤러상태업데이트 ] 는 NSX Manager의현재 VXLAN 및논리적분산라우터구성 ( 크로스 vcenter NSX 배포의범용개체포함 ) 을컨트롤러클러스터로푸시합니다. 다음에수행할작업컨트롤러클러스터배포에대한자세한내용은 NSX 관리가이드를참조하십시오. 영향받은컨트롤러를삭제하는방법에대한자세한내용은 NSX Controller 삭제를참조하십시오. 가상컨트롤러 가상컨트롤러는클러스터에참여하거나참여하지않을수있는라이브컨트롤러 VM( 가상시스템 ) 또는존재하지않는 VM일수있습니다. NSX Manager는 vcenter Server 인벤토리의모든 VM 목록을동기화합니다. 가상컨트롤러는 vcenter Server 또는호스트가 NSX Manager의요청없이컨트롤러 VM을삭제하거나 vcenter Server 인벤토리가컨트롤러 VM의참조 MOID를변경할때생성됩니다. 컨트롤러가 NSX에서생성되면구성정보가 NSX Manager 내부에저장됩니다. NSX Manager는 vcenter Server를통해새컨트롤러 VM을배포합니다. NSX 관리자는컨트롤러를생성하기위해 NSX Manager에대한 IP 주소풀을포함하는구성을제공합니다. NSX Manager는풀에서 IP 주소를제거하고, 컨트롤러구성의나머지와해당 IP를 vcenter Server에대한 VM 생성요청으로서푸시합니다. NSX Manager는 vcenter Server에서요청의상태를확인할때까지기다립니다. The controller creation process was successful: 컨트롤러 VM이성공적으로생성되면 vcenter Server는컨트롤러 VM을시작합니다. NSX Manager는나머지컨트롤러구성정보와함께 VM의 MOID( 관리개체 ID) 를저장합니다. MOID( 또는 MO-REF) 는 vcenter가해당인벤토리의모든개체에할당하는고유한식별자입니다. 또한 vcenter Server는이 MOID를통해 VM을추적하여 VM이 vcenter Server 인벤토리의일부로남아있는지확인합니다. The controller creation process was not successful: IP 및네트워크연결구성이잘못된경우 NSX Manager에서 vcenter Server에연결하지못할수있습니다. NSX Manager는미리설정된시간동안대기했다가활성클러스터에참여할단일노드컨트롤러클러스터 ( 첫번째의경우 ) 또는새컨트롤러를생성합니다. 타이머가만료되면 NSX Manager는 vcenter Server에 VM을삭제하도록요청합니다. IP 주소가풀로다시반환되고 NSX는컨트롤러생성실패를선언합니다. VMware, Inc. 225

226 가상컨트롤러가생성되는방식 NSX Manager가컨트롤러삭제를요청하는경우 vcenter Server는 MOID를사용하여삭제할컨트롤러를 VM을찾습니다. 그러나 vcenter 작업으로인해 vcenter Server 인벤토리에서컨트롤러 VM이제거되면 vcenter 는해당데이터베이스에서 MOID를제거합니다. 컨트롤러 VM은 vcenter 인벤토리에서제거된후에도 NSX Manager에서여전히작동되며활성상태를유지할수있습니다. 하지만 vcenter Server 의입장에서는컨트롤러 VM이더이상존재하지않게됩니다. vcenter Server가해당인벤토리에서 VM을제거하더라도 VM이삭제되지않을수있습니다. VM이여전히활성상태인경우 NSX 컨트롤러클러스터에참여하고있거나참여하려고시도하게됩니다. 다음은가상컨트롤러가생성되는방법의가장일반적인예입니다. vcenter Server 관리자가인벤토리에서컨트롤러 VM을포함하는호스트를제거합니다. 나중에호스트를다시추가합니다. 호스트가제거될때 vcenter Server가호스트와연결된 MOID 및포함된 VM을모두삭제합니다. 호스트가나중에다시추가되면 vcenter Server가호스트및 VM에새로운 MOID를할당합니다. NSX 사용자에게는호스트와 VM이여전히동일하지만 vcenter Server의관점에서는호스트와 VM이완전히새로운개체입니다. 그러나실질적으로해당호스트와 VM은여전히같다고볼수있습니다. 호스트및 VM 내에서실행되는애플리케이션은달라지지않습니다. vcenter Server 관리자가 vcenter Server 또는호스트관리를사용하여컨트롤러 VM을삭제합니다. 이삭제는 NSX Manager에서시작되지않았습니다. 또한이경우에서의삭제에는 VM 손실로이어지는모든호스트 / 스토리지오류도포함됩니다. 이경우해당 VM은 vcenter Server에서손실될뿐만아니라클러스터및 NSX Manager에서도손실됩니다. 하지만이삭제가 NSX Manager에서시작되지않았으므로 NSX Manager 및컨트롤러클러스터둘다해당컨트롤러가여전히유효하다고봅니다. NSX Manager로반환된컨트롤러상태는이컨트롤러노드가다운되었으며클러스터의일부가아니며 UI에표시됨을나타냅니다. 또한 NSX Manager에는해당컨트롤러에더이상연결할수없음을나타내는로그도있습니다. 가상컨트롤러가표시될때수행할작업 1 NSX Controller의연결이끊김에설명된대로컨트롤러를동기화합니다. 2 로그항목을참조하십시오. 컨트롤러 VM이실수로삭제되었거나손상된경우강제삭제 (Forcefully Delete) 옵션을사용하여 NSX Manager 데이터베이스에서항목을지워야합니다. 자세한내용은 NSX Controller 삭제을참조하십시오. 3 컨트롤러를삭제한후다음을확인하십시오. 컨트롤러 VM이실제로삭제되었는지확인합니다. show control-cluster startup-nodes 명령이올바른컨트롤러만표시하는지확인합니다. NSX Manager에대한 syslog 항목이더이상추가컨트롤러를표시하지않는지확인합니다. VMware, Inc. 226

227 NSX 이상에서 NSX Manager는 vcenter 인벤토리를확인하여컨트롤러 VM이원래 MOID를기준으로하는인벤토리에여전히존재하는지검토합니다. NSX Manager가인벤토리에서컨트롤러 VM을찾을수없는경우 NSX Manager는 VM의인스턴스 UUID를사용하여 VM을검색합니다. 인스턴스 UUID는 VM 내에저장되므로 VM이 vcenter 인벤토리에다시추가되어도변경되지않습니다. NSX Manager에서인스턴스 UUID를사용하여 VM을찾을수있는경우 NSX Manager는새 MOID로해당데이터베이스를업데이트합니다. 그렇지만컨트롤러 VM을복제하는경우복제된 VM은새인스턴스 UUID는물론, 원래 VM과동일한속성을갖습니다. NSX Manager는복제된 VM에대한 MOID를검색할수없습니다. 가상컨트롤러에대한로그항목가상컨트롤러가감지되면다음오류수준로그항목이표시됩니다 :15: UTC ERROR NVPStatusCheck ControllerServiceImpl: Controller <#> does not exist, might be deleted already. Skip saving its connectivity info :15: UTC ERROR NVPStatusCheck ControllerServiceImpl: the node is created by this NSX Manager <#>, but database has no record and delete might be in progress. NSX Controller 의연결이끊김 vcenter Server에서 NSX Controller VM 전원이꺼졌거나컨트롤러 VM이 vcenter Server에서삭제되면설치및업그레이드 (Installation and Upgrade) > 관리 (Management) 페이지의상태 (Status) 열에동기화되지않음 (Out of sync) 상태가표시됩니다. 사전요구사항 vcenter Server에서컨트롤러 VM 전원이꺼졌거나컨트롤러 VM이삭제되었습니다. VMware, Inc. 227

228 절차 1 네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 관리 (Management) > NSX Controller 노드 (NSX Controller Nodes) 로이동합니다. u u NSX 이상에서네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 관리 (Management) > NSX Controller 노드 (NSX Controller Nodes) 로이동합니다. NSX 6.4.0에서네트워킹및보안 (Networking & Security) > 설치및업그레이드 (Installation and Upgrade) > 관리 (Management) 로이동합니다. 2 오류 (Error) 링크를클릭하여이러한동기화되지않음상태에대한자세한원인을확인하십시오. 3 해결 (Resolve) 버튼을클릭하여문제를해결하십시오. 컨트롤러 VM의전원이꺼지면관리부는컨트롤러에대해 power on 명령을트리거합니다. 컨트롤러 VM이삭제되면컨트롤러항목이관리부에서삭제되고관리부는컨트롤러삭제사실을중앙제어부에전달합니다. 다음에수행할작업노드추가 (Add Node) 옵션을사용하여새컨트롤러를생성합니다. 자세한내용은 NSX 관리가이드를참조하십시오. 제어부에이전트 (netcpa) 문제 NSX Data Center for vsphere에서제어부 (netcpa) 는로컬에이전트데몬으로작동하고 NSX Manager 및컨트롤러클러스터와통신합니다. 통신채널상태 (Communication Channel Health) 기능은중앙제어부-로컬제어부상태를 NSX Manager에주기적으로보고하고 NSX Manager UI에표시되는상태검사입니다. 이보고서는 ESXi 호스트 netcpa 채널에대한 NSX Manager의작동상태를감지하기위한하트비트로도사용됩니다. 통신장애동안오류세부정보를제공하고, 채널이잘못된상태가될때이벤트를생성하고, NSX Manager에서호스트로의하트비트메시지를생성합니다. 문제제어부에이전트와컨트롤러간에연결문제가있습니다. VMware, Inc. 228