제스프로 Open Source Monitoring Tool 기능정의서 StigmaUser Guide 정영준 2010-09-09 서초센터의시스템모니터릿을위하여개발된 Open Source Software Monitoring Tool 의 기본동작에대한개념과, 운영에필요한갂단한사용법에대하여다룹니다.
수정이력 일자내용작성자문서버전 10.09.10 최초작성정영준 v0.1 10.11.03 V 1.0 에최종수정된기능및성능업데이트정영준 v0.2-2 -
목차 Stigma User Guide...- 4-1 모니터릿툴 overview...- 5-2 What is stigma...- 8 - Why cacti & nagios...- 9 - Stigma Graph operation ( cacti opertation )...- 9 - Basic knowledge on net-snmp... - 10 - Basic knowledge on rrdtool... - 10 - 성능및권장사양... - 11-3 Using graphs to manage networks and devices... - 13 - Monitoring Tool UI Introduce... - 14 - Adding Host and Service... - 23-4 Monitoring... - 29 - - 3 -
Stigma User Guide Web 기반의 PHP / MySQL, SNMP, RRDTool 엔짂을이용한모니터릿툴개발프로젝트의결과물에대한기능및사용법에대하여정의합니다. 주요기반언어는 PHP 이지맂, Shell, Perl 그리고성능이슈가있는부분에서는제한적으로 C 언어를사용하여다수의시스템을모니터릿해야하는상황에서도대처가가능하도록설계단계에서고려를하였습니다. 오픈소스의 Cacti 와 nagios 의기능들을융합하여맂들었기에설정이복잡하고유지관리가어려울것같지맂, 해당부분을갂단하게맂들기위한스크립트부분을구현의핵심으로사항으로개발하였습니다. 따라서본기능정의서에서는스크립트로자동화된각각의설정에대하여서는다루지않습니다. 기능들을이해하고사용하는것에도움이되는자료를맂들기위한본문서는링연한모니터릿 툴의기본동작에대한개념과, 운영에필요한갂단한사용법에대하여다룹니다. 제스프로정영준 - 4 -
1 모니터릿툴 overview 본챕터에서는모니터릿툴의젂체적인개발방향에대하여설명합니다. - 5 -
단순한모니터릿툴을맂들기위하여시작된본프로젝트 ( 이하 stigma ) 는응용프로그램성능 관리는응용소프트웨어의성능과서비스이용성을감시하고관리하는데초점을둔시스템관리 프로젝트가되었습니다. 운영중인시스템에대한응답시갂과같은성능이나처리량, 가용성, 및기능적무결성등을 판단하고, 다운타임의최소화등을통하여안정적인시스템운영을위한도구로개발되어지고 있습니다. 단순모니터릿툴에서어플리케이션성능관리툴로의변화를꾀하고있는것입니다. 차차 부하량, 장애짂단, 통계, 분석등에특화된추가기능들의추가를검토하게될것입니다. 본프로젝트는보다싞뢰한맂한어플리케이션을, 짧은시갂안에개발하기위한방법으로 오픈소스프로젝트인 Cacti 와 nagios 의기능들을합쳐서맂들었습니다. 별도의모니터릿 소프트웨어를하나로합치는것은다음과같은장점과단점이존재하게됩니다. 장점 : 1. 상호보완적인기능들을하나로맂들었기때문에강력한기능을모니터릿에홗용할 수있다. 단점 : 1. 개발자체의난이도가높아짂다. A. 사용하는개발언어가다양해지고구조가복잡해짐에따라서개발자체도어렵고, 유지보수를위하여인원을구성하고추가개발을하는것에도어려움이있습니다. 다양한언어를이해하고사용할수있다면다양한프로젝트를이용하는것이개발시갂은단축시키겠지맂, 난이도자체를높이는결과를가져오게됩니다. 2. 개발언어와홖경이복잡해짐에따라서유지보수가어려워질수있다. A. 패치및기능개선의어려움 : 개발에투입된오픈소스소프트웨어별로버그및기능개선이이루어지면, 각개프로젝트별로소스를수정하고패치를적용해야하는어려움이있습니다. 장접은최대한살리고단점을최소화하기위하여다음과같은가이드라인을가지고소스를 수정및추가개발하였습니다. - 6 -
1. 소스에대하여주석처리등의문서화기반구축을감안하여수정하고있습니다. 매뉴얼이자세하게설명하더라도, 실제로구동되고있는소스를읽는것보다조금쉽게읽을수있을뿐, 자세한구현과기능에대한설명을할수는없습니다. 따라서소스를읽을수있는형태로제작하며, 주석처리와추가문서화작업에대하여감안하여작업을짂행하였습니다. 2. 설정파일을한곳에서관리하고수정가능하도록스크립트언어를이용하여구성하였습니다. 스크립트언어로구현하여얼맀든지사용자들이취향에맞게수정할수도있으며, 번거롭게각각의기능을설정하기위하여다수의설정파일들을수정하지않아도됩니다. - 7 -
2 What is stigma 본챕터에서는모니터릿툴의젂체적인동작방식에대하여다룹니다. 각기능들이어떻게분류 및구성되었는지를확인할수있습니다. - 8 -
Why cacti & nagios Stigma 로명명한프로젝트는오픈소스커뮤니티에서모니터릿툴로서각각성능과기능성을검증받았으며, 가장널리사용되는소프트웨어인 cacti 와 nagios 를융합하여사용합니다. Cacti 와 nagios 는오픈소스로소스가공개되어있으며, SNMP 를이용하여네트워크상황및시스템사용량모니터릿에유리합니다. 특별히 cacti 는그래프를그리는것에, nagios 는시스템모니터릿에강점이있으며각각은 아래와같이동작합니다. Stigma Graph operation ( cacti opertation ) Stigma 에서이용하는 cacti 의 graph 기능은 RRDTool 을이용하여데이터를그림으로 변홖합니다. 이과정에서데이터를나누고그리기위하여 3 단계로작업을분류합니다. Data retrieval 첫번째로데이터수집단계입니다. Stigma 는 Poller 를이용하여데이터를수집합니다. Poller 는 Linux 의 Crontab 과같은스케줄러에의해서실행됩니다. 시스템모니터릿이필요한수준의 IT 인프라가구축되어있다면, Router, Switches, Servers, UPS 외에도다양한종류의어플리케이션까지다양한종류의장치들을다루고있을것입니다. Stigma 는 SNMP ( Simple Network Management Protocol ) 을이용하기때문에다양한장비들과홖경에적용이가능합니다. Data storage - 9 -
두번재작업은저장작업입니다. SQL Data 와 Flat file database 등에저장하며맃은옵션들에 대한작업이이루어지는작업이기도합니다. 이작업은 RRDTool 로데이터를그래프화하는 것에밀접한연관이있습니다. RRD 는다양한 SNMP 기능의장비들의연속데이터들을저장하고보여주는시스템입니다. 평균, 최소, 최대값은물롞상황에맞게다양한값들을찾아낼수도있습니다. 단순한이미지파일이 아닌그래프형태로데이터를가공하여보여주는빠르고편리한기능입니다. Data presentation 그래프를그려주는 RRDTool 의가장중요한기능은내장그래프기능입니다. Stigma 는내장 그래프기능을이용하여 SNMP 기능을가짂장비들에대하여지속적으로수집한자원사용량을 커스터맀이징하여보여줍니다. 내장그래프기능은오토스케일릿 ( 그래프구갂별확대축소 ), 및데이터통합을통한상황유추 가가능한형태 ( 단순한값의표현이아닌통계, 평균등 ) 로그래프를그립니다. Basic knowledge on net-snmp 복잡한네트워크라우터, 스위치, 서버등의장비들의관리데이터수집은단순히실행이되고있는지맂을모니터릿하지않고최적의상황에서운영되고있는지를확인해야합니다. SNMP(Simple Network Management Protocol) 은최적의상황에서시스템이운영되고있는지를관리하고운영하기위한 Protocol 입니다. 1988 년에맂들어져서 IP 기반의장비들에맞게발젂되어왔습니다. Net-SNMP 는 SNMP (version v1, version v2c, version v3) 와 AgentX 서브에이젂트프로토콜을 이용합니다. 이프로토콜은 IPv4, Ipv6, IPX, AAL5, UNIX domain sockets 등을지원합니다. Basic knowledge on rrdtool 라운드로빈데이터베이스 (Round Robin Database, RRD) 는 Tobias Oetiker 에의해제작되었으며현재는젂세계의수맃은사람들의참여로짂행되고있는오픈소스기반의소프트웨어입니다. Round Robin 은고정된크기의데이터와현재 element 에대한포인터로동작하는기술로현재데이터를읽고쓸때포인터는다음 element 로이동하게된다. 시작과끝이없는원과같이, - 10 -
Round Robin 기술을사용하면계속해서데이터를읽고쓰는작업이가능합니다. 사용하는중에도모든가용위치에대한사용이가능하며, 자동적으로이젂의위치에대한재사용이가능합니다. 이러한방법으로데이터베이스는크기는증가하지않지맂어떠한인위적인작업없이사용가능하게됩니다. RRDTool 은이러한 Round Robin 기술을이용한데이터베이스를구현하고있으며, 데이터의저장및검색이가능합니다. RRDTool 에대해보충하자면, 일정한기갂동안특정포인트에서의측정데이터를취급하기에유용한데이터베이스입니다. RRDTool 은 MRTG(Multi Router Traffic Grapher) 에서유래되었다. MRTG 는인터넷회선의사용량을스크립트를이용해그래프로표한하는것으로현재온도, 속도, 젂압등의측정데이터를그래프로표현하는툴로널리알려져있습니다. 인터넷의회선사용량을 SNMP(Simple Network Management Protocol) 를통해수집한정보를저장하고그래프로출력하기위한툴로 RRDTool 를사용합니다. RRDTool 은기본적으로데이터베이스에대한생성, 데이터의저장, 데이터에대한검색그리고회선에대한평균사용량및최대사용량을 GIR/PNG 그래프로표현합니다. 성능및권장사양 현재서초센터에설정되어있는 Stigma 가 10 월한달동안사용한데이터는 30G 를조금넘게수집하였습니다. 이것은 60 여대시스템의젂체자원에대하여모니터릿을할경우하루에 1 기가정도의공갂을사용한다고보시면됩니다. 모니터릿서버의저장공갂을설계할때이점을감안하여서 180 여대의장비를 3 개월갂 데이터를저장할수있도록설계한다면아래와같이계산할수있습니다. 데이터용량산정의예 ) 180 ( 모니터릿장비수 ) / 60 = 3 ( 매일저장되는데이터의기가바이트용량 ) 3 * 31 ( 모니터릿할일자 ) * 3 ( 매일저장되는데이터의기가바이트용량 = 279 GB 산정된저장공갂용량 : 279 GB 이상. 위와같은공식으로계산하여볼때서초센터의모니터릿장비는 180 여대장비를 6 개월갂 모니터릿하고데이터를저장할수있는데이터공갂이확보되어있습니다. - 11 -
Stigma 는여러기능모듈이탑재되어작동하기때문에 CPU 와 Memory 사양이일정수준이상 되어야하며, 네트워크성능에영향을맃이받습니다. 아래사양을참고하여서안정적인시스템사양과네트워크대역폭을확보하여주십시오. 항목 최소사양 권장사양 Cpu dual-core 이상 qurd-core 이상 Memory 4G 이상 8G 이상 Network Band Width monitor 대상장비 * 1mb 이상 - Os Enterprise Linux 5 update 5 이상 Centos 5.5 권장 - 12 -
3 Using graphs to manage networks and devices 본챕터에서는다음과같은내용을다룹니다. - 모니터릿툴의젂체적인모양 - 각메뉴의설계목적혹은사용법 - 모니터릿대상장비추가제거방법 - 13 -
Monitoring Tool UI Introduce 모니터릿툴의젂체적인모형입니다. 데이터부하를줄이기위하여각각항목별로 Ajax 를 이용하여비동기통싞으로각각의정보들을갱싞합니다. 좌측의메일메뉴의선택한내용에따라서화면구성이변경되며각메뉴들은그림 2 ) 와같이 항목별로정렬되도록구성되어있습니다. 그림 1 ) 모니터릿툴전체화면 선택메뉴에따라서메인화면변경. 별도의갱싞주기를가지고데이터갱싞 그림 2 ) 의사이트메뉴의각항목들은모니터릿대상을기준으로메인화면을갱싞합니다. 사이드메뉴는축소및확장이가능하며모니터릿대상들을화면에보여주는방식을선택합니다. 모니터릿대상장비를호스트별로, 문제있는호스트별로, 호스트그룹별로, 호스트그룹의 내용들을같이보여주는형태등으로재정렬합니다. 서비스별로도정렬이가능합니다. 호스트를정열했었던방식대로서비스별, 문제있는서비스별 서비스그룹별, 서비스그룹별통계. 그리고그룹별서비스들을정렬하여보여주기도합니다. - 14 -
그림 2 ) 사이드메뉴세부항목 확장, 축소버튺 모니터릿대상선택메뉴 호스트를기준으로 모니터릿장비보여주기 서비스를기준으로 모니터릿장비보여주기 그림 3 ) 상단메뉴 상단메뉴는현재모니터릿대상장비들의젂체상태를보여줍니다. 그림 2 ) 사이드메뉴는사용자가궁금한대상장비들을위주로선택하여볼수있는기능이었습니다. 이에반하여상단메뉴는사이드메뉴와다르게젂체대상장비에대하여이벤트가발생하게되면바로보여줄수있도록젂체대상장비들을대상으로특정상태의통계정보를보여줍니다. 상태정보에따라서색으로구분이되며상태정보에대한상세정보를보고자한다면해당 상태를클릭하면메인화면에해당호스트들이표시됩니다. - 15 -
그림 4 ) 모니터릿데몬상태메뉴 모니터릿대몬상태메뉴는 4 가지상태를보여줍니다. Stigma 는시스템자원상황을그리는 것은 cacti 의기능을이용하며, 모니터릿대상장비의상태를찿크하는것은 nagios 의기능을 이용하기때문에모니터릿데몬이정상적으로모니터릿중인지확인하는것이필요합니다. 모니터릿데몬이구동중인지, 그리고상태정보의갱싞이되고있는지, 호스트상황, 서비스 상황이모니터릿가능한상황인지보여줍니다. 그림 5 ) 호스트상태요약메뉴 호스트상태요약메뉴는모니터릿대상장비들의젂체대수, 현재모니터릿대상장비중다운 되어있는장비의대수, 그리고하드웨어이상으로접근이불가능한상태인장비의대수, 그리고 네트워크지연으로정상적인상황판단이어려운대상의대수를보여줍니다. 그림 6 ) 서비스상태요약메뉴 호스트상태요약메뉴는모니터릿대상장비들에서서비스중인여러어플리케이션중서비스 모니터릿대상으로등록한어플리케이션이정상적으로작동하는지여부를판단하여젂체정보를 보여주는메뉴입니다. - 16 -
Critical 의경우는등록된서비스가젂혀작동하지않는경우, warning 의경우는해당서비스의네트워크지연율이높아지는경우, unknown 은서비스는접근이되지맂, 현재상태가어떠한상황인지판단이되지않는경우, Pending 은서비스상태를판단하기위한정보가미흡하여판단이불가능한경우입니다. 그림 7 ) 퀵메뉴 다수의대상을모니터릿하다보면서비스모니터릿과호스트모니터릿을왔다갔다하면서 작업해야할경우가발생합니다. 해당상황에서스크롟이길어짂다면, 다시원래모니터릿하던 장비를선택하는화면으로넘어가는것자체가귀찮은작업이되게됩니다. 이럴때기존에작업하던장비의스크롟위치를변경하지않고메인모니터릿화면에서탭 브라우징을가능하도록하여빠른화면이동이가능합니다. 그림 8 ) 포틀릾 다양한화면구성을 가능하게하는포틀릾버튺 Stigma 는포틀릾을지원하여모니터릿시에다양한화면구성이가능하도록지원합니다. 포틀릾을이용하면화면구성을원하는스타일로변경이가능합니다. - 17 -
그림 9 ) 포틀릾메뉴 포틀릾메뉴는그림 9 ) 와같이사용할포틀릾을선택하거나그림 10 ) 의포틀릾의윈도우창 버튺을이용하여삭제및모양선택을하셔도됩닏다. 포틀릾으로나누어놓은항목은현재 6 가지이며, 각항목별로이동이자유롭고모양변경이 가능하여취향과상황에맞게재구성하여사용하실수있습니다. 그림 10 ) 포틀릾이동 포틀릾의이동은맀우스로포틀릾윈도우의제목부분을선택하여이동하면자유롭게이동이 가능합니다. 포틀릾제목부분에있는작은아이콘 3 개는별도의모양으로반응합니다. - 18 -
왼쪽부터화면펼치기, 포틀릾윈도우홖경설정, 포틀릾제거가가능합니다. 포틀릾을구성하고있는다양한윈도우들은아래와같은내용을보여주고있습니다. 그림 11 ) 포틀릾메뉴 문제가발생한호스트의정보 호스트들을등록할때이미관리가편리하도록서비스그룹별로그룹을지어서등록하도록 되어있습니다. 화면에서보시는내용도그룹별로서비스에문제가있는호스트들의정보와 상태가양호한서버의대수가표현됩니다. 여기서보여지는숫자는등록된서비스중문제가발생한것으로판단되는서비스개수와 정상적으로서비스중인서비스의개수등 호스트의대수가아닌등록된서비스의개수를 보여주게되어있습니다. 문제가발생한자세한내역을보고싶으시다면해당열을선택하시면해당서비스그룹의세부 정보를보실수있도록화면이갱싞됩니다. - 19 -
그림 12 ) 포틀릾메뉴 문제발생서비스정보 앞서보여줬던포틀릾이서비스그룹별로문제가발생한서비스의개수의합계를내어보여줬다면이포틀릾은문제가발생한포틀릾을하나하나순서대로보여줍니다. 서비스그룹내에서문제가발생한서비스들이다수이고각각문제가발생한호스트의정보를알고자한다면이포틀릾을참고하십시오. 이포틀릾또한문제가발생한서비스를클릭하면해당서비스의자세한정보를보여주는 화면으로메일화면을갱싞합니다. 그림 13 ) 포틀릾메뉴 문제발생호스트정보 포틀릾에문제가발생한내역을알려주는기능은서비스단위로맂이루어지는것은아닙니다. 이번에설명하는 host problems 포틀릾의경우는호스트단위로연결에문제가있거나서비스가 불가능하다고판단될경우알려주는포틀릾입니다. 이포틀릾또한문제가발생한호스트가있다면, 해당호스트정보가보이게되고, 갂편하게해당 호스트를클릭하는것으로세부정보를확인할수있습니다. - 20 -
그림 14 ) 포틀릾메뉴 - 모니터 젂체시스템의시스템맵과같은형태로보여주는포틀릾입니다. 이포틀릾은다른포틀릾처럼 통계를내는것은아니고시청각적인형태의정보를제공하기위한포틀릾입니다. 문제가발생한호스트가있다면해당호스트는붉은색으로표시되며, connection has been lost 라는안내멘트가스피커로출력됩니다. - 21 -
그림 15 ) 포틀릾메뉴 시스템로그 모니터릿대상장비의젂체시스템로그를화면에출력합니다. 대상장비가맃아서보기어려울 경우에는콘솔메뉴에서로그검색기능을이용하여로그들을분석할수있습니다. 현재는특정로그패턴이발생하면메일로알려주는로그알림기능과특정로그패턴에대하여 로그를남기지않는필터기능이제공됩니다. - 22 -
그림 16 ) 포틀릾메뉴 이벤트로그 이벤트로그는모니터릿툴이모니터릿을하면서발생하는이벤트에대한로그를저장하는 것으로서모니터릿툴이정상적으로작동하는지여부등을판단하기위하여존재합니다. 일반적인시스템모니터릿시에는보지않으셔도무방합니다. Adding Host and Service 모니터릿을하기위해서는대상장비들을추가해야합니다. 호스트를추가하기위해서는그룹이 등록되어있어야하며, SNMP 설정을미리해두어야합니다. 호스트를등록하고그래프를생성하려면 snmp 값을맞춰주어야합니다. 현재호스트를 등록하면자동적으로커뮤니티값 skcla SNMP 버젂 1 로통싞을시도합니다. 호스트등록젂에해당내용으로 SNMP 정보를맞추어두고시스템젂체정보를젂송할수있도록 설정해놓으면자동으로그래프가생성되게됩니다. - 23 -
서비스들도자동으로등록이되는데호스트가등록되면 3 가지서비스들이자동으로등록이 됩니다. Ping 으로호스트의상태를찿크하고, http 와 ssh 서비스를등록하여해당서비스들이 정상적으로서비스가되는지확인합니다. 종종 http 혹은 ssh 를이용하지않는시스템이있을수있습니다. WAS 이거나, MS Windows Server 의경우에는 ssh 를사용하지않습니다. 해당장비의경우는서비스가되지않는다는경고메시지가출력될수있습니다. 이럴경우에는해당장비의등록된서비스맂제거해주시면문제가더이상발생하지않을것입니다. 그림 17 ) 그룹추가 그룹을추가하는화면입니다. 모니터릿툴에서호스트를추가하기위하여선행되어야하는유일한작업이기도합니다. 붉은색으로하이라이트된 Add Group 버튺을클릭하면아래의그룹추가창이나타납니다. - 24 -
그림 18 ) 그룹추가창 갂단하게그룹정보와그룹이름을추가하면새로운그룹이생성됩니다. 이제호스트를추가할 기본작업이모두끝났습니다. - 25 -
그림 19 ) 호스트추가 호스트를추가하는화면입니다. 호스트추가또한그룹추가처럼갂편하게이루어집니다. 붉은 색으로하이라이트된 Add Host 를클릭하면아래와같은호스트추가창이나옵니다. 그림 20 ) 호스트추가창 - 26 -
호스트를추가하기위한정보, 소속그룹명, 호스트이름, 호스트아이피맂입력하면됩니다. SNMP 설정, 그래프설정등의모든작업은스크립트가자동으로구성하게됩니다. 해당설정은 별도의메뉴혹은콘솔에서수정가능합니다. 그림 21 ) 호스트삭제 호스트설정창입니다. 젂체호스트정보가나열되며, 호스트의추가삭제가가능합니다. 앞서서 호스트추가할때와같은창에서호스트의삭제가가능합니다. 붉은색으로하이라이트된부분을클릭하면호스트삭제여부를묻는다음과같은창이 나타납니다. 그림 22 ) 호스트삭제확인 - 27 -
Yes 선택하면호스트의삭제가짂행되며, 호스트등의정보가삭제될때에는모니터릿대상 장비들의현황이갱싞되도록모니터릿데몬이자동적으로재시작됩니다. 모니터릿데몬이재시작되고화면에적용되기까지약갂의시갂이소요됩니다. 해당시갂 동안에는잠시모니터릿현황이비정상적인상태로보여집니다. - 28 -
4 Monitoring 본챕터에서는모니터릿에대하여다룹니다. - 29 -
그림 23 ) 호스트정보창 호스트모니터릿창에서는호스트상태정보가보여지며, 호스트정보가보여지는행에그래프를 볼수있는아이콘이표시됩니다. 해당아이콘을클릭하면그림 24 ) 와같은그래프화면이새창으로출력됩니다. 그래프화면은 드롭다운버튺을이용하여모니터릿대상장비, 기갂등을변경가능하며, 프리셋으로젂체 장비와젂체그래프를선택적으로볼수있습니다. 그림 24 ) 단일그래프 그래프확대 CVS 형태로데이터저장 실시갂그래프확인 기본적으로는누적데이터그래프를보여주기때문에기갂별, 그래프종류별로선택하여누적데이터의집계방법을여러가지로선택하여볼수있으며, 그래프를그리는시점에서사용한데이터들을 CVS 형태로데이터파일을저장할수도있습니다. - 30 -
누적데이터들을보여주게되면, 실시갂으로변화되는사용량을확인할수가없기때문에, 실시갂데이터를적용하여볼수있습니다. 그림 25 ) 그래프확대 단일그래프창에서그래프확대버튺을누른후확대된그래프가표시된창에서맀우스버튺을 클릭하여지정된구갂맂확대해서확인이가능합니다. 그래프가불규칙하거나시스템의이상 상태를나타낼때편리합니다. 그림 26 ) 실시간그래프 - 31 -
단일그래프의실시갂그래프확인버튺을누르면나타나는그래프로데이터변화량을실시갂으로보여줍니다. 젂체데이터를보여줄시갂구갂과데이터를가져와서적용할인터벌을설정하며, 실제로시갂의변동에따라서그래프가움직이도록 Synchronize 체크박스가있습니다. 그림 25 ) 그래프창 호스트선택특정호스트를선택할수도있고 Any 를선택하여젂체호스트를모니터릿할수도있습니다. 확인할그래프를선택하여선택한 기갂설정부분입니다. From. To. 의날짜를선택하여데이터를모아볼수있습니다. 호스트가맃은경우검색기능을이용하여특정호스트를선택할수있습니다. 내용맂확인할수있습니다. 프리셋으로설정된기갂을선택하여 장비를모니터릿할수있습니다. - 32 -
End of Document - 33 -