<B0F8B4EBC0FCBBEABDC720B0EDBCD3B0E8BBEABFEB20C5ACB7AFBDBAC5CD20BDC3BDBAC5DB20C0CCBFEBBEC8B3BBBCAD2E687770>

Size: px

Start display at page:

Download "<B0F8B4EBC0FCBBEABDC720B0EDBCD3B0E8BBEABFEB20C5ACB7AFBDBAC5CD20BDC3BDBAC5DB20C0CCBFEBBEC8B3BBBCAD2E687770>"

미라 갈
5 years ago
Views:

1 공대전산실고속계산용클러스터시스템이용안내서 담당자 : 이창성 (7429, hpcman@eng.snu.ac.kr) 1. 시스템(hpceng) 개요 hpceng1.snu.ac.kr : abaqus hpceng2.snu.ac.kr : star_cd / diana: hpceng3.snu.ac.kr : matlab : hpceng4.snu.ac.kr : fluent : External network (Fast Ethernet) 공학용 Package 서비스전용 hpceng.snu.ac.kr External network (Fast Ethernet) 24 port Gigabit Switch NAS System master system Gigabit Ethernet local network 1 ( 계산전용 ) GBIC Connection 24 port Gigabit Switch External Network : 100 Mbps : eth0 device Local Network : 1000 Mbps : eth1 device Local Network : 1000 Mbps : eth2 device Gigabit Ethernet local network 2 (NFS 전용 ) 그림 1 hpceng 시스템네트워크구성도 병렬계산용서버 Pool과공학계산용 Package 서비스 Pool로나누어서구성 주요사양 16 Node Cluster System + master node + NAS System CPU : Intel Xeon 2.4 GHz 32개 RAM : 2GB (12 node/ 병렬계산용), 3GB ( 4 node/package 서비스서버) SCSI : 36GB (12 node/ 병렬계산용), 54GB ( 4 node/package 서비스서버) Storage Backup : 1.2TB ( 운영 : RAID 1 Mirroring, 600 GB ) Network : Gigabit Ethernet Network (Computing,NFS,Management), Fast Ethernet Network (External) OS : Linux (RedHat 9.0 기반, Kernel : ) 주요소프트웨어 Compiler : intel compiler(c/c++/f77/f90), gcc compiler(c/c++/f77), Portland Group Compiler(c/c++/f77/f90) Math Library : BLAS, LAPACK, IMSL (f90) Scheduler : LSF(Platform)

2 MPI : MPICH, LAM-MPI 공학용 Package - Abaqus 6.4 : Standard / Explicit / Aqa / Design - Fluent fluent TGrid Gambit tfilter 2.5, flpost LS-DYNA (Parallel Version - mpp970) : 8 CPUs lspost - Matlab Simulink Optimization Statistics Neural Network Extended Symbolic Math PDE Mapping Spline Curve fitting Signal Processing System Identification Wavelet Filter design Control system Fuzzy logic Robust Control Mu-analysis and LMI Control Stateflow Nonlinear control design blockset -Diana 2. 시스템사용신청 공대전산실에서계정신청서를작성한다. 유의사항은기존의공대전산실사용아이디가있다고해도새롭게신청을해서발급을받아야사용가능. 3. 병렬시스템이용방법 1 로그온하기기본적으로 hpceng 시스템은 SSH Secure Shell 로만접속이가능하다. ssh를이용한접속방법을유닉스 / 리눅스시스템과윈도우즈시스템으로나누어서살펴보면다음과같다.

- 유닉스/ 리눅스시스템현재, 많이사용되고있는리눅스시스템의경우에는대부분의배포판에서 ssh client 이설치되어있다. 다음의명령어로시스템에설치된 ssh 프로그램을확인할수있다. 프로그램 $ rpm qa grep ssh 위와같이명령어를실행시켰을경우에 3.0 이상버전의 ssh 가설치되어있는것이바람직한다. 만약, 시스템에 ssh 가설치되어있지않는경우에는 www.

3 - 유닉스/ 리눅스시스템현재, 많이사용되고있는리눅스시스템의경우에는대부분의배포판에서 ssh client 이설치되어있다. 다음의명령어로시스템에설치된 ssh 프로그램을확인할수있다. 프로그램 $ rpm qa grep ssh 위와같이명령어를실행시켰을경우에 3.0 이상버전의 ssh 가설치되어있는것이바람직한다. 만약, 시스템에 ssh 가설치되어있지않는경우에는 사이트에서 rpm 버전이나소스를다운받아설치해야한다.Unix시스템인경우에는시스템관리자에게문의해서 ssh가설치되어확인해야한다. 시스템에 ssh가설치되어있는지확인한후에는시스템에서 xterm이나 hanterm를실행시키고다음의명령어를수행한다. $xhost+ 그리고나서 hpceng 시스템에접속한다. $ ssh -l userid hpceng.snu.ac.kr 패스워드입력후에성공적으로로그인이되고난후에는아래의명령을실행시킨다.hpceng시스템은기본적으로 Born Shell 을사용하므로, 다음과같이입력해서 DISPLAY 변수를설정해주면 GUI 기반응용프로그램을사용할수있다. $ export DISPLAY=ip-address:0.0 - 윈도우즈 PC 시스템 Windows 인경우에는먼저, it4u.snu.ac.kr에가서sshwinclient-31과 Xmanager 프로그램 을설치한다. 이때 Xmanager 설치시에 파일 메뉴의 설정 을눌러서 xdm을사용하지 않는것이좋다.

4 SSHWinClient-31 을설치한후에, 실행시키고나서 Quick Connect 를 click 한후에다음과같이 User name에등록한 User ID 를입력한다. 접속이되면패스워드를입력한다. 그런다음, 정상적인로그인이되면 profiles 를 click 해서 Add profile 를 click 한후에아래그림과같이 profile 이름을 hpceng로한후에 Add the current connections to profile 를 click 해서현재설정을등록한다. 그런다음, 일단 logout 을한다. 그런다음, edit profile 명령을실행시킨후아래그림과 Tunneling 설정에서 Tunnel X11 Connections을 On 한후에 save 시킨다.

5 위의설정을저장한후에, profile에저장되어있는 hpceng를 click하면 hpceng 시스템에저장된설정으로접속이된다. 일단이상태에서는 vi 에디터를이용한파일편집등의 graphic interface를요구하지않는 Text 기반의작업들은모두수행할수있다. 만약, GUI 기반작업을수행해야할경우에는 Xterm 을다음과같이실행시킨후에사용하면된다. 먼저, 접속한 PC에서 Xmanager 를실행시킨다. 다음과같이 xterm 을실행시키면된다.

kr 파일을 hpceng 시스템으로 Upload 할때에는 put 이라는명령어를사용하고, download 할때에는 get

6 계산한결과나입력데이터를전송해야할때에는 sftp 를이용할수있다. 유닉스나리눅스시스템의경우에는다음과같은명령어를통해사용한다. $ sftp user_id@hpceng.snu.ac.kr 파일을 hpceng 시스템으로 Upload 할때에는 put 이라는명령어를사용하고, download 할때에는 get 이라는명령어를사용하면된다. 윈도우즈시스템의경우에는 SSHWinClinet에서제공하는 File Transfer Window를이용하면윈도우즈의탐색기와같은편리한유저인터페이스를이용해서자유롭게파일을전송할수있다. 여기를 Click 하면 File Transfer 창이열린다

7 2 디스크사용관련 hpceng 시스템에로그인한후에 dh -h 라는명령을수행하면아래와같이현재사용할수있는하드디스크용량과파일시스템에대해알수있다. Filesystem 1k-blocks Used Available Use% Mounted on /dev/sda % / /dev/sda % /boot /dev/sda % /scratch none % /dev/shm /dev/sdb % /system-bak n000s:/home % /home n000s:/data % /data 위의파일시스템들을살펴보면 /system-bak 파티션은시스템이미지백업용이라관리자만접근가능한파티션이다. 유저들의홈디렉토리는 /home 파티션이다. /home 파티션은 NFS(Network File System) 으로연결되어있어서모든클러스터노드들에서동일한이미지를유저에게제공한다. 그러나 /home 파티션은유저들에게 1GB 이상의저장공간을허락하지않는다. 따라서대용량계산결과파일등의저장은 /data 파티션을이용하여야한다. /data 파티션역시 NFS 로연결되어있다. /data 파티션의경우에유저별사용량의제한이없기때문에사용가능한용량까지자유롭게사용가능하지만, 매일새벽 2시에용량이부족할경우관리자가모든데이터를삭제할수있기때문에대용량결과데이터의임시적인저장장소로활용하고중요한데이터는유저의개인 PC 로항상옮겨놓아야한다. 이때조심해야할것은계산중에임시로열어서사용하거나대용량의파일에결과를적어야할경우에는반드시 /scratch 디렉토리밑에서읽고써야한다. 유저의홈디렉토리는 NFS(Network File System) 이므로자신의홈디렉토리에그냥파일을열고쓰게되면굉장히계산이느려질수있다. /scratch 파티션은모든클러스터노드에로컬의별도하드디스크로연결되어있기 때문에이미지는서로다르지만입출력속도는 /home 이나 /data 파티션에비해서빠르다.

8 3 병렬프로그램수행하기기본적으로 hpceng 시스템은최근에거의사용되지않는 PVM 라이브러리는지원하지않고, MPI 라이브러리만지원한다. MPI 라이브러리중에서는앞에서설치한것처럼 MPICH와 LAM-MPI 를설치하였다. 시스템에서기본(Defalut) 로설정된값은 MPICH와 Intel Compiler 를이용하여 LSF Scheduler를이용하여병렬처리 job을 Submit 하게되어있다. - 병렬코드컴파일하기 mpicc, mpicc, mpif77, mpif90 명령어를이용하여컴파일한다. 이명령어는기본적으로 intel compiler에 MPICH 라이브러리를자동링크되게한것이므로컴파일기본옵션은인텔 컴파일러와동일하다. 인텔컴파일러에대한자세한자료는 support.intel.com에서참조할수 있다. 그런데, 자신이개발한코드가인텔컴파일러에서간혹에러를발생시키는경우가있다. 유 닉스시스템의표준컴파일러인 GNU gcc 컴파일러로컴파일할때는에러가발생하지않는 코드인데인텔컴파일러로컴파일할시에는에러를발생시킬수있다. 특히, Fortran 의경 우가그런경우가많이발생한다. 이럴경우에는 GNU gcc 컴파일러로컴파일할수있고 명령어는 gmpicc, gmpicc, gmpif77 을이용하면된다. 병렬전용컴파일러로많이사용되는또하나의컴파일러가 Portland Group Compiler이며 hpceng 시스템에설치되어있다. 명령어는 pmpicc, pmpicc, pmpif77, pmpif90을사용하 면된다.pgc컴파일러에 대한자세한자료는 -병렬코드실행하기병렬코드는 LSF Scheduler를이용하여 submit 하여실행한다. 우선, 시스템의상황을살펴보는명령은다음과같다. [hpcman@n001 hpcman]$ bhosts HOST_NAME STATUS JL/U MAX NJOBS RUN SSUSP USUSP RSV n001 ok n002 ok n003 ok n004 ok n005 ok n006 ok n007 ok n008 ok n009 ok n010 ok n011 ok n012 ok n013 unavail n014 unavail n015 unavail n016 unavail 위의상황은현재 n001 ~ n012 시스템까지이용가능하며, MAX 라는것은각노드별수행할수있는작업의최대수이다. 각노드별로 2개의 CPU가설치되어있으므로모든노드의 MAX 값은 2 로설정되어있으며, RUN 이라는것은현재수행되고있는작업의수이다. NJOBS는현재수 행하여야하는작업의수이다. n013부터 n016까지는 Package 서비스노드이므로병렬작업수

9 행에는이용할수없다. 특별히 32개의 CPU 작업을수행해야하는경우에는담당조교에게연 락해서상의해야한다. 그리고각노드별 Resource의현황을살펴보기위해서는 lsload라는명 령을수행한다. 각노드별CPU 가동율과이용가능한RAM 메모리현황등을볼수있다. hpcman]$ lsload HOST_NAME status r15s r1m r15m ut pg ls it tmp swp mem n001 ok % M 1028M 1771M n006 ok % M 1027M 1859M n003 ok % M 1027M 1858M n002 ok % M 1027M 1860M n007 ok % M 1027M 1859M n004 ok % M 1027M 1859M n010 ok % M 1027M 1859M n011 ok % M 1027M 1859M n008 ok % M 1027M 1859M n005 ok % M 1027M 1859M n012 ok % M 1027M 1861M n009 ok % M 1027M 1861M n013 unavail n014 unavail n015 unavail n016 unavail 그런다음에는 Job sumbit 파일을작성한다. 간단한 submit 파일예제는다음과같다. #BSUB -n 24 #BSUB -o 1.out #BSUB -e 1.err mpijob./xhpl 첫번째라인은 CPU를 24 개활용하겠다는것이며, -o 옵션은코드의 stdout 출력을저장할파일이며 -e 옵션은코드의 stderr 출력을저장할파일명이다. 마지막라인이수행할명령어를적어주는라인인데, 실제로유저가컴파일한실행파일앞에 mpijob 이라는 keyword를반드시적어주어야한다. 그리고병렬프로그램컴파일시에사용한명령어와반드시일치시켜주어야하는데규칙은다음과같다. mpijob : mpicc/mpicc/mpif77/mpif90 으로컴파일했을시 mpijob_gcc : gmpicc/gmpicc/gmpif77으로컴파일했을시 mpijob_pgc : pgmpicc/pmpicc/pmpif77/pmpif90으로컴파일했을시 작업 Submit 을작성하고적절한이름으로저장한다. 예를들어위의 Submit 파일예제를 test1이라고저장했다면다음의명령어를사용해서 submit 한다.

10 $ bsub < test1 submit 한작업이정상적으로수행되는지를알아보기위해서는 bjobs라는명령어를수행시켜본다. submit을한직후에는 stat가 PEND 상태로있다가정상적으로필요한 Resources를할당받으면 RUN 으로바뀌어진다. 그러면 bjobs 명령어를수행시키면 EXEC_HOST에현재작업을수행하고있는시스템의리스트가표시된다. 만약에 submit된작업이잘못수행된것이어서유저가취소하고싶은경우에는 bkill 명령어를실행시킨다. bjobs 명령어로 JOBID 를확인한다음실행한다. $ bkill 671

11 한편, 병렬 Pool에는모두 4개의 Queue 가설정되어있다. 이것은 24개 CPU를이용한병렬작업이 Queue에쌓여있을경우에다른작업들이실행이되지않는것을방지하기위해서이다. 새벽2시부터오전 8시까지는 16개 CPU 작업이가장높은우선권을가지며실행되고, 나머지시간대에는 4개이하의 CPU 작업이가장우선권이높다. 24개의 CPU를요구하는작업은항상낮은우선권을가지며, Background 환경으로실행이된다. ======================================== QNAME:cpu_4 Qpriority: 새벽 2 시 ~ 8 시까지 : LOW 기타시간 : VERY HIGH cpu limit : 4개까지 ======================================= QNAME:cpu_8 Q priority : 새벽 2 시 ~ 8 시 : LOW 기타시간 : HIGH cpu limit : 8개까지 ======================================= QNAME:cpu_16 Q priority : 새벽 2 시 ~ 8 시 : HIGH 기타시간 : LOW cpu limit : 16개까지 ====================================== QNAME:cpu_24 QPriority:low cpu limit=24 유저의경우에 job을 submit 할때, 특별히 Queue를지정하지않아도유저가요구한 CPU 개수를보고자동으로시스템에서판단하여 Queue 를지정하도록되어있다. 아래는 cpu 6개를요구한유저작업을 submit 했을시의실행모습이다. [hpcman@n001 Linux_mpich_intel]$ bsub < test1 No running job found in queue <cpu_4> No pending job found in queue <cpu_4> No running job found in queue <cpu_8> No pending job found in queue <cpu_8> No running job found in queue <cpu_16> No pending job found in queue <cpu_16> No running job found in queue <cpu_24> No pending job found in queue <cpu_24>... hpcman 's Job submitted to cpu_8 Queue Job <1880> is submitted to queue <cpu_8>. 만약유저가특정 Queue를지정하고자할경우에는 -q 옵션을줄수있다. 이러한경우는 다음에설명할 Parametric Study 의경우에유용하게사용할수있다.

12 4 반복적작업수행 : Parametric Study 클러스터시스템은병렬응용프로그래밍의개발및수행에도많이활용되지만, 많은공학 분야에서널리활용되는 Parametirc Study와같이동일한작업을여러개의입력데이터를 이용해서수행해야하는, 이른바 High-throughput Computing 환경에도매우적합하다. hpceng 시스템의 Scheduler인 LSF에서도 High-throughput Computing을쉽게구현할수있 다. 예) p4c 라는실행코드를이용하여 10개의서로다른입력데이터를이용해서계산을수행한후 Stdout 출력을서로다른파일에저장할경우. 먼저수행할프로그램을컴파일한다. 인텔컴파일러, GNU gcc 컴파일러등적합한컴파일러로컴파일한다. 그런다음, 입력데이터파일을첨자를이용해서구별되도록작성한다. 10개의입력데이터일경우다음과같이작성하고, 실행코드와같은위치에옮겨놓는다. input.1 input.2 input.10 그런다음, bsub 명령을통해서작업을 submit 을하는데, 문법은다음과같다. bsub -J arrayname[indexlist,...]" myjob 위의예제의경우에는다음과같이수행할수있다. $ bsub -J "testarray[1-10]" -i"input.%i" -o"output.%i" -e"err.%i"./p4c ( 주의 %I에서 I는대문자 i 입니다) 위의명령을통해서실제로수행하는작업은다음과같다../p4c input.1 : stdout => output.1, stderr => err.1./p4c input.2 : stdout => output.2, stderr => err.2./p4c input.10 : stdout => output.10, stderr => err.10 그런데이러한 Parametric Study의경우에는동시에요구되는 cpu는 1개이므로앞에서설명한것처럼가장우선권이높은 cpu_4 Queue 를사용하게된다. 이럴경우의문제는우선권이높아서작업이빨리실행되기는하지만, 동시에 4개의 cpu 밖에활용할수없게된다. 따라서 16개이상의경우의수를보다빨리수행시키기위해서는 -q 옵션으로 cpu_24 Queue를지정해주는것이바람직하다. $ bsub -q cpu_24 -J "testarray[1-10]" -i"input.%i" -o"output.%i" -e"err.%i"./p4c submit 한작업을상황을알아보기위해서는앞에서설명한 bjobs 명령을통해서살펴볼수있다. array를이용해서 submit 한작업은모두동일한 JOBID 를가지게된다. bjobs 명 령을통해서 arrary를통해 submit 된작업의전체정보를보려면다음과같이사용한다.

13 bjobs -A JOBID submit 한작업을취소할때도별로취소할수있다. array 전체작업을한번에취소할수있고각각의단위작업 $ bkill JOBID : (Ex. bkill 798 ) 전체작업취소 $ bkill "JOBID[Index]" (Ex. bkill "798[2]" 798의 JOBID 작업중 2 번째작업취소)

14 hpceng 시스템에서작업의 dependency를설정하는방법은 -w "done(jobname)" 이라는옵션을사용하는것입니다. 한가지명심할것은 jobname을이용하기위해서 -J 옵션으로모든 Q 작업에 Jobname을설정해주는것입니다. 예를들어서 p4c라는 serial job과 test1 파일에명시된병렬 job을이용해서돌리는것을살펴보겠습니다. 먼저 test1 파일에병렬 job 을설정해줍니다. #BSUB -n 8 #BSUB -o 1.out #BSUB -e 1.err mpijob./xhpl 그런다음, jobexec 라는파일을만들어서다음과같이적습니다. bsub -J Job1./p4c bsub -J mpijob1 -w "done(job1)" < test1 bsub -J Job2 -w "done(mpijob1)"./p4c bsub -J mpijob2 -w "done(job2)" < test1 저장하고나와서 chmod +x jobexec 라는명령을통해서실행권한을설정해줍니다. jobexec 파일을살펴보면두번째라인의의미는 Job1 이라는이름의 Jobname을가지는작업이완료되면 test1에설정된병렬작업을수행하라는의미입니다. Job1은첫번째라인에명시된 p4c serial 작업입니다. 세번째라인의의미는두번째라인에정의된 mpijob1이완료되면 p4c 코드를돌리라는의미입니다. jobexec 를수행하실때는./jobexec라고하시면되고각단계별로 bjobs 를살펴보면다음과같습니다. [hpcman@n009 Linux_mpich_intel]$./jobtest3 Job <1099> is submitted to default queue <normal>. Job <1100> is submitted to default queue <normal>. Job <1101> is submitted to default queue <normal>. Job <1102> is submitted to default queue <normal>. [hpcman@n009 Linux_mpich_intel]$ bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME 1099 hpcman PEND normal n009 Job1 Mar 25 11:10

15 1100 hpcman PEND normal n009 mpijob1 Mar 25 11: hpcman PEND normal n009 Job2 Mar 25 11: hpcman PEND normal n009 mpijob2 Mar 25 11:10 Linux_mpich_intel]$ bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME 1099 hpcman RUN normal n009 n002 Job1 Mar 25 11: hpcman PEND normal n009 mpijob1 Mar 25 11: hpcman PEND normal n009 Job2 Mar 25 11: hpcman PEND normal n009 mpijob2 Mar 25 11:10 Linux_mpich_intel]$ bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME 1100 hpcman RUN normal n009 n005 mpijob1 Mar 25 11:10 n005 n012 n012 n007 n007 n006 n hpcman PEND normal n009 Job2 Mar 25 11: hpcman PEND normal n009 mpijob2 Mar 25 11:10 Linux_mpich_intel]$ bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME 1101 hpcman RUN normal n009 n011 Job2 Mar 25 11: hpcman PEND normal n009 mpijob2 Mar 25 11:10 Linux_mpich_intel]$ bjobs JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME 1102 hpcman RUN normal n009 n003 mpijob2 Mar 25 11:10 n003 n008 n008 n004 n004 n010 n010

16 4. 공학용 Package 이용하기 현재, 설치된공학용소프트웨어들과해당시스템은다음과같다. fluent : hpceng4.snu.ac.kr ( ) diana : hpceng3.snu.ac.kr ( ) matlab : hpceng2.snu.ac.kr ( ) abaqus : hpceng1.snu.ac.kr ( ) ls-dyna: hpceng.snu.ac.kr ( ) 3절 1항의로그온하기항목을참조하여 SSH를이용하여위의해당시스템으로접속하면사용할수있다. 각소프트웨어별로이용가능한 On-line 매뉴얼등은공대홈페이지 ( 에서전산환경을클릭한다음소프트웨어설명을보면이용가능하다. 1 fluent hpceng4.snu.ac.kr로접속한후에 xterm을실행시키면 fluent, gambit 등의명령어를통해 서사용할수있다. 2 matlab hpceng2.snu.ac.kr로접속한후에 xterm을실행시키고 matlab이라는명령어로이용가능하 다. matlab 자체적으로 help 명령어를통해서각 Command 별로상세한정보를얻을수있 다. GUI 인터페이스를쓰지않고싶으면 -nodesktop 옵션을주고실행시키면 text 모드로 쓸수있다. 3 abaqus hpceng1.snu.ac.kr로접속한후에 abaqus 라는명령어로사용할수있다. abaqus viewer 등을실행하기위해서는xterm 을실행한후에수행한다. 4 ls-dyna hpceng.snu.ac.kr 로접속한후에 "lsdyna ncpu=<cpu 개수> i=<input file>" 의명령으로실 행시킬수있으며 stdout 은 <input file>.out 으로, stderr 는 <inputfile>.err로각각저 장된다. ls-dyna 작업을위해할당될수있는최대CPU 개수는8 개이다. lspost를실행하 기위해서는xterm 을실행한후에수행한다.

Microsoft Word - ntasFrameBuilderInstallGuide2.5.doc

Microsoft Word - ntasFrameBuilderInstallGuide2.5.doc NTAS and FRAME BUILDER Install Guide NTAS and FRAME BUILDER Version 2.5 Copyright 2003 Ari System, Inc. All Rights reserved. NTAS and FRAME BUILDER are trademarks or registered trademarks of Ari System,