isbn_oscar_2.2.1_manual_A4.hwp

Transcription

1 OSCAR 클러스터설치가이드 Cluster installation Guide for OSCAR ver 홍태영, 홍정우, 조혜영편저

2 OSCAR 클러스터설치가이드

3 OSCAR 클러스터설치가이드 Cluster installation Guide for OSCAR ver 이책은영문 original version의저자와의협의하에출판되었으며, 이책의무단복제및무단전제를지양해주시기바랍니다. Published by Supercomputing Center, KISTI Printed in Korea ISBN 이책에대한의견이나조언을주시고자할때그리고오탈자나버그등을발견했을경우, 언제든지다음의저자의메일주소로연락하시기바랍니다.

4 머리말 클러스터컴퓨터는우수한가격대비성능과시스템의유연한구성과확장성등의장점을갖고있으며이와더불어, 리눅스및병렬프로그램등오픈소스기반의소프트웨어의표준화및안정화가이루어지면서, 고성능컴퓨팅시장을급속도로대체해나가고있다. 2000년 6 월기준으로세계 top500 슈퍼컴퓨터리스트에서 2% 정도의분포를보이던클러스터컴퓨터의수는 2004년 11월현재그수가약 60 % 에육박할정도로폭발적으로증가하고있으며점차대형화및고급화되어가고있으며, 범용고성능컴퓨팅플랫폼으로각광받고있다. 하지만그럼에도불구하고클러스터컴퓨팅설치및관리도구는상용클러스터소프트웨어에비하여아직초보적인단계를벗어나고있지못하며, 몇몇공개소프트웨어기반의클러스터설치도구들만이중소형클러스터시스템환경에서폭넓게이용되고있다. 이에이책에서는그중에서가장안정적이며, 사용자환경이편리하게되어있는클러스터설치도구인 OSCAR 2.2.1를소개하고자한다. OSCAR는중소형클러스터컴퓨터를주요타겟으로만들어졌으며, 편리한사용자환경및툴을제공함으로서, 클러스터링경험이없는시스템관리자라도쉽게클러스터를설치운영할수있도록하고있다. 따라서대학혹은연구소의연구실등에서소형클러스터를자체제작하여운영하고자하는경우최적의솔루션중하나로선택할수있는도구이다. 이책은리눅스를관리및운영해본경험이있는사람을대상으로하고있으며, 따라서리눅스운영체계및사용방법에대해서는별도의설명을생략하고있다. 아무쪼록이책이클러스터를좀더쉽게구축하여사용하기를희망하는모든사람에게조금이나마도움이되었으면한다. 홍태영, 홍정우, 조혜영슈퍼컴퓨팅센터, 한국과학기술정보연구원

5 목차 1. 소개 1.1 용어설 1.2 지원리눅스배포판 1.3 최소시스템요구사 1.4 테스트베드사양 1.5 문서개요 리눅스배포판별주의사항 2.1 일반적인주의사항 2.2 RedHat 7.2 주의사항 2.3 Mandrake 8.2 주의사항 2.4 Mandrake 9.0 주의사항 2.5 IA64 시스템기타시스템관련주의사항 System Installation Suite(SIS) 개요 11 4 세부적인클러스터설치과정 4.1 Server Installation and Configuration 4.2 ( 선택사항 ) 추가적인 oscar packages 다운로드 4.3 OSCAR installer 실행 4.4 ( 선택사항 ) "Select packages to install"(step 1) 4.5 "Configure selected OSCAR Packages"(step 2) 4.6 "Install OSCAR server packages"(step 3) 4.7 "Build OSCAR client Image"(step 4) 4.8 "Define OSCAR Clients"(step 5) 4.9 "Setup Networking"(step 6) 4.10 ( 참고사항 ) Client Installations 4.11 "Complete the Cluster Setup"(step 7) 4.12 "Test Cluster Setup"(step 8) 4.13 Congratulations! 4.14 Adding and Deleting client nodes 4.15 Starting over 클라이언트시스템업데이트및업그레이드 33 6 각패키지별설치관련주의사항 6.1 C3 6.2 disable-services

6 6.3 HDF5 6.4 kernel_picker 6.5 loghost 6.6 networking 6.7 ntpconfig 6.8 ODA 6.9 OPIUM & SSH 6.10 PBS & Maui Scheduler 6.11 pfilter 6.12 switcher 참고문헌 51

7 1 소개 OSCAR는 HPC용클러스터관련분야에종사하는사람들의비공식모임인 OCG(Open Cluster Group) 의오픈소스프로젝트로서 2001년 2월첫번째버전이출시되었으며, 가장최신버전으로는 2003년 9월 16일출시된 버전이있다. OCG의멤버로는 IBM, Indiana Univ., Intel, NCSA(National Center for Supercomputing Applications), ORNL(Oak Ridge National Laboratory) MSC.Software등이참여하고있다. OSCAR(Open Source Cluster Application Resource) 소프트웨어패키지는 cluster를설치하는데필요한복잡한작업을단순화시키는데목적을두고있다. OSCAR cluster는 HPC(High Performance Computing) 에사용하도록만들었지만, 다양한종류의 cluster용 (cluster-enabled) application에사용할수도있다. OSCAR는 HPC를겨냥해서만들어졌으므로, MPICH, LAM/MPI, PVM, PBS등여러 HPC 관련 package들이 default로설치된다. 이문서는시스템관리자에게단계별 installation guide와설치과정중에발생하는것들에대해자세한설명을제공한다. 마지막으로이문서는 OSCAR version 2.2.1을대상으로만들어졌음을주지하기바란다. 1.1 용어설명 Cluster: 소프트웨어와하드웨어를사용하여, 하나의 machine처럼작동하도록설계된일단의컴퓨터그룹을의미한다. Node: cluster내의개개의 computer를의미한다. install할 OSCAR cluster의경우두종류의 node가존재한다. 하나는서버노드 (head node) 로클라이언트노드의요청에대해필요한서비스를제공한다. client node는계산전용이며, 일반적으로는계산노드 (compute node) 라고도부른다. OSCAR의 cluster는 1개의서버와 1개이상의 client로이루어지며, 모든 client는 homogeneous(i.e., identical) hardware를가지고있어야한다. 사실상 OSCAR 내의 package 들은 heterogeneous( 즉, non-homogeneous) cluster를지원하지만, 현재그내용은문서화되어있지않다. Image: 하나의 directory내에 root file system hierarchy를완전히갖추고있으며, client에게언제든지설치및 update를통해제공될수있다. 단 image 안의 file system에서 proc, nfs, devpts, iso9660은제외된다. Image는 oscar install시서버의 /var/lib/sysimager/images/ 에만들어져서, client node의 local disk에 rsync를이용하여복사된다. Client definition: 서버가가지고있어야하는 client의기본정보로, 여기에는 ip address, hostname, default gateway 등의 network 정보와 image 이름이포함된다. Packages: OSCAR의 Package들은기본적으로모두 RPM이거나 RPM의 collection이며, configuration 및 installation 관련파일을포함하는경우도있다 ( 아래참조 ). client에설치할 package는 root/oscar-2.2.1/oscarsamples/redhat-7.3-i386. rpmlist를바탕으로고를수있다. OSCAR의패키지들은크게다음의세종류로나눌수있다. 소개 1

8 Core packages: OSCAR의공식배포판에포함되어있으며, OSCAR installation 과정을진행하기위해필요한핵심 package(sis, switcher, c3, oda) 이다. Included packages: OSCAR의공식배포판에포함된 packages(autoupdate, hdf5, loghost, ntpconfig, pvm, kernel_picker, mpich, pbs, disable-services, lam, networking, opium, pfilter) 이다. 이들은보통 OSCAR의 developer가만들거나혹은패키지화하며, release되기전에상당한수준의공식 test 과정을거친다. Third party packages: OSCAR의공식배포판에포함되지않은 package들로, OSCAR tree(/tftpboot/rpm) 에 add-on 되어 OSCAR installation 과정중에함께설치될수있다. 1.2 지원리눅스배포판 OSCAR의설치를성공적으로하기위해서는아래의표에서 "Fully Supported" 로표시된 distribution을선택하기바란다. Distribution and Release RedHat 7.1 RedHat 7.2 RedHat 7.3 Mandrake 8.2 Mandrake 9.0 Status Experimentally supported Fully supported Fully supported Fully supported Experimentally supported ( 표 1) 1.3 최소시스템요구사항 OSCAR server i586이상의 cpu TCP/IP stack을지원하는 network interface card 1개이상 (OSCAR 서버가 public network과 cluster nodes를연결하는 router 역할을할경우 2개가기본적으로필요하다 ) Linux 설치후, OSCAR 설치전에 /var에 2G, / 가최소 2G 이상의여분의공간이있어야한다.( 서버 Installation 과정참조 ) 위의표에 "Fully supported" 가표시된 Linux 배포판 OSCAR client nodes i586이상의 cpu (SMP 지원 ) 각 node당 2GB 이상의 disk (OSCAR를 default로설치시최소 600M 이상의요 ) TCP/IP stack을지원하는 network interface card (PXE 지원 NIC을추천한다.) 공간필 2 OSCAR 클러스터설치가이드

9 위의서버와같은 version의 Linux 배포판 모든 client는같은 architecture를가지고있어야한다 (e.g., ia32 vs ia64) PXE 지원 BIOS와 PXE NIC을가지고있다면 Floppy drive가없어도된다. 그렇지않은경우 FDD가있어야한다. ( 주의사항 ) OSCAR 및 RedHat 7.3은기본적으로다음의 Gigabit Ethernet Card를지원한다. 하지만이문서를위해직접 test를해보지는않았다. Broadcom BCM5700 PCI-X 1000BASE-T intel EtherExpress/1000 Gigabit 1.4 테스트베드사양서버 RedHat 7.3 "Workstation" Pentium II 450 MHz 128M RAM HDD IBM-DJNA GB FDD 3,5" 1.44 MB SAMSUNG CD-ROM 100Mb Ethernet 4 client nodes Pentium III 450 MHz SMP 256M RAM QUANTUM FIREBALLP LM GB FDD 3,5" 1.44 MB 100Mb Ethernet 1.5 문서개요 High-Performance cluster를구성하는데있어서고려해야할복잡한특성들을감안하여, 경험이풍부한관리자일지라도이문서를어느한부분도 skip하지않고, 끝까지읽어본후에 install과정을진행하기바란다. 또이전에 cluster를구축해보지않은관리자일지라도, OSCAR를통해무리없이 cluster 설치과정을진행할수있다는것을인지하기바란다. 이문서의나머지부분은다음으로구성되어있다. Section 2 Release Notes 에서는각리눅스배포판에서 OSCAR 2.2.1을설치하기위해사전에필요한작업들을설명한다. Section 3 에서는 OSCAR cluster 설치의핵심 tool인 SIS(System Installation Suite) 에대해간단한설명을한다. Section 4에서는 cluster installation과정에대해, 지금설치과정은어떤파일을 update하고있다 와 지금설치과정은어떤파일의 "xyz" 문자열과 "abc" 를교체하고있다 의중간정도레벨에서자세히설명할것이다. Section 5에서는 OSCAR를사용하여 install한 cluster를 update/upgrade하는방법을간단히설명한다. 마지막으로 Section 6에서 소개 3

10 는 OSCAR에의해설치된 package들에대해시스템관리시알아야할사항들위주로설명한다. 4 OSCAR 클러스터설치가이드

11 2 주의사항 2.1 일반적인주의사항 OSCAR는기존에설치된 Linux 위에설치될수있지만, 가장좋은방법은위의 ( 표1) 에열거된 Linux 배포판중에서하나를설치한후, update없이바로 OSCAR를설치하는것이다. 만일 update를먼저한후, OSCAR를설치하면 rpm requirement conflict가발생할수있다. Redhat의경우모든 update는 OSCAR install이끝난후에하는것이좋다. Mandrake의경우 OSCAR를 install하기전에 security update를먼저해야한다. 를참고하기바란다. 다음의가벼운경고메시지가 OSCAR installation 과정중에자주나타날것이다. rsync_stub_dir: no such variable at... 이러한경고는무시해도상관없다. OSCAR installer(i.e., /root/oscar-2.2.1/install_cluster) 는서버 node에 MySQL이존재하지않으면, 이를자동으로설치할것이다. OSCAR는 MySQL database의 root 패스워드가없어야설치될수있다. OSCAR installer는설치시사용자의실수에대해경고메시지를거의대부분보내지않는다. 따라서사용자가잘못된과정을실행하거나, 잘못된입력을할때에는여러가지문제들이일어날수있다. 따라서이문서에제공된절차를잘숙지하고실행하기를권고한다. 2.2 RedHat 7.2 주의사항 OSCAR installer GUI가시작할때, RedHat 7.2에설치된 Perl은여러변수들에대해 will not remain shared 와같은경고메시지를보내지만, 무시해도상관없다. 2.3 Mandrake 8.2 주의사항 OSCAR installer를실행하기전에, libexpat1_95-devel RPM을설치해야한다.(urpmi 명령어를실행하기위해서는 Mandrake 8.2 CD가필요하다.) # urpmi libexpa1_95-devel 이 RPM은 OSCAR의초기 installation과정에서설치되는 perl-xml-simple과 perl-xml-parser Perl modules을위해필요하다. 또다른방법으로 OSCAR를설치하기전에 perl-xml- Simple과 perl-xml-parser를위한 Mandrake RPM을설치하는방법이있다. # urpmi perl-xml-simple perl-xml-parser 주의사항 5

12 OSCAR installer GUI( 즉, OSCAR installation wizard) 는 xterm을사용한다. 따라서 xterm이설치되지않았다면, xterm mdk.i586.rpm을설치해주어야한다. Mandrake CD를넣은후다음을실행하면된다. # urpmi xterm Client Image를만들때, 두가지의경고메시지가보일것이다. 즉, lam-oscar와 mpich-oscar RPM을설치할때, libtcl.so.0이존재하지않는다는 error 메시지를볼수있을것이다. 하지만이것은무시해도괜찮다. third party package인 Ganglia를설치하고자한다면, OSCAR installer를실행하기전에, RPM version mdk인 libpng를설치해야한다. 이 RPM은 Ganglia 배포판의다음의위치에서찾을수있다 : package/ganglia/extras/libpng mdk.i586.rpm root의 default shell configuration file들은 /etc/profile.d/ 의 startup script에서무엇이추가되건간에 PATH 환경변수를고정시켜버린다. 이것은 /opt에설치된여러 OSCAR component에악영향을준다. 따라서 OSCAR installer는다음의 shell configuration file에서이환경변수에대한설정을주석처리한다. /root/.bashrc /root/.cshrc /root/.tcshrc 2.4 Mandrake 9.0 주의사항다음의과정은 Mandrake 9.0에서 OSCAR installer를실행하기전에해야한다. Mandrake 9.0은 ( 표1) 에서볼수있는바와같이, OSCAR에서 experimentally supported 되는배포판이며, 가벼운 test만이루어졌음을유의하기바란다. CPAN을이용하여, 다음의 perl module을설치한다 : # perl -MCPAN -e shell install SQL::Statement python 2 compatibility RPM을설치한다. 이것은 OSCAR 배포판의 packages/c3/rpms 에서찾을수있다. # cd oscar-2.1.1/packages/c3/rpms # rpm -Uvh python2-compat noarch.rpm 6 OSCAR 클러스터설치가이드

13 2.5 IA64 및기타시스템주의사항 OSCAR auto-install diskette은 Itanium 시스템에서제대로동작하지않을것이다. 하지만, network booting은대부분제대로동작할것이다. Itanium 1, 2 시스템중일부는 Itanium용 RedHat Linux 7.2 배포판을설치했을때, OSCAR 설치가가능하다. booting과 network access를위해 standard RedHat Itanium kernel를사용할수있는 Itanium 시스템은 OSCAR가제대로동작할것이다. Itanium 2 시스템은 Linux 공식배포판에서제공되는것보다새로운 kernel을사용해야제대로동작하는 (network와 disk drive를위한 ) 새로운하드웨어인터페이스를갖고있는경우가종종있다. Vendor들은일반적으로이새로운하드웨어인터페이스에대한드라이버를디스크혹은 on-line을통해제공할것이다. 사용자들은때때로스스로커널을컴파일해서, OSCAR에서제공되는 kernel_picker를사용해서 Image에올려야하며, 이것은종종 do it yourself 종류의일일것이다. 따라서경험이부족한사용자에게는추천할만한일이못된다. 보다많은정보를위해서 OSCAR 사용자의 mailing list를사용할것을권한다. 주의사항 7

14 3 System Installation Suite(SIS) 개요 SIS(Sytem Installation Suite): SIS는 OSCAR에사용하는 cluster installation의핵심 tool로서 System Installer, System Configurator, 그리고 SystemImager로구성되어있으며, IBM Linux Technology Center와 SystemImager team이공동으로개발했다. SIS는다음과같은이유로 OSCAR의 cluster installation tool로서채택했다. SIS는개발환경에서잘작동하며, 우수한 3rd party open source이다. SIS를사용하면 client node에사전에리눅스를설치할필요가없다. SIS는클러스터내의각노드에대한설치및설정정보를포함하는 database를관리유지한다. SIS는소프트웨어설치의표준으로 RPM을사용한다. SIS는 heterogeneous hardware 및 software를지원한다.( 이기능은아직 OSCAR내에서는사용되지않는다 ) 앞서용어설명에서나온 Image와 client definition은 SIS에서정의된개념이며, SIS의특징을다음과같다. 많은다양한 image들이 image server에존재할수있다. Image를기존 machine의파일시스템으로부터 capture할수있다. Image는직접 Image server에서 package set으로부터제작할수있다. Image를다른 machine에 propagate하기위해 rsync를사용하며, 따라서차후 file level 의 update 또한용이하다. Section 5 에서 SIS 를이용한 Image update 방법을간단히설명한다. 8 OSCAR 클러스터설치가이드

15 4 세부적인클러스터설치과정 4.1 Server Installation and Configuration ( 참고사항 ) 이후의모든설명은 Redhat 7.3을기준으로설명한다. Redhat 7.3을 Workstation class로설치한다. 단설치시 software development tools" package를추가해준다 디스크공간할당 /tftpboot/rpm: 여기에최소 2GB의여분의공간의있어야한다. 이것은 / 와같은드라이브에있어야하며, 여기에 Redhat CD의모든 rpm을저장할것이다. /var/lib/systemimager : 여기에최소 2GB의여분이있어야한다. 클라이언트의 image file들이여기에위치한다 소스다운로드 oscar tar.gz를 /root에다운로드한후압축을푼다. 일반적인 install은작업은기본적으로 /root/oscar-2.2.1/ 에서하도록권장하고있다. [root@cluster root]# tar xvzf oscar tar.gz [root@cluster root]# cd oscar 소스패키지는다음과같이구별된다. regular: 모든 installation material을포함한다. extra crispy: regular + SRPMS, 패키지이름이 oscar-including -srpms tar.gz같이알기쉽게주어져있다. secret sauce: SRPM만을포함한다. 패키지이름은 oscar-only-srpms tar.gz과같이주어져있다 클러스터구축을위한서버의기본설정 hostname을 localhost가아닌다른이름으로준다. cluster내의 private network용으로이더넷카드를하나설정한다. 즉적당한 private ip address와 netmask를설정하고, 부팅시 activate 되도록하며, interface control을 none" 으로세팅한후 activate 시킨다. public network 을위한이더넷카드는필수사항은아니나, 가지고있다면미리세팅해둘것을권장한다 RedHat CD의 RPM file 복사 /tftpboot/rpm을만든후, Redhat 배포판 CD 1, 2, 3의 RPMS을 /tftpboot/rpm 에복사한다. 각각의 Redhat CD에대해, mount한후아래의과정을반복한다. 세부적인클러스터설치과정 9

16 # cp /mnt/cdrom/redhat/rpms/*.rpm /tftpboot/rpm 4.2 ( 선택사항 ) 추가적인 oscar packages 다운로드 OPD(OSCAR Package Downloader) 를사용하여추가로필요한 OSCAR packages를다운로드할수있으며, 이때다운로드한패키지들을 OSCAR installation hierarchy 즉, /root/oscar-2.2.1/packages/ 내에저장한다. OPD를사용하고자할때, 필요한 Perl modules를요구할수있으며, 이는 CPAN을이용해서다운로드하거나아니면, OSCAR Installer를실행시켜서 ( 다음 section 참조 ) GUI Window가보일때닫으면자동으로다운로드가진행된다. OSCAR의 package의 RPM들중일부는 OSCAR용으로패치되어있으며, 예를들면 mpich 의경우 mpich-oscar i586.rpm 식으로이름을통해구별이가능하다. 이러한 naming은 OS에의한 auto-update를막는데목적이있다. ( 주의사항 ) 일반적으로 OPD를통해 OSCAR 패키지형태로다운로드받은 RPM은설치시아무런문제가없다. 예를들면 monitoring 도구인 Ganglia 를 OPD 로부터다운로드 (ganglia-oscar tar.gz) 한후압축을풀어 /root/oscar-2.1.1/packages/ 에넣으면 SIS가정상적으로인식하여서버와클라이언트노드에설치시킨다. 그외의일반 RPM은이러한설치를보장하지못한다. 참고로 OSCAR-specific package의하나의예로 pbs package를보면다음의구성으로이루어져있다. [root@cluster packages]# ls -R pbs pbs: config.xml doc RPMS scripts testing pbs/doc: install.tex license.tex user.tex pbs/rpms: maui-oscar-3.0.7p8-5.i586.rpm openpbs-oscar-gui i386.rpm openpbs-oscar i386.rpm openpbs-oscar-mom i386.rpm openpbs-oscar-client i386.rpm openpbs-oscar-server i386.rpm pbs/scripts: post_clients post_install update_maui_config update_mom_config 10 OSCAR 클러스터설치가이드

17 pbs/testing: pbs_script.shell test_root test_user 4.3 OSCAR installer 실행다음과같이 OSCAR installer를실행시킨다. 뒤의 <device> 에는여러분이설정한 private 네트웍의이더넷어댑터 (e.g., eth1) 를적어준다. cd /root/oscar /install_cluster <device> 이 script는다음의과정을수행한다. 1. prerequisite packages를설치한다. (OPD를위한 perl module등 ) 2. OSCAR package directory의 RPM을 /tftpboot/rpm 에복사한다. 3. OSCAR server-core RPMS(sis, switcher, c3, oda) 을설치한다. 4. system startup ( /etc/rc.d/init.d) scripts를 update한다. 5. 연관된 services를 restart시킨다. console상에서위의과정들의진행상황이보여지며, 나중에 oscarinstall.log를통해확인해볼수있다. 위의과정이성공적으로끝나면다음과같은 OSCAR INSTALLATION WIZARD GUI가나타난다. 이제부터는대부분의 install과정이이 Window상에서이루어진다. 세부적인클러스터설치과정 11

18 4.4 ( 선택사항 ) "Select packages to install"(step 1) 이과정을생략하면모든 OSCAR 용 package, 즉 /root/oscar /packages/ 내의모든 package가설치된다. 12 OSCAR 클러스터설치가이드

19 4.5 "Configure selected OSCAR Packages"(step 2) Environment Switcher: 이패널을통해 cluster의 LAM/MPI 와 MPICH 중 default MPI를결정할수있다. 이것은나중에 switcher script를사용하여 user level과 system level에서각각바꿀수있다. 세부적인클러스터설치과정 13

20 ntpconfig: time sync을위한 public NTP 서버를결정한다. 이는나중에 /etc/ntp/step-tickers 와 /etc/ntp.conf를통해수정할수있다. 이번 test 에서는다음의 NTP 서버를사용했다. server gps.bora.net server time.nuri.net server time.bora.net server time.kriss.re.kr ( 주의사항 ) 중요한것은클러스터내부에서 time이 sync되는것이다. 따라서서버노드를 time sever로사용할수도있다. 이를위해서는다음과같이설정하면된다. server fudge stratum OSCAR 클러스터설치가이드

21 4.6 "Install OSCAR server packages"(step 3) 이과정에서는 scripts/install_server가실행되며다음의일들이진행된다 서버에 included package를 install한다. 다음파일을수정하고, rsyncd, dhcpd, portmap의 run-level을수정하며 nfs, ssh 서비스를시작시킨다 /etc/hosts /etc/profile /etc/exports /root/.bashrc 이과정이끝나면성공혹은실패를알리는 pop-up 윈도우가나타난다. 4.7 "Build OSCAR client Image"(step 4) 만일기존에설치된 RedHat Linux를그대로사용하고자할경우, 서버의다음설정을확인한후이작업을시작하는것이좋다. /etc/ssh/sshd.config 에서 PermitRootLogin이 yes 이어야한다. /etc/hosts.allow, /etc/hosts.deny에서모든 private subnet의 traffic을허용하도록 setting 해야한다. firewall software가 private subnet의 traffic을제한하고있는지확인한다. 세부적인클러스터설치과정 15

22 Image Name: Image의이름을결정한다. 초기값을그대로사용하면 /var/lib/systemimager/images/oscarimage 디렉토리가만들어지고여기에 image가위치하게된다. Package File: sample file(/root/oscar-2.2.1/oscarsamples/redhat-7.3-i386.rpmlist) 을편집하여 install할 rpm 을결정할수있다. Package Directory: RedHat CD 로부터복사한 rpm files 이있는 directory 를지정한다. Disk Partition File: sample file(/root/oscar-2.2.1/oscarsamples/samples.disk.ide) 를이용하여 client nodes의 partitioning을수정할수있다. sample file의내용은아래와같다. <partition> < size in MB> <type> <mount point> <options> /dev/hda1 24 ext2 /boot defaults /dev/hda5 128 swap /dev/hda6 * ext2 / defaults nfs_oscar:/home - nfs /home rw size column의 * 표시는 partition이남은전체의 disk를차지하도록허용한다. nfs에서사용할서버의 hostname이위에서 nfs_oscar로주어져있는데, 이는 /etc/hosts 파일에 alias 설정이되어있으므로 default 값을그대로사용해도무방하다. IP Assignment Method: 특수한상황이아니면, 당연히 static 을선택한다. Post Install Action: 각각의 client node에서 install이완료된후, client node들이취할행동을다음의 halt, reboot, beep 중에서결정한다. beep" 을권장한다. "reboot" 로설정하면문제가발생할소지가있다. 즉 client node들을 network boot을통해설치하고나서, 자동으로 reboot하도록설정하면, 리부팅한후다시자동으로 network boot를통해동일한설치과정을반복할소지가높다. 따라서 beep" 이나 halt" 로설정하여수동으로 reboot시킨후, 16 OSCAR 클러스터설치가이드

23 BIOS에서 boot order를바꾸어주는것이좋다. beep으로설정하면수동으로 reboot하라는메시지가나오면서 beep 소리를주기적으로낸다. ( 참고사항 ) customized kernel를사용하고자한다면, Install OSCAR server packages (step 3) 와 Build OSCAR client image (step 4) 사이에앞서설명한 kernel picker를사용하여바꿀수있다.( 7.4 kernel_picker 패키지설명참조 ) 위의세팅을완료한후, "Build Image" 버튼을누르면시스템사양과선택한 package 수에따라약 5-15 분정도의시간이소요된다. ( 참고사항 ) 위의 GUI에서이루어지는 procedure는 SIS 명령어를사용하여 shell prompt에서다음을수행하는것과동일한결과를준다. # mksiimage -Add --name oscarimage \ --filename \ /root/oscar-2.2.1/oscarsamples/redhat-7.3-i386.rpmlist \ --location /tftpboot/rpm/ 위명령어는 packages로부터 client image를만든다. #mksidisk -A --name oscarimage --type ide --file \ /root/oscar-2.2.1/oscarsamples/sample.disk.ide 위명령어는위에서만든 image 를사용할 client 의 partition scheme 를결정한다. #mkautoinstallscript -image oscarimage \ -ip-assignment static -post-install 위명령어는 client 가위에서만든 image 를 install 할때필요한 master install script 를만든다. 4.8 "Define OSCAR Clients"(step 5) 세부적인클러스터설치과정 17

24 Image Name: 사용할 client image를결정한다. Domain Name: cluster의 private network을위한 domain name을설정한다. Base Name: client의 hostname의처음부분을결정한다 ( 아래예참조 ) Number of Hosts: client의수를설정한다. Starting Number: 첫번째 client의이름을결정하기위해 Base name에덧붙일숫자를결정한다. 이후두번째이후의클라이언트의 hostname에는이 Starting number가하나씩증가한것이붙게된다.( 예참조 ) ( 예 ) 아래와같이 Base name과 Starting number, Domain name을주었을때, (Base_name)(Starting_number).(Domain_name) node 1 kisti.re.kr -> node1.kisti.re.kr: 첫번째 clinet node2.kisti.re.kr: 두번째 client... Starting IP: 첫번째 client의 IP address를결정한다. 이후두번째이후의 client는 IP address중 host id가하나씩증가하게된다. Subnet Mask: IP netmask를설정한다. Default gateway : 모든 client를위한 default route를설정한다. 위의 setting 이끝나면 Addclients 버튼을눌러작업을완료한다. ( 주의사항 ) 254 client( 즉, C class) 이상의노드를설정하고자한다면, 위의셋업과정을여러번반복해야하며, IP address와 subnet mask의설정을주의해서해주어야한다. ( 참고사항 ) 위의 GUI에서이루어지는 procedure는 shell에서다음의 SIS명령어를사용하는것과같은결과를준다. 이과정을통해각클라이언트노드에대한설치스크립트즉, <nodename.sh> 가 /var/lib/systemimager/scripts/ 에만들어지며, 서버의 /etc/hosts파일도위의 client정보를포함하도록업데이트된다. # mksirange -b cluster -i s 11 \ -c 4 -g m p 3 \ -d hpcnet.ne.kr -n oscarimage 18 OSCAR 클러스터설치가이드

25 4.9 "Setup Networking"(step 6) 이과정에서 Client의 MAC address와 ( 바로전단계에설정한 ) network setting을 match 시키면, 자동으로모든 client에 partitioning 및서버에서 image를 copy 하여설치하는과정을수행하며, Build OSCAR client Image"(step 4) 에서 Post Installation Action에서정해준대로 client는행동하게된다. 모든노드에대한설치작업이끝나고, 정상적으로리부팅이되면, 서버노드에서다음단계 (step 7. complete the cluster setup) 를진행하면된다. ( 주의사항 ) PXE(Preboot execution Environment) booting을지원하는 NIC은특별한준비사항이없으며, PXE를지원하지않는 NIC을가지고있을때는 network booting을위해서각각의 client마다 3.5" FDD를가지고있어야한다. 만일 floppy로 network booting을하고자한다면 "Build Autoinstall Floppy" 를사용하여 SystemImager boot floppy를만든후, 이것을 install하고자하는 client의 FDD에넣으면 PXE booting처럼 network booting을할수있게된다. "Collect MAC Address" 버튼을누른상태에서 install하고자하는 client를켜면, 이 client 의 MAC address가왼쪽의 window에나타난다. 이때하나의노드를오른쪽 window에서선택한후 Assign MAC to Node" 를이용하여왼쪽의 Mac address를연결시키면, 이 client에 install이시작된다. 이과정은해당 client의 console를통해확인가능하며, RARP 요청부터, file copy까지모든정보가출력된다. ( 주의사항 ) 만일 PXE를이용한 network booting을사용한다면 client의설치과정이끝난후 rebooting시 BIOS에서 boot order를 local hard drive가먼저오도록바꾸어주어야한다. floppy를이용한 network booting을사용한다면, client에 install이끝난후, rebooting 시, 반드시 floppy disk를제거해주어야한다. 그렇지않으면, 위의 install과정을계속해서반복하여수행하게된다. 세부적인클러스터설치과정 19

26 ( 참고사항 ) 위의 Mac address와 IP address의 mapping 과정은노드수가많을때는번거로운작업이될수있다. 만일모든노드의 Mac address를알고있다면, "Import MACs from file" 를사용하여 MAC과노드의 IP address와의 mapping을좀더쉽게할수있다. 또다른방법은 /etc/dhcpd.conf 파일에직접모든노드의 IP address등의네트웍관련정보및 Mac address를직접입력한후, dhcpd 서비스를다시시작하는방법이있다.(tftp 서비스가 xinetd내에서실행중인지도확인해야한다 ) ( 참고사항 ) Etherboot 및기타다른 network boot에대해서는 test를하지못했으며, 공식적으로 OSCAR 에서는위의 PXE와 SystemImager boot floppy( 즉, Build Autoinstall Floppy 을통해만든 floppy) 만을지원한다. ( 참고사항 ) 위의 MAC address mapping은서버의 terminal에서 mkdhcpserver 혹은 mkdhcpstatic 명령어를사용하여작업할수있으며 /etc/dhcpd.conf에서확인할수있다. ( 참고사항 ) 노드하나에설치가끝나는데대략 15 분정도의시간이소요되었다 ( 참고사항 ) Client Installations 다음은 Client intallation 과정으로, PXE를이용한 network boot를할때이다. SystmeImager boot floppy를사용할때에는 floppy로부터 install kernel이먼저 load된후 DHCP request를한다는점만이다르다. 0. BOOTP/DHCP를사용하여서버로부터 IP address를얻는다. 1. TFTP를이용하여 install kernel를 load한다. 2. /var/lib/systemimager/scripts/ 에서이름이 <nodename>.sh인 auto-install script를찾으며, 이 script는 client에대해다음의일을수행한다. 3. <imagedir>/etc/systemimager/partionschemes 을참조하여 disk partitioning을한다. 4. 새로만들어진파티션을 /a로마운트한다. 5. /a 에 chroot를한후, rsync를사용하여 image에있는모든 file을복사해온다. 6. systemconfigurator를불러와 client의 hardware(nic, Storage device) 를 check 및 setup 하며, 여러가지 configuration(time zone, initrd, network scripts, boot loader, modules.conf등 ) 을복사해온 image file에대해수행하여수정한다. 7. /a를 unmount한다 "Complete the Cluster Setup"(step 7) ( 주의사항 ) 이과정을진행하기전에모든 client 노드가 install를마지고정상적으로 reboot를완료한상태인지확인한다. "Complete the Cluster Setup" 버튼을누르면, OSCAR software package들에들어있는 post-install script를수행하고, 아래와같이 syslogd, pbs queue등을비롯한서버와 client 의 configuration를완료하고필요한서비스를다시시작시킨다. 20 OSCAR 클러스터설치가이드

27 makewhatis, slocate, kudzu 서비스를클라이언트노드에서중지시킨다. C3에서사용할 nodes information을설정한다. MPICH의 machines.linux를설정한다. opium을통해 user 정보를주기적으로 sync하도록설정한다. pbs의 nodes 정보와기본적인 queue 정보를설정한다. syslogd를통해클라이언트노드의 log 정보를서버에서모을수있도록설정한다. pfilter를통해각 service 및 port에대한클러스터보안설정을한다 "Test Cluster Setup"(step 8) OSCAR에서제공하는간단한 test suite가중요한 cluster components(openssh, PBS, MPI, PVM, etc.) 들이제대로동작하는지여부를 test한다. test중일부라도 error가발생하면, 설치과정상에문제가있음을나타낸다. 다음은 test 예이다. test 실패시, 갑자기위의 test window가사라질수도있다. 이런상황이발생하면, testing/test_cluster 스크립트를 shell에서실행하여문제를분석해야한다 Congratulations! 이제 OSCAR의 cluster setup이완료되었다 Adding and Deleting client nodes Add OSCAR Clients: OSCAR installation wizard를아래와같이다시시작한다. /root/oscar-2.2.1/install_cluster <device> "Add OSCAR Clients" 버튼을눌러서, Define OSCAR Clients( 위의 step 5와동일 ) 에서 number of hosts, starting number, starting IP 등을결정한후, Setup Networking( 위의 step 6과동일 ) 과정을거치면새로운 client를추가할수있다. 세부적인클러스터설치과정 21

28 Delete OSCAR Clients: Delete OSCAR Clients 버튼을눌러서, 지우고자하는노드를선택한후, Delete clients 버튼을이용하여지울수있다. ( 주의사항 ) Add/Delete Oscar Clients" 기능은현재의 OSCAR version에서완벽히 test되지못했다. 특히새로운 client를추가할때, 만일 SystemImager boot floppy를사용하여 network boot를하고자한다면, 반드시새로운 boot floppy를만들어서사용할것을권한다. ( 주의사항 ) OSCAR installation wizard는한 session에서노드를지운후, 다시지운노드를추가하는것을지원하지않는다. 지운노드를다시추가하고자한다면반드시 OSCAR installation wizard를다시시작한후해야한다 Starting over 만일 OSCAR installation 과정을다시시작하고싶다면, 먼저 /root/oscar-2.2.1/scripts/ 에위치한 start_over 스크립트를실행시킬것을권한다. 이것은서버가 OSCAR가재설치과정을하기에적당한상태가되도록해준다. 또한재설치하기전에완전히 logout을한후다시 login 하여설치작업을수행할것을권장한다. 이는예전 install의해변경된환경변수등으로부터영향받지않게하기위해서이다. ( 참고사항 ) start_over 스크립트는 uninstaller가아니다. 예로, RedHat 7.x series는서버이상의 class로설치할때, 기본적으로 LAM/MPI RPM을설치하지만, OSCAR는 installation 과정중에이러한 RedHat-default RPM을제거한후, OSCAR용 LAM/MPI RPM을설치한다. 이상태에서 start_over 스크립트를실행하면, OSCAR용 LAM/MPI RPM 을제거하지만, RedHat-default RPM을재설치하지는않는다. 22 OSCAR 클러스터설치가이드

29 5 클라이언트시스템업데이트 / 업그레이드클라이언트노드전체에새로운 hardware driver를설치해야하거나, 혹은새로운 compiler 를 install하고자할때, 혹은 kernel patch/upgrade를해야할때 OSCAR에서는 sis의 SystemImager를사용하여 Image를 update 함으로서쉽게위의작업을할수있다. Image 를 update하는방법에는크게두가지가있다. ( 방법 1) 서버에서 chroot로 mirror directory (/var/lib/systemimager/images/<image_name>) 에들어가서, 마치현재사용중인 machine인것처럼, rpm 및기타필요한 compile 및설치작업을이 image에대하여할수있다. ( 방법 2) 하나의 client를택해, 직접 console 상에서필요한작업을한후, 아래의예에서보듯이 getimage명령어를사용하여서버에위치한 Image를 update할수있다. Image를 update하기위한절차는다음과같다. client(e.g., cluster1) 에서적절한작업을한후다음의명령을내린다. 이명령은 rsyncd 대몬을시작시킨다. [root@cluster1 root]# prepareclient 서버 (e.g., cluster) 에서다음의명령어를내려 Image update를시작한다. [root@cluster root]# getimage -golden-client \ cluster1 -image <image_name> 여기에서 <image_name> 은새로운 Image로만들고싶으면, 원하는새로운이름을주면된다. 그러면 client의 root file system 전체가새로운 Image로만들어져복사된다. 만일기존에만들어진 Image 를 update 하고자한다면 <image_name> 에예전의 Image 이름을적어주면된다. 새로수정된 file에대해서만 rsync를사용하여 copy가이루어지므로시간이훨씬단축된다. 새로만든 image를 SIS database에추가하기위해서는다음의명령어를사용하면된다. [root@cluster root]# mksiimage --Add --nobuild \ --name New_Image_Name 만일새로만든이 image를이용하여각계산노드를재설치하고자한다면 client definition 을다음과같이재정의해야한다. [root@cluster root]# mksimachine -U --all \ --image New_Image_Name 이명령은각계산노드의 install script도 update시킨다. 클라이언트시스템업데이트 / 업그레이드 23

30 만일하나의계산노드에대해서만재설치를하고자할때는 --all 옵션대신 --name Node_Name을사용하면된다. ( 공통 ) 위의 ( 방법1), ( 방법2), 두가지방법에의해새로이 update 된 Image를모든 client에대해적용하기위해서는각 client(e.g., cluster2) 에서다음의명령어를수행하면된다. -directory 옵션을사용하여정해진디렉토리에대해서만업데이트할수도있다. [root@cluster2 root]# updateclient -server cluster \ -image <image_name> 위의과정역시수정된 file에대해서만 copy가이루어지므로, 시간이오래걸리지않는다. 단, update 시 /etc/systemimager/updateclient.local.exclude 에명시된파일들은 update에서제외된다. 여기에는 /home/*, /etc/hostname, /etc/sysconfig/network-scripts/ifcfg-* 등이포함된다. ssh를이용하는간단한 script를작성하여위의명령어를모든 client에대해실행시킬수있다. 혹은 c3 package내에들어있는 cexec(s) command를사용하여모든클라이언트노드 (e.g, cluster1, 2, 3, 4) 에대한 update를 one-liner 명령어로할수있다. [root@cluster root]#cexecs :1-4 updateclient -server \ cluster -image <image_name> 혹은더간단히다음의 c3 명령어로할수도있다. 이명령어는위의 updateclient 명령어를클러스터내의모든클라이언트에대해실행한다. [root@cluster root]#cpushimage <image_name> c3의명령어에대한매뉴얼은다음의 web page에서찾을수있다. SIS의다양하고풍부한기능에대해서는다음 web page를참조하기바란다. ( 주의사항 ) 만일각계산노드를처음부터재설치하고자한다면서버노드에서다음대몬이실행중인지확인한후, 각계산노드가 PXE를이용한네트웍부팅을하도록해야한다. systemimager xineted(tftp) dhcpd 24 OSCAR 클러스터설치가이드

31 6 각패키지별설치관련주의사항 6.1 C3 ORNL(Oak Ridge National Laboratory) 에서개발한 C3는 PC cluster의시스템관리를돕기위한 user interface로개발되었다. C3는 command line interface이며, 또한다른프로그램내에서도호출하여실행시킬수있다. 현재의 OSCAR package에는 버전이들어있으며, multi-thread로동작하며, 큰규모의 cluster에대해서도 scalability를갖도록설계되었다. c3의명령어는일반적으로서버노드에서실행하며, 특정한노드를지정하지않을경우 ( 위에서 :1-4 와같이 ) 모든클라이언트노드들에대한명령 (single-system illusion) 으로실행된다. cexec - c3의가장일반적인 utility로서모든클라이언트노드에대하여어떤종류의셀명령어도실행할수있다. cget - 모든클라이언트노드들로부터동일한파일혹은디렉토리를서버노드로복사할때사용한다. 파일이름뒤에노드이름이붙어서구별이편리하다. ckill - 모든클라이언트노드에서실행중인특정한 process를죽이고자할때실행된다. cpush - 파일혹은디렉토리를모든클라이언트노드에복사할때사용한다. cpushimage - 앞의예에서보듯이 client에 image를 update할때사용된다. crm - 모든클라이언트노드에존재하는파일혹은디렉토리를지우고자할때사용한다. cshutdown - 모든클라이언트노드를 shutdown, 혹은 reboot 시킬때사용한다. 다음은간단한예이다. 각패키지별설치관련주의사항 25

32 이패키지에대한자세한내용은다음의 web-site를참조하기바란다 disable-services disable-services OSCAR 패키지는 client에대해다음의 service를 disable 시킨다. incoming mail service: sendmail, exim, postfix 대몬들을 disable 시킨다. 이것은클라이언트노드로들어오는메일을차단시키나, 클라이언트노드로부터밖으로나가는 (outgoing) 메일에대해서는차단을하지않는다. 대부분메일은즉각적으로보내지나그렇지않을경우, mail service queue에보내진후, crontab의 cron.hourly에의해매시간 queue된 mail 을재전송한다. 26 OSCAR 클러스터설치가이드

33 Kudzu: 매부팅시마다, Kudzu service는새로운하드웨어를검색하는데많은시간을소비한다. 개개의노드의부팅시간을단축하고자이것을 disable 시킨다. slocate: slocate service는모든 local file system에대해주기적으로 ( Distribution에따라매일, 혹은매주 ) top-level의 find 명령어를실행하여모든 file name을인덱싱한다. 이것은 locate 명령어를사용한빠른 lookup을가능하게하지만, top-level의 find 명령어는상당한 system resource를소모하므로, disable 시킨다. makewhatis: makewhatis 명령어는 crontab에의해실행되며, Linux Distribution에따라매일혹은매주, 매뉴얼페이지인덱스를갱신한다. slocate와마찬가지로이명령어도상당한 system resource를소모하므로, disable 시킨다. 위의서비스들은 uninstall 시킨것이아니라, 단지 disable 시켰음을주의하기바란다. 관리자는언제든위의서비스를 enable시킬수있다. 6.3 HDF5 HDF5는 data format specification과지원 library로이루어진 Hieracrchical Data Format product이다. HDF5는 scientific data format에널리이용될수있는다음의특징을갖는다. reserch, development 그리고 production 환경에서크고, 변형된 (varied) data들을조작하기위해, 다양한 datatype과속성 (attribute) 을사용하여 user-defined hierarchical grouping structure를지원한다. MPI I/O 를사용하는 parallel computing platform 에서실행된다. compound, user-defined datatype 을포함하여, 모든 encompassing datatype 을지원한다. 매우큰파일 ( 한계치를테스트해보지는않았지만, 이론적으로 1 terabyte 이상 ) 을지원한다. HDF5 의문서는 /opt/hdf5-oscar post2/doc/hdf5/index.html와 web-site 에서찾을수있다. OSCAR 는 HDF5 library를 /opt/hdf5-oscar post2/doc/hdf5/lib/ 에설치하며, 현재의 OSCAR 버전에는 serial operation을위한 library만이들어있다. parallel operation을위한 library는추후 OSCAR 버전에추가될예정이다. HDF5를 parallel mode로컴파일하여 install할때에는다음의두가지주의해야할사항이있다. gcc-2.96 컴파일러에는 HDF5 에영향을주는버그가있다. 제대로동작하게하기위해 각패키지별설치관련주의사항 27

34 서는, HDF5와 MPI 모두 2.96이아닌 gcc로컴파일해야한다. HDF5 group은이를위해 버전의 gcc를추천한다. kernel 2.4이상의리눅스에서 MPI와함께 HDF5를 parallel mode로컴파일할때, 반드시 2GB이상의파일크기를지원하도록설정해야한다. 다음은 MPICH의 install시 configuration command-line option으로이를준예이다. -cflags="-d_lagefile_source -D_LAGEFILE64_SOURCE \ -D_FILE_OFFSET_BITS=64" 6.4 kernel_picker kernel_picker는 OSCAR image에 default로설치된 kernel대신다른 kernel을사용하고자할때, 쓸수있는 Perl script이다. OSCAR installation Wizard의 Select packages to install"(step 1) 와 "Configure selected OSCAR Packages"(step 2) 의과정중간에다른콘솔을열고 kernel_picker command-line 명령어를사용할수있다. 아무런옵션없이이명령어를사용하면 interactive mode에서동작하며, 사용할 image 이름부터, kernel의전체경로등을차례대로입력하면된다. kernel_picker 프로그램은모든 OSCAR image의위치가 /var/lib/systemimager/images내에있다고가정하며, default OSCAR image의이름은 oscarimage 이다. kernel_picker는 /opt/kernel_picker/bin 디렉토리에설치된다. HTML, Postscript, PDF, plain text와 manpage format등의문서가제공된다. manpage를보려면다음을참조하기바란다. $ man /opt/kernel_picker/man/man1/kernel_picker loghost loghost는각계산노드의 syslog가서버의 log file에저장되도록각노드의 /etc/syslog.conf 와서버노드의 /etc/sysconfig/syslog를편집하고 syslogd와 klogd daemon를다시시작한다. 6.6 networking Network package는 OSCAR 서버를 caching nameserver로동작하도록설치된다. /etc/name.conf에서 configuration을확인할수있다. 6.7 ntpconfig 기본적으로 ntpd 대몬은 run level 2 5에서부팅시시작하도록설정된다. 어떤이유에서건 uninstall 없이 NTP를 disable 시키려면, 다음의명령어를실행한다. # /sbin/service ntpd stop 위의명령어는단지현재에실행중인 ntpd daemon을 stop시키는역할만하며, 부팅시에 NTP의시작을막기위해서는다음의명령어를실행한다. 28 OSCAR 클러스터설치가이드

35 # /sbin/chkconfig --level 2345 ntpd off NTP 의 restart 명령어와부팅시의 start-up 을위한명령어는아래와같다. # /sbin/service ntpd start # /sbin/chkconfig --level 2345 ntpd on NTP에대한자세한정보는 에있는 Documentation을참조하기바란다. ( 참고사항 ) 위에서세팅한 NTP 서버에제대로접속할수있는지는다음의명령어를이용하여확인할수있다. # ntpq -p 6.8 ODA ODA(OSCAR Database) 는 OSCAR 개발의일부로서만든 package로서 Mysql을사용하는 Perl script로작성되어있으며, OSCAR cluster를위한 database를제공한다. oda package 는 OSCAR cluster와 OSCAR에서사용하는 software package에사용되는다양한정보를저장하거나 retrieve하는데사용된다. 자세한내용은다음의매뉴얼을참조하기바란다. 6.9 OPIUM & SSH $ man /usr/share/man/man1/oda.1.gz OPIUM(OSCAR Password Installer and User Management) 은사용자 (user) 와암호 (password) 를관리하며, 사용자계정파일을일정한주기 ( default는 15분 ) 에따라각노드에복사한다. /opt/opium/etc/sync_users.conf의파일내용을변경하여다른파일에대해서도이기능을사용할수있다. OPIUM package는또한 SSH key setup을관리한다. 이것은 SSH의 user key를 generate 하는 start-up 스크립트 (/etc/profile.d/ssh-oscar.sh) 를 /etc/profile.d에위치시킴으로서가능해진다. 이스크립트는또한 user들이 password 입력없이, 안전하게전체의클러스터내에서자유로이오고가고 (traverse) 할수있도록 authorized_keys를만든다. 이때에만들어지는파일들은 user의 home 디렉토리에만들어지므로, 반드시 home 디렉토리는각각의계산노드에 mount 되어야한다. 또한 /etc/profile.d의스크립트는 OSCAR 2.2.1에서는계산노드에는존재하지않으므로, user는반드시 head 노드 ( 지금의설치환경에서의서버노드 ) 에로그인을한번이상은해야한다. SSH1 과 SSH2 protocol 모두를지원한다. ( 참고사항 ) OSCAR는기본적으로 cluster내에서 telnet과 rsh, ftp 및기존의 legacy networking을사용하지않는다. 대신보다안전한 ssh, scp, 그리고 sftp를사용하며, 위에 각패키지별설치관련주의사항 29

36 서보여진바와같이모든사용자를위한 authentication 및 key management를자동으로처리한다 PBS & Maui Scheduler OSCAR는 open source 버전의 PBS, OpenPBS를 job launcher와 batch queueing system로사용한다. 상업용 version(pbspro) 의 PBS도존재한다. OpenPBS는기본적인 FIFO scheduler를사용하나, OSCAR에서는보다견고한 open source scheduler인 Maui를대신사용한다. OSCAR 2.2.1에서는 OpenPBS version 2.3p16과 Maui 3.0.7p8을사용한다. Maui는추후 OSCAR 버전에서계속 update될것이다. 기본적인 PBS의기능은 OSCAR test suite( Test Cluster Setup"(step 8)) 에서테스트되며, 또한 OSCAR의다른소프트웨어를테스트할때도, job를 launch시키는역할을 PBS가하게된다. OSCAR는 PBS의테스트가통과되면, PBS와 Maui를실행시킨다. 만일 OSCAR cluster의사용자들이예전에 PBS를사용해보지못했다면, 관리자는사용자에게 PBS에적응하는데필요한정보 (OSCAR에서제공하는 sample PBS script, User Manual) 를제공해야할것이다. 일단 step 8에서 PBS의테스트를실행하면 /home/oscartst 에서 sample PBS script를볼수있을것이다. PBS설정기본적으로 PBS는 queue나 cluster-specific한 parameter에대한설정없이설치된다. OSCAR는 PBS를 SIS의 database에있는정보를토대로 PBS를세팅한다. Complete Cluster Setup"(step 7) 의과정이 OSCAR Wizard에서실행되면, PBS 패키지내의 post_install(/root/oscar-2.2.1/packages/pbs/scripts/) 스크립트가실행되며, 이때기존의 PBS configuration이존재한다면, 이 configuration을덮어쓰지않는범위내에서, 정의되어있지않은 PBS의 parameter를설정한다. 그러나만일이경우에도모든 parameter를 OSCAR의 default값으로사용하고자한다면, post_install 스크립트를 "--default" 옵션과함께 command prompt내에서실행시키면된다. qmgr은 queue와 PBS server parameter를설정하는데사용할수있으며, OSCAR PBS의 post_install 스크립트역시이것을사용하고있다. man page를이용할수도있으나, PBS의 admin guide를읽는것이이것을익히는가장빠른방법이다. 이 Open PBS의 admin guide 는 OpenPBS의홈페이지에서계정을등록한후사용인증을받으면다운로드할수있다. PBS Resource 관리자는각 node에 property 을설정할수있으며, PBS에서는이 properties를 resources 와같은의미로사용한다. 사용자가 qsub 명령어를사용하여 job을 submit할때, 사용하고자하는특정한 nodes를이 resources를이용하여지정할수있다. 각 node 에대한 property" 는 OSCAR 의경우, /var/spool/pbs/server_priv/nodes 파일에서지정할수있으며, 그내용을변경했을경우에는반드시 PBS server를 restart시켜야변경내용이적용된다. 이것은또한 qmgr명령어를사용하여할수도있다. FAQueue 30 OSCAR 클러스터설치가이드

37 PBS queue에대한가장일반적인오해는, 그것이특정한 nodes의그룹과결합되어있다고생각하는것이다. 이것은 (node의 property를사용하고있는 queue를만들었을때를제외하고는 ) 일반적으로사실이아니다. 만일 4개의 node를사용하는 queue가정의되어있다면, 이것은 cluster내의어떤특정한 node와도결합되어있지않다. job을 submit할때주의할또다른점은 cluster의 nodes, ppn(procs per node), walltime등에대한 (max, min) 값안에들어가는범위내에서 job이실행되도록 PBS job script를작성하는것이다. 만일특정한 node를사용하고자한다면사용하고자하는 node에대한 resource attribute, 즉 property를 job script내에명시해주어야한다. 만일 PBS server 에대한모든설정정보를보고자한다면다음의명령어를사용하면된다. # qmgr -c "print server" qmgr interface는새로운 queue와그 parameter를정의하는데사용할수있다. 또한 OSCAR에서설치한 default queue인 "workq" 의 parameter도변경할수있다. 예를들면, workq의설정정보를보고자한다면, 다음의명령어를실행하면된다. # qmgr -c "list queue workq" 출력된값들중에서, 특정한값을변경하고자한다면다음을사용하면된다. # qmgr -c "set queue workq PARAMETER = VALUE " 여기에서 PARAMETER는위의 "list queue workq" 명령어에의해출력된 parameter중하나이며, VALUE는그 parameter에주고자하는적절한값이다. "print server" 와 "list queue" 명령어를통해변경내용을확인할수있다. 만일 post_install 명령어를 "--default" 옵션과함께사용한다면, 관리자가변경시킨내용을읽어버리게된다. 또한 OSCAR의 default wallclock의 limit은 10,000 hours이므로, 적절한값으로변경시켜야한다. 아래는 PBS와관련된사이트들이다. OpenPBS: PBSPro: Maui Scheduler: pfilter pfilter는 perl로작성된 firewall compiler(/usr/sbin/pfilter) 이며, Linux kernel의 packet filtering 기능을컨트롤하는데사용된다. pfilter는시스템관리자가복잡한 iptables 세팅을직접하지않고도 (/etc/pfilter.conf, configuration file에서 ) high-level의 directive만을사 각패키지별설치관련주의사항 31

38 용하여, 똑같은결과 (/usr/sbin/pfilter.cmds 참조 ) 를얻도록만들어져있다. OSCAR가설치될때, 기존의 pfilter 서버 configuration을새로운 configuration과결합시키며, 또한 client machine의새로운 pfilter configuration file을만든다. 그결과로만들어진 configuration은다음의일을한다. 기존의서버에의해허용된모든네트웍연결은그대로 main OSCAR 서버노드에서허용된다. OSCAR 서버노드와모든클라이언트 OSCAR node는 ssh 로그인을모든곳에대해허용한다. ( 만일모든클라이언트노드가 real IP를사용하도록설치할경우, 외부에서직접클라이언트노드에 access할수있다. 이것이보안상바람직하지않다고판단하면, 각클라이언트노드의 pfilter 설정파일을수정해주어야한다. 자세한내용은 man pfilter를참고하기바란다 ) OSCAR 서버노드는 http service를모든곳에대해허용한다. 외부로부터의, 그외의모든네트웍연결은차단된다. syslog는 bad network packet에대한로그를기록하지않는다. cluster내의노드간의모든종류의 network 연결은허용된다. 만일 OSCAR 서버가두개이상의네트웍카드를가지고있다면, pfilter는그중에서 public network card를결정한후, packet forwarding를실행시키며, 가능하다면다른나머지 network card에대한 network address translation(nat Howto 참조 ) 을수행하도록한다. pfilter는 default가 turn-on 상태이며, 이것은클러스터를위한 good defense in depth 로생각할수있다. 어떤이유에서건, pfilter를 disable시키고자한다면, 다음의명령어를실행하면된다. # chkconfig --level=2345 pfilter off pfilter 를 stop 시키기위해서는다음의명령어를사용하면된다. #service pfilter start 6.12 switcher OSCAR는 system-level default MPI (implementation) 을선택하는것과사용자가 system-default를 override하고자신이원하는 MPI를선택하는것에있어일반적인 mechanism을제공한다. 이것은즉여러종류의 MPI가 OSCAR cluster에 install되도록하며 (e.g., LAM/MPI와 MPICH), 또한사용자에게 MPI implementation에대한명확한선택권을준다. setting the system-level default 32 OSCAR 클러스터설치가이드

39 system-level MPI 를선택하는데있어다음의두가지방법이있다. 1. OSCAR installation중에, "Configure selected OSCAR Packages" (step 2) 에서 "Environment switcher" 에서 MPICH 와 LAM/MPI 중에서선택할수있다. 2. root 로서다음명령을실행한다. # switcher mpi --list 이용가능한 MPI implementation이출력된다. 이중에서하나를 system-level default로선택하기위해서는다음의명령을내린다. # switcher mpi = MPI_NAME --system 여기에서 MPI_NAME은위의 --list 명령어로출력되는 MPI 중하나이어야한다. "mpi = MPI_NAME" 에서 = 양옆에공간이있어야제대로명령이실행된다. ( 참고사항 ) "switcher mpi --show" 명령어를통해 default MPI 를확인할수있다. ( 주의사항 ) switcher를통해선택한 System-level default MPI는일정한주기 (default는 15분단위로 crond이 user information과함께 sync시킴 ) 로각 node에전파된다. 따라서 swither로선택한이후에, configuration information이자동으로다음에 push 될때까지기다리거나혹은 /opt/opium/bin/sync_users 명령어를 prompt상에서실행시켜야한다. ( 주의사항 ) switcher 명령어를이용한 default MPI implementation 의교체는차후의모든 shell environment(path, MANPATH) 에적용된다. 그러나이미실행중인 shell에대해서는영향을미치지않는다. setting the user-level default user-level default setting 방법은기본적으로 system-level default setting과같다. 단 --system argument를사용할필요는없다. 다음은그예이다. $ switcher mpi = lam MPI 이름에 none 을사용하면, 어떠한 module도올라오지않게된다. 이것은특정한 software만을 load하여사용하는것을원하지않는사용자들이이용할수있는방법이다. $ switcher mpi = none user-level default 를지우고자한다면 ( 따라서, system-level default 로되돌아가고자한 각패키지별설치관련주의사항 33

40 $ switcher mpi --rm-attr default 다면 ) default attribute 를사용하면된다. 이외의자세한내용은 switcher man page 를참조하길바란다. 34 OSCAR 클러스터설치가이드

41 7. 참고문헌 OSCAR - NTP - C3 - LAM/MPI - Maui PBS Scheduler - MPICH - OpenSSH - OpenSSL - PBS - PVM - System Installation Suite - LUI - HDF5 - 참고문헌 35