OSCAR 2.2.1 클러스터설치가이드 Cluster installation Guide for OSCAR ver. 2.2.1
OSCAR 2.2.1 클러스터설치가이드
OSCAR 2.2.1 클러스터설치가이드 이책은영문 original version의저자와의협의하에출판되었으며, 이책의무단복제및무단전제를지양해주시기바랍니다. Published by Supercomputing Center, KISTI PrintedinKorea ISBN 89-5884-068-4 93560 이책에대한의견이나조언을주시고자할때그리고오탈자나버그등을발견했을경우, 언제든지다음의저자의메일주소로연락하시기바랍니다. tyhong@kisti.re.kr jwhong@kisti.re.kr hycho@kisti.re.kr
머리말 클러스터컴퓨터는우수한가격대비성능과시스템의유연한구성과확장성등의장점을갖고있으며이와더불어, 리눅스및병렬프로그램등오픈소스기반의소프트웨어의표준화및안정화가이루어지면서, 고성능컴퓨팅시장을급속도로대체해나가고있다. 2000년 6월기준으로세계 top500 슈퍼컴퓨터리스트에서 2% 정도의분포를보이던클러스터컴퓨터의수는 2004년 11월현재그수가약 60 % 에육박할정도로폭발적으로증가하고있으며점차대형화및고급화되어가고있으며, 범용고성능컴퓨팅플랫폼으로각광받고있다. 하지만그럼에도불구하고클러스터컴퓨팅설치및관리도구는상용클러스터소프트웨어에비하여아직초보적인단계를벗어나고있지못하며, 몇몇공개소프트웨어기반의클러스터설치도구들만이중소형클러스터시스템환경에서폭넓게이용되고있다. 이에이책에서는그중에서가장안정적이며, 사용자환경이편리하게되어있는클러스터설치도구인 OSCAR 2.2.1 를소개하고자한다. OSCAR는중소형클러스터컴퓨터를주요타겟으로만들어졌으며, 편리한사용자환경및툴을제공함으로서, 클러스터링경험이없는시스템관리자라도쉽게클러스터를설치운영할수있도록하고있다. 따라서대학혹은연구소의연구실등에서소형클러스터를자체제작하여운영하고자하는경우최적의솔루션중하나로선택할수있는도구이다. 이책은리눅스를관리및운영해본경험이있는사람을대상으로하고있으며, 따라서리눅스운영체계및사용방법에대해서는별도의설명을생략하고있다. 아무쪼록이책이클러스터를좀더쉽게구축하여사용하기를희망하는모든사람에게조금이나마도움이되었으면한다. 홍태영, 홍정우, 조혜영슈퍼컴퓨팅센터, 한국과학기술정보연구원
목차 1. 소개 1.1 용어설 1.2 지원리눅스배포판 1.3 최소시스템요구사 1.4 테스트베드사양 1.5 문서개요 2 리눅스배포판별주의사항 2.1 일반적인주의사항 2.2 RedHat 7.2 주의사항 2.3 Mandrake 8.2 주의사항 2.4 Mandrake 9.0 주의사항 2.5 IA64 시스템기타시스템관련주의사항 1 1 3 3 4 5 7 7 7 8 9 10 3 System Installation Suite(SIS) 개요 11 4 세부적인클러스터설치과정 4.1 Server Installation and Configuration 4.2 ( 선택사항) 추가적인 oscar packages 다운로드 4.3 OSCAR installer 실행 4.4 ( 선택사항) "Select packages to install"(step 1) 4.5 "Configure selected OSCAR Packages"(step 2) 4.6 "Install OSCAR server packages"(step 3) 4.7 "Build OSCAR client Image"(step 4) 4.8 "Define OSCAR Clients"(step 5) 4.9 "Setup Networking"(step 6) 4.10 ( 참고사항) Client Installations 4.11 "Complete the Cluster Setup"(step 7) 13 13 14 16 17 18 20 21 24 26 28 28
4.12 "Test Cluster Setup"(step 8) 4.13 Congratulations! 4.14 Adding and Deleting client nodes 4.15 Starting over 29 30 30 31 5 클라이언트시스템업데이트및업그레이드 33 6 각패키지별설치관련주의사항 6.1 C3 6.2 disable-services 6.3 HDF5 6.4 kernel_picker 6.5 loghost 6.6 networking 6.7 ntpconfig 6.8 ODA 6.9 OPIUM & SSH 6.10 PBS & Maui Scheduler 6.11 pfilter 6.12 switcher 37 37 38 39 41 41 42 42 43 43 44 47 48 7. 참고문헌 51
소개 1 1 소개 OSCAR는 HPC용클러스터관련분야에종사하는사람들의비공 식모임인 OCG(Open Cluster Group) 의오픈소스프로젝트로서 2001년 2 월첫번째버전이출시되었으며, 가장최신버전으로는 2003년 9월 16일출시된 2.3.2 버전이있다. OCG의멤버로는 IBM, Indiana Univ., Intel, NCSA(National Center for Supercomputing Applications), ORNL(Oak Ridge National Laboratory) MSC.Software 등이참여하고있다. OSCAR(Open Source Cluster Application Resource) 소프트웨어 패키지는 cluster를설치하는데필요한복잡한작업을단순화시키 는데 목적을 두고 있다. OSCAR cluster는 HPC(High Performance Computing) 에사용하도록만들었지만, 다양한종류 의 cluster 용(cluster-enabled) application 에 사용할 수도 있다. OSCAR는 HPC 를겨냥해서만들어졌으므로, MPICH, LAM/MPI, PVM, PBS등여러 HPC 관련 package들이 default 로설치된다. 이 문서는시스템관리자에게단계별 installation guide와설치과정중 에발생하는것들에대해자세한설명을제공한다. 마지막으로이 문서는 OSCAR version 2.2.1을대상으로만들어졌음을주지하기 바란다. 1.1 용어설명 Cluster: 소프트웨어와하드웨어를사용하여, 하나의 machine처럼작동하도록설계된일단의컴퓨터그룹을의미한다. Node: cluster내의개개의 computer 를의미한다. install할 OSCAR cluster의경우두종류의 node 가존재한다. 하나는서버노드(head node) 로클라이언트노드의요청에대해필요한서비스를제공한다. client node 는계산전용이며, 일반적으로는계산노드(compute node) 라고도부른다. OSCAR의 cluster는 1개의서 버와 1개이상의 client 로이루어지며, 모든 client는
2 OSCAR 2.2.1 클러스터설치가이드 homogeneous(i.e., identical) hardware 를가지고있어야한다. 사실상 OSCAR 내의 package들은 heterogeneous( 즉, non-homogeneous) cluster 를지원하지만, 현재그내용은문서화되어있지않다. Image: 하나의 directory내에 root file system hierarchy를완전히갖추고있으며, client에게언제든지설치및 update를통해제공될수있다. 단 image 안의 file system에서 proc, nfs, devpts, iso9660 은제외된다. Image는 oscar install시서버의 /var/lib/sysimager/images/ 에만들어져서, client node의 local disk 에 rsync 를이용하여복사된다. Client definition: 서버가가지고있어야하는 client의기본정보로, 여기에는 ip address, hostname, default gateway 등의 network 정보와 image 이름이포함된다. Packages: OSCAR의 Package들은기본적으로모두 RPM이거나 RPM의 collection 이며, configuration 및 installation 관련파일을포함하는경우도있다( 아래참조). client에설치할 package는 root/oscar-2.2.1/oscarsamples/redhat-7.3-i386. rpmlist 를바탕으로고를수있다. OSCAR의패키지들은크게다음의세종류로나눌수있다. Core packages: OSCAR 의공식배포판에포함되어있으며, OSCAR installation 과정을진행하기위해필요한핵심 package(sis, switcher, c3, oda) 이다. Included packages: OSCAR의공식배포판에포함된 packages(autoupdate, hdf5, loghost, ntpconfig, pvm, kernel_picker, mpich, pbs, disable-services, lam, networking, opium, pfilter) 이다. 이들은보통 OSCAR의 developer가만들거나혹은패 키지화하며, release되기전에상당한수준의공식 test 과정을거
소개 3 친다. Third party packages: OSCAR의공식배포판에포함되지않은 package 들로, OSCAR tree(/tftpboot/rpm) 에 add-on되어 OSCAR installation 과정중에함께설치될수있다. 1.2 지원리눅스배포판 OSCAR 의설치를성공적으로하기위해서는아래의표에서 Supported" 로표시된 distribution 을선택하기바란다. "Fully Distribution and Release RedHat 7.1 RedHat 7.2 RedHat 7.3 Mandrake 8.2 Mandrake 9.0 Status Experimentally supported Fully supported Fully supported Fully supported Experimentally supported ( 표1) 1.3 최소시스템요구사항 OSCAR server i586이상의 cpu TCP/IP stack을지원하는 network interface card 1개이상 (OSCAR 서버가 public network과 cluster nodes를연결하는 router 역할을할경우 2 개가기본적으로필요하 다) Linux 설치후, OSCAR 설치전에 /var에 2G, / 가최소2G 이상의여분의공간이 있어야 한다.( 서버 Installation 과정 참조 ) 위의표에 "Fully supported" 가표시된 Linux 배포판
4 OSCAR 2.2.1 클러스터설치가이드 OSCAR client nodes i586이상의 cpu (SMP 지원) 각 node당 2GB 이상의 disk (OSCAR를 default로설치시최소 600M 이상의공간필요) TCP/IP stack을지원하는 network interface card (PXE 지원 NIC 을추천한다.) 위의서버와같은 version의 Linux 배포판 모든 client는같은 architecture 를가지고있어야한다(e.g., ia32 vs ia64) PXE 지원 BIOS와 PXE NIC을가지고있다면 Floppy drive가없어도된다. 그렇지않은경우 FDD 가있어야한다. ( 주의사항) OSCAR 및 RedHat 7.3은기본적으로다음의 Gigabit Ethernet Card 를지원한다. 하지만이문서를위해직접 test를 해보지는않았다. Broadcom BCM5700 PCI-X 1000BASE-T intel EtherExpress/1000 Gigabit 1.4 테스트베드사양서버 RedHat 7.3 "Workstation" Pentium II 450 MHz 128M RAM HDD IBM-DJNA-351520 15.2GB FDD 3,5" 1.44 MB SAMSUNG CD-ROM 100Mb Ethernet 4 client nodes Pentium III 450 MHz SMP
소개 5 256M RAM QUANTUM FIREBALLP LM20.5 19.5GB FDD 3,5" 1.44 MB 100Mb Ethernet 1.5 문서개요 High-Performance cluster를구성하는데있어서고려해야할복잡한특성들을감안하여, 경험이풍부한관리자일지라도이문서를어느한부분도 skip 하지않고, 끝까지읽어본후에 install과정을진행하기바란다. 또이전에 cluster를구축해보지않은관리자일지라도, OSCAR를통해무리없이 cluster 설치과정을진행할수있다는것을인지하기바란다. 이문서의나머지부분은다음으로구성되어있다. Section 2 Release Notes 에서는각리눅스배포판에서 OSCAR 2.2.1을설치하기위해사전에필요한작업들을설명한다. Section 3에서는 OSCAR cluster 설치의핵심 tool 인 SIS(System Installation Suite) 에대해간단한설명을한다. Section 4에서는 cluster installation 과정에대해, 지금설치과정은어떤파일을 update 하고있다 와 지금설치과정은어떤파일의 "xyz" 문자열과 "abc" 를교체하고있다 의중간정도레벨에서자세히설명할것이다. Section 5에서는 OSCAR를사용하여 install한 cluster를 update/upgrade 하는방법을간단히설명한다. 마지막으로 Section 6에서는 OSCAR에의해설치된 package들에대해시스템관리시알아야할사항들위주로설명한다.
6 OSCAR 2.2.1 클러스터설치가이드
주의사항 7 2 2.1 주의사항 일반적인주의사항 OSCAR는기존에설치된 Linux 위에설치될수있지만, 가장 좋은방법은위의 ( 표1) 에열거된 Linux 배포판중에서하나를 설치한후, update없이바로 OSCAR 를 설치하는것이다. 만일 update 를 먼저 한 후, OSCAR를 설치하면 rpm requirement conflict 가 발생할 수 있다. Redhat의 경우 모든 update는 OSCAR install 이끝난후에하는것이좋다. Mandrake의경우 OSCAR를 install하기 전에 security update 를 먼저 해야 한다. http://www.mandrakesecure.net/en/advisories/ 를 참고하기 바란 다. 다음의가벼운경고메시지가주나타날것이다. OSCAR installation 과정중에자 rsync_stub_dir: no such variable at... 이러한경고는무시해도상관없다. OSCAR installer(i.e., /root/oscar-2.2.1/install_cluster) 는서버 node에 MySQL 이존재하지않으면, 이를자동으로설치할것이 다. OSCAR는 MySQL database의 root 패스워드가없어야설치 될수있다. OSCAR installer는설치시사용자의실수에대해경고메시지를거의대부분보내지않는다. 따라서사용자가잘못된과정을실행하거나, 잘못된입력을할때에는여러가지문제들이일어날수있다. 따라서이문서에제공된절차를잘숙지하고실행하기를권고한다. 2.2 RedHat 7.2 주의사항
8 OSCAR 2.2.1 클러스터설치가이드 OSCAR installer GUI 가시작할때, RedHat 7.2에설치된 Perl 은여러변수들에대해 will not remain shared 와같은경고메시지를보내지만, 무시해도상관없다. 2.3 Mandrake 8.2 주의사항 OSCAR installer 를실행하기전에, libexpat1_95-devel RPM을 설치해야한다.(urpmi 명령어를실행하기위해서는 Mandrake 8.2 CD 가필요하다.) # urpmi libexpa1_95-devel 이 RPM은 OSCAR의초기 installation과정에서설치되는 perl-xml-simple과 perl-xml-parser Perl modules을위해필요하다. 또다른방법으로 OSCAR를설치하기전에 perl-xml- Simple과 perl-xml-parser를위한 Mandrake RPM을설치하는방법이있다. # urpmi perl-xml-simple perl-xml-parser OSCAR installer GUI( 즉, OSCAR installation wizard) 는 xterm 을사용한다. 따라서xterm 이설치되지않았다면, xterm- 165-3mdk.i586.rpm 을설치해주어야한다. Mandrake CD를넣은후다음을실행하면된다. #urpmixterm Client Image 를만들때, 두가지의경고메시지가보일것이다. 즉, lam-oscar와 mpich-oscar RPM 을설치할때, libtcl.so.0이존재하지않는다는 error 메시지를볼수있을것이다. 하지만이것은무시해도괜찮다.
주의사항 9 third party package인 Ganglia 를설치하고자한다면, OSCAR installer 를실행하기전에, RPM version 1.0.8-2mdk인 libpng를 설치해야한다. 이 RPM은 Ganglia 배포판의다음의위치에서찾 을수있다 : package/ganglia/extras/libpng-1.0.8-2mdk.i586.rpm root의 default shell configuration file 들은 /etc/profile.d/ 의 startup script에서무엇이추가되건간에 PATH 환경변수를고정시켜버린다. 이것은 /opt에설치된여러 OSCAR component에악영향을준다. 따라서 OSCAR installer는다음의 shell configuration file 에서이환경변수에대한설정을주석처리한다. /root/.bashrc /root/.cshrc /root/.tcshrc 2.4 Mandrake 9.0 주의사항 다음의과정은 Mandrake 9.0에서 OSCAR installer를실행하기전에해야한다. Mandrake 9.0 은 ( 표1) 에서볼수있는바와같이, OSCAR 에서 experimentally supported 되는배포판이며, 가벼운 test 만이루어졌음을유의하기바란다. CPAN 을이용하여, 다음의 perl module 을설치한다: # perl -MCPAN -e shell install SQL::Statement python 2 compatibility RPM 을설치한다. 이것은 OSCAR 배포판의 packages/c3/rpms 에서찾을수있다. # cd oscar-2.1.1/packages/c3/rpms # rpm -Uvh python2-compat-1.0-1.noarch.rpm
10 OSCAR 2.2.1 클러스터설치가이드 2.5 IA64 및기타시스템주의사항 OSCAR auto-install diskette은 Itanium 시스템에서제대로동작하지않을것이다. 하지만, network booting은대부분제대로동작할것이다. Itanium 1, 2 시스템중일부는 Itanium용 RedHat Linux 7.2 배포판을설치했을때, OSCAR 설치가가능하다. booting과 network access를위해 standard RedHat Itanium kernel를사용할수있는 Itanium 시스템은 OSCAR 가제대로동작할것이다. Itanium 2 시스템은 Linux 공식배포판에서제공되는것보다새로운 kernel 을사용해야제대로동작하는 (network와 disk drive 를위한) 새로운하드웨어인터페이스를갖고있는경우가종종있다. Vendor들은일반적으로이새로운하드웨어인터페이스에대한드라이버를디스크혹은 on-line 을통해제공할것이다. 사용자들은때때로스스로커널을컴파일해서, OSCAR에서제공되는 kernel_picker를사용해서 Image 에올려야하며, 이것은종종 do it yourself 종류의일일것이다. 따라서경험이부족한사용자에게는추천할만한일이못된다. 보다많은정보를위해서 OSCAR 사용자의 mailing list 를사용할것을권한다.
SIS 개요 11 3 System Installation Suite(SIS) 개요 SIS(Sytem Installation Suite): SIS는 OSCAR에사용하는 cluster installation의핵심tool로서 System Installer, System Configurator, 그리고 SystemImager 로구성되어있으며, IBM Linux Technology Center와 SystemImager team 이공동으로개발했다. SIS는다음 과같은이유로 OSCAR의 cluster installation tool로서채택했 다. SIS 는개발환경에서잘작동하며, 우수한 3rd party open source 이다. SIS를사용하면 client node에사전에리눅스를설치할필요가없다. SIS는클러스터내의각노드에대한설치및설정정보를포함하는 database 를관리유지한다. SIS는소프트웨어설치의표준으로 RPM 을사용한다. SIS는 heterogeneous hardware 및 software 를지원한다.( 이기능은아직 OSCAR 내에서는사용되지않는다) 앞서용어설명에서나온 Image와 client definition은 SIS에서정의된개념이며,SIS 의특징을다음과같다. 많은다양한 image들이 image server 에존재할수있다. Image를기존 machine의파일시스템으로부터 capture할수있다. Image는직접 Image server에서 package set으로부터제작할수있다. Image를다른 machine에 propagate하기위해 rsync를사용하며, 따라서차후 file level의 update 또한용이하다. Section 5에서 SIS를이용한 Image update 방법을간단히설명한다.
12 OSCAR 2.2.1 클러스터설치가이드
세부적인클러스터설치과정 13 4 세부적인클러스터설치과정 4.1 Server Installation and Configuration ( 참고사항) 이후의모든설명은 Redhat 7.3 을기준으로설명한다. Redhat 7.3을 Workstation class 로설치한다. 단설치시 software development tools" package 를추가해준다. 4.1.1 디스크공간할당 /tftpboot/rpm: 여기에최소 2GB 의여분의공간의있어야한다. 이것은 / 와같은드라이브에있어야하며, 여기에 Redhat CD의모든 rpm 을저장할것이다. /var/lib/systemimager : 여기에최소 2GB 의여분이있어야한다. 클라이언트의 image file 들이여기에위치한다. 4.1.2 소스다운로드 oscar-2.2.1.tar.gz를 http://oscar.sourceforge.net에서 /root에다 운로드한후압축을푼다. 일반적인 install은작업은기본적으로 /root/oscar-2.2.1/ 에서하도록권장하고있다. [root@cluster root]# tar xvzf oscar-2.2.1.tar.gz [root@cluster root]# cd oscar-2.2.1 소스패키지는다음과같이구별된다. regular: 모든 installation material 을포함한다. extra crispy: regular + SRPMS, 패키지이름이 oscar-including -srpms-2.2.1.tar.gz 같이 알기쉽게주어져있다. secret sauce: SRPM 만을포함한다. 패키지이름은 oscar-only-srpms-2.2.1.tar.gz 과같이주어져있다.
14 OSCAR 2.2.1 클러스터설치가이드 4.1.3 클러스터구축을위한서버의기본설정 hostname을 localhost 가아닌다른이름으로준다. cluster내의 private network 용으로이더넷카드를하나설정한다. 즉적당한 private ip address와 netmask 를설정하고, 부팅시 activate 되도록하며, interface control 을 none" 으로세팅한후 activate 시킨다. public network 을위한이더넷카드는필수사항은아니나, 가지고있다면미리세팅해둘것을권장한다. 4.1.4 RedHat CD의RPM file 복사 /tftpboot/rpm 을만든후, Redhat 배포판 CD 1, 2, 3의 RPMS을 /tftpboot/rpm 에복사한다. 각각의 Redhat CD 에대해, mount한후아래의과정을반복한다. # cp /mnt/cdrom/redhat/rpms/*.rpm /tftpboot/rpm 4.2 ( 선택사항) 추가적인 oscar packages 다운로드 OPD(OSCAR Package Downloader) 를사용하여추가로필요한 OSCAR packages 를다운로드할수있으며, 이때다운로드한패키지들을 OSCAR installation hierarchy 즉, /root/oscar-2.2.1/packages/ 내에저장한다. OPD 를사용하고자할때, 필요한 Perl modules를요구할수있으며, 이는 CPAN 을이용해서다운로드하거나아니면, OSCAR Installer 를실행시켜서( 다음 section 참조) GUI Window가보일때닫으면자동으로다운로드가진행된다. OSCAR의 package의 RPM들중일부는 OSCAR용으로패치되어있으며, 예를들면 mpich 의경우 mpich-oscar-1.2.4-7.i586.rpm
세부적인클러스터설치과정 15 식으로이름을통해구별이가능하다. 이러한 naming은 OS에의한 auto-update 를막는데목적이있다. ( 주의사항) 일반적으로 OPD를통해 OSCAR 패키지형태로다운로드받은 RPM 은설치시아무런문제가없다. 예를들면 monitoring 도구인 Ganglia를 OPD 로부터다운로드(ganglia-oscar-2.1-1.tar.gz) 한후압축을풀어 /root/oscar-2.1.1/packages/ 에넣으면 SIS가정상적으로인식하여서버와클라이언트노드에설치시킨다. 그외의일반 RPM 은이러한설치를보장하지못한다. 참고로 OSCAR-specific package의하나의예로 pbs package를보면다음의구성으로이루어져있다. [root@cluster packages]# ls -R pbs pbs: config.xml doc RPMS scripts testing pbs/doc: install.tex license.tex user.tex pbs/rpms: maui-oscar-3.0.7p8-5.i586.rpm openpbs-oscar-gui-2.3.16-7.i386.rpm openpbs-oscar-2.3.16-7.i386.rpm openpbs-oscar-mom-2.3.16-7.i386.rpm openpbs-oscar-client-2.3.16-7.i386.rpm openpbs-oscar-server-2.3.16-7.i386.rpm pbs/scripts: post_clients post_install update_maui_config update_mom_config
16 OSCAR 2.2.1 클러스터설치가이드 pbs/testing: pbs_script.shell test_root test_user 4.3 OSCAR installer 실행 다음과같이 OSCAR installer 를실행시킨다. 뒤의 <device> 에는 여러분이설정한 private 네트웍의이더넷어댑터(e.g., eth1) 를 적어준다. cd /root/oscar-2.2.1./install_cluster <device> 이 script 는다음의과정을수행한다. 1. prerequisite packages 를설치한다. (OPD를위한perl module 등) 2. OSCAR package directory의 RPM 을 /tftpboot/rpm 에복사한다. 3. OSCAR server-core RPMS( ) 을설치한다. 4. system startup ( /etc/rc.d/init.d) scripts를update 한다. 5. 연관된 services를 restart 시킨다. console 상에서위의과정들의진행상황이보여지며, 나중에 oscarinstall.log 를통해확인해볼수있다. 위의과정이성공적으로끝나면다음과같은 OSCAR INSTALLATION WIZARD GUI 가나타난다. 이제부터는대부분의 install과정이이 Window 상에서이루어진다.
세부적인클러스터설치과정 17 4.4 ( 선택사항) "Select packages to install"(step 1) 이과정을생략하면모든OSCAR 용package, 즉/root/oscar-2.2.1 /packages/ 내의모든 package 가설치된다.
18 OSCAR 2.2.1 클러스터설치가이드 4.5 "Configure selected OSCAR Packages"(step 2) Environment Switcher: 이패널을통해 cluster의 LAM/MPI 와
세부적인클러스터설치과정 19 MPICH 중 default MPI 를 결정할 수 있다. 이것은 나중에 switcher script를사용하여 user level과 system level에서각각 바꿀수있다. ntpconfig: time sync을위한 public NTP 서버를결정한다. 이는나중에/etc/ntp/step-tickers 와/etc/ntp.conf를통해수정할수있다. 이번 test에서는다음의 NTP 서버를사용했다. server gps.bora.net server time.nuri.net server time.bora.net server time.kriss.re.kr ( 주의사항) 중요한것은클러스터내부에서 time이 sync되는것이다. 따라서서버노드를 time sever 로사용할수도있다. 이를위해서는다음과같이설정하면된다.
20 OSCAR 2.2.1 클러스터설치가이드 server 127.127.1.1 fudge 127.127.1.1 stratum 10 4.6 "Install OSCAR server packages"(step 3) 이과정에서는 scripts/install_server가실행되며다음의일들이진행된다 서버에 included package를 install 한다. 다음파일을수정하고, rsyncd, dhcpd, portmap의 run-level을수정하며 nfs, ssh 서비스를시작시킨다 /etc/hosts /etc/profile
세부적인클러스터설치과정 21 /etc/exports /root/.bashrc 이과정이끝나면성공혹은실패를알리는 pop-up 윈도우가나타난다. 4.7 "Build OSCAR client Image"(step 4) 만일기존에설치된 RedHat Linux 를그대로사용하고자할경우, 서버의다음설정을확인한후이작업을시작하는것이좋다. /etc/ssh/sshd.config 에서 PermitRootLogin 이 yes 이어야한다. /etc/hosts.allow, /etc/hosts.deny에서모든 private subnet의 traffic을허용하도록setting 해야한다. firewall software가 private subnet의 traffic을제한하고있는지확인한다. Image Name: Image 의이름을결정한다. 초기값을그대로사용하면 /var/lib/systemimager/images/oscarimage 디렉토리가만들어지고여기에image 가위치하게된다. Package File: sample file(/root/oscar-2.2.1/oscarsamples/redhat-7.3-i386.rpmlist) 을편집하여install할 rpm 을결정할수있다.
22 OSCAR 2.2.1 클러스터설치가이드 Package Directory: RedHat CD로부터복사한 directory 를지정한다. rpm files이있는 Disk Partition File: sample file(/root/oscar-2.2.1/oscarsamples/samples.disk.ide) 를이용하여 client nodes의 partitioning 을수정할수있다. sample file의내용은아래와같다. <partition> < size in MB> <type> <mount point> <options> /dev/hda1 24 ext2 /boot defaults /dev/hda5 128 swap /dev/hda6 * ext2 / defaults nfs_oscar:/home - nfs /home rw size column 의 * 표시는 partition이남은전체의 disk를차지하도록허용한다. nfs에서사용할서버의 hostname이위에서 nfs_oscar 로주어져있는데, 이는 /etc/hosts 파일에 alias 설정이되어있으므로 default 값을그대로사용해도무방하다. IP Assignment Method: 특수한상황이아니면, 당연히 static을 선택한다. Post Install Action: 각각의 client node에서 install 이완료된후, client node들이취할행동을다음의 halt, reboot, beep 중에서결정한다. beep" 을권장한다. "reboot" 로설정하면문제가발생할소지가있다. 즉 client node들을 network boot을통해설치하고나서, 자동으로 reboot 하도록설정하면, 리부팅한후다시자동으로 network boot 를통해동일한설치과정을반복할소지가높다. 따라서 beep" 이나 halt" 로설정하여수동으로 reboot 시킨후, BIOS에서 boot order 를바꾸어주는것이좋다. beep으로설정하면수동으로 reboot하라는메시지가나오면서 beep 소리를주기적
세부적인클러스터설치과정 23 으로낸다. ( 참고사항) customized kernel 를사용하고자한다면, Install OSCAR server packages (step 3) 와 Build OSCAR client image (step 4) 사이에앞서설명한 kernel picker 를사용하여바꿀수있다.( 7.4 kernel_picker 패키지설명참조) 위의세팅을완료한후, "Build Image" 버튼을누르면시스템사 양과선택한 package 수에따라약 5-15 분정도의시간이소요 된다. ( 참고사항) 위의 GUI에서이루어지는 procedure는 SIS 명령어를사용하여 shell prompt 에서다음을수행하는것과동일한결과를준다. # mksiimage -Add --name oscarimage \ --filename \ /root/oscar-2.2.1/oscarsamples/redhat-7.3-i386.rpmlist \ --location /tftpboot/rpm/ 위명령어는packages로부터 client image 를만든다. #mksidisk -A --name oscarimage --type ide --file \ /root/oscar-2.2.1/oscarsamples/sample.disk.ide 위명령어는위에서만든image를사용할client의partition scheme 를결정한다. #mkautoinstallscript -image oscarimage \ -ip-assignment static -post-install
24 OSCAR 2.2.1 클러스터설치가이드 위명령어는 client가위에서만든 image를 install 할때필요한 master install script 를만든다. 4.8 "Define OSCAR Clients"(step 5) Image Name: 사용할 client image 를결정한다. Domain Name: cluster의 private network을위한 domain name을설정한다. Base Name: client의 hostname 의처음부분을결정한다( 아래예참조 ) Number of Hosts: client 의수를설정한다. Starting Number: 첫번째 client의이름을결정하기위해 Base name 에덧붙일숫자를결정한다. 이후두번째이후의클라이언트의 hostname에는이 Starting number가하나씩증가한것이붙게된다.( 예참조) ( 예) 아래와같이 Base name과 Starting number, Domain name을 주었을때, (Base_name)(Starting_number).(Domain_name) node 1 kisti.re.kr
세부적인클러스터설치과정 25 -> node1.kisti.re.kr: 첫번째clinet node2.kisti.re.kr: 두번째client... Starting IP: 첫번째client의IP address 를결정한다. 이후두 번째이후의 client는 IP address중 host id가하나씩증가하게 된다. Subnet Mask: IP netmask 를설정한다. Default gateway : 모든 client를위한 default route를설정한 다. 위의 setting이끝나면 Addclients 버튼을눌러작업을완료한다. ( 주의사항) 254 client( 즉, C class) 이상의노드를설정하고자한다면, 위의셋업과정을여러번반복해야하며, IP address와 subnet mask 의설정을주의해서해주어야한다. ( 참고사항) 위의 GUI에서이루어지는 procedure는 shell에서다음의 SIS 명령어를사용하는것과같은결과를준다. 이과정을통해각클라이언트노드에대한설치스크립트즉, <nodename.sh> 가 /var/lib/systemimager/scripts/ 에만들어지며, 서버의 /etc/hosts파일도위의 client 정보를포함하도록업데이트된다. # mksirange -b cluster -i 203.230.7.11 -s 11 \ -c 4 -g 203.230.7.10 -m 255.255.255.0 -p 3 \ -d hpcnet.ne.kr -n oscarimage
26 OSCAR 2.2.1 클러스터설치가이드 4.9 "Setup Networking"(step 6) 이과정에서 Client의 MAC address 와 ( 바로전단계에설정한) network setting을 match 시키면, 자동으로모든 client에 partitioning 및서버에서 image를 copy 하여설치하는과정을수행하며, Build OSCAR client Image"(step 4) 에서 Post Installation Action에서정해준대로 client 는행동하게된다. 모든노드에대한설치작업이끝나고, 정상적으로리부팅이되면, 서버노드에서다음단계(step 7. complete the cluster setup) 를진행하면된다. ( 주의사항) PXE(Preboot execution Environment) booting을지원하는 NIC 은특별한준비사항이없으며, PXE를지원하지않는 NIC을가지고있을때는 network booting을위해서각각의 client 마다 3.5" FDD 를가지고있어야한다. 만일 floppy로 network booting 을하고자한다면 "Build Autoinstall Floppy" 를사용하여 SystemImager boot floppy 를만든후, 이것을 install하고자하는
세부적인클러스터설치과정 27 client의 FDD에넣으면 PXE booting처럼 network booting을할수있게된다. "Collect MAC Address" 버튼을누른상태에서 install하고자하는 client 를켜면, 이 client의 MAC address가왼쪽의 window에나타난다. 이때하나의노드를오른쪽 window에서선택한후 Assign MAC to Node" 를이용하여왼쪽의 Mac address를연결시키면, 이 client에 install 이시작된다. 이과정은해당 client의 console 를통해확인가능하며, RARP 요청부터, file copy까지모든정보가출력된다. ( 주의사항) 만일 PXE를이용한 network booting을사용한다면 client의설치과정이끝난후 rebooting시 BIOS에서 boot order를 local hard drive 가먼저오도록바꾸어주어야한다. floppy를이용한 network booting 을사용한다면, client에 install 이끝난후, rebooting 시, 반드시 floppy disk 를제거해주어야한다. 그렇지않으면, 위의 install 과정을계속해서반복하여수행하게된다. ( 참고사항) 위의 Mac address와 IP address의 mapping 과정은노드수가많을때는번거로운작업이될수있다. 만일모든노드의 Mac address 를알고있다면, "Import MACs from file" 를사용하여 MAC과노드의 IP address와의 mapping을좀더쉽게할수있다. 또다른방법은 /etc/dhcpd.conf 파일에직접모든노드의 IP address등의네트웍관련정보및 Mac address를직접입력한후, dhcpd 서비스를다시시작하는방법이있다.(tftp 서비스가 xinetd 내에서실행중인지도확인해야한다) ( 참고사항) Etherboot 및기타다른 network boot에대해서는 test 를하지못했으며, 공식적으로 OSCAR 에서는위의 PXE와 SystemImager boot floppy( 즉, Build Autoinstall Floppy 을통해 만든 floppy) 만을지원한다.
28 OSCAR 2.2.1 클러스터설치가이드 ( 참고사항) 위의 MAC address mapping은서버의 terminal에서 mkdhcpserver 혹은 mkdhcpstatic 명령어를사용하여작업할수있으며/etc/dhcpd.conf 에서확인할수있다. ( 참고사항) 노드하나에설치가끝나는데대략 15분정도의시간이소요되었다. 4.10 ( 참고사항) Client Installations 다음은 Client intallation 과정으로, PXE를이용한 network boot 를할때이다. SystmeImager boot floppy를사용할때에는 floppy로부터 install kernel이먼저 load된후 DHCP request를한다는점만이다르다. 0. BOOTP/DHCP를사용하여서버로부터IP address 를얻는다. 1. TFTP를이용하여 install kernel를 load 한다. 2. /var/lib/systemimager/scripts/ 에서 이름이 <nodename>.sh인 auto-install script 를찾으며, 이 script는 client에대해다음의 일을수행한다. 3. <imagedir>/etc/systemimager/partionschemes을참조하여 disk partitioning 을한다. 4. 새로만들어진파티션을 /a 로마운트한다. 5. /a 에 chroot 를한후, rsync를사용하여 image에있는모든 file 을복사해온다. 6. systemconfigurator를불러와 client의 hardware(nic, Storage device) 를 check 및 setup 하며, 여러가지 configuration(time zone, initrd, network scripts, boot loader, modules.conf 등을복 ) 사해온 image file 에대해수행하여수정한다. 7. /a를 unmount 한다. 4.11 "Complete the Cluster Setup"(step 7)
세부적인클러스터설치과정 29 ( 주의사항) 이과정을진행하기전에모든 client 노드가 install를마지고정상적으로 reboot 를완료한상태인지확인한다. "Complete the Cluster Setup" 버튼을누르면, OSCAR software package들에들어있는 post-install script 를수행하고, 아래와같이 syslogd, pbs queue등을비롯한서버와 client의 configuration 를완료하고필요한서비스를다시시작시킨다. makewhatis, slocate, kudzu 서비스를클라이언트노드에서중지시킨다. C3에서사용할 nodes information 을설정한다. MPICH의 machines.linux 를설정한다. opium을통해 user 정보를주기적으로 sync 하도록설정한다. pbs의 nodes 정보와기본적인 queue 정보를설정한다. syslogd를통해클라이언트노드의 log 정보를서버에서모을수있도록설정한다. pfilter를통해각service 및port에대한클러스터보안설정을한다. 4.12 "Test Cluster Setup"(step 8) OSCAR에서제공하는간단한 test suite가중요한 cluster components(openssh, PBS, MPI, PVM, etc.) 들이제대로동작하는지여부를 test 한다. test중일부라도 error 가발생하면, 설치 과정상에문제가있음을나타낸다. 다음은 test 예이다.
30 OSCAR 2.2.1 클러스터설치가이드 test 실패시, 갑자기위의 test window 가사라질수도있다. 이 런상황이발생하면, testing/test_cluster 스크립트를 shell에서 실행하여문제를분석해야한다. 4.13 Congratulations! 이제 OSCAR의 cluster setup 이완료되었다. 4.14 Adding and Deleting client nodes Add OSCAR Clients: OSCAR installation wizard를아래와같이다시시작한다. /root/oscar-2.2.1/install_cluster <device> "Add OSCAR Clients" 버튼을눌러서, Define OSCAR Clients( 위의 step 5 와동일) 에서 number of hosts, starting number, starting IP 등을결정한후, Setup Networking( 위의 step 6과동일과정을거치면새로운 ) client 를추가할수있다.
세부적인클러스터설치과정 31 Delete OSCAR Clients: Delete OSCAR Clients 버튼을눌러서, 지우고자하는노드를선택한후, Delete clients 버튼을이용하 여지울수있다. ( 주의사항) Add/Delete Oscar Clients" 기능은현재의 OSCAR 2.2.1 version에서완벽히 test 되지못했다. 특히새로운 client를 추가할때, 만일 SystemImager boot floppy를사용하여 network boot 를하고자한다면, 반드시새로운 boot floppy를만들어서사 용할것을권한다. ( 주의사항) OSCAR installation wizard는한 session에서노드를지운후, 다시지운노드를추가하는것을지원하지않는다. 지운노드를다시추가하고자한다면반드시 OSCAR installation wizard 를다시시작한후해야한다.
32 OSCAR 2.2.1 클러스터설치가이드 4.15 Starting over 만일 OSCAR installation 과정을다시시작하고싶다면, 먼저 /root/oscar-2.2.1/scripts/ 에위치한 start_over 스크립트를실행시킬것을권한다. 이것은서버가 OSCAR가재설치과정을하기에적당한상태가되도록해준다. 또한재설치하기전에완전히 logout을한후다시 login 하여설치작업을수행할것을권장한다. 이는예전 install의해변경된환경변수등으로부터영향받지않게하기위해서이다. ( 참고사항) start_over 스크립트는 uninstaller 가아니다. 예로, RedHat 7.x series는서버이상의 class 로설치할때, 기본적으로 LAM/MPI RPM 을설치하지만, OSCAR는 installation 과정중에이러한 RedHat-default RPM 을제거한후, OSCAR용 LAM/MPI RPM 을설치한다. 이상태에서 start_over 스크립트를실행하면, OSCAR용 LAM/MPI RPM 을제거하지만, RedHat-default RPM을재설치하지는않는다.
클라이언트시스템업데이트/ 업그레이드 33 5 클라이언트시스템업데이트/ 업그레이드 클라이언트노드전체에새로운 hardware driver를설치해야하거나, 혹은새로운 compiler를 install 하고자할때, 혹은 kernel patch/upgrade를해야할때 OSCAR에서는 sis의 SystemImager 를사용하여 Image를 update 함으로서쉽게위의작업을할수있다. Image를 update 하는방법에는크게두가지가있다. ( 방법 1) 서버에서 chroot로 mirror directory (/var/lib/systemimager/images/<image_name>) 에들어가서, 마치현재사용중인 machine 인것처럼, rpm 및기 타필요한 compile 및설치작업을이 image에대하여할수있 다. ( 방법 2) 하나의 client 를택해, 직접 console 상에서필요한작업을한후, 아래의예에서보듯이 getimage명령어를사용하여서버에위치한 Image를 update 할수있다. Image를 update 하기위한절차는다음과같다. client(e.g., cluster1) 에서적절한작업을한후다음의명령을내린다. 이명령은 rsyncd 대몬을시작시킨다. [root@cluster1 root]# prepareclient 서버(e.g., cluster) 에서다음의명령어를내려 Image update를시작한다. [root@cluster root]# getimage -golden-client \ cluster1 -image <image_name> 여기에서 <image_name> 은새로운 Image 로만들고싶으면, 원하는새로운이름을주면된다. 그러면 client의 root file system 전
34 OSCAR 2.2.1 클러스터설치가이드 체가새로운 Image 로만들어져복사된다. 만일기존에만들어진 Image를 update 하고자한다면 <image_name> 에예전의 Image 이름을적어주면된다. 새로수정된 file에대해서만 rsync를사용하여 copy가이루어지므로시간이훨씬단축된다. 새로만든 image를 SIS database에추가하기위해서는다음의명령어를사용하면된다. [root@cluster root]# mksiimage --Add --nobuild \ --name New_Image_Name 만일새로만든이자한다면 image를이용하여각계산노드를재설치하고 client definition 을다음과같이재정의해야한다. [root@cluster root]# mksimachine -U --all \ --image New_Image_Name 이명령은각계산노드의 install script도 update 시킨다. 만일하나의계산노드에대해서만재설치를하고자할때는 --all 옵션대신 --name Node_Name 을사용하면된다. ( 공통) 위의 ( 방법1), ( 방법2), 두가지방법에의해새로이 update 된 Image를모든 client에대해적용하기위해서는각 client(e.g., cluster2) 에서다음의명령어를수행하면된다. -directory 옵션을사용하여정해진디렉토리에대해서만업데이트할수도있다. [root@cluster2 root]# updateclient -server cluster \ -image <image_name> 위의과정역시수정된 file에대해서만 copy 가이루어지므로, 시간이오래걸리지않는다. 단, update 시 /etc/systemimager/updateclient.local.exclude 에명시된파일들은 update 에서제외된다. 여기에는 /home/*, /etc/hostname, /etc/sysconfig/network-scripts/ifcfg-* 등이포
클라이언트시스템업데이트/ 업그레이드 35 함된다. ssh를이용하는간단한 script를작성하여위의명령어를 모든 client 에대해실행시킬수있다. 혹은 c3 package내에들어 있는 cexec(s) command 를사용하여모든클라이언트노드 (e.g, cluster1, 2, 3, 4) 에대한 update를 one-liner 명령어로할수있 다. [root@cluster root]#cexecs :1-4 updateclient -server \ cluster -image <image_name> 혹은더간단히다음의 c3 명령어로할수도있다. 이명령어는위의 updateclient 명령어를클러스터내의모든클라이언트에대해실행한다. [root@cluster root]#cpushimage <image_name> c3의명령어에대한매뉴얼은다음의다. web page에서찾을수있 http://www.csm.ornl.gov/torc/c3/c3documentation.shtml SIS의다양하고풍부한기능에대해서는다음기바란다. http://www.sisuite.org/ web page를참조하 ( 주의사항) 만일각계산노드를처음부터재설치하고자한다면서버노드에서다음대몬이실행중인지확인한후, 각계산노드가 PXE 를이용한네트웍부팅을하도록해야한다. systemimager xineted(tftp) dhcpd
36 OSCAR 2.2.1 클러스터설치가이드
각패키지별설치관련주의사항 37 6 각패키지별설치관련주의사항 6.1 C3 ORNL(Oak Ridge National Laboratory) 에서개발한 C3는 PC cluster의시스템관리를돕기위한 user interface 로개발되었다. C3는 command line interface 이며, 또한다른프로그램내에서도호출하여실행시킬수있다. 현재의 OSCAR package에는 3.1.2-1 버전이들어있으며, multi-thread 로동작하며, 큰규모의 cluster에대해서도 scalability 를갖도록설계되었다. c3의명령어는일반적으로서버노드에서실행하며, 특정한노드를지정하지않을경우( 위에서 :1-4 와같이) 모든클라이언트노드들에대한명령(single-system illusion) 으로실행된다. cexec - c3의가장일반적인 utility로서모든클라이언트노드에 대하여어떤종류의셀명령어도실행할수있다. cget - 모든클라이언트노드들로부터동일한파일혹은디렉토 리를서버노드로복사할때사용한다. 파일이름뒤에노드이름이 붙어서구별이편리하다. ckill - 모든클라이언트노드에서실행중인특정한 process를죽 이고자할때실행된다. cpush - 파일혹은디렉토리를모든클라이언트노드에복사할 때사용한다. cpushimage - 앞의예에서보듯이 client에 image를 update할때 사용된다. crm - 모든클라이언트노드에존재하는파일혹은디렉토리를 지우고자할때사용한다. cshutdown - 모든클라이언트노드를 shutdown, 혹은 reboot 시 킬때사용한다. 다음은간단한예이다.
38 OSCAR 2.2.1 클러스터설치가이드 이패키지에대한자세한내용은다음의란다. http://www.csm.ornl.gov/torc/c3/ web-site를참조하기바 6.2 disable-services disable-services OSCAR 패키지는 client에대해다음의 service를 disable 시킨다.
각패키지별설치관련주의사항 39 incoming mail service: sendmail, exim, postfix 대몬들을 disable 시킨다. 이것은클라이언트노드로들어오는메일을차단시키나, 클라이언트노드로부터밖으로나가는(outgoing) 메일에대해서는차단을하지않는다. 대부분메일은즉각적으로보내지나그렇지않을경우, mail service queue 에보내진후, crontab의 cron.hourly에의해매시간queue된 mail 을재전송한다. Kudzu: 매부팅시마다, Kudzu service는새로운하드웨어를검색하는데많은시간을소비한다. 개개의노드의부팅시간을단축하고자이것을 disable 시킨다. slocate: slocate service는모든 local file system에대해주기 적으로( Distribution 에 따라매일, 혹은매주) top-level의 find 명령어를실행하여모든 file name 을인덱싱한다. 이것은 locate 명령어를 사용한 빠른 lookup 을 가능하게 하지만, top-level의 find 명령어는상당한 system resource 를소모하므로, disable 시 킨다. makewhatis: makewhatis 명령어는 crontab 에의해실행되며, Linux Distribution 에따라매일혹은매주, 매뉴얼페이지인덱스를갱신한다. slocate와마찬가지로이명령어도상당한 system resource 를소모하므로, disable 시킨다. 위의서비스들은 uninstall 시킨것이아니라, 단지 disable 시켰음 을주의하기바란다. 관리자는언제든위의서비스를 enable시킬 수있다. 6.3 HDF5 HDF5는 data format specification과지원 library로이루어진 Hieracrchical Data Format product 이다. HDF5는 scientific data format 에널리이용될수있는다음의특징을갖는다.
40 OSCAR 2.2.1 클러스터설치가이드 reserch, development 그리고 production 환경에서크고, 변형된(varied) data 들을조작하기위해, 다양한 datatype과속성(attribute) 을사용하여 user-defined hierarchical grouping structure 를지원한다. MPI I/O를사용하는 parallel computing platform 에서실행된다. compound, user-defined datatype 을포함하여, 모든 encompassing datatype 을지원한다. 매우큰파일( 한계치를테스트해보지는않았지만, 이론적으로 1 terabyte 이상) 을지원한다. HDF5 의문서는 /opt/hdf5-oscar-1.4.4-post2/doc/hdf5/index.html와 web-site http://hdf.ncsa.uiuc.edu/hdf5/doc/ 에서찾을수있다. OSCAR 는HDF5 library 를 /opt/hdf5-oscar-1.4.4-post2/doc/hdf5/lib/ 에설치하며, 현재의 OSCAR 버전에는 serial operation을위한 library 만이들어있다. parallel operation을위한 library는추후 OSCAR 버전에추가될예정이다. HDF5를 parallel mode로컴파일하여 install할때에는다음의두가지주의해야할사항이있다. gcc-2.96 컴파일러에는 HDF5 에영향을주는버그가있다. 제 대로동작하게하기위해서는, HDF5와 MPI 모두 2.96이아닌 gcc 로컴파일해야한다. HDF5 group은이를위해 2.95.3 버전의 gcc 를추천한다. kernel 2.4이상의리눅스에서 MPI와함께 HDF5를 parallel
각패키지별설치관련주의사항 41 mode 로컴파일할때, 반드시 2GB이상의파일크기를지원하도록설정해야한다. 다음은 MPICH의 install시 configuration command-line option 으로이를준예이다. -cflags="-d_lagefile_source -D_LAGEFILE64_SOURCE \ -D_FILE_OFFSET_BITS=64" 6.4 kernel_picker kernel_picker는 OSCAR image에 default로설치된 kernel대신다른 kernel 을사용하고자할때, 쓸수있는 Perl script 이다. OSCAR installation Wizard의 Select packages to install"(step 1) 와 "Configure selected OSCAR Packages"(step 2) 의과정중간에다른콘솔을열고 kernel_picker command-line 명령어를사용할수있다. 아무런옵션없이이명령어를사용하면 interactive mode 에서동작하며, 사용할 image 이름부터, kernel의전체경로등을차례대로입력하면된다. kernel_picker 프로그램은모든 OSCAR image 의위치가 /var/lib/systemimager/images내에있다고가정하며, default OSCAR image의이름은 oscarimage 이다. kernel_picker 는 /opt/kernel_picker/bin 디렉토리에설치된다. HTML, Postscript, PDF, plain text와 manpage format등의문서가제공된다. manpage 를보려면다음을참조하기바란다. $ man /opt/kernel_picker/man/man1/kernel_picker.1 6.5 loghost loghost는각계산노드의 syslog가서버의 log file에저장되도록각노드의 /etc/syslog.conf 와서버노드의 /etc/sysconfig/syslog를편집하고 syslogd와 klogd daemon 를다시시작한다.
42 OSCAR 2.2.1 클러스터설치가이드 6.6 networking Network package는 OSCAR 서버를 caching nameserver로동작 하도록설치된다. /etc/name.conf에서 configuration 을확인할수있다. 6.7 ntpconfig 기본적으로 ntpd 대몬은 run level 2 5에서부팅시시작하도록설정된다. 어떤이유에서건 uninstall 없이 NTP를 disable 시키려면, 다음의명령어를실행한다. # /sbin/service ntpd stop 위의명령어는단지현재에실행중인 ntpd daemon을 stop시키는역할만하며, 부팅시에 NTP의시작을막기위해서는다음의명령어를실행한다. # /sbin/chkconfig --level 2345 ntpd off NTP의 restart 명령어와부팅시의 start-up을위한명령어는아 # /sbin/service ntpd start # /sbin/chkconfig --level 2345 ntpd on 래와같다. NTP에대한자세한정보는 http://www.ntp.org/ 에있는 Documentation 을참조하기바란다. ( 참고사항) 위에서세팅한 NTP서버에제대로접속할수있는지는다음의명령어를이용하여확인할수있다. #ntpq-p
각패키지별설치관련주의사항 43 6.8 ODA ODA(OSCAR Database) 는 OSCAR 개발의일부로서만든 package로서 Mysql을사용하는 Perl script 로작성되어있으며, OSCAR cluster를위한 database 를제공한다. oda package는 OSCAR cluster와 OSCAR에서사용하는 software package에사용되는다양한정보를저장하거나 retrieve 하는데사용된다. 자세한내용은다음의매뉴얼을참조하기바란다. $ man /usr/share/man/man1/oda.1.gz 6.9 OPIUM & SSH OPIUM(OSCAR Password Installer and User Management) 은사용자(user) 와암호(password) 를관리하며, 사용자계정파일을일정한주기( default는 15 분) 에따라각노드에복사한다. /opt/opium/etc/sync_users.conf의파일내용을변경하여다른파일에대해서도이기능을사용할수있다. OPIUM package는또한 SSH key setup 을관리한다. 이것은 SSH 의 user key를 generate 하는 start-up 스크립트 (/etc/profile.d/ssh-oscar.sh) 를 /etc/profile.d에위치시킴으로서가능해진다. 이스크립트는또한 user들이 password 입력없이, 안전하게전체의클러스터내에서자유로이오고가고 (traverse) 할수있도록 authorized_keys 를만든다. 이때에만들어지는파일들은 user의 home 디렉토리에만들어지므로, 반드시 home 디렉토리는각각의계산노드에 mount 되어야한다. 또한 /etc/profile.d의스크립트는 OSCAR 2.2.1에서는계산노드에는존재하지않으므로, user는반드시 head 노드( 지금의설치환경에서의서버노드) 에로그인을한번이상은해야한다. SSH1 과 SSH2 protocol 모두를지원한다. ( 참고사항) OSCAR는기본적으로 cluster내에서 telnet과 rsh, ftp 및기존의 legacy networking 을사용하지않는다. 대신보다안전
44 OSCAR 2.2.1 클러스터설치가이드 한 ssh, scp, 그리고 sftp 를사용하며, 위에서보여진바와같이 모든사용자를위한 authentication 및 key management를자동으 로처리한다. 6.10 PBS & Maui Scheduler OSCAR는 open source 버전의 PBS, OpenPBS를 job launcher와 batch queueing system 로사용한다. 상업용 version(pbspro) 의 PBS 도존재한다. OpenPBS는기본적인 FIFO scheduler를사용하나, OSCAR에서는보다견고한 open source scheduler인 Maui를대신사용한다. OSCAR 2.2.1에서는 OpenPBS version 2.3p16과 Maui 3.0.7p8 을사용한다. Maui는추후 OSCAR 버전에서계속 update 될것이다. 기본적인 PBS의기능은 OSCAR test suite( Test Cluster Setup"(step 8)) 에서테스트되며, 또한 OSCAR의다른소프트웨어를테스트할때도, job를 launch시키는역할을 PBS 가하게된다. OSCAR는 PBS 의테스트가통과되면, PBS와 Maui 를실행시킨다. 만일 OSCAR cluster의사용자들이예전에 PBS를사용해보지못했다면, 관리자는사용자에게 PBS에적응하는데필요한정보 (OSCAR에서제공하는 sample PBS script, User Manual) 를제공해야할것이다. 일단 step 8에서 PBS의테스트를실행하면 /home/oscartst에서 sample PBS script 를볼수있을것이다. PBS설정기본적으로 PBS는 queue나 cluster-specific한 parameter에대한설정없이설치된다. OSCAR는 PBS를 SIS의 database에있는정보를토대로 PBS 를세팅한다. Complete Cluster Setup"(step 7) 의과정이 OSCAR Wizard 에서실행되면, PBS 패키지내의 post_install(/root/oscar-2.2.1/packages/pbs/scripts/) 스크립트가실행되며, 이때기존의 PBS configuration 이존재한다면, 이 configuration 을덮어쓰지않는범위내에서, 정의되어있지않
각패키지별설치관련주의사항 45 은 PBS의 parameter 를설정한다. 그러나만일이경우에도모든 parameter를 OSCAR의 default 값으로사용하고자한다면, post_install 스크립트를 "--default" 옵션과함께 command prompt 내에서실행시키면된다. qmgr은 queue와 PBS server parameter를설정하는데사용할수있으며, OSCAR PBS의 post_install 스크립트역시이것을사용하고있다. man page 를이용할수도있으나, PBS의 admin guide를읽는것이이것을익히는가장빠른방법이다. 이 Open PBS의 admin guide는 OpenPBS의홈페이지에서계정을등록한후사용인증을받으면다운로드할수있다. PBS Resource 관리자는각 node 에 property 을설정할수있으며, PBS에서는이 properties 를 resources 와같은의미로사용한다. 사용자가 qsub 명령어를사용하여 job을 submit 할때, 사용하고자하는특정한 nodes를이 resources 를이용하여지정할수있다. 각 node 에대한 property" 는OSCAR 의경우, /var/spool/pbs/server_priv/nodes 파일에서지정할수있으며, 그내용을변경했을경우에는반드시 PBS server를 restart 시켜야변경내용이적용된다. 이것은또한 qmgr 명령어를사용하여할수도있다. FAQueue PBS queue 에대한가장일반적인오해는, 그것이특정한 nodes의 그룹과 결합되어 있다고 생각하는 것이다. 이것은 (node의 property를사용하고있는 queue 를만들었을때를제외하고는) 일반적으로사실이아니다. 만일 4개의 node를사용하는 queue가 정의되어있다면, 이것은 cluster내의어떤특정한 node와도결합 되어있지않다. job을 submit할때주의할또다른점은 cluster 의 nodes, ppn(procs per node), walltime 등에대한 (max, min) 값안에들어가는범위내에서 job이실행되도록 PBS job script 를작성하는것이다.
46 OSCAR 2.2.1 클러스터설치가이드 만일특정한 node를사용하고자한다면사용하고자하는 node에대한 resource attribute, 즉 property를 job script내에명시해주어야한다. 만일 PBS server에대한모든설정정보를보고자한다면다음의명령어를사용하면된다. # qmgr -c "print server" qmgr interface는새로운 queue와그 parameter를정의하는데사용할수있다. 또한 OSCAR에서설치한 default queue인 "workq" 의 parameter 도변경할수있다. 예를들면, workq의설정정보를보고자한다면, 다음의명령어를실행하면된다. # qmgr -c "list queue workq" 출력된값들중에서, 하면된다. 특정한값을변경하고자한다면다음을사용 # qmgr -c "set queue workq PARAMETER = VALUE " 여기에서 PARAMETER 는위의 "list queue workq" 명령어에의 해출력된 parameter 중하나이며, VALUE는그 parameter에주고 자하는적절한값이다. "print server" 와 "list queue" 명령어를 통해변경내용을확인할수있다. 만일 post_install 명령어를 "--default" 옵션과함께사용한다면, 관리자가 변경시킨 내용을 읽어 버리게 된다. 또한 OSCAR의 default wallclock의 limit은 10,000 hours 이므로, 적절한값으로 변경시켜야한다.
각패키지별설치관련주의사항 47 아래는 PBS 와관련된사이트들이다. OpenPBS: http://www.openpbs.org/ PBSPro: http://www.pbspro.com/ Maui Scheduler: http://www.supercluster.org/ 6.11 pfilter pfilter는 perl로작성된 firewall compiler(/usr/sbin/pfilter) 이며, Linux kernel의 packet filtering 기능을컨트롤하는데사용된다. pfilter는시스템관리자가복잡한 iptables 세팅을직접하지않고도 (/etc/pfilter.conf, configuration file 에서) high-level의 directive 만을사용하여, 똑같은결과(/usr/sbin/pfilter.cmds 참조를얻도록만들어져있다 ). OSCAR 가설치될때, 기존의 pfilter 서버 configuration을새로운 configuration 과결합시키며, 또한 client machine의새로운 pfilter configuration file 을만든다. 그결과로만들어진 configuration은 다음의일을한다. 기존의서버에의해허용된모든네트웍연결은그대로 main OSCAR 서버노드에서허용된다. OSCAR 서버노드와모든클라이언트 OSCAR node는 ssh 로그인을모든곳에대해허용한다.( 만일모든클라이언트 노드가 real IP 를사용하도록설치할경우, 외부에서직접 클라이언트노드에 access 할수있다. 이것이보안상바람직하지 않다고판단하면, 각클라이언트노드의 pfilter설정파일을수정해 주어야한다. 자세한내용은 man pfilter 를참고하기바란다) OSCAR 서버노드는 http service 를모든곳에대해허용한다. 외부로부터의, 그외의모든네트웍연결은차단된다. syslog는 bad network packet 에대한로그를기록하지않는다. cluster내의노드간의모든종류의 network 연결은허용된다.
48 OSCAR 2.2.1 클러스터설치가이드 만일 OSCAR 서버가두개이상의네트웍카드를가지고있다면, pfilter는그중에서 public network card 를결정한후, packet forwarding 를실행시키며, 가능하다면다른나머지 network card 에대한 network address translation(nat Howto 참조) 을수행하도록한다. pfilter는 default가 turn-on 상태이며, 이것은클러스터를위한 good defense in depth 로생각할수있다. 어떤이유에서건, pfilter를 disable 시키고자한다면, 다음의명령어를실행하면된다. # chkconfig --level=2345 pfilter off pfilter를 stop 시키기위해서는다음의명령어를사용하면된다. #service pfilter start 6.12 switcher OSCAR는 system-level default MPI (implementation) 을선택하는것과사용자가 system-default를 override하고자신이원하는 MPI를선택하는것에있어일반적인 mechanism 을제공한다. 이것은즉여러종류의 MPI가 OSCAR cluster에 install되도록하며 (e.g., LAM/MPI와 MPICH), 또한사용자에게 MPI implementation 에대한명확한선택권을준다. setting the system-level default system-level MPI를선택하는데있어다음의두가지방법이있다. 1. OSCAR installation 중에, "Configure selected OSCAR Packages"
각패키지별설치관련주의사항 49 (step 2) 에서 "Environment switcher" 에서 MPICH 와 LAM/MPI 중에서선택할수있다. 2. root 로서다음명령을실행한다. # switcher mpi --list 이용가능한 MPI implementation 이출력된다. 이중에서하나를 system-level default로선택하기위해서는다음의명령을내린다. # switcher mpi = MPI_NAME --system 여기에서 MPI_NAME 은위의 --list 명령어로출력되는 MPI 중하나이어야한다. "mpi = MPI_NAME" 에서 = 양옆에공간이있어야제대로명 령이실행된다. ( 참고사항) "switcher mpi --show" 명령어를통해 default MPI를확인할수있다. ( 주의사항) switcher를통해선택한 System-level default MPI는일정한주기(default는 15분단위로 crond이 user information과함께 sync 시킴) 로각 node 에전파된다. 따라서 swither로선택한이후에, configuration information 이자동으로다음에 push 될때까지기다리거나혹은 /opt/opium/bin/sync_users 명령어를 prompt 상에서실행시켜야한다. ( 주의사항) switcher 명령어를이용한 default MPI implementation의교체는차후의모든 shell environment(path, MANPATH) 에적
50 OSCAR 2.2.1 클러스터설치가이드 용된다. 그러나이미실행중인 shell에대해서는영향을미치지않 는다. setting the user-level default user-level default setting 방법은기본적으로 system-level default setting 과같다. 단 --system argument를사용할필요는없다. 다음은그예이다. $ switcher mpi = lam-6.5.9 MPI 이름에 none 을사용하면, 어떠한 module도올라오지않게된다. 이것은특정한 software만을 load하여사용하는것을원하지않는사용자들이이용할수있는방법이다. $ switcher mpi = none user-level default 를지우고자한다면 ( 따라서, system-level default 로되돌아가고자한다면) default attribute를사용하면된다. $ switcher mpi --rm-attr default 이외의자세한내용은 switcher man page 를참조하길바란다.
참고문헌 51 7. 참고문헌 OSCAR - http://oscar.sourceforge.net/ NTP - http://www.ntp.org/ C3 - http://www.csm.ornl.gov/torc/c3/ LAM/MPI - http://www.lam-mpi.org/ Maui PBS Scheduler - http://supercluster.org/maui/ MPICH - http://www-unix.mcs.anl.gov/mpi/mpich/ OpenSSH - http://www.openssh.com/ OpenSSL - http://www.openssl.org/ PBS - http://www.openpbs.org/ PVM - http://www.csm.ornl.gov/pvm/ System Installation Suite - http://www.sisuite.org/ LUI - http://oss.software.ibm.com/developerworks/projects/lui/ HDF5 - http://hdf.ncsa.uiuc.edu/hdf5/