Journal of Radiation Industry 4 (1) : 33~38 (2010) 슈퍼컴을이용한전자빔가속기의차폐설계 강원구 * 김인수 국승한 김진규 한범수 정광영 1 강창무 2 이비테크 ( 주 ), 1 공주대학교, 2 한국과학기술정보연구원 Shielding Design of Electron Beam Accelerators Using Supercomputer Won Gu Kang*, In Soo Kim, Sung Han Kuk, Jin Kyu Kim, Bum Soo Han, Kwang Young Jeong 1 and Chang Mu Kang 2 EB TECH Co., Ltd. 550 Yongsan-dong Yuseong-gu, Daejeon 305-500, Korea 1 Kongju National University, College of Engineering, CheonAn 330-717, Korea 2 Korea Institute of Science and Technology Information, Reseat Program, Daejeon 305-806, Korea Abstract - The MCNP5 neutron, electron, photon Monte Carlo transport program was installed on the KISTI s SUN Tachyon computer using the parallel programming. Electron beam accelerators were modeled and shielding calculations were performed in order to investigate the reduction of computation time in the supercomputer environment. It was observed that a speedup of 40 to 80 of computation time can be obtained using 64 CPUs compared to an IBM PC. Key words : Supercomputer, SUN Tachyon, Monte Carlo method, Mobile accelerator, Electron beam accelerator, Shielding design 서 방사선을취급하는산업과의학분야에서방사선차폐를위한정확한방사선거동예측이요구되고있으며, 컴퓨터의계산속도가증가함에따라몬테카를로코드 (Monte Carlo code) 의이용이증가하고있는추세이다. 또한, 최근에는가속기및차폐설계를위하여 3차원고속모델링기술의최적화및모사를통한설계및운전개선등에대한기술개발의필요성이대두되고있다. 몬테카를로코드는중성자, 전자, 감마선의물질과의 론 * Corresponding authors: Won Gu Kang, Tel. +82-42-930-7506, Fax. +82-42-930-7500, E-mail. unikang@eb-tech.com 핵반응을정확하게기술하고, 3차원의기하학적형태를실물대로모델링이용이할뿐만아니라중성자나감마선의심층투과, 흐름, 공기중산란, 그리고선량산정등의차폐계산을쉽게해결할수있다. 그러나입자를추적하여핵물리현상을통계적으로처리함으로서정확한예측을위해서는과다한전산처리시간을요하는단점이있다. 따라서본연구에서는몬테카를로코드의계산시간을단축하고자핵물리와원자력분야에서가장보급화된 MCNP코드 (Monte Carlo N-particle transport code) 의병렬프로그램을 KISTI (Korea Institute of Science and Technology Information) 의 Tachyon 슈퍼컴퓨터에설치하여계산시간의단축효과를확인하고자하였다. 계산시간비교를위하여두종류의전자가속기차폐모델을 IBM PC 33
34 강원구 김인수 국승한 김진규 한범수 정광영 강창무 Table 1. SUN Blade 6048 Architecture Cluster Processor AMD pteron 2.0GH (Barcelona) Node Number Calculation Node 188 CPU Core Number 3,008 Maximum Capacity 24.58 tflops Memory DDR2/667HMz 6TB Disc storage SUN X4500/STK6140 Tape storage SUN SL8500 perating system CenS 4.6 File system Luster 1.6.6 Machine A Machine B Task 0 Task 1 Send () Recv () Network Task 2 Task 3 와슈퍼컴퓨터에각각적용하였다. Recv () Send () 재료및방법 1. SUN Tachyon 시스템 MCNP의설치를위하여 KISTI 슈퍼컴퓨터 4호기의 1 차시스템인 SUN Tachyon Blade 6048 시스템을선정하였다. 이시스템은최고성능 24 tflops (tera floating point operation per second) 을제공하며, 세계슈퍼컴퓨터의 Linpack 벤치마크성능순위에서 130위에속한다. SUN Tachyon의주요사양은 Table 1과같다 (KISTI 2009c). 계산노드 : 188개의계산노드는 4개의 SUN Blade6048 랙 (rack) 에장착된다. 각랙은4개의선반 (shelf) 으로구성되며, 각선반은 12개의 x6420 블레이드 (blade) 가위치한다. 각블레이드는 AMD (Advanced Micro Devices) 사의 Barcelona 쿼드코어 2.0 GHz CPU (Central Processing Unit) 4개와 32 GB (Gigabyte) 메모리, HDD (Hard Disk Drive) 대용의 8 GB CF (Compact Flash) 메모리드라이브 (memory drive) 와 2개의 x8 PCI-e 브리지 (bridge) 를가진다. 네트워크 (Network): 인피니밴드 (Infiniband) 네트워크가노드간계산네트워크및파일 I/ 통신에사용된다. 4x IB DDR을사용하여 non-blocking IB 네트워크를구축하였으며이는노드간에채널당 2.5 GB sec -1 (20 Gbps) 를제공한다. 저장소 (Storage): 스크래치와홈파일시스템의저장은 19대의 SUN X4500 서버로구성된다. 이는 11TB의홈디렉토리 (/home01) 와두개의글로벌스크래치디렉토리 (54TB의 /work01, 40TB의 /work02) 를제공한다. 스크래치와홈디렉토리는 Lustre 파일시스템을통해계산노드와기타노드에서비스된다. Veritas NetBackup을사용하여주기적으로홈디렉토리를테이프에저장한다. SUN Tachyon 시스템은 MPI (Message Passing Interface) 와 pen MP (Multi-Processing) 병렬프로그램밍을위하여 Fig. 1. Memory communication in MPI. GNU (GNU s not Unix), Portland Group (PGI), Intel이제공한컴파일러와라이브러리 MVAPICH, MVAPICH2, PEN MPI를제공한다. 2. 병렬프로그래밍컴퓨터프로그램은순열 (serial) 과병렬 (parallel) 프로그램으로분류된다. 순열 (serial) 프로그램은하나의 CPU 를사용하며, 프로그램명령어 (instruction) 를하나씩순차로처리한다. 순열프로그램은 I/ (input/output) 와같이느린프로세스로인하여병목 (bottleneck) 현상을일으키는단점이있다. 순열프로그램의단점을개선하기위한방법으로병렬 (parallel) 프로그램을사용한다. 병렬 (parallel) 프로그램은계산을위하여여러개의 CPU를사용하며, 문제를여러개의 task로분리하여병렬로동시처리한다. 병렬계산은여러 CPU를내장한컴퓨터나여러컴퓨터를연결한네트워크에서가능하다 (Barrney 2009a). 예로 KISTI의 Tachyon 시스템은 3008 CPU를포함하며 24 tflop을제공한다. 또한 Berkeley의 seti@home network는 330,000개의컴퓨터와연결되며 528 tflop을제공한다. 병렬계산은순열계산에비하여대량문제를다루고, 계산속도와비용을줄이는효과가있다. 병렬계산을위한프로그램방법에는 MPI와 pen MP 등이사용된다. 1) MPI (Message Passing Interface) 초기의 MPI는메모리를공유하지않는환경에서병렬프로그램밍을위하여다중프로세서간의데이터통신의표준을제공하였다. MPI는 point-to-point 혹은집합프로세서간의통신을지원한다. 통신모드로는동기송신, 준비송신, 버퍼송신, 표준송신이있다. Fig. 1에 MPI의
슈퍼컴을이용한전자빔가속기의차폐설계 35 F R K {Parallel region} J I N F R K J I N {Parallel region} Speedup 25 20 15 10 Parallel portion 25% 50% 90% 95% Fig. 2. Fork-Join concept in pen MP. 5 0 네트워크를이용한프로세스간의메모리통신기능을보여주고있다. 현재의 MPI는공유메모리 (shared memory) 혹은 MPM (Massively Parallel Machine), SMP (Symmetric Multiple Processors), 워크스테이션클러스터 (workstation clusters), 이기종네트워크 (heterogeneous network) 와같은병렬구조시스템에사용된다 (Barrney 2009b; KISTI 2009a). 1 2 4 8 16 32 64 128 256 512 1024 2048 4096 Number of processors Fig. 3. Number of processors vs. speedup. 1 1 Speedup=mmmmmmm=mmmm=5.55 0.8 0.18 mmm+0.1 10 8192 16384 32768 65536 2) pen MP (Multi-Processing) pen MP는공유메모리환경에서병렬화를위한표준을제공하며, 포크 (fork)-조인 (join) 개념을적용하고있다. pen MP의포크-조인개념은초기에단일스레드 (thread) 로시작하다가, 병렬구조를만나면 N개의스레드 로나뉘어코드를수행하며, 병렬구조의마지막에는다시 단일마스터스레드로합친다 (Barrney 2009c; KISTI 2009b). Fig. 2에 pen MP의포크-조인개념을설명하고있다. pen MP는소스코드를많이수정할필요가없으며, 특히 D LP와같이숫자를많이처리하는부분에서매우효과가있다. pen MP는 MPI와함께사용이가능하다. 예로 MPI 로여러프로세서로분산하고, pen MP로프로세서의병렬화수준을더욱향상시키는방법을사용한다. 3. 계산속도 병렬프로그램의속도는사용하는프로세스의수와프로그램의병렬화에의존한다. 예로 p를병렬화부분, s=1-p를순차부분, N을사용하는프로세스로정의하면, 병렬프로그램계산의가속 (speedup) 은아래식으로표시된다. 1 Speedup=mmmmm p mm+s N 예로, N=10, p=0.8 이면, N=100, p=0.8 이면, 1 1 Speedup=mmmmmmmm=mmmmm=9.25 0.8 0.108 mmm+0.1 100 Fig. 3은여러가지의병렬프로그램과프로세스수에대한계산의가속화를보여주고있다. 가속은프로세스수에따라증가하다가포화되는경향이있다. 병렬화가 1.0에접근하면가속은무한대로증가한다. 4. MCNP5 설치 Tachyon 슈퍼컴에병렬프로그램설치를위하여 MCNP version 5 (Brown 2003) 를사용하였다. MCNP5는이전의 MCNP4C2 (Briesmeister 2000) 를 ANSI 표준 FRTRAN 90으로전환하였고, 광자-핵충돌모델, time-splitting, 그래픽등의기능을추가하였다. 또한 MCNP5는슈퍼컴에서 PEN MP와 MPI의평행처리기능을위한설치파일을포함하고있다. Tachyon에설치를위하여 Unix system에서 MCNP 5.1.40 프로그램패키지의 UNIX CD-RM에서.tgz 파일을 un-tar하였다 : $ tar xvfz MCNP5_RSICC_1.40.tgz 이과정에서디렉터리 (directory) MCNP5와서브디렉터리 (subdirectories) Source, Testing, Manual, Documents, bin, Sample_problems, Pstudy가생성된다. MCNP를설치하기위하여프로그램패키지에포함된 install을사용하여 makefile을작성한다.
36 강원구 김인수 국승한 김진규 한범수 정광영 강창무 - Source 디렉터리로옮긴후,./install를명령을수행한다. $./install install을수행하는절차는다음과같다 : - 상위메뉴에서 4번을선택하여 Sequential (Seq), Message Passing Interface (MPI), pen Multi-Processing (pen MP) 중하나를선택한다. - MPI를선택한경우 MP 하위선택메뉴에서프로세서수를지정한다. - pen MP를선택하는경우 MP 하위선택메뉴에서스레드 (thread) 수를지정한다. - 아래의컴파일러 (compiler) 디렉터리를지정한다. /application/mpi/openmpi/intel/bin/mpirun - 아래의그래픽 (graphic) 디렉터리를지정한다. /usr/s11r6/lib64 /usr/x11r6/lib64/x11 - 상위메뉴에서 M: makefile을선택한다. - X로 Exit한다. makefile이작성되면 UNIX의 gmake utility를사용하여프로그램을만든다 (build). build 작업이전에작업중인디렉터리 (.) 와필요한컴파일러가 PATH에속하여야한다. 또한핵자료디렉터리 (directory) 와라이브러리 (library) 가 DATA PATH로위치를발견할필요가있다. gmake에의하여생성된컴파일된프로그램은 src 디렉터리에위치한다. gmake 명령은프로그램의종류에따라아래와같이수행한다. $ gmake clean $ gmake build CNFIG=seq #sequential program $ gmake build CNFIG=mpi #mpi program $ gmake build CNFIG= mpi omp #mpi+open mp의혼성컴파일 (compile) 된 mcnp5.mpi는 /Source/src/ 디렉터리에저장된다. Table 2에 SUN tachyon에서생성된 mcnp5 순열과병렬프로그램을보여주고있다. 5. 계산 Tachyon 시스템에서계산을수행하려면 job script를작성하여아래와같이제출한다. $ qsub mcnp.sh 여기서 mcnp.sh은 job script 파일로시스템이 batch job que를결정하기위한파라미터를지정한다. 예로 mcnp5. mpi 프로그램을 node당 4개의 CPU와총16개의 CPU를사용하여입력 inp01을계산하는경우, mcnp.sh를 Table Table 2. mcnp5 parallel programs mcnp5 mcnp5 mcnp4.mpi mcnp16.mpi mcnp64.mpi mcnp4 4.mpi mcnp8 8.mpi mcnp16 4.mpi serial, mpi, hybrid (mpi+omp) serial 4 mpi 16 mpi 64 mpi hybrid, 4 mpi+4 thread hybrid, 8 mpi+8 thread hybrid, 16 mpi+4 thread Table 3. mcnp.sh file #$ -pe mpi_4cpu 16 # 4cpu per a node, total 16 cpu #$ -q normal #$ -l h_rt=01:00:00 # maximum 1 hour #$ -M MyEmailAddress #$ -m e #sending a email after complete works Export MP_NUM_THREADS=4 mpirun -machinefile TMPDIR/machines -np $NSLTS mcnp5.mpi i=inp01 Table 4. Differences from reference sample outputs (42 cases) Input case UTP MCTAL Remarks #13 84202 3122 tally volume #18 126692 16254 lattice cell input #23 596 0 format #41 0 147 format #42 514 0 format 3과같이정의할수있다. Tachyon 시스템에설치된 MCNP5 병렬프로그램을검증하기위하여 42종류의샘플입력 (sample input) 에대하여계산을수행하며 MCNP5 패키지에포함된참고출력 (UTP, MCTAL) 파일과비교하였다. 두프로그램은좋은일치를보여주었고, Table 4에서보는바와같이발견된차이는포맷 (format) 의차이가주종을이루고, 차폐계산에는영향을주지않는것으로나타났다. MCNP5 병렬프로그램의계산시간을비교하기위하여이비테크에서개발한이동형가속기 (Kang 2009) 와저에너지가속기의 2가지모델의차폐설계를고려하였다. 몬테카를로계산을위하여두전자빔가속기를구성하는가속관, 전자빔인출장치, titanium window, 빔표적, 차폐벽등가속기의부품을 3차원으로모델링하였다. 이동형가속기 (Fig. 4) 의측면차폐는중앙에납 7cm 과양면에 1cm의철판을사용하고, 하부차폐는 5cm의납과양면에 1 cm 철판을사용하였다 (Kang 2009). 저에 너지가속기의차폐 (Fig. 5) 는측면과하부에 1.2 cm 철판을사용하였다. 가속기의전자빔은 cosine 각분포를가진표면선원을
슈퍼컴을이용한전자빔가속기의차폐설계 37 Fig. 4. MCNP model of mobile EB accelerator. Table 5. Electron beam sources Mobile EB Low energy EB accelerator accelerator Beam energy, MeV 0.6 0.075 Beam current, ma 33 20 Fig. 5. MCNP model of low energy EB accelerator. Table 6. Computation time (hh : mm : ss) - mobile EB accelerator Histories Method 10 6 10 7 10 8 10 9 IBM PC (1.2 GHz) 00:02:35 00:25:47 04:17:35 Serial, 1 mpi 00:01:27 00:13:44 02:15:40 4 mpi 00:00:33 00:04:50 00:49:50 16 mpi 00:00:15 00:01:03 00:09:29 01:39:14 64 mpi 00:00:12 00:00:45 00:05:48 00:58:05 4 mpi+4 omp 00:00:20 00:01:58 00:19:36 8 mpi+8 omp 00:00:13 00:00:45 00:05:12 00:56:01 16 mpi+4 omp 00:00:14 00:00:47 00:05:34 00:57:36 가정하였고, 전자빔의에너지와전류는 Table 5 와같다. 결과및논의 이동형및저에너지전자빔가속기에대한계산시간 이 Table 6과 Table 7에나타냈으며, 10 6 ~10 9 의히스토리 (history) 를사용하였을때, 각병렬프로그램에소요되는시간을비교하였다. 결과적으로아래와같이결론지을수있다. Tachyon 순차프로그램은 IBM PC 순차프로그램에비
38 강원구 김인수 국승한 김진규 한범수 정광영 강창무 Table 7. Computation time (hh : mm : ss) - Low energy EB accelerator Method Histories 10 6 10 7 10 8 10 9 IBM PC (1.2 GHz) 00:02:59 00:35:46 04:22:13 Serial, 1 mpi 00:00:44 00:08:06 01:10:13 4 mpi 00:00:17 00:02:40 00:26:23 16 mpi 00:00:09 00:00:34 00:05:01 01:54:15 64 mpi 00:00:11 00:00:27 00:03:21 00:29:52 4 mpi+4 omp 00:00:10 00:01:00 00:09:01 8 mpi+8 omp 00:00:11 00:00:26 00:03:11 00:27:37 16 mpi+4 omp 00:00:08 00:00:27 00:03:00 00:32:35 하여계산시간이 2 내지 4배가속되었다. 이는두시스템의 CPU 속도차이에서기인한다. mpi CPU 수의증가에따라계산시간이감소하였다. 예를들어저에너지가속기의경우, 10 8 히스토리에서 4, 16, 64 mpi CPU는 IBM PC에비하여계산시간이각각 10, 50, 80배가속하였고, 이동가속기의경우는각각 5, 25, 40배가속하였다. hybrid (mpi+omp) 는 mpi만사용하였을때보다계산시간이더단축된것으로나타났다. 예를들어이동형가속기의경우, 10 8 히스토리에서 4 mpi와 4 mpi+4 omp 는각각49분 50초와 19분 36초로나타났다. 전체 CPU수가같은경우, hybrid와 mpi는유사한계산시간이소요되었다. 이동형가속기의경우, 10 8 히스토리에서 16 mpi와 4 mpi+4 omp는각각9분 29초와 19 분 36초로나타났다. 결 MCNP5 중성자, 전자, 광자몬테카를로프로그램을병렬프로그래밍으로 KISTI SUN Tachyon 슈퍼컴퓨터에설치하였다. 슈퍼컴퓨터환경에서의계산시간단축을위하여 2가지모델의전자가속기에적용하여차폐계산을수행하였다. 계산결과 Tachyon 슈퍼컴에서병렬프로그램으로 64개의 CPU를사용하는경우, 방사선차폐를위한계산시간이 IBM PC에비하여 40~80배까지가속되었다. 본연구의슈퍼컴을이용한몬테카를로기법은전자빔 론 가속기, 차폐설계및전자빔공정모사에서계산시간을대폭적으로단축할수있어생산성증가, 품질향상및방사선안전에기여할것으로기대한다. 또한핵변환, 가속기구동원자로설계, 신소재개발에이용되고, x-ray CT (Computed Tomography) 모사, 동위원소치료등에널리이용될수있다. 사 본과제의수행을위하여슈퍼컴퓨터의사용과병렬프로그래밍설치등기술적도움을주신 KISTI 슈퍼컴퓨팅센터 (KSC) 및관련스태프에감사를드립니다. 사 참고문헌 KISTI. 2009a. MPI 를이용한병렬프로그래밍, KISTI 슈퍼컴퓨팅센터. KISTI. 2009b. pen MPI 를이용한병렬프로그래밍, KISTI 슈퍼컴퓨팅센터 KISTI. 2009c. 슈퍼컴퓨터 (SUN Tachyon System) H/W, S/W 환경소개및실습, KISTI 슈퍼컴퓨팅센터. Briesmeister JF. Ed. 2000. MCNP-A general monte carlo N- particle transport code. Version 4C. LA-13709. Los Alamos National Laboratory. Brown FB. 2003. NCNP-A general monte carlo particle transport code. Version 5. Report LA_UR-03-1987 Los Alamos National Laboratory. Barrney B. 2009a. Introduction to parallel programming. Lawrence Livermore National Laboratory. Barrney B. 2009b. Message Passing Interface (MPI). Lawrence Livermore National Laboratory. Barrney B. 2009c. pen MP. Lawrence Livermore National Laboratory. Kang WG, Kuk SH, Kim JK, Han BS and Kang CM. 2009. Shielding design of a mobile electron beam accelerator using monte carlo technique. J. of Radiation Industry 3(2):79-85. Manuscript Received: February 9, 2010 Revision Accepted: February 18, 2010