리눅스 free 메모리의이해 엑셈컨설팅본부 /DB 컨설팅팀임경석 개요 리눅스환경에서메모리사용률을모니터링하기위해명령어를실행하다보면시스템을기동한지얼마되지않아 free 영역의지표가급격히줄어드는것을쉽게확인할수있다. 리눅스어드민경험이있는사람이라면이것이무엇을의미하는지알수있지만그렇

Size: px

Start display at page:

Download "리눅스 free 메모리의이해 엑셈컨설팅본부 /DB 컨설팅팀임경석 개요 리눅스환경에서메모리사용률을모니터링하기위해명령어를실행하다보면시스템을기동한지얼마되지않아 free 영역의지표가급격히줄어드는것을쉽게확인할수있다. 리눅스어드민경험이있는사람이라면이것이무엇을의미하는지알수있지만그렇"

상구 엄
5 years ago
Views:

1 리눅스 free 메모리의이해 엑셈컨설팅본부 /DB 컨설팅팀임경석 개요 리눅스환경에서메모리사용률을모니터링하기위해명령어를실행하다보면시스템을기동한지얼마되지않아 free 영역의지표가급격히줄어드는것을쉽게확인할수있다. 리눅스어드민경험이있는사람이라면이것이무엇을의미하는지알수있지만그렇지않을경우흔히들메모리사용률이높다고판단할수있다. 따라서, 결과로보여주는지표들이의미하는바를정확히이해하지못할경우잘못된판단을할수있다. 이번문서에서는리눅스에서메모리사용률을모니터링하는방법과각각의지표가의미하는바는무엇인지간단히살펴보기로하자. free 메모리의의미? 유닉스계열의시스템에서메모리사용률을확인하기위해 top, free, vmstat, sar, topas 등의명령어를주로사용한다. 리눅스에서는단순히 free 명령어를실행하면현재시점의메모리상태를쉽게확인할수있다. 필자의테스트장비는오라클리눅스 bit 에오라클 버젼으로시스템을기동하자마다 free 를실행하면아래와같은결과를확인할수있다. Mem: /+ buffers/cache: 전체메모리크기는 2,002 MB 이고, 서버가기동되면서사용된메모리는 325 MB, 여유메모리는 1,676 MB 이다. 여기서한가지주의해서볼것은각각 22 MB, 124 MB 로표시되는 buffers 와 cached 부분이다. 이미단어의의미에서유추해볼수있듯이 buffers 는메모리에존재하는데이터영역중디스크로플러시될데이타영역을의미한다. 흔히더티페이지로표현 기술백서 White Paper

2 되는데이타구조나청크의개념이들어가있는메모리가여기에속한다. buffers 는주기적으로 bdflush 데몬에의해서디스크로플러시된다. 임의로플러시하기원한다면 sync 명령어를실행하면되는데이럴경우 buffers 에서더티페이지크기만큼만플러시된다. 현재더티페이지크기는 /proc/meminfo 의 Dirty 라고표시된부분을통해확인할수있다. 반면 cached 는기존에실행된프로그램들이사용했던메모리로실행중이거나새로시작될프로그램들이필요시빠르게재사용할수있는메모리영역을의미한다. 흔히디스크캐시라고도하는데, 캐시를유지하는이유는동일한데이터를요구하는프로그램이있을경우디스크로부터다시읽어들이는것보다는캐시된데이터를읽는것이성능에유리하기때문이다. 따라서, Cached 영역은실행중인프로그램이메모리가필요할경우바로사용되어지는 free 메모리라고생각할수있다. 유닉스계열의시스템에서메모리사용은크게프로세스가사용하는 heap 영역과디스크캐시영역으로나눌수있다. aix 의경우대부분의메모리를디스크캐시에할당한다. 따라서, 일정시간이경과하면 free 메모리가감소하는것을볼수있다. 리눅스의경우도마찬가지이다. cached 영역에 page cache 뿐아니라파일의자료구조인 inode 와 dentry 정보를저장하여 cached 영역이증가할수록 free 영역은감소하게된다. 그러나, 실제메모리의여유가없는것은아니고커널이필요할때마다 cached 영역을알아서조정하게된다. inode 와 dentry 는빠른데이터접근을위해필요한것인데, 커널의자원할당자역할을하는 slab allocator 라는것에의해서저장된다. cached 영역에서 slab 이차지하는영역의크기는 /proc/meminfo 를통해확인할수있다. ~]# cat /proc/meminfo MemTotal: kb MemFree: kb Buffers: kb Cached: kb SwapCached: 0 kb Active: kb Inactive: kb Active(anon): kb Inactive(anon): 1188 kb Active(file): kb Inactive(file): kb Unevictable: 0 kb Mlocked: 0 kb Part 1 ORACLE 217

3 SwapTotal: SwapFree: Dirty: Writeback: AnonPages: Mapped: Shmem: Slab: SReclaimable: SUnreclaim: kb kb 52 kb 0 kb kb kb 1440 kb kb kb kb 모니터링 지금까지의내용을정리하면리눅스의경우메모리실제사용률을구하기위해서는실제 free 크기는 free 영역에 buffers 와 cached 를더하여계산해야한다는것이다. 이를토대로실제 free 와 used 크기를구하게되면 -/+ buffers/cache: 에표시된값과거의 일치한다는것을알수있다. Mem: /+ buffers/cache: 전체메모리 total = used + free + buffers + cached 실제 free 메모리 = free + buffers + cached = = 1822 실제메모리사용량 = total-(free + buffers + cached) = 2002-( ) = 179 이상태에서오라클을기동하면메모리사용량은어떻게변하는지살펴보자. SQL> startup ORACLE instance started. Total System Global Area bytes Fixed Size bytes Variable Size bytes 기술백서 White Paper

4 Database Buffers Redo Buffers Database mounted. Database opened bytes bytes ~]$ free -m Mem: /+ buffers/cache: [root@ora11 ~]# ipcs -m Shared Memory Segments key shmid owner perms bytes nattch status 0x gdm dest 0x gdm dest 0x gdm dest 0x gdm dest 0x oracle x oracle x oracle x0f98b25c oracle x gdm dest SGA 크기가 1GB 인인스턴스를기동한후 used 는 733 MB, cached 영역이 416 MB 로증가한것을확인할수있다. 이는오라클을기동하여오라클이소유한 shared memory 가 2GB 임에도불구하고처음부터 SGA 전부를메모리에생성하지않는다는것이다. SQL*Plus 에서대량의테이블을 select 하는쿼리를특정세션에서실행해보자. 14:56:21 <SCOTT@DB11G> 1 select count(*) from t; COUNT(*) :01:16 <SCOTT@DB11G> 1 select segment_name, bytes/1024/1024 Part 1 ORACLE 219

5 15:01:39 2 from dba_segments 15:01:46 3 where segment_name = 'T'; SEGMENT_NAME BYTES/1024/ T 440 [oracle@ora11 ~]$ free -m Mem: /+ buffers/cache: 오라클에서세그먼트크기가 440 MB 인테이블을 select 할경우 cached 898 MB 까지증가한 것을확인할수있다. 결과적으로 free 영역도 769 MB 로감소하였다. 이때, 크기가 1GB 인파 일을하나생성해보자. [oracle@ora11 ~]$ cd /u01 [oracle@ora11 u01]$ dd if=/dev/zero of=test bs=1024k count= records in records out bytes (1.0 GB) copied, s, 99.8 MB/s [oracle@ora11 u01]$ free -m Mem: /+ buffers/cache: [oracle@ora11 sc]$ vmstat 1 procs memory swap io system cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 기술백서 White Paper

6 크기가 1 GB 인파일을생성할경우, free 는 19 MB 로급격히감소하고 used 부분이 1,983 MB 까지증가하였다. 이중 1,654 MB 가 cached 영역에생성되었으며, buffers 영역도일부감소한것을볼수있다. 그렇다면현재메모리전체사이즈보다큰파일을생성할경우메모리변화는어떻게되는지살펴보자. [oracle@ora11 u01]$ dd if=/dev/zero of=test bs=1024k count= records in records out bytes (4.2 GB) copied, s, 451 MB/s [oracle@ora11 sc]$ free -m Mem: /+ buffers/cache: [oracle@ora11 sc]$ vmstat 1 procs memory swap io system cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st Part 1 ORACLE 221

7 GB 크기의파일을생성하는동안 vmstat 으로메모리변화를살펴보면, free 영역이 16 MB 인상태에서 cached 영역의메모리일부를 free 상태로전환한다는것을알수있다. free 로전환된메모리는파일이생성되는시점에다시 cached 상태가되고 free 및 cached 크기가현재상태로수정됨을알수있다. 즉, free 메모리가부족할경우 cached 영역일부를 free 상태로전환하여사용한다는것이다. 이는앞에서설명했듯이 cached 영역이실제로 free 메모리로사용되고있음을보여준다. 여기서한가지확인할것은 free 메모리가부족함에도 swap 은발생하지않았다는것이다. swap 의 used 는여전히 0 인상태로남아있다. 이어서 4GB 파일을바로삭제하면아래와같이 cached 영역의상당부분의메모리가다시 free 영역으로전환된다. 파일을생성하면서 cached 영역의대부분을차지한데이터들이동시에삭제되므로오라클인스터스만생성된시점으로메모리상태가변경된다. 이때오라클인스턴스도이어서 shutdown 시킬경우아래와같이시스템을처음기동할때의메모리상태로변경된다. [oracle@ora11 u01]$ rm test Mem: /+ buffers/cache: [oracle@ora11 ~]$ sqlplus / as sysdba SQL*Plus: Release Production on Fri Nov 1 09:28: Copyright (c) 1982, 2011, Oracle. All rights reserved. Connected to: Oracle Database 11g Enterprise Edition Release bit Production With the Partitioning, OLAP, Data Mining and Real Application Testing options 기술백서 White Paper

8 SQL> shutdown immediate Database closed. Database dismounted. ORACLE instance shut down. Mem: /+ buffers/cache: 지금까지테스트를위해수행된모든내용을메모리에서제거하였어도 cached 영역에는아직 119 MB 가남아있다. 만약이부분또한 free 로전환하고싶다면어떻게하면될까? 리눅스에서는메모리의 buffers 와 cached 상태의메모리를 free 영역으로임의로변경하기위해 /proc/sys/vm/drop_caches 파일의내용을 0 에서 1, 2, 3 중하나의값으로변경하면된다. [root@ora11 ~]# echo 1 > /proc/sys/vm/drop_caches Mem: /+ buffers/cache: pagecache 해제 echo 1 > /proc/sys/vm/drop_caches - dentries, inodes 해제 echo 2 > /proc/sys/vm/drop_caches - pagecache, dentries, inodes 모두해제 echo 3 > /proc/sys/vm/drop_caches 파일의값을 '1' 로변경하였더니 cached 값이대부분 free 영역으로전환되었음을볼수있다. 해당파일을직접수정할수도있지만명령어로도가능하다. Mem: Part 1 ORACLE 223

9 -/+ buffers/cache: ~]# sysctl -w vm.drop_caches=3 vm.drop_caches = 3 [root@ora11 ~]# [root@ora11 ~]# [root@ora11 ~]# Mem: /+ buffers/cache: 결론 유닉스계열의 O/S 에서메모리사용률을정확하게모니터링하기란쉽지않다. 그이유는빠른 CPU 성능에 I/O 속도를맞추기위해메모리의상당부분을디스크캐시로사용하기때문이다. 디스크캐시는 I/O 가발생할때마다유동적으로변화하고특정커널파라미터를통해임계값을설정하여그이상으로는증가하지못하게도할수있다. 이러한기능은각벤더마다조금씩차이가있다. 메모리사용률을정확한수치로계산하기란쉽지않으며메모리를확인하는명령어에따라약간의차이가있다. 따라서, 메모리를모니터링할때얼마나가용한메모리가남았는지, 현재메모리가부족하여 SWAP 을지속적으로사용하고있는지등을확인하는것이올바른모니터링방법이라할수있겠다. 참고문헌 기술백서 White Paper

KEEP BUFFER 활용방안 엑셈컨설팅본부 /DB 컨설팅팀장정민 개요 Oracle 은유저가요청한작업을빠르게처리하기위해 Buffer Cache 라는것을사용한다. Buffer Cache 는 SGA 에위치하고있으며, 오라클인스턴스에접속하는모든프로세스에의해공유된다. 이 Bu

KEEP BUFFER 활용방안 엑셈컨설팅본부 /DB 컨설팅팀장정민 개요 Oracle 은유저가요청한작업을빠르게처리하기위해 Buffer Cache 라는것을사용한다. Buffer Cache 는 SGA 에위치하고있으며, 오라클인스턴스에접속하는모든프로세스에의해공유된다. 이 Buffer Cache 는오라클 I/O 관리의핵심으로자주사용하는데이터파일의블록들을메모리에상주시킴으로써물리적인