untitled

Transcription

1 최종연구보고서 KISA-WP 악성코드유형에따른자동화분석 방법론연구 Automated Malware Analysis Mechanism 수탁기관 : 한양대학교산학협력단

2 제출문 한국정보보호진흥원원장귀하 본보고서를 악성코드유형에따른자동화분석방법론연구 의최종연구보고서로제출합니다 년 6 월 15 일 수탁기관 : 한양대학교산학협력단연구책임자 : 교수임을규 ( 한양대학교정보통신대학 ) 참여연구원 : 연구원강부중 ( 한양대학교정보통신대학 ) 연구원한경수 ( 한양대학교정보통신대학 ) 연구원한동석 ( 한양대학교정보통신대학 ) 연구원임광혁 ( 한양대학교정보통신대학 ) 연구원유성훈 ( 한양대학교정보통신대학 ) 연구원김인경 ( 한양대학교정보통신대학 ) 연구원김혜선 ( 한양대학교정보통신대학 ) - 1 -

3

4 요약문 1. 제목악성코드유형에따른자동화분석방법론연구 2. 연구개발의목적및중요성 1) 연구개발의목적매일새로이발견되는악성코드의수와종류는지속적으로증가하고있는데, 그이유는금전적인이득을목적으로공격자가취약점을계속해서찾아내고, 기존의악성코드와자동제작도구를이용하여신 변종을만들어내기때문이다. 또한악성코드의감염에의한사용자피해역시급속도로증가하고있어서악성코드에대한더욱신속한대응이절실히요구되고있다. 기존의대응기술들은악성코드를수집하고분석하는과정에수동적인작업을필요로하는부분이많기때문에신속한대응을어렵게하고있다. 또한안티바이러스및안티스파이웨어등의제품공급자들마다진단을다르게하여사용자들이혼란을겪기도한다. 본연구과제에서는좀더신속하게대응할수있도록넷봇 (Netbot) 의악성행위및특징을분석하여자동화분석방법을제시하고, 웜, 바이러스, 트로이목마, 애드웨어등각각의악성코드별특징분석을확장적용하여악성코드유형에따른효과적인자동화분석방법에대한연구를목표로한다

5 2) 연구개발의중요성최근컴퓨터및인터넷의보급이크게확산됨에따라광범위한정보통신망구축이가능해졌으며, 각종정보공유, 전자상거래등이가능하게되었다. 그러나이와더불어정보위조및변조, 정보유출, 웜이나바이러스전파등과같이정보네트워크에서의보안침해부작용도꾸준히증가하고있다. 그중에서도분산서비스거부 (DDoS) 공격, 스팸발송, 해킹, 개인정보유출등으로인한사용자들의피해가급증하고있다. 이러한공격들은대부분사용자컴퓨터에감염된악성코드에의해이루어진다. 악성코드는보안이허술한일반사용자컴퓨터에침투하여공격자를노출시키지않고다른공격들을수행하는중간노드역할을한다. 최근에는이러한악성코드에감염된컴퓨터들이거대한봇넷 (Botnet - 악성코드에감염된여러컴퓨터들이연결된네트워크 ) 을형성하여더광범위한사이버범죄에악용되고있다. 악성코드수와종류의지속적인증가는소프트웨어개발기술발전에도불구하고시스템의취약점을찾는기술이점차정교해지고다양해지고있으며, DDoS 공격도구인넷봇 (Netbot) 외에도각종악성코드의자동제작도구및기술의보편화로인해손쉽게신 변종악성코드를작성하는것이가능하기때문이라고할수있다. 그러나악성코드에대한대응방법은아직까지는대부분수동으로악성코드를탐지 분석하여대응하기때문에악성코드유포속도에크게뒤처지고있어악성코드에의한직접적인피해및 2차적인피해는급속도로확산되고있는실정이다. 따라서본연구를통해서개발되는악성코드의자동화분석방법은다양한악성코드에적용되어보다효율적인분석이이루어질수있으며, 이를통해신속하게대응함으로써악성코드에따른피해확산을최소화시킬수있을것으로판단된다

6 3. 연구개발의내용및범위 본연구과제에서는악성코드유형에따른자동화분석방법을마련하기위하여다음과같은연구내용을수행한다. o 악성코드의정의및분류방법, 유형별특징분석 - 악성코드의유형별정의와분류방법조사 - 악성코드의유형별특징분석 - 기존의악성코드자동분류방법조사및분석 o 넷봇의악성행위및특징분석 - 넷봇을이용한공격및악성행위분석 - 정적분석을통한넷봇의특징파악 o 분석방해기술 ( 안티디버깅및분석우회방법 ) 조사 - 안티디버깅기술의유형및동작방식조사 - 가상머신탐지기술조사 o 루트킷및커널악성코드유형분석 - 루트킷, 커널악성코드의유형및동작방식조사 o 악성코드의자동화분석방법론도출 - 악성코드가사용하거나변경하는파일및레지스트리분석 - 저장매체사용의모니터링 - 악성코드의도메인접속분석 - 코드인젝션분석 - 악성코드분석프로세스에대한자동화 - 5 -

7 4. 연구결과 현재까지의연구결과내용은다음과같다. o 중간연구보고서 중간연구보고서에서는악성코드유형에따른자동화분석방법론연구를위한선행단계로써악성코드의정의및분류방법과유형별특징을분석하고, 기존의악성코드자동분류방법에대하여조사하였으며, DDoS 공격도구인넷봇 (Netbot) 의동작방식과악성행위의특징을분석하였다. 또한악성코드중에서트로이목마가사용하거나변경하는파일, 레지스트리를조사하여부록에첨부하였다. o 최종연구보고서 최종연구보고서에서는악성코드유형에따른자동화분석방법론을제시하였다. 이는특징도출단계, 상호작용단계, 자동화분석단계를포함한다. 특징도출단계에대해서는넷봇의 PE 파일을분석함으로써넷봇이사용하는 API를분류하였고, Bloom Filter를이용하여함수사용에따른 Bit Array를추출하였다. 상호작용단계에서는도출된특징을 DB에저장하기위해분석가와의상호작용을제시하였다. 또한자동화분석단계에서는 Bloom Filter의결과로추출한 Bit Array를이용하여넷봇간의코드유사도및넷봇과다른프로그램과의코드유사도를계산하였다

8 5. 활용에대한건의 본연구과제에서도출되는악성코드의자동화분석방법론은다음과같이활용될수있다. o 자동분석을통해넷봇이나다른악성코드에대하여일치할가능성및변종악성코드의가능성에대한확인 o 실제악성코드자동분석을통해신속한대응및피해확산최소화 6. 기대효과 본연구과제에서도출되는악성코드의자동화분석방법론은급격히증가하고있는악성코드에대하여보다효율적인분석방법을제공할것이다. 악성코드의분석에소모되던시간을크게줄이고, 유사악성코드에대한불필요한분석을제거하여새로운악성코드에대응할수있는시간을단축함으로써악성코드로인한사회, 경제적파급효과를완화시킬수있을것으로기대된다. 아울러본연구과제를통하여배출되는인력들은향후국내정보보호업계에진출하여정보보호산업발전에크게기여할수있을것으로기대된다

9 SUMMARY 1. Title Automated Malware Analysis Mechanism 2. Purpose and importance of the study 1) Purpose Nowadays, the attackers are trying to find new vulnerabilities of applications and making variance of malwares using automated tools which can make a malware. Therefore, the number of malwares is increasing day after day, the number of compromised hosts is also increasing. So that, for mitigating infection rate, rapid malware analysis method is needed. The existing methods for collecting and analyzing malware are progressed manually. Therefore, they cannot rapid response to malware outbreaks. Also, Users are into confusion because the name of malwares which produced by anti-virus and anti-spywares are differ from each other on the same malware. In the research, we will propose a method which cans rapid response against newly malwares using automated malware analysis mechanism. The mechanism extracts features and malware behaviors automatically. Even this system is built based on NetBot mechanism. The mechanism extracts features and malware behaviors automatically. Even this system is built based on NetBot which is one of the most harmful malwares, our research goal is extending - 8 -

10 the system to apply to other malwares too. 2) Importance The well constructed infrastructure of wide open communication network and popularization of computer make user share information and do e-commercial on the Internet such as internet banking, e-bay etc. But as these growths, The information network threats(information forgery, Information leakage, and Spreading malwares) also are increased. From those increase, The number of the computer users who are suffered from Distributed Denial of Service(DDoS) attack, sending spam mails, hacking servers, and personal information leakage are increasing. These attacks are occurred from a computer which is compromised by malware. A malware infects a vulnerable computer to attack other computers with hiding attacker's identity. Nowadays, the compromised computers cooperate with each other for attacking computers such as DDoS, sending spam etc. This cooperated system is called 'Botnet - a network of computers with compromised computer'. Even the software development technology has been evolving, the number of malwares and its types also are increasing because the exploit code is automatically made by tools. But the response methods are still progressed manually. Therefore the response methods cannot reach propagation speed of malwares. The automated malware analysis mechanism which we propose will be applied to analyze malware, so that the analyze process will be efficient. It can reduce the time of analyzing malware, we can minimize the damage from the malware

11 3. Contents and scope of the study In this research, We will perform following acts for making automated malware analysis mechanism. o Analyze definition and classification of malware, extracting features of malware by its type - Survey of definition of malware and classification method - Analyze the features of malware by its type - Survey and Analyze the exisiting automated malware classification method o Analyze features and behaviors of Netbot - Analyze attack patterns and behaviors of Netbot - Extract the features of Netbot using statistic analysis o Survey Anti-analysis technique(anti-debugging and analysis bypassing) - Research anti-debugging technique - Survey virtual machine detecting and analysis bypassing techniques o Analyze classification of rootkit and kernel malware - Survey classification and mechanism of rookit - Derive efficient rootkit analysis method o Derive automated malware analysis mechanism - Analyse files and registries which are used by malware - Monitor storage medium - Analyse internet domain which are used by malware - Analyse code injection

12 - Automate the malware analysis process 4. Results of the study The following are the results of this project so far: o Mid-term report In midterm report, we carried out a pre-stage for searching automated malware analysis mechanism. The stage is consisted of defining concepts and classes of malware, surveying the existing automated analysis systems, and extracting behaviors and features of Netbot. Also, we researched modified files and registries which are used by Torjan Horse one of the malware. ofinal report In final report, we proposed automated malware analysis methodology. It includes the feature extraction phase, analyst interaction phase, automated analysis phase. In feature extraction phase, we analized Netbot's PE file, and classified API which are used in Netbot. In addition, we extracted the Bit Array by using Bloom Filter and calculated code similarity between Netbot and other programs using the result of Bloom Filtering. 5. Suggestion about practical use of the project The result of the research will be applicable to below factors o Derive similarity and variance of malware o Rapid response to outbreak malware and Mitigate spreading of

13 malwar 6. Expected Effects The automated malware analysis mechanism which is proposed in this research will offer efficient malware analyzing method. The time which spend to analyze malwares, will be decreased. Also, the unnecessary malware analyzing will be removed. Therefore, we expect that the damage of social, economic from the malware will be mitigated. Human resources who work in this project will contribute the information security industry of Korea

14 목 차 제 1 장서론 19 제 1 절연구의목적및필요성 19 제 2 절연구내용및연구방법 21 제 2 장악성코드의개요 27 제 1 절악성코드의정의 27 제 2 절악성코드의감염경로 30 제 3 절악성코드의분류 31 제 4 절악성코드의명명법 36 제 5 절악성코드가사용 / 변경하는파일, 레지스트리 38 제 3 장분석방해기술 41 제 1 절실행압축기법 41 제 2 절디버거탐지기법 42 제 3 절코드혼란 (Obfuscation) 기법 43 제 4 절가상머신탐지기법 45 제 4 장커널기반루트킷 49 제 1 절개요 49 제 2 절특징 50 제 3 절동작방식 51 제 5 장기존의악성코드자동분류 분석방법 55 제 1 절정적코드분석 55 제 2 절동적행위분석

15 제 6 장 Netbot의특징분석 61 제 1 절개요 61 제 2 절 Netbot의공격기능 62 제 3 절 Netbot의행위분석환경구성 66 제 4 절 Netbot의특징 68 제 5 절 Netbot의공격트래픽 72 제 6 절 Netbot의 Code Injection 76 제 7 장악성코드유형에따른자동화분석방법 85 제 1 절자동화분석방법 85 제 2 절특징분석환경 87 제 3 절특징도출단계 95 제 4 절상호작용단계 116 제 5 절자동화분석단계 119 제 6 절 DB의구성 122 제 8 장연구결과및향후연구진행방향 127 제 1 절연구결과요약 127 제 2 절향후연구방향 129 부록부록 1. 레지스트리 131 부록 2. 운영체제 / 시스템에서사용되는프로세스 136 부록 3. 악성코드가사용 / 변경하는파일, 레지스트리 138 부록 4. Netbot의 Import Function 비교 158 부록 5. Python 스크립트

16 그림목차 ( 그림 1-1) 연도별악성코드의증가 - 국내 20 ( 그림 2-1) 악성코드판별트리 35 ( 그림 3-1) 가상머신환경 45 ( 그림 3-2) 가상화하드웨어 46 ( 그림 4-1) SSDT Hooking 개념도 52 ( 그림 4-2) SSDT Hooking 52 ( 그림 5-1) 제안한방법의순서도 57 ( 그림 5-2) 제안한방법의 5단계 58 ( 그림 6-1) Netbot의동작개념도 66 ( 그림 6-2) 좀비와중계사이트사이의통신 72 ( 그림 6-3) C&C에대한좀비의연결시도 73 ( 그림 6-4) C&C와좀비의연결설정및정보전송 73 ( 그림 6-5) 좀비에대한공격명령전송 74 ( 그림 6-6) 공격패킷전송 74 ( 그림 6-7) NetNtEx.dll 파일확인불가능 77 ( 그림 6-8) NetNtEx.dll 파일존재확인 77 ( 그림 6-9) PE Explorer를통해분석한 NetNtEx.DLL 파일 78 ( 그림 6-10) Netbot의 Agent 생성 79 ( 그림 6-11) 감염전후의레지스트리비교 80 ( 그림 6-12) 레지스트리값에명시된 DLL의위치 80 ( 그림 6-13) 감염후서비스목록 81 ( 그림 6-14) NetNtEx.dll 삽입확인 82 ( 그림 7-1) 악성코드자동화분석방법의개념도 85 ( 그림 7-2) 악성코드특징도출단계 ( 수동 ) 87 ( 그림 7-3) 레지스트리변경모니터링 88 ( 그림 7-4) 악성코드샘플

17 ( 그림 7-5) 악성코드샘플 92 ( 그림 7-6) 프로세스변경모니터링 92 ( 그림 7-7) 네트워크모니터링 93 ( 그림 7-8) 함수에대한 Bloom Filtering 94 ( 그림 7-9) 특징도출프로세스 ( 자동 ) 95 ( 그림 7-10) 행위기반분석 96 ( 그림 7-11) API 후킹레벨 - 커널및사용자레벨 97 ( 그림 7-12) 악성코드의 API 구분 102 ( 그림 7-13) 코드기반분석 104 ( 그림 7-14) Bloom Filter의동작 107 ( 그림 7-15) Bloom Filter의동작 ( 탐색 ) 108 ( 그림 7-16) Bloom Filtering의예1 109 ( 그림 7-17) Bloom Filtering의예2 110 ( 그림 7-18) Netbot Agent(v4.7) 113 ( 그림 7-19) Netbot Agent(v5.1) 114 ( 그림 7-20) Netbot Agent(v5.5) 114 ( 그림 7-21) Notepad 115 ( 그림 7-22) NateOn 원격제어 115 ( 그림 7-23) 상호작용단계 116 ( 그림 7-24) 화이트리스트필터 118 ( 그림 7-25) 자동화분석단계 119 ( 그림 7-26) DB의구성

18 표목차 [ 표 2-1] 안철수연구소의악성코드분류방법 32 [ 표 2-2] 하우리의악성코드분류방법 33 [ 표 2-3] Kaspersky의악성코드분류방법 34 [ 표 2-4] 공급업체별악성코드명명법 36 [ 표 2-5] 공급업체별악성코드명명비교 37 [ 표 3-1] 실행압축도구 42 [ 표 3-2] 코드혼란 (Obfuscation) 기법 44 [ 표 3-3] 가상머신 (VMWare) 감지코드 47 [ 표 4-1] 루트킷이가로채는 System Function 50 [ 표 6-1] Netbot의공격기능 62 [ 표 6-2] Netbot의분석환경구성 67 [ 표 6-3] Netbot Agent 감염시의파일변경 69 [ 표 6-4] Netbot Agent 감염시의레지스트리변경 (BITS) 70 [ 표 6-5] Netbot Agent 감염시의레지스트리변경 (SVCHOST) 71 [ 표 6-6] 포트번호범위사용의패턴 75 [ 표 6-7] 레지스트리키값변경 81 [ 표 7-1] 레지스트리변경모니터링 89 [ 표 7-2] 파일변경모니터링 90 [ 표 7-3] 파일변경모니터링에이용가능한 API 함수 100 [ 표 7-4] 레지스트리변경모니터링에이용가능한 API 함수 100 [ 표 7-5] 프로세스변경모니터링에이용가능한 API 함수 101 [ 표 7-6] 네트워크모니터링에이용가능한소켓 API 함수 101 [ 표 7-7] Netbot 에이전트의 Import DLL 104 [ 표 7-8] USER32.dll의함수 105 [ 표 7-9] ADVAPI32.dll의함수 105 [ 표 7-10] AVICAP32.dll의함수

19 [ 표 7-11] WS2_32.dll의함수 106 [ 표 7-12] 넷봇의코드유사도비교 111 [ 표 7-13] 넷봇과다른프로그램의유사도비교 112 [ 표 7-14] 분석결과리포트의예

20 제 1 장서론 제 1 절연구의목적및필요성 1. 연구의목적 매일새로이발견되는악성코드의수와종류는지속적으로증가하고있는데, 그이유는금전적인이득을목적으로공격자가취약점을계속해서찾아내고, 기존의악성코드와자동제작도구를이용하여신 변종을만들어내기때문이다. 또한악성코드의감염에의한사용자피해역시급속도로증가하고있어서악성코드에대한더욱신속한대응이절실히요구되고있다. 기존의대응기술들은악성코드를수집하고분석하는과정에수동적인작업을필요로하는부분이많기때문에신속한대응을어렵게하고있다. 또한안티바이러스및안티스파이웨어등의제품공급자들마다진단을다르게하여사용자들이혼란을겪기도한다. 본연구과제에서는좀더신속하게대응할수있도록넷봇 (Netbot) 의악성행위및특징을분석하여자동화분석방법을제시하고, 웜, 바이러스, 트로이목마, 애드웨어등각각의악성코드별특징분석을확장적용하여악성코드유형에따른효과적인자동화분석방법에대한연구를목표로한다. 2. 연구의필요성 최근컴퓨터및인터넷의보급이크게확산됨에따라광범위한정보통신망구축이가능해졌으며, 각종정보공유, 전자상거래등이가능하게되었다. 그러나이와더불어정보위조및변조, 정보유출, 웜이나바이러스전파등과같이정보네트워크에서의보안침해부작용도꾸준히증가하고있다. 그중에서도분산서비스거부 (DDoS)

21 공격, 스팸발송, 해킹, 개인정보유출등으로인한사용자들의피해가급증하고있다. 이러한공격들은대부분사용자컴퓨터에감염된악성코드에의해이루어진다. 악성코드는보안이허술한일반사용자컴퓨터에침투하여공격자를노출시키지않고다른공격들을수행하는중간노드역할을한다. 최근에는이러한악성코드에감염된컴퓨터들이거대한봇넷 (Botnet - 악성코드에감염된여러컴퓨터들이연결된네트워크 ) 을형성하여더광범위한사이버범죄에악용되고있다. ( 그림 1-1) 연도별악성코드의증가 - 국내 그림 1-1은국내에서보고된연도별웜 바이러스등의악성코드수를나타낸것이다. 악성코드수와종류의지속적인증가는소프트웨어개발기술발전에도불구하고시스템의취약점을찾는기술이점차정교해지고다양해지고있으며, DDoS 공격도구인넷봇 (Netbot) 외에도각종악성코드의자동제작도구및기술의보편화로인해손쉽게신 변종악성코드를작성하는것이가능하기때문이라고할수있다. 그러나악성코드에대한대응방법은아직까지는대부분수동으로악성코드를탐지 분석하여대응하기때문에악성코드유포속도에크게뒤처지고있어악성코드에의한직접적인피해및 2차적인피해는급속도로확산되고있는실정이다

22 따라서본연구를통해서개발되는악성코드의자동화분석방법은다양한악성코드에적용되어보다효율적인분석이이루어질수있으며, 이를통해신속하게대응함으로써악성코드에따른피해확산을최소화시킬수있을것으로판단된다. 제 2 절연구내용및연구방법 1. 연구내용 본연구과제에서는악성코드유형에따른자동화분석방법을마련하기위하여다음과같은연구내용을수행한다. o 악성코드의정의및분류방법, 유형별특징분석 - 악성코드의유형별정의와분류방법조사 - 악성코드의유형별특징분석 - 기존의악성코드자동분류방법조사및분석 o 넷봇의악성행위및특징분석 - 넷봇을이용한공격및악성행위분석 - 정적분석을통한넷봇의특징파악 o 분석방해기술 ( 안티디버깅및분석우회방법 ) 조사 - 안티디버깅기술의유형및동작방식조사 - 가상머신탐지기술조사 o 루트킷및커널악성코드유형분석 - 루트킷, 커널악성코드의유형및동작방식조사 o 악성코드의자동화분석방법론도출

23 - 악성코드가사용하거나변경하는파일및레지스트리분석 - 저장매체사용의모니터링 - 악성코드의도메인접속분석 - 코드인젝션분석 - 악성코드분석프로세스에대한자동화 2. 연구방법 o 악성코드의정의및분류방법, 유형별특징분석악성코드종류에대한정확한정의의부재는새로운악성코드가발견되었을때해당악성코드의명명에혼란을야기한다. 또한악성코드탐지및치료프로그램이나서비스를제공하는각공급자들마다악성코드를분류하는기준과명명기준이다르기때문에같은악성코드에대한진단명의차이를초래하고있다. 이로인해공급자들사이의정보공유를방해하여신속한대응을방해하게된다. 급증하는악성코드의변종을분류하고불필요한분석을줄이기위하여자동화분석방법에대한연구가시급하다. 이를위한선행단계로써다음의연구내용을수행한다. - 악성코드의유형별정의와분류방법조사 : 웜, 바이러스, 트로이목마, 애드웨어등각악성코드의종류별정의와일반적인분류방법을조사한다. - 악성코드의유형별특징분석 : 각악성코드의유형별악성행위및전파방법에대한특징들을분석한다. - 기존의악성코드자동분류방법조사및분석 : 기존의악성코드자동분류에대한학술연구및기술을조사하고, 그한계점을파악하여보완방법을모색한다. o 넷봇의악성행위및특징분석넷봇 (Netbot) 은최근국내에서발생한주요 DDoS 공격에사용되었던도구이다. 또한넷봇은악성코드를전파하여취약한컴퓨터들을감염시켜서좀비로만들고수많은좀비들이네트워크로

24 연결되어공격자가 C&C(Command and Control) 서버를통해이를조종할수있는봇넷 (Botnet) 의한종류이다. 악성코드의자동분석방법을연구하기위해넷봇에대하여다음의사항들을수행한다. - 넷봇을이용한공격및악성행위분석 : 넷봇을이용한공격시나리오를작성하고, VMware와같은가상머신과실제컴퓨터등을이용하여공격을수행한다. 이때파일및레지스트리, 프로세스, 트래픽등을모니터링하여넷봇의악성행위를분석한다. - 정적분석을통한넷봇의특징파악 : 넷봇의행위분석을통하여발견할수없는특징들에대해서는 IDA Pro와같은도구를사용하여정적분석을수행한다. o 분석방해기술 ( 안티디버깅및분석회피방법 ) 조사악성코드제작자들은분석을방해하기위하여다양한방법을사용한다. 최근의공통적인방법중의하나는다형성적용을통한다양한변종의생성이다. 이는대부분윈도우즈플랫폼에서이루어지며그방법은실행압축기법, 암호화기법, 명령어치환기법이있다. 다형성방법외에도 Windows API를이용하여프로세스의디버깅여부를판단하는방법, 디버깅시점에서 CPU의특성을이용한하드웨어디버깅탐지방법, 특정디버거의버그를이용하여디버깅을강제로종료하는방법, 프로그램에아무런영향을미치지않는코드를삽입하여분석자의분석을방해하는방법등이있다. 이러한악성코드의분석을방해하도록적용된기술들에대하여다음의사항들을수행한다. - 안티디버깅기술의유형및동작방식조사 : 악성코드의분석을방해하는안티디버깅기술의유형과동작방식을조사한다. 바이너리형태의악성코드에대한정적분석을위하여 IDA Pro와같은디스어셈블러도구를이용하여악성코드를어셈블리어프로그램으로변환하고, 이를동적분석결과와종합한다. - 가상머신탐지기술조사 : 악성코드분석환경으로사용되는가상머신을악성코드가탐지해서악성행위를수행하지않도록

25 하는기술에대하여조사한다. o 루트킷및커널악성코드유형분석루트킷이나커널악성코드는스스로를숨기기위해커널패치와같은로우레벨의조작을수행한다. 루트킷은자신을숨기기위해 API 후킹등을통한프로세스및스레드은닉, 파일및레지스트리은닉, 메모리은닉등의행위를한다. 이를통해해당루트킷은작업관리자프로세스목록에서도자신을숨기며, 탐색기와같은파일관리도구에서도해당루트킷과관련된파일의목록조차찾을수없다. 이는루트킷의탐지를더욱어렵게만들며, 감염여부조차확인할수없도록한다. 그러나이러한은닉을위한행위들은루트킷으로판단하는특성이기때문에공통적인특징을발견할수있을것으로판단된다. 또한국내에서발견되는대부분의루트킷은중국이나유럽등에서발표된루트킷그자체이거나그소스코드를사용한변종이라는점에서탐지에대한가능성을다시한번확인할수있을것으로예상된다. 따라서이러한루트킷이나커널악성코드를분석하기위해다음의사항들을수행한다. - 루트킷, 커널악성코드의유형및동작방식조사 : 먼저제시한분류방법을통해루트킷이나커널악성코드를유형별로나누고, 이에따라각각의동작방식을조사한다. o 악성코드의자동화분석방법론도출악성코드의분류기준과유형별특징분석, 넷봇의악성행위와특징분석, 안티디버깅및가상머신탐지기술분석, 루트킷및커널악성코드분석등을통해각악성코드의유형별자동분석이가능한방법론을도출한다. - 악성코드분석프로세스에대한자동화 : 이전단계의악성코드특징분석연구를통한특징결과들을명세화하여자동화분류에사용될수있는 악성코드분석이가능한특징 을도출한다. 이특징을도출하는과정은각각의특징에대하여다음과같은서브프로세스를이용한다

26 악성코드가사용하거나변경하는파일및레지스트리분석 저장매체사용의모니터링 악성코드의도메인접속분석 코드인젝션분석또한서브프로세스에는악성코드를수동으로분석하여악성코드의새로운특징을도출하는프로세스가추가된다. 이과정은악성코드특징도출단계이다. 악성코드의특징을도출한후악성코드자동분석을위하여도출된특징들을조합하고자동분석방법을적용하여악성코드분석자동화의가능성을실험한다. 또한이과정에서발생되는결과값을로그로기록하여긍정오류 (False Positive) 를조사하고, 발생요인을분석하여실험에사용한자동분석방법의개선점을도출함으로써악성코드분석자동화에대한가능성을조사하며그정확도를높인다. 이단계는악성코드자동분석검증및도출단계이다

27

28 제 2 장악성코드의개요 제 1 절악성코드의정의 악성코드 (Malicious Code) 는악성코드는정보유출, 금전적이익등악의적인목적으로작성되어컴퓨터사용자의승인없이컴퓨터에침투하거나설치되어악성행위를하는프로그램이며, 말웨어 (Malware: Malicious Software) 라고도한다. 또한악성코드는웜, 바이러스, 트로이목마, 스파이웨어, 애드웨어, 루트킷등으로분류할수있으며, 해롭고불필요한소프트웨어도포함한다. 1. 웜 웜 (Worm) 은자기복제성을가지고숙주프로그램이나파일이없어도독자적으로실행되어프로그램안에서스스로자신을복제하거나프로그램과프로그램사이또는컴퓨터와컴퓨터사이를이동하여전파시키며, 기억장소에코드형태혹은실행파일로존재하는프로그램조각이다. 웜은자기자신을복제하는행위, 사용자가인지하지못한방법으로이메일을전송하는행위, 해당프로그램혹은개발사에서배포하지않은정상적인파일에새로운코드를삽입하는등의악성행위를수행한다. 최근에는같은기능을하면서도형태가각각다른다형성웜 (Polymorphic Worm) 이등장하여웜의탐지및분석을더욱어렵게하고있다. 2. 바이러스 바이러스 (Virus) 는컴퓨터시스템에몰래침투해숙주프로그램이나실행가능한파일에자기자신이나변형된자신을복제하여또다른대상을감염시킴으로써컴퓨터시스템과파일을파괴하는코드혹은

29 프로그램이다. 바이러스는컴퓨터비정상적인동작유발, 데이터삭제, 컴퓨터성능저하, 인터넷속도저하등의악성행위를수행한다. 바이러스와웜은모두자기복제가가능하다는점에서공통점을가지지만, 전파방법에대한차이점이존재한다. 바이러스는파일등에삽입되어전파되지만, 웜은파일과는독립적으로그자체만으로도네트워크를통해전파된다. 3. 트로이목마 트로이목마 (Trojan Horse) 는겉보기에는정상적인프로그램으로보이지만실행시켰을경우악성코드를실행하는악성루틴이숨어있는프로그램이다. 트로이목마는다른프로그램내에사용자가알수없도록포함되며, 스스로복제하지못한다. 공격자가고의로삽입시키기때문에프로그램의버그와는다르며스스로복제를못하기때문에웜이나바이러스와다른특징을지닌다. 트로이목마는백도어설치, DDoS 공격, 키로거를통한 ID 및패스워드수집등의악성행위를수행한다. 트로이목마와바이러스를비교해보면, 트로이목마는자기복제가불가능하고다른파일을감염시키지못하며, 사용자가실행시키도록하여스스로피해를유발한다. 그러나바이러스는정상적인부트영역및파일등을감염시키면서전파된다는점에서차이가있다. 4. 스파이웨어 스파이웨어 (Spyware: Spy Software) 는주로인터넷등에서무료로배포되는 S/W에포함된형태로, 사용자의동의없이감염된컴퓨터나네트워크내에서개인및기업에대한정보를수집하여공격자에게전송하도록제작된프로그램이다. 스파이웨어는개인정보나금융정보, 계정정보를비롯하여각종정보및데이터를수집하는등의악성행위에이용된다

30 5. 애드웨어 애드웨어 (Adware: Advertising-supported Software) 는사용자가웹서핑을할때, 혹은특정소프트웨어를실행할때설치되어팝업창등을통하여광고를노출시키는프로그램이다. 애드웨어는팝업노출, 인터넷익스플로러의시작페이지변경또는고정하는등의악성행위를수행한다. 6. 루트킷 루트킷 (Rootkit) 은공격자가설치한악성코드를탐지되지않고컴퓨터에존재할수있도록하여, 관리자계정의권한을획득하는데사용되는프로그램또는이러한소프트웨어들로이루어진도구이다. 루트킷은펌웨어및소프트웨어에침투하여해당시스템의관리자행세를하는악성행위, 원래운영체제를가상화하는악성행위, 파일내용을바꾸는악성행위등을수행한다. 7. 백도어 백도어 (Backdoor) 는시스템접근에대하여사용자인증등정상적인절차를거치지않고응용프로그램이나시스템에접근하도록도와주는도구이다. 즉, 공격자가시스템이한번침입을한후, 자신이원할때재침입하거나권한을쉽게획득하기위해만들어놓은통로이다. 8. 키로거 키로거 (Keylogger) 는키보드로부터의입력을감시하고기록하여공격자에게전송하는상주형소프트웨어또는해킹도구이다. 키로거는온라인상에서감염된컴퓨터의사용자가키보드를통해입력하는 ID, 패스워드, 주민등록번호, 계좌번호, 신용카드번호등의모든데이터를훔쳐볼수있는악성행위를수행한다

31 제 2 절악성코드의감염경로 사용자의컴퓨터는다양한경로를통해악성코드에감염된다. 대표적인악성코드의감염경로는스팸메일, 이동식저장매체, 메신저, P2P 프로그램등이있다. 1. 스팸메일 악의적인공격자가악성코드를첨부하거나링크를포함한스팸메일을발송함으로써사용자가이를클릭하여감염되도록한다. 공격자는사용자가스팸메일에포함된웹페이지링크주소를클릭하여악성코드실행하도록직 간접적으로유도한다. 최근에는스팸메일이다양한사회공학적기법을이용하여꾸준히유포되고있으며크리스마스, 오바마미국대통령, 새해인사등사회적인이슈와다양한관심유발을통해서사용자들을현혹하고있다. 2. 이동식저장매체 사용자가이미감염된컴퓨터에서 USB 등을이용한저장매체를사용할경우, 사용자몰래감염된파일이실행되도록 USB 저장매체에 autorun.inf( 자동실행스크립트 ) 가설치된다. 감염시추가악성코드를다운로드하거나, 안티바이러스어플리케이션을종료시키며, 시스템을재부팅한후에도지속적으로동작할수있도록레지스트리를변경한다. 3. 악성코드를포함한웹페이지에접속 웹페이지를통한악성코드방법은매우다양하다. 예를들어, 공격자들은 SQL Injection 취약점을이용하여데이터베이스내에악성코드를삽입한다. 이를통하여웹페이지에정적 (Static) 으로악성코드를은닉시키는것이아니라, 데이터베이스내에악성코드

32 링크를삽입하여해당데이터베이스와연동된게시판이나관련정보웹페이지에악성코드가동적 (Dynamic) 으로삽입되도록한다. 이렇게악성코드를포함한웹페이지에접속하는사용자는자신도모르게악성코드를실행시키거나다운로드하여컴퓨터가감염되고개인정보, 금융정보및계정 ID와패스워드등의정보가유출되기도한다. 4. 메신저 메신저를이용한악성코드감염은사용자부주의나메신저자체취약점을통해발생한다. 사용자부주의란자신의메신저에등록된사용자가악성코드를포함하는웹페이지의 URL이담긴메시지나악성코드를포함한파일을전송하였을때이를아무런의심없이클릭하여실행함으로써감염된다. 공격자는이를통하여주로감염된컴퓨터내에서정보를수집하거나피싱사이트접속을유도하여사용자의정보를수집하게된다. 5. P2P 프로그램 공격자는 P2P 프로그램을통해악성코드파일을일반파일로위장하여공유하고전송하며, 사용자가악성코드파일을실행시켰을경우에감염된다. 제 3 절악성코드의분류 국내외안티바이러스공급업체들이악성코드를분류하는기준에는악성코드의정의, 전파방법, 감염시키는파일의종류, 수행하는악성행위및증상, 공격대상의환경 ( 운영체제 ) 등이있으며각공급업체별분류기준에는약간의차이가존재한다

33 1. 안철수연구소 안철수연구소에서는악성코드의정의, 운영체제, 증상, 감염영역, 감염경로에따라분류한다. [ 표 2-1] 안철수연구소의악성코드분류방법 분류정의운영체제증상감염영역감염경로 요소 바이러스, 웜, 트로이목마 ( 또는백도어 ), 가짜 (Hoax), 조크 (Joke) DOS, Window, Linux, Palm, Unix, FreeBSD 하드디스크 파일 시스템 네트워크 특이증상 파일바이러스부트바이러스 부트 / 파일바이러스매크로바이러스스크립트바이러스 하드디스크포맷, 부트섹터파괴 파일생성, 삭제, 감염, 손상 시스템정보변경, FAT 파괴, CMOS 정보손상및파괴, 시스템비정상작동, 기본메모리감소, 시스템속도저하, 레지스트리변경, 프로세스종료, 윈도우종료및재부팅, 부팅불가 이메일발송, 정보유출, 네트워크속도저하, 메시지전송, 특정포트오픈, 홈페이지변경, 공유폴더내파일감염 ( 복사 ) 화면, 특정음, 메시지상자 ( 문자열 ) 출력 감염파일실행으로감염 감염되지않은주부트영역, 도스부트영역에감염 부트영역및파일동시감염 MS 오피스의기능을이용하여문서파일감염 자바스크립트및비주얼베이직스크립트로작성된웜또는바이러스 파일실행, 다운로드, 네트워크, 공유폴더, 보안취약성, 이메일

34 2. 하우리 하우리에서는악성코드의증상, 형태, 파일종류, 감염경로에따라분류한다. 형태에따른분류와파일종류에따른분류는각각안철수연구소의정의에따른분류및감염영역에따른분류와비슷하며, 이하분류방법도대부분동일하다. [ 표 2-2] 하우리의악성코드분류방법 분류 형태 요소웜, 바이러스트로이목마, 가짜 (Hoax), 조크 (Joke), 기타하드디스크하드디스크포맷, 부트섹터파괴 증상 파일시스템네트워크특이증상윈도우파일도스파일 파일생성, 삭제, 감염, 손상시스템정보변경, FAT 파괴, CMOS 정보손상및파괴, 시스템비정상작동, 기본메모리감소, 시스템속도저하, 레지스트리변경, 프로세스종료, 윈도우종료및재부팅, 부팅불가이메일발송, 정보유출, 네트워크속도저하, 메시지전송, 특정포트오픈, 홈페이지변경, 특정홈페이지접속화면, 특정음, 메시지상자 ( 문자열 ) 출력 WIN16, WIN32, WIN95, WIN2K 도스형태의파일로바이러스전파 파일종류 감염경로 부트 부트영역에바이러스감염 부트 / 파일 부트영역및파일동시감염 스크립트 VBS, CSC, JS, PHP, HTML, SWF, ABAP 매크로 ACCESS, WORD, EXCEL, OFFICE, ACAD 파일실행, 다운로드, 네트워크, 보안취약성, 이메일

35 3. Kaspersky Kaspersky 에서는전파방법으로악성코드를분류한다. [ 표 2-3] Kaspersky 의악성코드분류방법 분류웜바이러스트로이목마 전파방법 이메일, 메신저, 파일공유 (P2P), IRC 채널, LAN, WAN 등의다양한네트워킹시스템을사용하여파일형태로전파된다. ( 이메일첨부파일, IRC 메시지, 감염된웹사이트나 FTP 서버에저장된파일로의링크, 네트워크로접근가능한파일들등 ) 전파방법으로네트워크를사용하지않고감염된객체에코드를보내복제하여다른컴퓨터로전파한다. 감염시킨컴퓨터에서수행하는악성행위에따라다음과같이분류한다. 백도어 : LAN이나인터넷을경유해컴퓨터를감염시켜관리한다. 루트킷 : 시스템파일또는라이브러리를바꾸거나커널모듈을설치하는악성행위를수행한다. 4. Symantec Sysmantec은악성코드의종류에따라 Crimeware, 스파이웨어, 말웨어등으로분류한다. o Crimeware: 사이버범죄에사용되는소프트웨어로봇 (Bot), 키로거, 스파이웨어, 백도어, 트로이목마가있다고정의한다. 공격방법에따라스파이웨어, 말웨어, 취약점, 스팸, 피싱으로분류한다. o 스파이웨어 : 사용자가웹사이트, 이메일, 인스턴트메시지, 파일을다운로드함으로써공격을한다. o 말웨어 : 악성코드 ( 웜, 바이러스, 트로이목마 ) 의한카테고리이다

36 - 웜은전자우편과인스턴트메시지를통해전파된다. - 트로이목마는전자우편, 웹사이트로전파된다. - 바이러스는 P2P로부터파일을다운로드함으로써전파된다. 5. Microsoft Microsoft에서는그림 2-1에나타낸악성코드판별트리와같이자기복제능력에따라악성코드를분류하며, 스파이웨어및애드웨어는악성코드로분류하지않는다. o 웜 : 매개체없이자기복제능력을갖는다. o 바이러스 : 매개체를통해자기복제능력을갖는다. o 트로이목마 : 자기복제능력을갖지않는다. ( 그림 2-1) 악성코드판별트리

37 제 4 절악성코드의명명법 악성코드의이름은이를최초로발견한사람에게그권한이있다. 그러나명명법이통일되지않아혼란스러운상태이며, 악성코드가비슷한시기에여러장소에서발견된경우, 발견자들이각각이름을지어같은악성코드에여러개의이름이통용되기때문에동일한악성코드라도구분이힘들다는문제점이존재한다. 최근에는악성코드내부의문자열, 특징적인증상, 발견지등을주요원칙으로하면서각안티바이러스공급업체마다분류안을제정하여운영하고있다. [ 표 2-4] 공급업체별악성코드명명법 공급자안철수연구소하우리 Symantec Kaspersky 명명법플랫폼-형태 / 이름. 사이즈. 변형정도형태. 플랫폼. 이름. 사이즈. 변형정도플랫폼. 이름. 변형정도형태.( 행위.) 플랫폼. 이름. 변형정도 o 플랫폼 : 악성코드가동작하는운영체제, MS 오피스프로그램, JAVA, HTML, 비쥬얼베이직등 o 형태 : 웜, 바이러스, 트로이목마등악성코드의분류 o 이름 : 악성코드의이름은다음과같은사항에따라결정 - 최초로분석한분석가의이름 - 악성코드내부의문자열 - 악성코드의동작형태 - 발견자나제작자의이름 - 기타 o 사이즈 : 악성코드의사이즈 o 변형정도 : 동일한악성코드가발견된순서및변형정도

38 [ 표 2-5] 공급업체별악성코드명명비교 공급업체 Sample 1 Sample 2 안철수연구소 Win32/FunLove.4099 Win32/Nimda 하우리 Win32.FunLove.4099 Win32.Nimda.D Symantec W32.FunLove.4099 W32.Nimda.A@mm Kaspersky Virus.Win32.FunLove.4099 Net-Worm.Win32.Nimda

39 제 5 절악성코드가사용 / 변경하는파일, 레지스트리 시스템이악성코드에감염되었을경우, 파일생성혹은레지스트리변경등의변화가발생한다. 이러한변화를분석할수있다면악성코드를탐지하고분석하는데유용하다. 이를위해서우선레지스트리에대한정보와악성코드중에서트로이목마가사용하거나변경하는파일및레지스트리에대하여조사하여부록에첨부하였다

40 참고문헌 [1] 안철수연구소 ( [2] 하우리 ( [3] Symantec ( [4] Kaspersky ( [5] Wikipedia ( [6] 최준호외, 악성코드분류및명명법에관한연구, 정보과학회지 제 20권제11호, [7] 박병익, 이강석공저, 리버스엔지니어링 : 역분석구조와원리, 지 앤선, [8] 김성우저, 해킹 / 파괴의광학 ( 개정판 ), 와이미디어, [9] 왕성현역, 악성모바일코드 : 윈도우바이러스작동원리와퇴 치, 한빛미디어, [10] William Stallings, Lawrie Brown, Computer Security: Principles and Practice, Pearson Education,

41

42 제 3 장분석방해기술 안티디버깅 (Anti-Debugging) 이란프로그램의내부알고리즘이나데이터들을분석하지못하도록파일에 Packing을하는등의디버깅을방지하고분석을하지못하도록하는데큰목적이있다. 악성코드제작자는분석가의분석을방해하기위하여다양한방법을사용한다. 최근의공통적인방법중의하나는다형성적용을통한다양한변종의생성이다. 이는대부분윈도우즈플랫폼에서이루어지며그방법은실행압축기법, 암호화기법, 명령어치환기법이있다. 다형성방법외에도 Windows API를이용하여프로세스의디버깅여부를판단하는방법, 디버깅시점에서 CPU의특성을이용한하드웨어디버깅탐지방법, 특정디버거의버그를이용하여디버깅을강제로종료하는방법, 프로그램에아무런영향을미치지않는코드를삽입하여분석자의분석을방해하는방법등이있다. 제 1 절실행압축기법 실행압축이란데이터를하나로묶어놓는일반압축과는달리실행가능한파일을압축한것으로, 실행압축된파일은압축을푸는과정없이바로프로그램을실행할수있다. 이러한압축을사용할경우 ZIP과같은범용데이터압축보다는실행압축방식을사용하는쪽이더용량이적게사용된다. 악성코드역시이점을이용하여단시간에널리전파되도록실행압축을사용되고있으며, 시그니처기반의악성코드탐지기법을회피하고악성코드분석가들이악성코드를분석하기어렵도록하는데사용된다. 실행압축도구로는표 3-1과같이다양하다. 이는기존파일의확장자를그대로유지하면서파일의실행도전과같이이루어질수있게해준다. 실행압축프로그램 (Packer) 는프로그램의실제코드및데이터를

43 프로그램상의다른곳에압축하여저장해두고, Entry Point를실행압축해제루틴을가리키게함으로써실행압축루틴 (Unpacking) 이먼저실행되어압축저장한부분들을해제한다음시작하는방법으로동작한다. [ 표 3-1] 실행압축도구실행압축도구 ASPack(Alexey Solodovnikov Pack), UPX, ASprotect, NeoLite, Armadillo, Exeshield, Pecompect, PEncrypt, CryptFF, DBPE, telock, Stxe, PE_Patch.AvSpoof, Bat2Exe.BDTmp, Batlite, ExeStealth, JDPack, PECRC, PE_Patch.Elka, Pex, Pingvin, Mmpo, Embedded CAB, Morphine, Eagle, PE-Crypt.Negn, Bat2Exe, PCPEC, FlySFX, Exe2Dll, Teso, PE-Crypt.UC, Polyene, PE-Crypt.UC, PEBundle, CryptFF, DBPE, BitArts.Fusion, PE_Patch.Aklay, TapTrap, CryptZ, PE-Crypt.Moo, PE-Pack, RarSFX, XCR, ZipSFX, DoomPack, NDrop, PECrc32, DebugScript, PE_Patch.Ardurik, PE-Crypt.Wonk, PE_Patch.Upolyx, MEW, PE_Patch.ZiPack, ZiPack, CryptFF.b, MEW, Yoda Crypter 등 제 2 절디버거탐지기법 IsDebuggerPresent() 는 Kernel32.dll에서 Export되는함수로, 해당프로세스가디버깅이진행중인지여부를 PEB 구조체의디버깅상태값을확인하고디버깅이진행중이라면 1을, 그렇지않으면 0을리턴한다. 그러나이함수로는커널레벨디버거는탐지하지못하며유저모드디버거만탐지할수있다. CheckRemoteDebuggerPresent() 는디버거가프로세스를 Attach하는것을알수있다. 이함수는 2개의파라미터를받아들이는데, 첫번째파라미터는프로세스핸들이며, 두번째파라미터는 Bool 변수의포인터이다. 만약프로세스가디버그중일경우이변수가 TRUE 값을

44 갖게된다. 이 API에서 NtQueryInformationProcess() 을내부적으로불러낼때 ProcessInformationClass의파라미터는 ProcessDebugPort(7) 이된다. NtQueryInformationProcess() 는커널구조체인 EPROCESS의 Debug Port의 Flag를체크한다. 이함수는 5개의파라미터를가지는데, 디버거를탐지하기위하여 ProcessInformationClass는 ProcessDebug Port(7) 을설정한다. 즉, 유저모드의디버거가프로세스를디버깅중일때는 DebugPort 필드에 0이아닌값이나타난다. 이경우에 ProcessInformation의값은 0xFFFFFFFF이되고, 그렇지않은경우에는 0이된다. OllyDbg: Guard Pages 검사는올리디버거를체크하는기술이다. 이는올리디버거가메모리에 on-access/write를하여브레이크포인트를설정할수있다는특성을이용한다. 이러한종류의브레이크는 Guard Page를통해수행된다. 즉, Guard Page는응용프로그램의어느한메모리부분에접근할때이러한경로를얻을수있도록해준다. Guard Page는 PAGE_GUARD의 Page Protection Modifier를통해설정된다. 접근한메모리주소가 Guard Page의주소이면 STATUS_GUARD_PAGE_VIOLATION(0x ) 예외를일으킨다. 그러나올리디버거로디버깅하여 Guard Page에접근하게되면예외는발생하지않게된다. 이러한접근은메모리브레이크로처리하게된다. 제 3 절코드혼란 (Obfuscation) 기법 코드혼란 (Obfuscation) 기법은소스코드를분석하려는분석가에게혼란을주도록소스코드를변화시키는과정을말한다. 이는완전히분석이불가능하게하는것이아니라, 코드를분석하는데드는 Cost를증가시킴으로써분석을어렵게하는것이다. Obfuscation 방법은그대상으로하는정보들에따라표 3-2와같이

45 분류할수있다. [ 표 3-2] 코드혼란 (Obfuscation) 기법 구분 Layout Obfuscation 설명 소스코드의포맷이나, 변수이름, comments와같은응용의 layout을대상으로하는방법 프로그램이사용하는데이터구조를대상으로하는방법 Data Obfuscation Control Obfuscation Preventive Transformation 메모리에데이터가저장되는방법을변경 Storage 예 ) 지역변수를전역변수로변경저장된데이터가해석되는방법을변경 Encoding 예 ) 변수 i를 c1*i + c2로변경데이터의그룹을변경 Aggregation 예 ) 하나의배열을여러개의하위배열들로분할데이터의순서를변경 Ordering 예 ) 배열을 reordering 하는것, i번째값이특정한함수 f에의해서 f(i) 번째로변경프로그램의제어순서를대상으로하는방법문장들의그룹을변경하는방법 Aggregation 예 ) Inlining의경우함수콜을함수코드자체로변경문장들의실행순서를변경 Ordering 예 ) 루프의진행순서를반대로변경프로그램의제어흐름을변경 Computation 예 ) 실행되지않는코드를추가하거나불필요한코드를추가 deobfuscator들이코드자체를 break하기어렵게함 Targeted 자동 deobfuscation 기술적용을어렵게함 Inherent deobfuscator들의약점을이용

46 제 4 절가상머신탐지기법 VMware, VirtualPC, Xen, BOCHS, User-Mode Linux와같은가상머신환경 (Virtual Machine Environment: VME) 은사용자또는관리자가하나이상의 Guest OS를호스트 OS 상에설치하는것으로, 그림 3-1과같이에뮬레이션환경하에실행되며가상머신환경으로부터 Virtual과 Real 하드웨어모두중재하여접속할수있도록제공된다. ( 그림 3-1) 가상머신환경 악성코드를분석하기위해보안관계자및분석가들은가상머신환경을이용한다. 그리고악성코드제작자들은분석가들의가상머신사용을파악하고분석을방해하기위해가상머신탐지기술을적용한다. 만약악성코드가실행된환경이가상머신환경이라면분석가에의해악성코드분석을위한실행으로판단하여활동을중지하고, 더나아가서는악성코드자신을파괴시킨다. 현재사용되고있는가상머신환경을탐지방법은 4가지가존재하며, 가장많이사용되는 VMWare를예로하여기술한다

47 1. 프로세스, 파일시스템, 레지스트리요소 가상머신환경은쉽게발견될수있는프로세스, 서비스, 파일, 디렉토리, 레지스트리등을포함한다. VMWare의경우파일시스템에서 VMWare와관련된 300여개의레지스트리가참조된다. 또한실제로가상머신환경에설치된 Windows가작업관리자에서 VMwareUser.exe 및 VMwareService.exe와같은프로세스를확인할수있다. 악성코드제작자는이러한범위에서선택적으로가상머신을탐지하는코드를삽입할수있다. 2. 메모리요소 가상머신탐지를위한두번째방법은메모리에서의예외를사용하는것이다. Guest 시스템의메모리맵은호스트시스템의메모리맵과는차이를지닌다. 또다른차이는 Interrupt Descriptor Table(IDT) 의위치이다. 호스트시스템에서는 IDT가일반적으로메모리의낮은레벨에위치하지만 Guest 시스템에서는메모리의높은레벨에위치한다. 프로세서는 IDT를가리키는레지스터포인터 (IDTR) 를가지므로위치가같을수없기때문에이기술은서로다른가상머신환경상에서도유용하다. 3. 가상하드웨어 가상머신탐지를위한두번째방법은 NIC(Network Interface Card) 나, USB 컨트롤러, 오디오어댑터, SCSI와같이가상화된특정하드웨어가포함되어있는지살펴보는것이다. ( 그림 3-2) 가상화하드웨어

48 4. 특정프로세서 Instruction 과 Capabilities 마지막방법은프로세서가 VM의행동적특징을가지고있는지분석하는것이다. 특정가상머신환경에서 non-standard x86 Instruction은 Guest와호스트간의통신을발생시킨다. 이와같은프로세서의예외처리를이용하여가상머신환경을탐지한다. 표 3-3은악성코드가실행된환경이가상머신 (VMWare) 인지를감지하는코드이다. bool IsVMWare() { bool rc = true; try { asm { push edx push ecx push ebx [ 표 3-3] 가상머신 (VMWare) 감지코드 mov eax, 'VMXh' mov ebx, 0 mov ecx, 10 mov edx, 'VX' // any value but not MAGIC VALUE // port number in eax, dx // read port. on return EAX returns the VERSION cmp ebx, 'VMXh' // is it a reply from VMWare setz [rc] // set return value pop ebx pop ecx pop edx } } except(exception_execute_handler) { rc = false; } } return rc;

49 참고문헌 [1] 박병익, 이강석공저, " 리버스엔지니어링 : 역분석구조와원리 ", 지앤선, [2] 김성우저, 해킹 / 파괴의광학 ( 개정판 ), 와이미디어, [3] 마이크로소프트웨어 2009년 4월호, 마소인터렉티브, [4] Mark Vincent Yason, "Mark Vincent Yason", paper/bh-usa-07-yason-wp.pdf [5]

50 제 4 장커널기반루트킷 제 1 절개요 1. 루트킷의정의 루트킷은컴퓨터시스템상에서자신의존재를은닉하고, 공격자가컴퓨터의관리자계정인루트 (Root) 계정의권한을획득하는데유용하게사용되는백도어 / 트로이목마등의작은프로그램들로이루어진킷 (Kit) 이다. 대체적으로루트킷자체는악성기능이없지만다른유형의악성프로그램이시스템내에서자신들의활동을숨기는데루트킷을이용한다. 2. 루트킷의기능 최근의 Windows 루트킷은단순히루트의권한을획득하기위한것이아니라시스템이미지변경과악성코드에대한보호로이어지고있다. 즉, 이러한루트킷은대부분악성코드에대한프로세스은닉이라고할수있으며, 다음과같은특징들을가진다. o 루트킷을이용하는악성코드의증가 owindows 커널 SSDT(System Service Descriptor Table) 를후킹하여악성코드의프로세스및파일보호 o 루트킷소스공개에따른변종증가 o 스파이웨어에서의루트킷사용

51 제 2 절특징 해킹공격기술이일반화되고발전함에따라이에대응하는보안기술의수준도높아져사용자모드에서실행되는일반적인백도어 / 트로이목마프로그램은관리자들이쉽게탐지할수있게되었다. 따라서공격자는자신의흔적을보다완벽히감추기위해서커널기반의루트킷을사용하게되었고, 현재는이러한커널기반루트킷이공격자들에게일반적인도구로사용되고있다. 가장최근에개발되어발표된공격기법의하나로는현재실행되고있는커널에공격자가만든커널모듈을삽입함으로써시스템함수의정상적인실행을바꾸는방법을사용하며, 또한드라이버로써구현되기도한다. 커널모드의루트킷은크게은닉과원격제어, 소프트웨어모니터링등의기능을가지며, 다음과같이분류할수있다. o 프로세스및쓰레드은닉 o 폴더, 파일, 레지스트리은닉 o 메모리은닉을통해디버거 / 루트킷 Detector로부터데이터은닉 o 프로세스의보안설정변경및제거 otdi 및 TCP/IP 드라이버후킹을통해소켓 / 패킷데이터스니핑 o 키로깅을통한키입력데이터스니핑 상기나열된은닉행위를위해서는표 4-1과같은 System Function (Native API) 들을가로챈다. [ 표 4-1] 루트킷이가로채는 System Function System Function (Native API) NtCreateThread, NtDelayExecution, NtDuplicateObject, NtOpenThread, NtProtectVirtualMemory, NtQuerySystemInformation, NtResumeThread, NtReadVirtualMemory, NtTerminateProcess, NtTerminateThread, NtWriteVirtualMemory

52 제 3 절동작방식 커널기반루트킷은대부분커널레벨에서의후킹을통해자신을은닉하고, 다른악성코드도은닉한다. 그중에서도 SSDT(System Service Dispatch Table) 후킹은최근악성코드에서사용되는루트킷의 80~90% 가사용하는기법이다. 1. SSDT(System Service Descriptor Table) Windows는수많은테이블들의집합이라고할수있다. Windows는인터럽트가발생했을때어떠한시스템서비스가호출되어야하는지에대한판단을위해서테이블을참조한다. 즉, CPU는해당시스템서비스들이위치한메모리상의주소를알아야하지만모든주소를내부적으로저장할수없기때문에테이블이라는자료구조를사용하고, Windows는이를이용하는것이다. CPU가참조하는이러한테이블에는 GDT(Global Descriptor Table), LDT(Local Descriptor Table), IDT(Interrupt Descriptor Table) 이존재하며, 이를통칭하여 SSDT(System Service Descriptor Table) 라부른다. 또한 Windows가자신만의테이블을만들어참조하는방법이사용되는데, SSDT(System Service Dispatch Table) 테이블은 Windows에서구현된테이블중의하나이다. 이테이블은시스템에서이용가능한모든시스템서비스들의주소를가지고있으며, 인터럽트발생시 Windows는이테이블을참고하여결과값을반환한다. 따라서 SSDT 테이블을조작하거나변경하여시스템의서비스를다룰수있기때문에커널루트킷뿐만아니라안티바이러스에서도사용된다. 커널기반루트킷의경우폴더, 파일, 프로세스은닉등을위해사용된다

53 2. SSDT Hooking SSDT 후킹은그림 4-1과같이인터럽트발생에대하여시스템서비스를제공하기전에 Rootkit이삽입되는것이다. ( 그림 4-1) SSDT Hooking 개념도 ( 그림 4-2) SSDT Hooking

54 System Service Dispatcher, 즉 KiSystemService() 는 SSDT(System Service Dispatch Table) 을참고하여적절한 System Service를실행하게된다. KiSystemService() 에서하는가장중요한작업은 SSDT의주소값을얻어오고어플리케이션에서호출한 API에맞는 Native API의주소를찾아내서호출하는것이다. KiSystemService() 함수에서는먼저 SSDT를찾기위해 KeServiceDescriptorTable에접근하며, 구성요소는 4가지로이루어져있다. 첫번째요소는 SSDT(KiServiceTable) 의주소를담고있고, 세번째요소인 NumberOfService는서비스의개수이다. 그리고해당서비스는 Native API를지칭하기때문에결국세번째요소는 Native API의총개수가된다. 네번째요소는 KiArgumentTable의주소값을담고있다. KiArgumentTable은 SSPT(System Service Parameter Table) 라고도불리는데, 이들각각은 SSDT의 Native API와 1:1로대응한다. 이것들은대응되는 Native API 함수의파라미터총크기를바이트단위로써나타낸다. Native API를찾기위해서는 Ntdll.dll에서 EAX 레지스터에인덱스의형태로값을저장한다. 그리고이것과 SSDT 주소값을이용하여 Native API 함수의엔트리주소값을얻어오게된다. SSDT 주소 (KiServiceTable)+[EAX인덱스*4] 를한다면간단하게 Native API 함수주소를얻어올수있는데, 이것은실제로 KiSystemService() 가하는코드와같다. 이어서 Native API 함수로진입하게된다. 예를들어만약어플리케이션에서 CreateFile() 함수로파일을생성하면, 시스템게이트를거쳐커널의 NtCreateFile() 함수로진입한다. NtCreateFile() 함수에서는커널의구성요소인 I/O Manager를통해디스크드라이버를거치면서일련의작업을진행한다

55 참고문헌 [1] 그렉호글런드, 제임스버틀러저, 윤근용역, 루트킷 - 윈도우커널조작의미학, 에이콘, [2] 고흥환저, 루트킷을이용하는악성코드, 국가사이버안전센터 - 원간사이버시큐리티, November, [3] 김용준역, API로배우는 Windows 구조와원리, 한빛미디어, [4] Chris Ries, Inside Windows Rootkits, [4]

56 제 5 장기존의악성코드자동분류 분석방법 악성코드의자동분석방법은두가지경우로나눌수있다. 첫번째방법은정적인코드분석이고, 두번째방법은동적인행위분석이다. 정적코드분석은디버거 (Debugger) 와디스어셈블러 (Disassembler) 를이용하여실제프로그램의코드나바이너리를다른바이너리코드와비교하여결론을도출하는방법으로, 악성코드의동작흐름에대하여가장정확한분석이가능하나비교하는알고리즘이나비교기준등에서수치적인부분이없으므로그방법이어렵다. 그러나동적분석에비해악성코드를더자세히분석할수있다. 동적행위분석은악성코드가실행하는내용을분석하는방법으로, 악성코드가파일이나레지스트리생성및수정등의행위를관찰하여분석이가능하다. 이장에서는논문을통해제안된기존의악성코드자동분류및분석방법에대한내용을기술한다. 제 1 절정적코드분석 1. Digital Genome Mapping - Advanced Binary Malware Analysis Digital Genome Mapping 방법은 2004년 F-secure사안티바이러스연구팀에서제안되었다. 이는그래프의유사도를이용하여바이너리코드의유사성을도출하는방법으로, 악성코드변종간의유사성및차이점을찾아내는것이다. 바이너리의차이를알아내기위하여두바이너리에서공통된이름을가진함수를찾아내는데, 이러한함수로는라이브러리나운영체제에서사용되는함수들이해당된다. 공통된이름의함수를기점으로인접행렬을도출하고, 각각의함수는공통된부분과공통되지않는부분으로나누게된다. 이를

57 위해서는 Call-tree signature라는방식을사용하며, 함수마다그특징을나타내는시그니처를생성한다. 또한시그니처생성방법은프로그램을구성하는일종의블록인 Atomic function을이용하는데, N개의 Atomic function들가운데함수에서사용하는 Atomic function의 index 번호를 1로셋 (Set) 하고그렇지않은경우는 0으로리셋 ( ㄲeset) 하여생성한다. 따라서일련의과정을통해두바이너리의공통된함수목록을얻을수있으며, 이함수의유사도를판별하기위해서는다음과같은수식을사용한다. 즉, A와 B 각함수개수의곱을 A와 B 합집합의제곱으로나누며, 산출된값의범위는 이다. 산출된값이 0에가까우면유사도가낮은것을의미하며, 1에가까우면유사도가높은것이다. 결국제안된방법에서의유사도는악성코드자체의유사도가아니라함수사용의유사도를기반으로분석하여악성코드의변종이라는사실을빠르게판단하는방법이라고할수있다. 2. An Automated Virus Classification System 이논문에서기술된방법은 2005년 Microsoft사의보안비즈니스및기술부문 (Security Business and Technology Unit) 에서제안되었으며그림 5-1과같다. 이는악성코드가 Static인경우와 Parasitic인경우에대하여분석하는방법이다르다. Static의경우는악성코드가하나의프로그램인경우를말하며, 악성코드의내용을따로추출해낼필요가없기때문에그자체로분석한다. Parasitic은악성코드가정상적인프로그램에삽입된형태이며, 일반적으로는바이러스에서볼수있다. 따라서 Parasitic의경우전체의코드중에서악성코드만따로추출해야하기때문에 Emulation 및 Tracing 과정이필요하다. 이러한단계를통해악성코드의흐름을도식화한 Control Flow Graph (CFG) 를도출하고, 정확도를높이기위해서는 Basic Block(BB) 으로구분하고새로운실행코드와비교된다

58 ( 그림 5-1) 제안한방법의순서도 Basic Block 간의거리를구하는알고리즘으로는 Edit distance, Inverted Index, Bloom filters의총 3가지방법을제시하였다. Edit Distance는일반적으로 Unix 시스템에서사용되는 Diff와유사하며, 코드가삽입, 삭제, 교환되었는지를판단한다. 그러나각코드의크기가 m과 n 때그속도가 O(mn) 과같다는단점이있다. Inverted Index는 Edit Distance의속도를개선하기위한방법이며, 검색엔진에서사용되는것처럼각각의문자에대한배열의인덱스를두어검색결과를빠르게한다. 그러나미리인덱스를만들어야하기때문에저장용량을많이요구하게된다. Bloom Filter는몇개의 Hash Function을이용하여코드의특징을나타낸다. 도출된특징 (Hash Function의값 ) 은 Bloom Filter의비트 (Bit) 중하나를 Set하고, 이렇게생성된 Bloom Filter는일정한크기로 Basic Block을나타내게된다. 결과적으로는작은양의정보로축소되기때문에그만큼손실이발생하며, False Positive가발생한다

59 제 2 절동적행위분석 1. Automated Classification and Analysis of Internet Malware 이논문에서기술된방법은미시간대학교의 Michael Bailey에의하여 2007년에제안되었다. 제안한프레임워크는결과적으로악성코드의변종을입력값으로주었을때이와가장유사한악성코드의분류를제시하는것이다. 이를위해서는 Consistency( 일관성 ), Completeness ( 완전성 ), Conciseness( 간결성 ) 과같은총 3개의자동분류속성을제안하였다. 제안한방법은기존의시스템콜수준에서의행위도출이아니라시스템에서발생한변화를특징으로사용한다. 즉, 하위레벨의시스템콜보다좀더상위레벨인프로세스의개수, 파일및레지스트리사용, 그리고네트워크의행위를탐지하여코드의특징으로나타내는것이다. 다음으로는 Learning 단계를통해특징간의거리를계산해야하며, 정보내용의근사값을제공하는방법인 Normalized Compression Distance(NCD) 를사용한다. 이렇게계산된거리는 Threshold를이용하여클러스터링되고, 악성코드간의관계를구성하여악성코드분류에사용된다. 2. Learning and Classification of Malware Behavior 이논문에서기술된방법은독일프라운호퍼연구소의 Konrad Rieck에의하여 2008년에제안되었다. 제안한방법은총 5단계로이루어져있으며각단계는그림 5-2와같다. ( 그림 5-2) 제안한방법의 5 단계

60 o Data acquisition: 데이터를수집하는단계이다. 이는 Honeypot이나 spam-trap과같은방식을통하여악성코드를수집할수있다. o Behavior Monitoring: 악성코드의행위를수집하게되며, 파일및레지스트리의변경, 실행프로세스감염여부, 뮤텍스생성및요구, 네트워크사용정보, 윈도우서비스실행및중지에대한항목들을수집한다. o Feature Extraction: 위의단계에서생성된파일의경우그형태가문자열등의로그파일이다. 따라서이것은계산하기쉬운형태로변환하는과정이다. 도출된결과를벡터로변환하는과정이포함된다. o Learning and Classification: 벡터로만들어진악성코드의특징을클러스터링하는단계이다. 이단계에서는벡터의내적으로두벡터간의거리를계산한다. 또한이렇게생성된모델로새로운악성코드의종류 (Family) 를판단한다. oexplanation: 이단계에서는위에서도출된결과에대한이유를설명한다. 제안한방법은각악성코드에대한공통점을추출하여그중연관이가장높은것들을추론해내는것이다

61 참고문헌 [1] E. Carrera et al, Digital Genome Mapping: Advanced Binary Malware Analysis, Proceedings of 15th Virus Bulletin International Conference (VB 2004), pp , [2] Marius Gheorghescu, An Automated Virus Classification System, Proceedings of 16th Virus Bulletin International Conference (VB 2005), pp , [3] Michael Bailey et al, Automated Classification and Analysis of Internet Malware, Proceedings of the 10th International Symposium on Recent Advances in Intrusion Detection (RAID'07), LNCS 4637, pp , [4] Konrad Rieck et al, Learning and Classification of Malware Behavior, Proceedings of the Conference on Detection of Intrusions and Malware, and Vulnerability Assessment(DIMVA 2008), LNCS 5137, pp ,

62 제 6 장 Netbot 의특징분석 이장에서는악성코드의유형에따른자동화분석방법을도출하기위한선행단계로 Netbot의특징을분석하고, 분석결과는다른여러가지악성코드에대한자동화분석방법에도확장적용시키고자하였다. 제 1 절개요 DDoS 공격도구인 Netbot은기존의웜이나바이러스처럼컴퓨터를감염시킬뿐만아니라계속해서명령을주고받으며시스템까지제어할수있는악성프로그램이다. Netbot은주요기능으로 DDoS공격과원격제어와같은백도어기능도제공한다. 감염시온라인게임의계정유출, 특정서버나웹사이트공격, 스팸메일발송등의악성행위에악용되고있으며, 컴퓨터가느려지는증상도나타난다. 2007년부터국내아이템거래사이트뿐만아니라포털사이트가 Netbot을이용한 DDoS 공격을받아접속이불가능하거나지연되는등의장애가발생하였다. 최근에는공격자가전문적인지식을가지고있지않더라도 Netbot과같이자동화된 DDoS 공격도구를사용하고있으며, 이를악용하여금품을요구하는협박을하는등사이버범죄가증가하고있다

63 제 2 절 Netbot 의공격기능 Netbot에는총 18가지공격유형이있으며, 표 6-1과같이 Common Attack, WEB Attack, Special Attack, Combine Attack, Attack For Korean으로구분된다. [ 표 6-1] Netbot 의공격기능 공격모드 Common Attack Web Attack Special Attack Combine Attack Attack for Korean 공격유형 SYN Flood, ICMP Flood, UDP Flood, UDP Small Size, TCP Flood, TCP Multi-Connect NoCache Get Flood, CC Attack, HTTP GET Nothing CQ Game Attack, Route Attack, Smart Auto Attack SYN+UDP Flood, ICMP+TCP Flood, UDP+TCP Flood Fin_Wait1 Attack, Fin_Wait2 Attack, Established Attack 1. SYN Flood SYN Flood 공격은 TCP/IP의취약성을이용한 DoS 공격방식의하나로, 네트워크와시스템의자원을공격대상으로한다. SYN Flood 공격은 TCP의연결과정인 3-Way Handshake를악용한것이다. 공격자는 Source IP 주소를스푸핑 (Spoofing) 하고대량의 SYN 패킷을공격대상의특정포트로전송함으로써해당포트의대기큐 (Backlog Queue) 를가득채워해당포트에대한연결요청을큐가빌때까지거부하도록하는방법이다. 또한 Source IP 주소에들어갈임의의호스트는접근이불가능한 (Unreachable) 호스트이다

64 2. ICMP Flood ICMP Flood 공격은 Ping Flood로도알려져있으며, 대량의 ICMP 패킷 (PING 리퀘스트패킷 ) 을공격대상에게전송하고, TCP/IP 리퀘스트에대한응답을할수없게한다. 이는 ICMP가유일하게활성화된서비스나포트가필요하지않은프로토콜이라는특징을이용한것이다. ICMP Flood 공격의변종으로 Smurf 공격이있다. 이는공격자가 Source IP 주소를공격대상의 IP 주소로스푸핑한후브로드캐스트주소로 ICMP Echo Request 패킷을전송하면그하위모든시스템들이 ICMP Echo Reply 패킷을공격대상으로전송하여대량의패킷들이집중됨으로써네트워크부하를높이게된다. 3. UDP Flood UDP Flood 공격은공격자가공격대상에임의의포트로대량의 UDP 패킷을전송함으로써이루어지는공격이다. UDP Flood 공격은 UDP의특징인비연결성및비신뢰성때문에공격이용이하다. UDP는 Source IP 주소와포트번호를스푸핑하기쉬운취약점을가지고있으며, 이취약점을이용해과다한트래픽을공격대상에전송함으로써스푸핑된공격대상사이의네트워크를마비시킨다. 만약공격자가 Source IP 주소를공격대상 A의 IP 주소로스푸핑하여공격대상 B에게대량의 UDP 패킷을전송할경우, A와 B는계속해서서로패킷을주고받게되어두시스템사이의네트워크에과부하가초래된다. 4. UDP Small Size UDP Small Size 공격은 UDP Flood 공격보다전송하는 UDP 패킷의사이즈가작은것을말한다. UDP Flood 공격에서의 UDP 사이즈가 4008 byte인것에비해 UDP Small Size 공격에서는 512 byte의 UDP

65 패킷을대량으로전송한다. 5. TCP Flood TCP Flood 공격은서버가정상적인서비스를할수없도록지연또는불능상태로만들기위해사용된다. 이는클라이언트가서버에설정하는 TCP 헤더의 Flags에따라 TCP SYN Flooding, TCP NULL Flooding, TCP FIN Flooding, TCP ACK Flooding, TCP PUSH Flooding, TCP RESET Flooding, TCP URG Flooding, TCP XMAS Flooding으로구분된다. 클라이언트가서버에 Flag를설정하여대량의패킷을보내면, 서버는이를처리하기위해서대부분의자원을소모하게되고, 정상적인서비스를하지못하는현상이발생한다. 6. TCP Multi-Connect TCP Multi-Connect 공격은대량의 TCP 연결을시도하는공격이다. IP를변조하지않고, 다량의 SYN 패킷을공격대상서버로전송한다. 공격을받은서버는다수의 ESTABLISHED 세션상태가발생하게되고, 서버의 CPU 및연결자원이고갈된다. 7. 웹부하공격 Netbot에포함된공격모드중 Web Attack은서버에대하여대량의요청을전송하는웹부하공격이다. 서버는웹부하공격을받을경우, 메모리와 CPU의점유율이 90% 이상이되어웹페이지에접속이불가능하거나지연되는등의장애가발생한다. Netbot의 Web Attack 모드에서는 NoCache Get Flood, CC Attack, HTTP GET Nothing의기능이있으며, NoCache Get Flood 및 HTTP GET Nothing은 HTTP Get Flood 공격의일종으로판단된다

66 가. CC Attack CC(Cache-Control) Attack은 HTTP User-agent 헤더에 Cache-Control 값을비정상적으로조작하여공격대상의 URL을직접호출하는방법을이용한다. Cache-Control은웹페이지의캐싱을위해정의되는값으로, 서버가클라이언트에게웹페이지를제공할때캐싱을요청하기위해사용되며클라이언트가서버에게페이지를요청할때에는일반적으로사용되지않는값이다. 그러나 RFC 문서에서는클라이언트와서버측모두사용되어있도록정의되어있다. 클라이언트가서버에게페이지를요청할때캐싱을요청하지않으면, 해당서버는비정상적으로동작하여서비스불능상태에빠질수있다. 사용자가일반적으로웹서버에접속해이미지혹은 HTML을호출할때변경된사항이존재하지않으면 304 NOT MODIFY 코드를 Response로전송하여로컬컴퓨터의 Temp 폴더를살펴보게한다. 이는접속시마다이미지를표시할때서버의부하를줄이기위한것이다. CC Attack은이와같은원리를이용한것으로, Temp 폴더가 Empty 상태인것처럼가장하여웹서버에이미지및 HTML을요청하게한다. 일반적인 DoS/DDoS 공격이같은페이지를여러사용자가동시에접속해서버에부하를주는것이라면, CC Attack은페이지요청시서버를이용하므로서버에더욱더부하를주는방법이라고할수있다. 나. HTTP GET Flood HTTP GET Flood 공격은특정페이지에대한요청이 TCP 3-Way Handshake 후정상적인과정을통해 HTTP GET을반복적이고대량으로요청하여서버에부하를유발시킴으로써서비스장애를발생시키는공격이다. HTTP GET Flood 공격은단일 TCP 연결에서의반복적 HTTP GET 요청과, 다중 TCP 연결을통한 HTTP GET 요청의 2가지유형으로분류할수있다. NoCache Get Flood 공격의경우 cache-control를 no-cache로

67 설정해서 Get / 이라는 HTTP 명령을연속적으로전송한다. HTTP GET Nothing 공격의경우는요청에대한명확한대상을지정하지않고 HTTP GET 명령어를연속적으로전송하는것으로판단된다. 제 3 절 Netbot 의행위분석환경구성 이절에서는 Netbot을분석하기위한환경구성에대하여기술한다. 다양한공격을위해공격자가사용하는도구는 Netbot Attacker이며, Netbot Attacker에서사용자들의컴퓨터를감염시키기위한 Agent를생성하여이메일이나게시판등을통해유포시킨다. Netbot의 Agent에감염된수많은사용자의컴퓨터들은공격자가원격제어를할수있으며, 주로 DDoS 공격에이용된다. 따라서 Netbot을분석하기위한환경을구축하고, Netbot의공격경로및특징등을분석한다. ( 그림 6-1) Netbot 의동작개념도

68 그림 6-1은 Netbot의동작개념도이다. 이에따라표 6-2와같이분석환경을구성한다. [ 표 6-2] Netbot의분석환경구성 Roll Machine Tools 공격자 Computer-1 Netbot Attacker 5.1 좀비 Netbot Agent, Computer-2 Wireshark, Process Monitor, (VMware) TCPview 중계사이트 웹서버 - 공격대상 Computer-3 Wireshark o 공격자 : 공격자역할을하는컴퓨터 (Computer-1) 에서 Netbot Attacker를통해 Agent를생성한다. o 좀비 : Netbot Attacker를통해생성한 Agent를감염시킨다. 분석도구로설치한 Process Monitor를통해파일및레지스트리변경을기록하고, TCPview를통해연결된프로토콜과 IP 주소및포트번호를확인하며, Wireshark를통해들어오고나가는트래픽을저장한다. o 중계사이트 : 좀비가 C&C에접속하기위한공격자컴퓨터의 IP 주소를포함한 txt 파일을저장한다. o 공격대상 : 공격자가좀비를이용하여공격을하는대상이며, Wireshark를통해트래픽을저장한다

69 제 4 절 Netbot 의특징 Netbot Attacker를통해 Agent를생성할때 2가지의옵션을선택할수있다. 첫번째는정상서비스인 BITS(Background Intelligent Transfer Service) 를변경하는것이고, 두번째는 svchost.exe 를새로생성하고서비스에등록하는것이다. 이는좀비컴퓨터가감염되었을때레지스트리의변경과서비스등록에영향을주게된다. 이렇게생성된 Netbot의 Agent 실행파일 ( 예 : agent.exe) 을실행시킬경우, 시스템시작시실행될수있는프로세스들을등록하여원치않는동작이자동으로수행될수있고, 파일을수정하거나파괴할수있다. 또한실행되는동안프로세스가생성될수있으며, 레지스트리키생성및레지스트리값이수정될수있다. 이절에서는 Netbot의 Agent 파일인 agent.exe를좀비컴퓨터에서실행시켰을때파일과레지스트리의의생성및변경과정을나타낸다. 1. BITS 옵션선택 선택하는옵션에서의 BITS는소프트웨어업데이트를조금씩다운로드할수있도록하는기술인 Background Intelligent Transfer Service의약자이며 Windows에서서비스로서동작한다. Netbot의 Agent 파일생성시이옵션을선택함으로써서비스를변조하여은닉에사용할수있다. 가. 파일변경 Netbot Attacker에서 BITS 옵션을선택하여생성된 Agent 실행파일이일반사용자의컴퓨터에서실행되고감염이되면, _res. tmp와같은임시파일이생성되고이때앞의 7자리숫자는랜덤하게생성된다. 이임시파일은 NetNtEx.dll로파일이름이변경되어 Windows의 system32 폴더로이동된다. NetNtEx.dll 파일은 Netbot Agent의실체이며, services.exe에 dll 형태로인젝션되어서비스형태로

70 등록되어서동작하게된다. 또한 Netbot의 Agent는 beep.sys 파일을수정하는데, 이는 SSDT 테이블을수정함으로써분석도구를이용한모니터링을방해하는루트킷이다. NetNtEx.dll 및 beep.sys 파일의생성과수정이완료되면 Netbot Agent의최초실행파일은삭제되고, SysEvent.Evt 파일을수정하여이러한파일변경에대한이벤트로그를삭제한다. 표 6-3은이러한과정을나타낸것이다. [ 표 6-3] Netbot Agent 감염시의파일변경순서내용 1 agent.exe 실행 C:\Documents and Settings\User\Local Settings\Temp 폴더내에 _res.tmp 파일을생성 ( 이때 7자리숫자는랜덤 ) _res.tmp가 NetNtEx.dll로변경 4 C:\WINDOWS\system32 폴더로 NetNtEx.dll 파일이동 C:\WINDOWS\system32\drivers 폴더의 beep.sys를수정 5 ( 루트킷설치 ) 6 agent.exe 삭제 7 C:\WINDOWS\system32\config\SysEvent.Evt 수정 나. 레지스트리변경앞서설명하였듯이 Netbot Attacker를통해 Agent를생성할때어떠한옵션을선택하였는가에따라감염된컴퓨터에서레지스트리의변경과서비스등록에영향을주게된다. 표 6-4는 BITS 옵션을선택하여생성한 Agent를실행시켰을때변경되는레지스트리를나타낸것이다. agent.exe에의해수정되는 HKLM\SYSTEM\CurrentCo ntrolset\services\bits\parameters의 ServiceDll 레지스트리키는인젝션된 NetNtEx.dll 파일의위치를기록한다. services.exe에의해생성및수정되는레지스트리키들은 Netbot의기능들을동적서비스로써컨트롤하기위한것으로판단된다

71 [ 표 6-4] Netbot Agent 감염시의레지스트리변경 (BITS) 순서 내용 agent.exe에의한레지스트리키수정 HKLM\SYSTEM\CurrentControlSet\Services\BITS\Parameters service.exe에의한레지스트리키생성 HKLM 1) \SYSTEM\CurrentControlSet\Enum\Root\LEGACY_BITS\0000 \Control HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_TAPISRV\0000 \Control HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_RASMAN\0000 \Control service.exe에의한레지스트리키수정 HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_BITS\0000 \Control HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_TAPISRV\0000 \Control HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_RASMAN\0000 \Control HKLM\SYSTEM\CurrentControlSet\Services\BITS 2. SVCHOST 옵션선택 가. 파일변경 Agent를생성시킬때 SVCHOST 옵션을선택하더라도, 표 6-3과같이파일의생성및변경은동일한패턴을나타낸다. 1) HKLM: HKEY_LOCAL_MACHINE 컴퓨터에설치된하드웨어와소프트웨어의모든설정사항이저장되어있으며, 특히하드웨어및하드웨어를구동시키는데필요한드라이버와설정사항이저장되어있다

72 나. 레지스트리변경표 6-5는 SVCHOST 옵션을선택하고설명에는 MediaCenter 를입력하여생성한 Agent를실행시켰을때변경되는레지스트리를나타낸것이다. agent.exe에의해서비스에등록될수있도록 Svchost의 krnlsrvc의값을수정하고, ServiceDll 레지스트리키는인젝션된 NetNtEx.dll 파일의위치를기록한다. 또한 Windows가부팅될때자동시작하도록서비스를등록한다. [ 표 6-5] Netbot Agent 감염시의레지스트리변경 (SVCHOST) 순서 내용 agent.exe에의한레지스트리키생성 HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter\Parameters agent.exe에의한레지스트리값수정 HKLM\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Svchost HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter\Parameters service.exe에의한레지스트리키생성 HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter\Security service.exe에의한레지스트리키생성 HKLM\SYSTEM\CurrentControlSet\Enum\Root\LEGACY_MediaCenter \0000\Control HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter\Security

73 제 5 절 Netbot 의공격트래픽 이절에서는 Netbot의분석환경내에서제3절의그림 6-1과같이 Netbot의동작개념도에따라실제로 Netbot Attacker를이용한공격을수행하고, 이에대한트래픽분석을기술한다. 1. 공격자컴퓨터 (C&C) 와좀비의연결 먼저좀비컴퓨터가 Netbot의 Agent에감염되면그림 6-2와같이중계사이트에접속하여공격자컴퓨터 (C&C) 의 IP 주소와포트번호정보를얻는다. ( 그림 6-2) 좀비와중계사이트사이의통신 다음으로그림 6-3과같이좀비는 C&C의 IP 주소와포트번호 (80:HTTP) 에 SYN 패킷을보내면서 C&C에지속적인연결을시도한다

74 ( 그림 6-3) C&C 에대한좀비의연결시도 공격자의컴퓨터에서 Netbot Attacker를실행할경우, 그림 6-4와같이공격자컴퓨터와좀비의연결이이루어진다. 또한연결이이루어진직후좀비는 HTTP 프로토콜을통해 C&C에패킷을전송하는데, 이는좀비의운영체제, CPU 및메모리등컴퓨터사양과관련된정보를전송하는것으로판단된다. 실제로공격자컴퓨터에서실행한 Netbot Attacker에서 Netbot의 Agent에감염된좀비컴퓨터들의사양을확인할수있다. ( 그림 6-4) C&C 와좀비의연결설정및정보전송

75 2. Netbot 을이용한공격 C&C와좀비의연결이설정된후, Netbot Attacker를통해실제로 SYN Flood 공격을수행하였다. 이때 C&C에서좀비로전송한공격명령패킷은그림 6-5와같다. ( 그림 6-5) 좀비에대한공격명령전송 좀비는공격명령패킷을수신한직후그림 6-6과같이공격대상에게공격패킷 (SYN) 을지속적으로전송한다. 공격대상에게다량의공격패킷을전송할때사용되는포트번호의범위는 1037~1056(20개 ) 이고, 각각의포트번호를통해패킷을하나씩전송하게된다. ( 그림 6-6) 공격패킷전송

76 그러나시간이지날수록공격에사용되는포트번호의범위가변경되는것을확인할수있었으며, 범위에속한포트번호의개수는총 20개였다. 즉, 처음 20개의포트번호를사용하여총 3번을한사이클로공격패킷을전송하고, 다음 20개의포트번호를사용한공격패킷전송을반복하는것이다. 표 6-6은이러한패턴을나타낸것이다. [ 표 6-6] 포트번호범위사용의패턴 Cycle 사용되는포트번호의범위 ~ ~ ~

77 제 6 절 Netbot 의 Code Injection 일반적인응용프로그램은사용자의필요에의해실행된다. 그러나 Netbot과같은악성코드는악성행위를하기위해항상실행되어야하며, 언제나사용자에의해실행이된다는보장이없으므로감염당시에이러한사항을고려하여미리자신을자동적으로실행되도록시스템을조작한다. 즉, Netbot은자신의기능이담긴바이너리코드를윈도우시스템에삽입 (Injection) 해야한다. 이절에는 Netbot에서사용하는코드삽입 (Code Injection) 에대하여기술한다. 1. 코드생성 Netbot의 Agent는실행이가능한 EXE 파일로구성되어있다. 사용자에의해파일이실행되는순간 Netbot의주된악성행위를담당하는 DLL 파일과루트킷을담당하는 SYS 파일로나누어지게되고, EXE 파일은삭제된다. DLL의경우 NetNtEx.dll, nbjs.dll, BITSEx.dll 등의파일명을가지며, SYS 파일의경우 Beep.sys의파일명을가진다. Netbot에감염되었다는것은생성된 DLL 파일이컴퓨터에삽입 (Injection) 되었다는것을의미한다. Netbot의 Agent는감염된컴퓨터의 C:\Windows\System32 폴더에 DLL 파일을생성한다. 그러나이파일은탐색기에서확인이불가능하며, 이는같이설치되는 RootKit 때문인것으로판단된다. 그림 6-7은 C:\Windows\system32 폴더를이름순으로정렬한결과이나, 해당 DLL(NetNtEx.dll) 파일이나타나지않는다. 따라서그림 6-8과같이 시작 > 실행 (R) 을통해직접해당 DLL 파일의존재여부를확인하고, 그림 6-9와같이 PE Explorer 도구로직접접근하였다

78 ( 그림 6-7) NetNtEx.dll 파일확인불가능 ( 그림 6-8) NetNtEx.dll 파일존재확인

79 ( 그림 6-9) PE Explorer 를통해분석한 NetNtEx.DLL 파일 이와같이해당 DLL 파일은탐색기등을통해서는찾아볼수없으나실제로는존재하는파일임을확인할수있다. 2. Registry 생성 위단계에서생성된 DLL 파일을윈도우가실행될때자동적으로시스템에삽입하기위하여 Netbot은해당악성코드를윈도우의서비스로위장하며, 이러한과정에서레지스트리를변경하게된다. Netbot Attacker에서 Agent를생성할때, 그림 6-10과같이서비스명칭및서비스설명과같은항목을지정한다. 이항목들은감염된시스템의레지스트리및제어판의서비스관리에사용된다

80 ( 그림 6-10) Netbot 의 Agent 생성 그림 6-11은 Netbot에감염되기전과후의레지스트리를비교한것이며, 레지스트리의 HKLM\SYSTEM\CurrentControlSet\Services에새로운키를생성한다. 감염후를나타낸부분에서 Agent를생성할때사용한 MediaCenter 라는이름의키가새로생성된것을확인할수있다. 또한 MediaCenter 의레지스트리키중에서 Parameters 에는악성행위를위한악성코드의위치가명시되어있다. Parameters 레지스트리키의값중에서 ServiceDll이라는이름의문자열값은서비스의 DLL 파일을나타내며, C:\WINDOWS\system32\NetNtEx.dll 인것을확인할수있다 ( 그림 6-12). 해당 DLL은윈도우의서비스로등록되어시스템이시작할때시스템의메모리에로드된다

81 ( 그림 6-11) 감염전후의레지스트리비교 ( 그림 6-12) 레지스트리값에명시된 DLL 의위치

82 또한표 6-7 과같이레지스트리키의값들을변경한다. [ 표 6-7] 레지스트리키값변경 HKLM\SYSTEM\CurrentControlSet\Services\MediaCenter DisplayName MS Media Control Center ErrorControl 0 ImagePath %SystemRoot%\System32\svchost.exe -k krnlsrvc ObjectName LocalSystem Start 2 Type 16 그림 6-13은레지스트리에등록되어생성된윈도우서비스의목록 2) 을나타낸것이다. ( 그림 6-13) 감염후서비스목록 2) 윈도우서비스목록윈도우의서비스목록은 Windows XP 를기준으로했을때 제어판 > 관리도구 > 서비스 에서확인할수있다

83 서비스목록에서사용하는이름과설명에표시되는내용은 Netbot Attacker에서 Agent를생성할때사용한 2번째와 3번째항목의값이된다. 서비스목록에서 MS Media Control Center 항목이존재하는것을확인할수있다. 이는 Netbot의 Agent에의해윈도우에새로운서비스가등록된것이다. 실제로해당 DLL이메모리에로드된것을확인하기위하여 Process Explorer 도구를사용하여 DLL을검색하였다. 그림 6-14는프로세스의목록중에서 NetNtEx.dll을찾은것이다. 그결과 NetNtEx.dll이윈도우시스템에서서비스를관리하는 svchost.exe 에삽입된것을확인할수있었다. 즉, Netbot의악성행위를위한코드가시스템에삽입 (Injection) 된것이다. ( 그림 6-14) NetNtEx.dll 삽입확인

84 3. RootKit Netbot의 Agent가감염될때 Beep.sys 파일을수정하여루트킷이설치된다. 이는자신을은닉하기위하여디바이스드라이브를설치하고커널레벨에후킹된다. 그결과파일이나레지스트리의변화를모니터링할수없도록한다. 즉, 탐색기에서파일의변화를관찰할경우루트킷이파일의생성내용을감추기때문에 NetNtEx.dll의생성기록이남지않고, 파일의존재여부도확인하기어렵다. 또한 Process Monitor의 RegMon과같은모니터링도구를통해레지스트리의변화를관찰할경우루트킷이 SSDT 테이블에서의변화기록을삭제하여레지스트리에변화가없는것처럼조작한다

85 참고문헌 [1] 보안뉴스 ( [2] 디지털타임스 ( [3] 보호나라 ( [4] Anubis: Analyzing Unknown Binaries ( [5] Wire Shark ( [6] 한국정보보호진흥원, 분산서비스거부공격도구 Netbot 분석보고 서,

86 제 7 장악성코드유형에따른자동화분석방법 제 1 절자동화분석방법 본연구에서제안하는악성코드유형에따른자동화분석방법은그림 7-1과같은과정으로이루어진다. ( 그림 7-1) 악성코드자동화분석방법의개념도

87 특징도출단계에서는특징분석환경내에서특징도출프로세스를통해파일분석, 레지스트리분석, 프로세스분석, 네트워크분석, API 추출, Bloom Filter를이용한 Bit Array 추출및코드유사도계산등악성코드의행위및코드에대한선행분석을수행하고, 이를명세화하여자동화분석단계에사용할수있는각각의악성행위및코드특징을도출한다. 그리고도출된특징은특징 DB에저장하게된다. 그림 7-1에나타낸특징도출프로세스는자동으로동작하며, 자동분석단계에서도악성코드의심파일을자동으로분석하기위해사용된다. 또한악성코드가아닌일반프로그램의파일을분석하여그결과를화이트리스트 DB에저장하기위해서도특징도출프로세스를사용한다. 상호작용단계에서는이전단계에서특징도출프로세스에의해도출된악성코드의특징이화이트리스트 DB와연동된화이트리스트필터를통과한다. 화이트리스트필터링을통해도출된악성코드의특징들에대하여분석가가확인하는상호작용과정을거쳐특징 DB에저장된다. 이러한특징 DB는분석을위해입력된악성코드의특징과비교분석하는도구가된다. 또한일반프로그램의파일을분석하여도출된특징들은분석가의확인을거쳐화이트리스트 DB에저장되기도하는단계이다. 자동화분석단계에서는악성코드로의심되는파일이입력으로주어지면특징도출단계에서사용되었던특징도출프로세스가재사용된다. 즉, 자동으로행위기반분석과코드기반분석을수행하여특징들을추출하고, 이특징들을비교분석모듈이특징 DB에저장된것과비교한다. 그결과수행하는악성행위및코드특징, 악성코드의분류결과등을도출하여리포트한다. 제 2 절에서는본연구에서특징분석환경을통해수동으로악성코드의특징을도출하는방법을기술하고, 이어서각단계에대한세부적인방법론을기술한다

88 제 2 절특징분석환경 악성코드의특징을도출하기위해서는악성코드를분석하기위한특별한환경이필요하다. 그이유는악성코드의분석과정에서실제네트워크나시스템이악성코드로부터영향을받지않아야하기때문이다. 이와동시에악성코드가수행하는악성행위모니터링및코드분석등에필요한도구들역시마련되어있어야한다. 이러한분석환경에는가상머신 (Virtual Machine) 이나허니팟 (Honeypot), 샌드박스 (Sandbox) 등이존재한다. 가상머신은환경구성및모니터링등이용이하고실제시스템과논리적으로분리되어있으며, 악성코드를실행하여감염시키기전의정상적인상태로빠른복구가가능하다는장점이있다. 본연구에서는악성코드의분석을통한특징도출실험을위해가상머신환경을선택하여사용하였으며, 샌드박스의경우본연구의진행에있어서악성코드실행및분석에대한제약이다수존재하여배제하였다. 또한검증을위해그림 7-2와같이동적분석의범위인레지스트리, 파일, 프로세스, 네트워크, 그리고정적분석의범위인코드분석에대하여각각다양한도구를이용한수동분석을수행하였다. 수동분석에서는다양한도구를사용하였으나, 이후제시하는자동분석에서는각각의수동분석도구를대체할수있는통합자동분석도구가필요하다. ( 그림 7-2) 악성코드특징도출단계 ( 수동 )

89 1. 레지스트리모니터링 레지스트리는 Windows 운영체제에서시스템의모든설정을모아두는중앙저장소라고할수있다. 이는 Windows의부팅과정에서부터로그인, 응용프로그램의실행에이르기까지모든작업이레지스트리에기록된정보를바탕으로진행된다. 만약시스템이악성코드에감염된다면, 레지스트리의변조등의변화가발생한다. 악성코드는 Windows가시작될때자동으로실행또는로딩되도록하거나, 백신및개인방화벽에의한탐지및차단을회피하기위하여레지스트리를조작한다. 따라서악성코드에의해주로사용되는레지스트리가무엇인지파악하고이를분석하여악성코드의유형에따라각각생성, 수정하여사용되는레지스트리를분류및정리함으로써악성코드자동분석에이용할수있도록한다. 악성코드에의한레지스트리변경모니터링을위해서는 RegMon, RegShot, WinAlysis 등과같은도구를사용한다. 이러한도구들을이용함으로써그림 7-3과같이악성코드가감염되기전과감염된후의레지스트리변화를정리할수있으며, 악성코드의유형및그종류에따라주요레지스트리의변화를특징 DB의레지스트리테이블에저장한다. ( 그림 7-3) 레지스트리변경모니터링

90 표 7-1은레지스트리모니터링도구인 RegMon을이용하여악성코드의주요레지스트리변경에대한모니터링결과이다. 사용된악성코드샘플은 AhnLab V3 안티바이러스제품에서 Win-Trojan/Injec t.58368으로진단된것이다. ( 그림 7-4) 악성코드샘플 [ 표 7-1] 레지스트리변경모니터링 구분 키생성 값수정 내용 HKLM\System\CurrentControlSet\Enum\Root\LEGACY_RASMAN\0000\Control HKLM\System\CurrentControlSet\Enum\Root\LEGACY_TAPISRV\0000\Control HKLM\System\CurrentControlSet\Services\wer32 HKLM\System\CurrentControlSet\Services\wer32\Security 값이름 레지스트리키 데이터 HKLM\System\CurrentControlSet\Enum\Root\LEGACY_RASMAN\0000\Control ActiveService RasMan HKLM\System\CurrentControlSet\Enum\Root\LEGACY_TAPISRV\0000\Control ActiveService TapiSrv HKLM\System\CurrentControlSet\Services\wer32 ErrorControl ImagePath Start Type 0 C:\WINDOWS\system32\jkghje.dll 1 1 HKLM\System\CurrentControlSet\Services\wer32\Security Security 0x c c