Watson for Cyber Security: 보안분석에대한코그너티브보안시대 나병준실장 / 전문위원 /CISSP QRadar Advisor with Watson Ambassador 2017 년 6 월
배경및개요
현보안관제 / 분석의어려움 퀵인사이트 : 현재보안상황 위협경고가용한분석가 필요지식 가용시간 93% 의 SOC 관리자가모든잠재적인위협을선별하지못하고있음 대기업에서근무중인 42 % 의사이버보안전문가들은 보안경보의중요한숫자 들을알지못한다고이야기함 보안회사의 (31 %) 는보안경보를때때로무시할수밖에없다고이야기하는데, 전체보안경보를관리할수없기때문에경보의 50% 를무시한다고함 3
보안전문가들은엄청난양의보안지식을생성하고있으나대부분의지식은활용되지못하고있음 전통적보안데이터 보안이벤트와경보 로그와구성데이터 사용자와네트워크활동 위협과취약점피드 사람이생산한지식 보안지식의세계방어에는활용되지못하는다크데이터 전통적인회사는이지식의 8% 만을활용함 * 예시 : 연구논문 산업발표 포렌식정보 위협인텔리전스코멘트 컨퍼런스프레젠테이션 분석가보고서 웹페이지 위키 블로그 뉴스 뉴스레터 트위트 4
코그너티브보안은세개의 GAP 을보정합니다. 인텔리전스 gap #1 부족한리소스로인한첫번째과제는위협연구임 (65% 의선택 ) #3 사이버보안과제중세번째로높은것은새로운위협과취약점을갱신하는것임 (40% 의선택 ) 속도 gap 가장높은사이버보안과제는평균인시던트와대응시간의절약임 위내용은고객들의 80% 가 2 년전보다인시던트대응속도가향상되었다고얘기했음에도불구하고나온내용임 정확도 gap #2 오늘날가장큰과제는경보의정확성을최적화하는것임 ( 너무많은오탐 ) #3 부족한리소스로인해영향을받는분야는위협식별, 모니터링, 그리고잠재적인시던트의이첩임 (61% 의선택 ) GAP 의보정을위한관리비용의증가와 ROI 압력 5
코그너티브보안을위한첫번째유즈케이스 비즈니스가치를최대화함 보안팀은심각한도전을받고있음 지속적으로증가하는보안데이터및오탐으로인한어려움 하루에발생하는보안이벤트는회사당평균 20 만개 * 이며, 오탐을처리하는비용은 1 년에약 13 억임 ** 보안팀은시간및필요한인텔리전스부족에시달리고있음 보안팀의 80% 는보안사고시만약위협인텔리전스플랫폼을가지고있었다면공격을예방하거나피해를최소화했을것이라고믿고있음 *** 전세계적인보안전문가의부족 대기업의 83% 가적절한스킬레벨을가진인력을찾는데어려움을겪고있으며, 2020 년까지 150 만명의보안인력이부족할것으로예측됨 **** 1 IBM: Cybersecurity Intelligence Index 2015 2 Ponemon: Cost of Malware Containment 2015 3 Ponemon: Cost of a Data Breach Report 2015 4 Ponemon: Cyber Threat Intelligence Report 2015 6
오늘의현실 아래의모든사항들을매일 20 분내에수행해야함 SIEM 의보안인시던트를리뷰 다음으로어떤인시던트를조사할지결정 데이터를리뷰함 ( 인시던트를생성한이벤트 / 플로우 ) 인시던트에대해더많은데이터를획득하기위해검색을확대함 멜웨어의이름을획득 비정상을발견할수있는다양한데이터피벗 ( 통상적이지않은도메인, IP, 파일접근 ) 인터넷에서새롭게발견된 IOC 를획득하고 SIEM 에반영함 동일한멜웨어에잠재적으로감염되었을수있는다른내부 IP 를발견 X-Force Exchange 검색 + 검색엔진 + Virus Total + 비정상적인것들을확인하는데주로사용하는툴. 활동중인새로운멜웨어를발견 관련된 IP 들각각에대해또다른조사를시작 관련이있는비정상적인이벤트의페이로드를확인, 조사수행 ( 도메인, MD5 등 ) 7 멜웨어에대해침해의증거 indicators of compromise (IOCs) 정보를얻을수있는더많은웹사이트를검색인터넷으로부터새로운 IOC 들을획득함
Watson 의이해
IBM 의인공지능정의 AI 기반시스템은학습및지식구축, 자연어이해, 인간과의자연스러운상호작용등을통해인간의전문성을가속화, 향상및확장시킴 음성인식, 이미지인식, 시각화기술등인간의방식으로상호작용하며, 이상호작용을통해계속학습하면서진화 감지하고예측하고, 생각할수있도록하는인공지능과기계학습을통해훈련되는학습시스템 언어, 용어등전문분야에대한지식을쌓고이를통해최적의데이터를만들어의사결정을지원 9 2016 INTERNATIONAL BUSINESS MACHINES CORPORATION
인공지능 (AI) 구동인자 자연어이해역량음성인지, 이미지인지 정형데이터 : 숫자데이터 머신러닝 ( 지도 / 비지도 / 강화 ) 딥러닝신경망네트워크 Bayesian 네트워크 알고리즘 데이터 ( 지식 ) 비정형데이터 : 텍스트, 이미지, 음성, 비디오 큐레이트데이터 ( 지식 ) 유전자알고리즘그래프이론 컴퓨팅파워 머신생성데이터 : 센서데이터 1960-2010 스토리지밀도 10*8 컴퓨터효율성 10*11 1995-2015 무선대역폭 10*7 1 0 2016 INTERNATIONAL BUSINESS MACHINES CORPORATION
왓슨의핵심구성요소 : How it works What is the requirement for cable cleat gaps? 사용자 IBM 왓슨 데이터 데이터큐레이터 데이터의 1 차분류및정제작업 데이터 ( 지식 ) Answer Source (Corpus) Answer Source (Ground Truth) Evidence Source 머신러닝 최적의답을찾기위한알고리즘 ( 지속적튜닝 ) 자연어처리 자연어의모호성, 중의성을이해하고질문의 의도 와목적을정확히파악 가설및증거스코어링 복수의가설 ( 후보답변 ) 을세우고, 각가설을뒤받침하는증거들을찾아서신뢰도결정후, 가장신뢰도가높은하나의답변을제시 준비과정 처리과정 1 1 2016 INTERNATIONAL BUSINESS MACHINES CORPORATION
왓슨의 DeepQA ( 딥러닝 ) 아키텍처 Data Sources (Curation 대상 ) Answer Sources (Corpus, 말뭉치 ) Evidence Sources (Unstructured) Learned Models Jeopardy Q&A Trivia Data Other Corpus model model model model model model Initial Question Question & Topic Analysis Question Decomposition Hypothesis #1 Hypothesis #2 Hypothesis & Evidence Scoring Hypothesis and Evidence Scoring Synthesis Final Confidence Merging & Ranking Hypothesis #n Hypothesis and Evidence Scoring Answer & Confidence Step 1 Question Analysis Step 2 Hypothesis Generation Step 3 Evidence Scoring Step 4 Merge & Ranking 질문이묻는요지와의미를정확히이해하기위해질문을 Parsing 다각도로분해된질문들에대한가능한답안들을먼저도출하고모든답안들에대한가설을생성 각가설들에대한 Evidence 를검토하고이를평가하여각가설의 Confidence 를생성 각개별가설들을종합해서가장 Confidence 점수가높은최종답안을선택 1 2 2016 INTERNATIONAL BUSINESS MACHINES CORPORATION
IBM 의 AI 시대준비 : 데이터에대한투자 2016 년 1 월인수 세계최대의기상및날씨데이터제공자중하나 자체수집데이터외, 150 여소스에서매일 100TB 이상의데이터수집 2014 년 10 월파트너쉽발표 트위터데이터와 IBM 어낼리틱스서비스의결합 1 3 2016 INTERNATIONAL BUSINESS MACHINES CORPORATION
Watson For Cyber Security
어떻게왓슨이보안언어를학습하는가? 수집 학습 테스트 경험 IBM 위협문서 온라인보안문서 IBM 보안전문가 위협요소, 지시어 보안 SME 머신러닝 Q/A 테스트 점수화 UI 통한답변제시 지속적학습 새로운보안지식적용 15
Watson for Cyber Security 의연속적이고자동화된파워 지식분석을향상시키기위해피드백을받음 관련된인디케이터에증거를제공 주어진인디케이터셋을통해지식을탐구하고통찰력을전달 외부공공의보안컨텐츠유입 Watson for Cyber Security 자연어처리수행 머신러닝을통해새로운지식을획득 보안컨셉과관계성에대하학습하고연결시킴 보안을위한통계정보와관계추출 (Statistical Information and Relation Extraction, SIRE) 모델보안컨텐츠의자연어처리를통해보안의언어를왓슨에서가르침 왓슨디스커버리서비스비정형의큐레이팅된컨텐츠로부터보안지식의기본을생성하고유지함 X-Force Threat Intelligence 정형화된위협인텔리전스피드의집적소스 보안지식그래프보안지식기본을저장하고가시성있게표현함 지식탐구알고리즘보안지식그래프를탐구하고분석함 16
Watson for Cyber Security 에제공되는것들 5 분 1 시간 1 주 수십억개의데이터요소 정형보안데이터 X-Force Exchange 파트너데이터 Open source 유료데이터 - Indicators - Vulnerabilities - Malware names, 핵심적인비정현보안데이터를크롤링 블로그웹사이트뉴스, - New actors - Campaigns - Malware outbreaks - Indicators, 웹상의모든보안과관련된지식을광범위하게크롤링 시간당 5-10 업데이트! 1 주당 100K 업데이트! 침해대등 Attack write-ups 모범사례 - Course of action - Actors - Trends - Indicators, 수백만개의문서 필터링 + 머신러닝불필요한정보는제거 3:1 감소 머신러닝 / 자연어처리수집한데이터를추출하고주석을닮 수십억개의노드 / 엣지 풍부한보안지식그래프 17
아래는 Watson for Cyber Security ( 일부분 ) 이보이는형상의일부분입니다. 새로운보안지식이습득됨에따라지속적으로성장함 의심스러운활동및행위의근본원인탐지및추가요소에대한인지적탐구를수행 발견사실의경로를생성하고사람이놓치기쉬운것들을결합함 학습하고, 적응하며, 잊어버리지않음 18
Watson for Cyber Security 의적용 : QRadar Advisor with Watson
인지보안의시작 IBM 보안사업부가소개하는보안운영의혁명적변화 NEW! IBM QRadar Advisor with Watson 보안분석가의위치에서보안인시던트를조사하고정탐여부를가리며, 비정상을확인하는강력한인지능력을고용 Powered by Watson for Cyber Security : 엄청한양의보안지식을활용하고특정보안인시던트에통찰력을전달 스킬부족, 경보의홍수, 늦어지는인시던트대응, 보안정보와위험관리비용을포함한현재보안운영의숙제를해결함으로써 SOC 운영을전환시킴 쉽게구매하여사용할수있는디자인 : App Exchange 를통하여제공되며수분내전개됨 20
인시던트를조사하는보안분석가의인지적업무 인신던트를발생시킨로컬컨텍스트를획득 위협연구결과를수집하고, 전문성을발전시킴 인텔리전스를적용하고인시던트를조사함 인시던트데이터리뷰 관련이있는특이한데이터리뷰 ( 예를들어, domains, MD5 등 ) 특이사항발견을위한데이터피벗 ( 즉, 통상적이지않은도메인, IP, 파일액세스 ) 인시던트의주변에대한데이터를포함하여검색확장 X-Force Exchange + Google + Virus Total + 기타선호하는툴을이용하여특이사항을검색 활동중인새로운멜웨어를발견 멜웨어의명칭획득 추가적인웹검색을통해침해의표식사례를수집 로컬에서수집한침해의표식을조사 동일한멜웨어에감염이의심되는다른내부 IP 들을발견 위협연구로부터수집된통찰기반의인시던트오탐여부확인 관련된 IP 로부터추가적인조사를수행 시간소모적위협분석 더쉬운길이있음! 21
보안분석가와기술사이에새로운파트너십을생성 QRadar Advisor 는 SOC 의조사리소스를보조 보안분석가 Watson for Cyber Security 경보를관리 보안이벤트과비정상을연구 사용자행위와취약성을평가 구성 기타 보안분석가 Watson for Cyber Security 보안지식 위협식별 추가인디케이터를도출 직간접적인관계도형성 증거자료 보안분석기술 데이터상관분석 패턴식별 임계 정책 보안분석기술 QRadar Advisor with Watson QRadar Advisor with Watson 로컬데이터마이닝 Watson for Cyber Security를이용한위협연구 보안인시던트에대해평가하고관련성을생성 발견된점을표시 비정상탐지 우선순위화 22
오늘날의복잡한위협을식별하고이해함 식별 Patient zero 멜웨어 이해 명칭 변종그룹 소스 전파방법 영향도 분류 식별 Anomalous Activities 식별 Compromised hosts 이해 행위자 대상시스템 동기 목적 기간 의심스러운행위 익스플로잇 이해 범인 / 공격자 대상취약점 목적 공격시퀀스 범위 23
실적용사례소개
SCANA 에서활동하는인지보안 SCANA 회사소개 사우스캐놀라이나케이시에본사를두고있는 SCANA 는 160 년동안캐롤라이나와조지아의가정에전력과연료를공급하는에너지기반지주회사입니다. SCANA 는사우스캐롤라이나, 노스캐롤라이나및조지아에서변압전기, 천연가스유틸리티운영및다른조정되지않은에너지관련사업에자회사를통해주로종사하고있습니다. 주요자회사 SCE&G, PSNC 에너지및 SCANA 에너지 25 25
THANK YOU FOLLOW US ON: ibm.com/security securityintelligence.com xforce.ibmcloud.com @ibmsecurity youtube/user/ibmsecuritysolutions Copyright IBM Corporation 2016. All rights reserved. The information contained in these materials is provided for informational purposes only, and is provided AS IS without warranty of any kind, express or implied. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, these materials. Nothing contained in these materials is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and conditions of the applicable license agreement governing the use of IBM software. References in these materials to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and / or capabilities referenced in these materials may change at any time at IBM s sole discretion based on market opportunities or other factors, and are not intended to be a commitment to future product or feature availability in any way. IBM, the IBM logo, and other IBM products and services are trademarks of the International Business Machines Corporation, in the United States, other countries or both. Other company, product, or service names may be trademarks or service marks of others. Statement of Good Security Practices: IT system security involves protecting systems and information through prevention, detection and response to improper access from within and outside your enterprise. Improper access can result in information being altered, destroyed, misappropriated or misused or can result in damage to or misuse of your systems, including for use in attacks on others. No IT system or product should be considered completely secure and no single product, service or security measure can be completely effective in preventing improper use or access. IBM systems, products and services are designed to be part of a lawful, comprehensive security approach, which will necessarily involve additional operational procedures, and may require other systems, products or services to be most effective. IBM DOES NOT WARRANT THAT ANYSYSTEMS, PRODUCTS OR SERVICES ARE IMMUNE FROM, OR WILL MAKE YOUR ENTERPRISE IMMUNE FROM, THE MALICIOUS OR ILLEGAL CONDUCT OF ANY PARTY.