Intelligence with open source (OSINT)

Size: px

Start display at page:

Download "Intelligence with open source (OSINT)"

용기 점
7 years ago
Views:

1 Ji Won Yoon ( jiwon June, 2016

Professor 윤지원 (E-mail:jiwon_yoon@korea.ac.

2 Professor 윤지원 Assistant Professor, Experience 2012 Present: Assistant Professor, CIST, Korea University, Korea : Research Scientist, IBM Research Lab, Ireland : Research Fellow, Statistics Department, Trinity College Dublin, Ireland : Postdoctoral Research Assistant, Robotics Group, University of Oxford, UK : Research Assistant, University of Cambridge, UK

연구원 김성훈 (E-mail:theclassicss@korea.ac.kr) Research area : Crime Detection using OSINT, FDS system and Smart City security 정지수 (E-mail:jisoo_kor@korea.ac.kr) Research area : Crime Detection using OSINT, FDS system and Smart City security 김주임 (E-mail:jooimkim@korea.

3 연구원 김성훈 Research area : Crime Detection using OSINT, FDS system and Smart City security 정지수 ( jisoo_kor@korea.ac.kr) Research area : Crime Detection using OSINT, FDS system and Smart City security 김주임 ( jooimkim@korea.ac.kr) Research area : Multimedia Analysis for Bigdata, Honey encryption, and IoT security

4 1. OSINT 소개

5 OSINT 소개 개념

6 OSINT 소개 프레임워크 정보수집 / 정보분석및평가로나뉨 큰이슈는접근이어려운정보의검색과수집 양적 / 질적분석은 Intelligence 를창출 Figure: OSINT framework

7 OSINT 소개 Big data & IoT 빅데이터와사물인터넷은 OSINT 의발전을가속화 사물인터넷을포함해정보수집의경로는더욱다양해지고있음 빅데이터를위한빅데이터는의미가없으며, 분석통한 Intelligence 도출이중요 Figure: Big data & IoT

8 Case 소개 Case 1. Red Lake massacre 날짜 : 2005 년 3 월 21 일 위치 : 미국 Minnesota 주 Red Lake 인디언보호구역에위치한 Red Lake Senior High School 개요 : Jeff Weise는자신이재학중인 Red Lake Senior High School에서총기를난사하여 9명살해및 5명부상을입힘 Jeff Weise 는평소히틀러숭배신나치 (Neo-Nazi) 사이트에 죽음의천사 (Todesengel) 라는아이디를사용하여 34 건의히틀러에대한숭배와인종주의에대한몰입의글을올림

9 2. 해외 OSINT 프로젝트 & 오픈소스

10 해외 OSINT 프로젝트 & 오픈소스 CAPER I 소개 EU의 지원을 받아 프로젝트 진행(2011/2014, 3년 6개월) - 법 집행기관(LEAs) 간의 정보공유를 위한 공동의 OSINT 플랫폼 개발이 목표 - 온라인 환경에서의 조직적 범죄를 탐지 및 예방하고자 함 - 시각적 분석법, 자연어처리, 데이터마이닝 기술을 이용 - 웹, SNS 등의 공개된 출처로부터 수집되는 데이터 분석 URL : caper.eu/

11 해외 OSINT 프로젝트 & 오픈소스 CEIS(European Strategic Intelligence Company) 소개 1997 년설립된전략및위험관리컨설팅회사 유럽위원회의지원을받아유럽의기관, 민간기업의국가행정을위한연구수행 OSINT 관련프로젝트 RECOBIA (FP7 Security Project /2015) - 정보분석시발생하는인지편향의부정적효과를제거, 분석의품질향상목적 - IT 정보분석회사 (Thales, Hawk, ATOS 등 ), 연구센터 (University of Konstanz), 심리학자 (ISEA Psy) 등이참여 - EUROSINT FORUM(OSINT 분야범유럽연합 ) 과의파트너

해외 OSINT 프로젝트 & 오픈소스 CEIS(European Strategic Intelligence Company) OSINT 관련프로젝트 (cont d) VIRTUOSO (FP7 Security project - 2010/2013) - 정보수집및분석시스템을위한표준화된플랫폼구축목적 - 공개출처정보를이용하는개방형구조의통합툴킷개발 - 보안산업회사

12 해외 OSINT 프로젝트 & 오픈소스 CEIS(European Strategic Intelligence Company) OSINT 관련프로젝트 (cont d) VIRTUOSO (FP7 Security project /2013) - 정보수집및분석시스템을위한표준화된플랫폼구축목적 - 공개출처정보를이용하는개방형구조의통합툴킷개발 - 보안산업회사 (Cassidian, Thales, ATOS), 국립연구소 (CEA, TNO, ISDEFE), 첨단기술분야중소기업 (Mondeca, Sailabs 등 ) 이참여 - EU 의군, 사법당국, 주요부처와협조하여진행 Search engines for Military Intelligence (EDA ) - 군대를위한정보분석도구 ( 전략적, 전술적인차원 ) 의초기연구목적 - 유럽방위국 (EDA) 의의뢰로, 독일의 Parmenides 재단과함께연구 UIAT - Universal Intelligence Analyst Tool (EDA ) - 군사적사용을위한 OSINT 어플리케이션에대한연구

13 해외 OSINT 프로젝트 & 오픈소스 Institute for the study of Violent Groups (ISVG) I 미국 연방정부의 연구 자금을 지원받아 시작된 프로젝트 I 샘 휴스턴 주립대학에서 주도하여 시행되어, 뉴해븐 대학으로 옮겨 활동 중 I 2004년부터 약 15만 건 이상의 테러사건에 관한 공개정보 (Open source)에 기반한 데이터베이스 구축 I 전세계 테러 관련 정보에 대한 다각적 접근 URL : focus- violent- groups.php

14 해외 OSINT 프로젝트 & 오픈소스 Study Of Terrorism And Responses To Terrorism(START) 서비스분야 Research - 주요연구영역별진행중인다양한프로젝트와관련한정보를제공 Education - 학계와필드의연구자들을위한테러관련교육컨텐츠들을제공 Publications - START Authors가각연구영역별로저술한다양한출간물들을제공 Data&Tools - 실제테러관련정보들과분석 Tool을제공 News&Media - START News/Events/Newsletters 등을접할수있음

15 해외 OSINT 프로젝트 & 오픈소스 Study Of Terrorism And Responses To Terrorism(START) 주요 Research Area Terrorism and Violent Extremism - Individual Behavior/Violent Groups and Movements/Terrorism and Society/Crime and Terrorism Counterterrorism and Countering Violent Extremism - Counterterrorism/Countering Violent Extremism Radicalization and Deradicalization - Community Resilience/Risk Communication Risk Communication and Resilience - Radical Beliefs and Behavior/Deradicalization/Disengagement Unconventional Weapons and Technology - Chemical and Biological Threats/Radiological and Nuclear Threats

16 해외 OSINT 프로젝트 & 오픈소스 Open Source Center(OSC) 소개 2005 년 11 월 1 일, Virginia 에설립된 Central Intelligence Agency(CIA) Intelligence Center 테러뿐만이아닌주요국제정세와관련한모든공개정보가분석대상 인터넷, 각종데이터베이스, 라디오, TV, 사진등가용한모든수집원을대상을목표로정보활동을수행 Intelligence Officer 및정부관계자에게필요한공개정보의가용성을개선하여효과적인 Intelligence 창출이목표 Figure: OtDNI & OSC

17 해외 OSINT 프로젝트 & 오픈소스 Spiderfoot 소개 오픈소스정보자동화도구 - 특정 IP, Domain Name 의관련정보를 Google, Bing, SHODAN 등에서수집 - 인터넷상에노출된소속조직 / 네트워크의정보의종류를파악, 남용위험방지 - 로그등에포함된악의적 IP 주소에대한위협정보수집가능 Figure: ime.korea.ac.kr 에대한 Scan 결과

18 해외 OSINT 프로젝트 & 오픈소스 Creepy I 소개 지리적 오픈소스 OSINT 도구 - 소셜 네트워크 플랫폼으로부터 지리정보 수집 - Twitter, Instagram, Flickr, etc. 등 SNS 사이트의 정보를 수집 - 특정범위의 지역에서 작성 또는 특정 ID가 작성한 메시지 조회 가능 Figure: 서울 지역에서 트윗검색 결과

19 해외 OSINT 프로젝트 & 오픈소스 Creepy 소개 지리적오픈소스 OSINT 도구 Figure: 평양지역에서트윗검색결과

20 해외 OSINT 프로젝트 & 오픈소스 국내역시 OSINT 프로젝트및오픈소스개발이시급 영국, 미국을비롯한해외주요국가들의정보및수사기관은 OSINT 의중요성을일찍이인식 시스템구축을위한체계적이고활발한투자를진행중 관련기업역시앞서보인다양한형태의 OSINT 솔루션을개발중에있음 OSINT 기반범죄억제및예측시스템개발에투자해야함 이를위한동향조사및핵심프레임워크분석은반드시선행되어야할과제 해외 OSINT 기술을국내실정에맞춰개발하는것이중요함

21 1. 세계정세분석 / ISIS 정세분석

22 세계 정세 분석 전 세계 주요 지역의 트윗을 수집 I I 트위터의 Streaming API를 통해 트윗을 실시간으로 수집하는 방식 위경도 좌표를 통해 특정 지역에서 발생한 트윗만 수집

23 세계정세분석 적용기술 Topic model Generative model 로서문서생성을확률적으로모델링 문서의토픽을추출하고, 추출된토픽의분포를확인할수있음 트윗의모임역시하나의문서로볼수있으며, 여러가지의토픽으로구성

24 세계 정세 분석 수집된 트윗은 Topic model에 기반하여 분석이 이뤄짐 I Topic Model은 Latent Dirichelt Allocation (LDA) 기반의 확률 모델 I 방대하게 수집된 각 지역 별 트윗의 토픽 분포를 추정 및 분석 가능 I 분석 결과는 구글 Geochart를 통해 시각화

25 세계 정세 분석 각 지역 별 주제 분포를 시각화하여 관련 정세의 실시간 파악 I I 원형 차트를 이용하여 토픽 분포를 파악 가능 주제 별 키워드를 통해 각 토픽이 어떠한 주제인지 분석할 수 있음

26 ISIS 정세분석 ISIS 관련전세계의트윗을수집 트위터에서제공하는 Streaming API를통해트윗을실시간으로수집 ISIS 라는키워드가포함된전세계의트윗을수집하는방식

27 ISIS 정세분석 수집된일별트윗의 location 별분리및정제 수집한 json 포맷의트윗을파싱하여 location 정보추출 location 별로트윗을분리하고불용어를정제하여일별문서를생성 예시 ) USA 0301, USA 0302 / France 0301, France 0302

28 ISIS 정세 분석 토픽 모델 적용 및 토픽 분포 도출 I I 토픽 모델을 생성한 일별 문서에 적용하여 토픽 별 키워드 및 분포 추정 주요 국가 별로 키워드 및 분포 추정

29 ISIS 정세분석 토픽분포분석통한 ISIS 정세분석 대부분의토픽은신문기사에의해발생하였다가사라짐특정토픽은특정기간내지속적으로이슈화되고문제시됨을알수있음

30 2. 세계전력이벤트탐지 - ENF

31 세계 전력 이벤트 탐지 / ENF Electrical Network Frequency (ENF) 란? I I I 전 세계 각 지역의 power grid로 부터 공급되는 전기 에너지의 패턴 이 패턴은 지역 전력망의 부하나 자연재해 같은 특정 이벤트에 영향을 받아 지역별로 고유하게 형성됨 따라서 각 지역의 ENF 신호를 수집해 분석하면 지역에 어떤 이벤트(ex, 정전, 토네이도 등..)가 발생했는지에 대한 탐지가 가능

32 세계 전력 이벤트 탐지 / ENF OSINT의 개념을 활용한 세계 ENF 신호 수집 I I ENF활용에 있어 가장 큰 문제가 되는 것은 신호수집 과정 이 신호가 미디어 촬영 시 미디어에 흔적을 남긴다는 특징을 활용하여, 각 지역에서 촬영된 미디어를 수집해 세계 ENF 신호를 추출

33 세계전력이벤트탐지 / ENF 보다정확한이벤트탐지 현재까지의방법으로미디어가수집된지역의 ENF 신호는추출이가능하지만, 그외지역에대해서는추출이불가 ENF미디어가없는지역에대해서도보다정확한 ENF 패턴을분석하기위해신호에대한보간을수행 이를통해각지역에서나타나는이벤트에대한연속적인탐지가가능

34 세계전력이벤트탐지 / ENF ENF 활용방안 각지역에서수집한 ENF를통해지역의 ENF 패턴의동향파악이가능 뿐만아니라특정지역에서일어나는여러이벤트 (ex, 정전, 토네이도등..) 에대한분석및파악이가능 참고영상 (San Diego Blackout - September 8, 2011) ->

35 Signal Processing and Advanced Intelligence (SPAI) Lab 주요연구분야 Intelligence Research Team: Open Source Intelligence (OSINT), Bigdata analysis with electrical signals, fraud detection system (FDS) and Smart city security Hardware design Team: Robot design, Signal analysis, Microwave analysis Applied cryptography Team Honey encryption, Homomorphic encryption for privacy preserving signal processing Statistical Theory Team: Model selection problems in Bayesian statistics and Statistical Signal Processing Markov chain Monte Carlo (MCMC), Approximate Bayesian Computation (ABC), Sequential Monte Carlo (SMC)

36 Signal Processing and Advanced Intelligence (SPAI) Lab 연구원모집 Who? 따뜻한마음과무한한열정그리고명확한비전을가진예비석박사과정생 How? 우선고려대정보보호대학원에합격후연락주세요. :-) Where? Contact: Prof. Yoon,

37 Signal Processing and Advanced Intelligence (SPAI) Web: June, 2016

-

World Top 10 by 2030 CONTENTS CONTENTS 02 03 PRESIDENT S MESSAGE 04 05 VISION GOALS VISION GOALS STRATEGIES 06 07 HISTORY 2007 2008 2009 2010 2011 08 09 UNIST POWER 10 11 MPI USTC UNIST UCI UTD U-M GT