Microsoft 클라우드기반의 머신러닝서비스 이건복 ( 이사 ) Microsoft Korea
Web/mobile devices Systems of engagement Client-server Systems of record
" 우리는데이터가미래의전기 ( 電氣 ) 라고생각합니다. 전기가 2 차산업혁명을촉발했듯이, 방대하게축적되고있는데이터가미래의세상을완전히바꿀것입니다." Satya Nadella CEO of Microsoft
가트너선정 2016 년 10 대전략기술 기술 디바이스메시 (Device Mesh) 주변사용자경험 (Ambient User Experience) 3D 프린팅소재 사물정보 (Information of Everything IoE) 고차원기계학습 (Advanced Machine Learning) 자율에이전트와사물 능동형보안아키텍처 (Adaptive Security Architecture) 첨단시스템아키텍처 (Advanced System Architecture) 매시앱및서비스아키텍처 IoT 플랫품 ( 출처 : www.dt.co.kr/contents.html?article_no=2015102902101860718001) 내용 모바일, 웨어러블, 가전제품, 자동차디바이스및사물인터넷 (IoT) 용센서등의정보융합 사용자를중심으로환경이나기기가바뀌어도지속적인서비스와경험제공 생물학적소재등, 다양한재료들이이미활용되고있으며이런변화는항공, 의료, 자동차및군대와같이다양한분야로실용적인용도가확장 디지털메시내의모든사물이정보를생산, 사용, 전송한다는개념으로이정보들을가치있는것과그렇지않은것으로구분, 처리 컴퓨터가다양한정보를취합, 자율적학습으로문제의해결책을찾는기술 SW 기반지능화된기술로사람이무엇을원하는지상황에맞춰파악하고능동적으로대응하는기술 클라우드환경에서높아지는보안위협을자체적으로파악하고대응하는기술로공격이들어오면대응하는전통방식에서벗어나자가보호등적극적보안실행 높은에너지효율을위해적은전력으로학습하고필요한부분의정보만분석, 처리할수있는알고리즘을적용한서비스구현 모바일과 IoT 요소를결합해앱과서비스를결합한유연한시스템 원활한 IoT 와모바일서비스구현을위한보안 / 관리 / 통합제공기본기능등
데이터 아키텍처 IoT 자율 인터넷분석 사용자경험 정보 Advanced Analytics 장치
Advanced Analytics BI 그이상의의미
클라우드 0 380 50 0 7.62.50 플랫폼 글로벌데이터센터 다양한형태의데이터처리 기업의모빌리티 IoT 응용프로그램의개선
Microsoft Cloud
플랫폼서비스 보안및관리 하이브리드 Portal Active Directory Cloud Services Batch Service Fabric Remote App Web Apps Mobile Apps API Apps Logic Apps API Management Notification Hubs Visual Studio Team Project Azure SDK Application Insights Azure AD Connect Health AD Privileged Identity Management Multi-Factor Authentication Backup Automation Storage Queues Biztalk Services HDInsight Machine Learning SQL Database SQL Data Warehouse Operational Insights Key Vault Hybrid Connections Service Bus Data Factory Event Hubs Redis Cache Search Import/Export Store / Marketplace VM Image Gallery & VM Depot Media Services Content Delivery Network (CDN) Stream Analytics Mobile Engagement DocumentDB Tables Site Recovery StorSimple 인프라스트럭처서비스
HADOOP 머신러닝 검색 BI 스트리밍분석 데이터팩토리 데이터베이스 클라우드데이터베이스 NOSQL 데이터플랫폼
ML STUDIO API
Machine Learning Observation Data Model Speed Second 9.8 1 39.2 2 88.2 3 156.8 4 245 5 g = 9.8 m s 2 Machine Learning with R - Brett Lantz
머신러닝과타기술의차이점 데이터마이닝 : 수많은데 이터중에서필요한데이터 를골라내는것 빅데이터 : 표본데이터가아 닌전체데이터의수집과 활용 인공지능 : 인간과같은사 고와인간의패턴을인식하 는컴퓨팅
산업별머신러닝사례 금융유통통신제조 계정생성시검증 Fraud 방지부정거래예금관리보험설계대출처리 고객의입장에서의분석브랜드분석개인프로모션및지역화웹사이트최적화매장의전시계획 CDR(Call detail record) 분석인프라투자계획예측차기제품구매실시간대역폭할당신제품개발 재료공급시기 SCM 및물류조립라인의품질검증사전품질관리장치의오류분석및 AS 시기예측 의료 유전자데이터분석실험환자상태모니터링재발율감소의료데이터의저장약품의개발질병패턴분석 석유화학 원전분석에너지개발및수요량분석 / 예측컴플라이언스보고서능동적인장치수리이미지프로세싱 공공서비스 공공자료분석재난재해위험상황의예측자원이낭비와소모감시사회시설에대한모니터링과예산편성각종통계성업무활용
Kinect 기술을활용한 오프라인매장소비자분석시스템 Azure 상에서오픈소스기술로구현 - 시장의신기술을빠르게적용가능 - 다양한국가의소비자를실시간분석하기위해 Azure 선택
IoT + Machine Learning 각엘리베이터에장착된센서와센서취합허브시스템을통해서취합된로그데이터는마이크로소프트애저 IoT 서비스클라우드환경으로전송되고, 빅데이터분석환경인애저머신러닝을통해사전예측및권고를도출해내고이에대한사용자인터페이스는 Power BI를통해제공하고있음. 자사및고객사모두의비용절감 실시간현황비주얼인터페이스 예측모델로의지속적인센서데이터전달을수용할수있는인프라차용 엘리베이터진단및원격제어를통한운영비용절감
오늘날의머신러닝 머신러닝시스템을도입하기위해서는불필요한진입비용을지출 데이터는개별적으로분리되어있고데이터에접근은제한됨 복잡하고분산된도구를이용하여예측모델을생성하는데어려움 머신러닝 사용의어려움 많은모델들이실제업무환경에적용이가능한가치를달성하기어려움
마이크로소프트와머신러닝 1999 2004 2005 2008 2010 2012 2014 정크메일을필터링하기위하여컴퓨터의로직을활용 머신러닝기반의검색엔진활용 SQL 서버에서데이터베이스의데이터 마이닝기능 Bing 맵교통량분석예측에 ML 의사용 키넥트의사용자제스처 감지기능 실시간 음성통역 기능 머신러닝 서비스 제공 존플랫 (John Platt) Distinguished scientist Microsoft Research 머신러닝기술은이미마이크로소프트의모든제품에연관되어있다.
Microsoft Cognitive 서비스 Vision Speech Language Knowledge Search https://www.microsoft.com/cognitive-services/en-us/face-api
고급분석기능의간편한접근 Cloud
Azure ML 의주요기능 클라우드기반의머신러닝솔루션으로클라우드의장점과편의성활용 시각적인구성으로모듈의디자인을워크플로우에따라생성 Xbox와 Bing에서사용한동일한머신러닝알고리즘사용 R언어를이용한분석지원 데이터과학자들과공동작업이가능한작업환경제공 Azure기반의웹서비스로배포및사용가능
모델의개발과훈련
Azure ML 데이터에서결과그리고예측 Web Apps Mobile Apps Power BI/Dashboard s ML API 서비스 개발자 Azure Portal & ML API service Azure Ops Team m ML Studio 데이터과학자 HDInsight Azure 저장소 PC 데이터
Azure ML 데이터처리 분석작업요청 데이터모델수정 테스트및반복 훈련 점수 ML Studio Experiments, 모듈, 데이터셋 모델의작성 BLOB, Table 데이터읽어오기 f(x) Score 데이터
Experiment 의생성과실행 캔버스에새로운실험생성 데이터셋추가 모듈추가 데이터셋과모듈의연결 실험의실행 실험의수정및재실행
데이터입출력 OData 리더 OData 엔티티로부터속성과내용을포함하고있는단일데이터셋을반환. URL 은반드시엔티 티를포함하고있어야함. Reader 클라우드에있는 CSV, TSV 및 ARFF 파일을로드하는데 Reader를사용할수있음 Windows Azure BLOB 저장소 Web sites와서비스및 FTP SkyDrive Writer 데이터셋을 Azure SQL Database, 테이블및 HIVE 와 BLOB 저장소에기록
모듈 데이터포멧전환 (Data Format Conversions) 데이터입력및출력 (Data Input / Output) 머신러닝 (Machine Learning) 데이터선택 / 변환 (Data Transformation) OpenCV 라이브러리 모듈 R 언어모듈 텍스트분석 (Text Analytics) 수학함수 (Statistical Functions) 특징선택 (Feature Selection)
Experiment 의퍼블리싱 입력과출력지정 기본적인실험의모델이작성이되면 ML API 를이용하여웹서비스로실험의결과를전송할수있음 입력값과출력값에해당하는변수를지정하여하나의서비스로서구동 실험의퍼블리싱 웹서비스구성 웹서비스의수정및테스트
Azure 머신러닝 기존방식 Azure ML 예측모델 업무혁신 질의 마켓팅분석가 데이터과학자 통찰력의확보 빠른모델의개발과운영 16X 뛰어난경제성 50X
Question?