서강대 기술 세미나 검색 지능을 가지다. (주)솔트룩스 이경일 / tony@saltlux.com
이 경 일 Tony LEE Saltlux, Inc. CEO and President KM/ECM 협의회, 회장 인하대 정보통신공학부, 겸임부교수 EU STI International, Board Member 컴퓨터지능소사이어티, 이사 ISO TC37, 전문위원 한국건설기술연구원, 초빙 연구위원 지경부, 행안부 자문/기획 위원 휴먼테크논문대상, 삼성전자(1995) 신SW상품대상, 지경부장관(95,03,10) 사회공헌대상, 벤처협회(1999) 대한민국SW대상, 대통령(2010) 대한민국 포장산업훈장, 대통령(2011)
Predicting the Future of Phones is Unpredictable 2005 2012 3
혁신 그리고 가까운 미래 The NEAR future? 200년 10년???? Internet, Mobile Mobile Product Life cycle Computer Car Railway 2000 2005 2010 2015 2020 Textile Source: Joseph Schumpeter, Hunter Lovins 4
기술 혁신 > 낭비 하도록 만들기 Nasa s Supercomputer to send a man to moon 5 5
비전이 만든 혁신 Knowledge Navigator(1987)
감 상 소 감? 25년 전 지금보다 발전된 태플릿 PC를 예언? 음성인식, 대화, 멀티터치, 향상된 그래픽 등 거의 모든 현재의 기술 설명 스케쥴, 주소록, 위치 등의 상황 정보를 참조한 개인화된 맞춤형 서비스 네트워크와 클라우드를 통한 소셜 네트워크 및 정보의 연계
Siri vs. S-Voice
Why is Siri more attractive? Because Siri acts like real human agent including continuous conversation and recommending alternatives. Functions Continuous Conversation Recommending Alternatives Other Agent Weak Weak Apple Siri Strong Strong Semantic Match Weak Strong Semantic Disambiguation Weak Strong Semantics make it possible in Siri!
재퍼디 쇼 퀴즈 그랜드 챔피언
포기하지 않는 비전의 실천 IBM 사례 1997 체스 토너먼트 세계 챔피언에게 승리 2010 재퍼디 쇼 퀴즈 그랜드 챔피언 IBM 딥 블루 IBM 왓슨 컴퓨터
구글이 꿈꾸는 미래는? Project Glass by Google
Project Glass 감 상 소 감? AR without headset/phones Voice recognition in context Context Awareness (location, event, social ) 일정 알람, 자동 설정 하늘 쳐다보기 > 날씨 검색 음성 인식 메시지 보내기 상황 인지 > 자동 알람 (지하철 고장) 대안 제시 > 자동 플래닝(planning) 자동 서비스 연결 > 예약 실내 위치 측정 약속된 친구 위치 검색, 안내 진보적 소셜 네트워킹 발전된 화상 통화
웹 도대체 무슨 일이 있었지? 2000 2005 2010 2015 2020 더 웹 (The Web) 웹 2.0 (Social Web) 모바일 & 데이터의 웹 사물 웹? 정 보 사 람 빅 데이터 지 능 화? 검 색 소셜네트워크 분 석 예 측? 데이터 수집 세상의 이해 최 적 화 14
진화하는 검색 정확률 시맨틱 (semantic metadata : semantic annotation) Text Mining (IE, NE, Clustering, Classification) Human Computing, Collective Intelligence (user comment, evaluation, tag) Personalization, Intent Driven Ranking 고품질 형태소 분석 랭킹 기술 (Page Rank) 손맛 (지식인 등) 유의어 사전(시소러스) 온톨로지 (Subsumption 리즈닝) Text Mining (Word Clustering) Meta-search, Mash-up 재현률 연결/분석성 15
빅 데이터 분석의 개념 빅 데이터 분석 플랫폼 심층 분석 서비스 기대 효과 소셜 데이터 기업 데이터 금융 데이터 통신 데이터 안보 데이터 분석 서비스 응용 및 시각화 분석 워크플로우 시스템 분석 서비스 컴포넌트 트랜드, 분류, 군집, 사회망, 인물, 감성 분석 기술 인프라 자연어처리, 기계학습, 통계, 시맨틱/추론 데이터 수집/통합/관리 인프라 사회, 시장 트랜드 분석 고객, 시민 목소리 분석 제품, 서비스 평판 분석 경쟁자 모니터링, 분석 사업 리스크 감지, 분석 실시간 마케팅 최적화 경쟁 전략 최적화 동적 비용 최적화 신 사업, 정책 발굴 의료 데이터 생산 데이터 분산, 병렬처리 인프라 하둡, NoSQL(HBASE, mongodb, ) 클라우드 컴퓨팅 인프라 부정 사용자, 비리 감지 생산 시스템 모니터링 위험 조기 감지 사전 대응 생산 시스템 최적화 16
Apple, IBM, Google 비전의 기술적 공통점? when BigData met AI
Neuron ~100 Billion # ~ # of Web Pages Synapse ~100 Trillion # ~ # of Web Links
200m x 10,000 200m 1 : 1000
Knowledge Network
World Wide Web Network
Internet Network
Social Network
WordNet Network
Mobile Network
Linked Data Network
Intellectual Activity of Human Information Medium Learning Knowledge Decision Making Pre-Historic Era (12,000BC~3,000BC) Historic Era ( ~1,900AD)
Big Data Era ( 2000~ ) Analytics Prediction Intuition Insight Big Data (F.A.S.T) Augmented Brain (Exobrain)
Big Data Analytics? Prediction is an inferred result about the way things will happen in the future based on experience or knowledge. Classical Approach Data Mining, Simulation (Numerical, Analytical) Big Data Centric Approach Logical Inference (Deduction) AI and Machine Learning Statistical Inference (Induction)
인간 지식 처리를 위한 연구 Knowledge Engineering Artificial Intelligence Semantic Web
인간 지식 처리를 위한 연구 Knowledge engineering은 어떤 도메인에서 특정 목적을 위해 컴퓨 터가 업무를 처리할 수 있도록 모델을 구성할 때 온톨로지와 로직을 활용하는 과정 - John Sowa Artificial Intelligence은 컴퓨터를 통해 지능정 행동을 수행하도록 하는 연구로, agent가 어떻게 행동을 할 것인가를 결정하는 과정에 지 식 표현과 지식 이해 과정이 수반됨 Brachman and Levesque Semantic Web은 웹 표준 하에서 컴퓨터가 데이터의 의미를 이해하고 처리하는 것이 가능한 데이터의 웹 Tony Knowledge representation은 해석될 수 있는 기호(symbolic form) 로 지식을 형식화하는 것을 의미 Klein and Methlie
인공 지능 (AI)? AI : The study and design of intelligent agents 인텔리전트 에이전트는 환경을 감지해서, 스스로 행동함으로 기회를 최적화, 자신의 목표 달성할 수 있는 자동 시스템 Systems that think like humans Systems that act like humans Systems that think rationally Systems that act rationally Knowledge Representation Reasoning Learning Planning Natural Language Processing Social Intelligence Machine perception and Vision
기계 사람 지식 표현 기계와 인간의 협력? 자연 언어 (Natural Language) 시각 언어 (Visual Language) 주석, 태깅 (Tagging) 기호 언어 (Symbolic Language) 의사 결정 나무 (Decision Tree) 규칙 (Rules) 데이터베이스 (Database System) 논리 언어 (Logical Language) 프레임 언어 (Frame Language) 시맨틱 네트워크 (Semantic Network) 통계적 지식 (Statistical Knowledge) 글로 쓰여진 사람의 말 : 지구는 타원 궤도로 태양을 돌고 있다 그림, 구조도, 흐름도, 설계도 등 시각적으로 지식을 표현 개체에 연관된 키워드, 기호, 이미지 등을 부착해 지식을 표현 수학 등을 포함해 기호로 표현된 지식 : x 2 /a 2 + y 2 /b 2 = 1 복잡한 의사 결정을 위해 구성된 나무 모양의 그래프 구조 인간 지식을 여러 규칙들의 조건부 결합으로 표현 개체와 관계로 구성된 테이블 형태의 지식 표현 체계 논리 기호, 연산을 통한 지식 표현 : Woman Person Female 값 혹은 타 프레임의 포인터를 저장한 슬롯들로 지식 표현 개념간의 의미적 관계를 그래프 구조로 구성한 지식 표현 확률과 통계에 기반한 지식 표현, 기계 학습 기술 접목 가능
지식의 표현 자연 언어 기업에 종사하는 종업원은 사람들이고, 기업과 종업원은 모두 법적 존재이다. 기업은 직원들을 위해 여행 예약을 할 수 있다. 여행은 한국 내 도시, 혹 미국의 도시를 오고 가는 비행기 혹은 기차를 통해 가능하다. 기업들과 출장지는 도시에 위치하고 있다. 솔트룩스는 홍길동을 위해 서울과 뉴욕 왕복 항공편인 OZ510을 예약하였다. 규칙 언어 (규칙) 만약 누군가가 날고 있다면, 여행중인 것이다. (규칙) 만약 누군가의 여행이 한 회사에서 예약되었다면, 그는 그 회사의 종업원이다. (규칙 추가) 만약 동일 국가의 근거리 여행이라면, 종업원은 기차를 이용해야 한다. (추론) 비행 예약이 되어 있는 홍길동은 솔트룩스의 종업원이다 (추론) OZ510은 미국과 한국을 오가는 비행편이다.
instanceof instanceof instanceof instanceof subclssof kindof subclssof subclssof kindof 지식의 표현 법적 존재 법적 존재 법적 존재 이름 고유번호 위치 법적 존재 이름 (필수) 고유번호 (필수) DISJOINT 사람 사람 종업원 종업원 홍길동 홍길동 기업 instanceof 솔트룩스 기업 instanceof 솔트룩스 participatesin 사람 성별 books 나이 종업원 직급 #3502 홍길동 P12345 남자 37 과장 비행기 instanceof 여행 OZ510 기업 업종 주소지 기차 startfrom instanceof #4831 솔트룩스 C98765 소프트웨어 서울 삼성동 endsin 사람 성별 {남,녀} 나이 > 25 온톨로지(Ontology) 종업원 직급 임원 한국 도시 #3502 홍길동 P12345 남자 37 과장 서울 도시 instanceof 기업 업종 주소지 서울 미국 도시 (a) 시맨틱 네트워크 (b) (a) + 프레임(프로퍼티) (c) (b) + 논리 제약 #4831 솔트룩스 C98765 소프트웨어 서울 삼성동 instnaceof 뉴욕 instanceof
Why is Siri more attractive? Because Siri acts like real human agent including continuous conversation and recommending alternatives. Functions Continuous Conversation Recommending Alternatives Other Agent Weak Weak Apple Siri Strong Strong Semantic Match Weak Strong Semantic Disambiguation Weak Strong Semantics make it possible in Siri!
Siri vs. S-Voice
추론 Reasoning 추론? : 기존 사실들로부터 새로운 사실을 도출하거나 결론에 도달하는 과정 Deductive reasoning Premise 1: All humans are mortal. Premise 2: Socrates is a human. Conclusion: Socrates is mortal. Ontology and Rules Inductive reasoning Premise: The sun has risen in the east every morning up until now. Conclusion: The sun will also rise in the east tomorrow. Abductive reasoning Machine Learning Analogical reasoning
논리적 추론 발전 방향
학습 Learning 학습(Learning) 주어진 여건에 대한 행동이 되풀이 되는 경험으로 인해 생기는 그 여 건에 대한 행동 변화 지식의 습득과 기존 지식으로부터 추론된 결과의 재학습 능력 필요 궁극적으로 컴퓨터가 새로운 것을 배우고 환경에 적응하는 것 영화, 인류멸망보고서 중
빅 데이터 기계 학습 Black Box (learning machine) Test-data Training data Model Support vector machines Inductive logic programming Decision tree learning Association rule learning Artificial neural networks Genetic programming Prediction Clustering Bayesian networks Reinforcement learning Representation learning Sparse Dictionary Learning
계획 Plan/Planning 계획(Plan) 목표까지 경로에 있는 아크 연산자들을 하나의 순서로 만든 것 계획 수립(Planning) 다양한 순서를 찾아내고, 최적 순서를 확보하는 것 투영(Projecting) 어떤 행동 순서의 결과로 나타나는 상태의 순서를 예측 계획 시스템 제약조건하에서 목표를 달성 위해 행동을 설계하는 시스템 - 만일 새로운 정보가 생기면 계획되었던 일련의 과업들을 변경시킬 수 있는 유연성을 가져야 함 - 현재까지의 추론 과정을 되돌아 가고, 더 좋은 해결안을 위해 현 추론 결과를 취소할 수 있음 (Nils J.Nilsson 1998)
계획 수립 Rube Goldberg Machine? Rube Goldberg의 연필 깎는 기계 Open window (A) and fly kite (B). String (C) lifts small door (D) allowing moths (E) to escape and eat red flannel shirt (F). As weight of shirt becomes less, shoe (G) steps on switch (H) which heats electric iron (I) and burns hole in pants (J). Smoke (K) enters hole in tree (L), smoking out opossum (M) which jumps into basket (N), pulling rope (O) and lifting cage (P), allowing woodpecker (Q) to chew wood from pencil (R), exposing lead. Emergency knife (S) is always handy in case opossum or the woodpecker gets sick and can't work.
Intuition and Insight Enemy or Friend? Cost and Productivity Logics Rational Emotion Creativity Big data proc. Routine tasks How they could Collaborate?
Apple의 Siri 들여다 보기
Linked Services View Points for Siri-like Service Human Interaction Natural Language Understanding / Generation Search & Reasoning (incl. computation) Knowledge Base Knowledge Acquisition and Modeling Unstructured Big Data Structured Big Data
Context Model Context Rules Context Driven Mobile Service SENSOR / NETWORK CONTEXT MANAGER CONTEXT QoC Inferred Context CONTEXT OWNER User Device Filter Collector Dynamic Context SMART MOBILE SERVICE Service Discovery Service Personalization Service Adaptation Smart Service
Virtual Personal Assistance? A virtual personal assistant is a SW system that Helps the user find or do something (focus on tasks, rather than information) Understands the user s intent (interpreting language) and context (location, schedule, history) Works on the user s behalf, orchestrating multiple services and information sources to help complete the task In other words, an assistant helps me do things by understanding me and working for me. (Tom Gruber, 2010)
Siri? Siri is an intelligent software assistant and knowledge navigator functioning as a personal assistant application for ios. Siri uses a natural language UI to answer questions make recommendations perform actions with web services. Siri adapts to the user's individual preferences over time and personalizes results
Why Siri is different from others before Task focus. Siri is very focused on a bounded set of specific human tasks, like finding something to do, going out with friends, and getting around town. Structured data focus. The kinds of tasks that Siri is particularly good at involve semi-structured data, usually on tasks involving multiple criteria and drawing from multiple sources. Architecture focus. Siri is built from deep experience in integrating multiple advanced technologies into a platform designed expressly for virtual assistants. The CALO project taught Siri a lot about what works and doesn t when applying AI to build a virtual assistant.
What exactly can you ask Siri to do? 1. Does Things for you focus on task completion 2. Gets What you Say intent understanding via conversation 3. Gets to Know You learns and applies personal information Ask for a reminder. Ask to set an alarm. Ask to send a text. Ask for directions. Ask about the weather. Ask about stocks. Ask to set a meeting. Ask to set the timer. Ask to send an email. Ask Siri about Siri. Ask for a number. Ask for information from Yelp, Wolfram Alpha, or Wikipedia
History of Siri Siri is using the results of over 40 years of research funded by DARPA via SRI International s Artificial Intelligence Center through CALO project (2003~2008). Siri technology has come a long way with dialog and natural language understanding, machine learning, evidential and probabilistic reasoning, ontology and knowledge representation, planning, reasoning and service delegation. Siri was founded in 2007 (spin-off from SRI international) by Dag Kittlaus (CEO), Adam Cheyer (VP Engineering), and Tom Gruber (CTO/VP Design). $150 million DARPA funds (4.5 years) $8.5 million - series A (2009) $15.5 million - series B $200 million - purchased by apple (2010)
Technology of Siri Conversation Interface Personal Context Awareness Service Delegation dialog and natural language understanding machine learning evidential and probabilistic reasoning ontology and knowledge representation planning, reasoning service delegation
Overview of Siri Technology
The interface is a Conversation
Task-oriented NL Understanding
Ontology Unifies all Models
Semantic Autocomplete
Dialog modules organize by generic task and domain
What happened in Apple Siri? Active Ontology is a brain to understand user s intention and make conversation under the semantics Heterogeneous data integration Managing short and long term personal memory Improving speech recognition quality Semantic disambiguation Dialog generation and management
Path finding in semantic network We can find paths and a shortest path efficiently between classes, class-instance, or instances. class-to-class (Axioms only) C C C C class-to-class (Axioms and Predicates) C4 C7 C C C C C3 C6 C8 C2 class-to-instance C C C i C1 C5 C9 C10 i instance-to-instance C C i i1 i2 Shortest path finding C1 C3 C4 C6 C8 C7 C2 C1 C3 C5 C9 C2
Semantic distance calculation We can calculate semantic distance based on the meaning of relationships. Simple Counting i i i i C C = 5 1 1 1 1 1 With meanings i hasfriends hasfamily hasfamily instanceof subclassof i i i C 1 1 1 0.1 0.2 C = 3.3 With Axioms sameas hasfamily hasfamily instanceof subclassof i i i i C 0 0.1 0.1 C = 1.2 1 (if hasfamily is transitive)
Semantic disambiguation We can disambiguate the results of voice recognition and make dialog under the context. Italian shoes for lunch Voice Recognition Italian food for lunch Italian foot for lunch Topic 1 Topic 2 Semantic Distance Italian Shoes 0.2 Italian Food 0.2 Italian Foot 4.5 Shoes Lunch 5.3 Food Lunch 0.3 Foot Lunch 9.3 Italian shoes for lunch = 5.5 Italian food for lunch = 0.5 Italian foot for lunch = 13.8
Recommend Alternatives Semantic pattern matching The Concierge can recommend alternatives and generate dialog with adaptive question in semantics. Sushi restaurant, parking and smoking available Searching Target Location Minatoku Japan Food Type Parking Sushi Yes Tokyo Osaka Meat Sea food Smoking Yes Minatoku Chiyodaku Steak Sushi No Answers nearby L Chiyodaku T Sushi P Yes S Yes L Minatoku T Sea Food P Yes S Yes L Chiyodaku T Sea Food P Yes S Yes L T P Yes S Yes L T P Yes S Yes L T P Yes S Yes
Heterogeneous data integration Active ontologies serve as a unifying infrastructure that integrates models, components, and/or data from other parts.
Short and long term personal memory Siri stores conversation history as an instances of active ontologies in short term memory and long term memory
Disambiguate user s intention (1/3) Siri is able to disambiguate user s intent by using semantic interpretation (distance calculation).
Disambiguate user s intention (2/3) Siri uses semantic ranking algorithm based on semantic distance calculation and semantic matches.
Disambiguate user s intention (2/3) Siri has an interactive method to solve an ambiguity like ask-confirming and paraphrasing in semantics.
NLP and semantic matching (1/2) Siri uses semantic matching and semantic disambiguation to understand human language.
NLP and semantic matching (2/2) Semantic distance is used to support for disambiguating among semantic parse results.
Semantic Selection Siri refer to ontology and its hierarchy to improve result selection and ask constraints to user.
Paraphrase algorithm Siri uses ontology and inference to generate paraphrase in dialog to redirect searching criteria.
IBM의 Watson Computer 들여다 보기
The Jeopardy! Challenge A compelling and notable way to drive and measure the technology of automatic Question Answering along 5 Key Dimensions Complex Language Accurate Confidence Broad/Open Domain High Precision High Speed $200 If you're standing, it's the di rection you should look to c heck out the wainscoting. $800 In cell division, mitosis spl its the nucleus & cytokine sis splits this liquid cushio ning the nucleus $1000 Of the 4 countries in the wo rld that the U.S. does not h ave diplomatic relations wit h, the one that s farthest no rth
The Jeopardy! Challenge Hard Questions : Natural Language Understandings in Semantics
Q&A The Domain 2,500 distinct question types from 20,000 questions. (13% was non-distinct)
The Big Idea Evidence-Based Reasoning over Natural Language Content Deep Analysis of clues/questions AND content Search for many possible answers based on different interpretations of question Find, analyze and score EVIDENCE from many different sources (not just one document) for each answer using many advanced NLP and reasoning algorithms Combine evidence and compute a confidence value for each possibility using statistical machine learning Rank answers based on confidence If top answer is above a threshold buzz in else keep quiet
IBM 왓슨 Deep QA 시스템
Hardware Infrastructure
Where did it acquire knowledge? Three types of knowledge Domain Data (articles, books, documents) Training and test question sets w/answer keys NLP Resources (vocabularies, taxonomies, ontologies) Wikipedia Time, Inc. New York Time Encarta Oxford University Internet Movie Database IBM Dictionary... J! Archive/YAGO/dbPedia Total Raw Content Preprocessed Content 도서 10억 권과 동일한 분량 17 GB 2.0 GB 7.4 GB 0.3 GB 0.11 GB 0.1 GB 0.01 GB XXX 70 GB 500 GB
Through training Watson Evaluates and Selects documents worth analyzing for a given task. For Jeopardy! Watson has analyzed and stored the equivalent of about 1 million books (e.g., encyclopedias, dictionaries, news articles, reference texts, plays, etc) Too much irrelevant content requires unnecessary compute power
Auto. Learning & Semantic Frame
UIMA Framework & UIMA-AS
Natural Language Processing in Watson
The Difference Between Search & DeepQA Decision Maker Has Question Distills to 2-3 Keywords Reads Documents, Finds Answers Search Engine Finds Documents containing Keywords Delivers Documents based on Popularity Finds & Analyzes Evidence Decision Maker Asks NL Question Considers Answer & Evidence Expert Understands Question Produces Possible Answers & Evidence Analyzes Evidence, Computes Confidence Delivers Response, Evidence & Confidence
Keyword Search vs. Deep Reasoning for finding Evidences
Learning is-a relationship and Scoring Learning is-a relationship from text and wordnet/ontology In Cell division, mitosis splits the nucleus, and cytokinesis splits this liquid cushioning the nucleus. 세포 분열에서, 유사분열은 핵을 분할하고, cytokinesis(세포질분열)는 핵을 보호하는 이 액체를 분할한다. 이 액체는?
Some questions require decomposition and synthesis
Graph Search and missing link problems
Deep QA Process One Jeopardy! question can take 2 hours on a single 2.6Ghz Core 2880-Core IBM Power750 s using UIMA-AS, Watson is answering in 2-6 sec. Question Question & Topic Analy sis Primary Search Multiple Interpretations Answer Sources 100 s sources Question Decomposition Candidate Answer Generation 100 s Possible Answers Hypothesis Generation Evidence Retrieval 1000 s of Pieces of Evidence Evidence Sources Evidence Scoring Hypothesis and Evidence Scoring 100,000 s Scores from many Deep Analysis Algorithms Synthesis Learned Models help combine and weigh the Evidence Balance & Combine Models Models Models Models Models Models Final Confidence Merging&Ranking Hypothesis Generation Hypothesis and Evidence Scoring Merging & Ranking Answer & Co nfidence
>8000 experiments in 4 years
Game Strategy
Performances
Organizations
Future of Watson?
미래,예측하는 것이 아닌 만들어 가는 것... Communicating Knowledge 99
New Growth Engine, Big Data + AI H/W, System OS, S/W Service Platform Big Data + AI Augmented Brain : Knowledge Learning + Reasoning Google Brain Graph Search Siri
Invisible and Calm AI By Microsoft, 2009
Watson vs. Human... But.. Watson 10 compute racks 80kW of power 20 tons of cooling Human 1 brain - fits in a shoe box Can run on a tuna-fish sandwich Can be cooled with a hand-held paper fan.
앞으로 10년 후의 왓슨? <IBM Power 750> - 10 full racks - 2880 CPU cores - 15 TB RAM - 80 teraflops / sec - 10 GE ethernet 저장 가격 1/100, 반도체 집적도 X100
유일한 성공 방법은, 미래를 예측하는 것이 아니라 이미 시작된 변화를 이해, 그 시간차를 이용하는 것!" Peter Drucker