2020, Amazon Web Services, Inc. or its affiliates. All rights reserved.

Size: px

Start display at page:

영완 운
4 years ago
Views:

3 Agenda Why AI/ML in Language? AWS 의인공지능언어서비스 ML Stack AI Speech 서비스 AI Text 서비스 서비스연동및활용사례

5 언어데이터처리의중요성 최근디지털데이터의증가수준은전례가없을정도로폭발적입니다. 특히, 언어 와관련된음성 / 영상데이터의비중은더욱커지고있습니다. In 2020, the digital universe is expected to reach 44 zettabytes - Deloitte Insights 음성데이터 고객지원센터 각종회의, 미팅 영상데이터 TV 방송 온 - 디맨드비디오 소셜미디어 Deloitte Insights:

6 자연어처리의어려움 - 복잡한처리과정 자연어처리 (NLP) 는언어학의개념과깊은연관성을지니고있으며, 다양하고복잡한과정으로구성되어있습니다. 음성인식 ( 음운론 ) Speech-to-Text Text-to-speech 형태소분석 ( 형태론 ) 동의어, 동음이의어처리중의성해소신조어, 미등록어판별및등록 구문분석 ( 통사론, 의미론 ) 문법기반구조분석맥락기반추론 Image Source:

7 음성인식의어려움 - 하나만놓고보면쉬울까요? 자연어처리의한분야인음성인식 (ASR Automatic Speech Recognition ) 에서특히해결이쉽지않은문제들로어떤것들이있을까요? 높은노이즈 대화상의 artifacts와뉘앙스 (nuance) 화자가여럿일경우 처음접하는용어들 방언, 사투리처리 활용사례가적은언어또는은어처리

8 인식이후의텍스트분석과정은더복잡합니다. 또, 수없이쏟아지는텍스트에대해서도빠르게파악하고이해해야합니다. 이를위해서는어떤것들을해결해야할까요? Sentiment: positive My compliments on the very rapid road openings in New York following Hurricane Sandy Entity: Hurricane Sandy Language: English Entity: Location -> City 고유명사구분및추출 (NER) 언어에대한자동인식 핵심키워드파악및문서요약 텍스트의성향분석 감성분석 의도분석, 오피니언마이닝 맥락기반추론 시간흐름에따른변화내역추적 지능형질의응답

9 다양한언어지원의어려움 - 여기서끝이아닙니다. 한편, 전세계의많은사람들은대부분하나의언어만구사합니다. 이런경우에는또어떤어려움이있을까요? APAC : e-commerce 회사의글로벌확장시도 EUROPE : 여행사웹사이트에서외국어로작성된고객리뷰검토 LATIN AMERICA : 금융서비스회사에서수십만건의뉴스를제공

10 새로운인공지능기술을활용한자연어처리의발전 새로운 AI/ML 기술의적용을통해자연어처리분야에서는큰변화와혁신이일어나고있습니다. 특히, Machine Translation 분야의성과를주목할필요가있습니다. 기존방식 : Data-driven technology 과거최소 30 년전부터시도되어온방법 전문번역가를통해만들어진고품질의샘플데이터확보가중요 대단히많은샘플데이터확보가요구됨 Rule-based Machine Translation 언어학을기반으로한룰 (Rule) 을이용하여입력언어에대한출력언어번역결과를생성 Statistical Machine Translation 말뭉치 (Corpus) 를기반으로한통계모델을이용하여입력언어에대한출력언어번역결과를생성 최근방식 : Neural technology Deep Neural Architecture를이용 전체입력문장단위로어떻게번역할것인지모델링 어순, 단어의의미 ( 중의성 ), 문맥파악등이반영됨 데이터의희박성을극복 언어간의교차지식도활용가능 주요알고리즘 Encoder-Decoder model Bi-directional RNN (Recurrent Neural Network) Sequence-to-sequence (seq2seq) GAN-NMT CNN (Convolutional Neural Networks) BERT

11 하지만누구에게나머신러닝이쉽지만은않습니다. 이렇게뛰어난기술발전에도불구하고여전히 AI/ML 은다가가기어려운영역일수있습니다. 왜그럴까요..? 학습용데이터셋이없어요데이터과학자, 머신러닝전문가가없어요. 컴퓨팅리소스가부족해요 머신러닝같은거잘몰라도그냥바로쓸수있는건없나요? 모든걸직접만들려고하니엄두가안나요 지금비즈니스에서 UX 를향상시키고싶은데시스템 API 개발만가능해요 Image source:

13 AI 서비스 The AWS ML Stack 가장광범위하고가장완벽한머신러닝기능제공 언어서비스 NEW! NEW! NEW! NEW! VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS Rekognition Polly Transcribe +Medical NEW Comprehend +Medical Translate Textract Kendra Lex Personalize Forecast Fraud Detector CodeGuru Connect with Contact Lens ML 서비스 SageMaker Ground Truth Augmented AI ML Marketplace Built-in algorithms Notebooks Experiments Model training & tuning SageMaker Studio IDE NEW! NEW! NEW! NEW! NEW! Debugger NEW! Autopilot Model hosting Model Monitor Neo ML 프레임워크 & 인프라 Deep Learning AMIs & Containers GPUs & CPUs Elastic Inference Inferentia FPGA

14 AWS 의인공지능언어서비스 AI Speech 서비스 언어 음성 사람 대화 Lex Transcribe 음성인식 (STT) Text to Speech Polly Rekognition 문자인식 (OCR) 의미 문자 자연어처리 ( 감정 / 구문분석, 엔터티인식 ) Textract 문서인식 (OCR+) Comprehend 번역 Translate AI Text 서비스 (+ Chatbot) 다른언어 음성 문자 데이터 음성데이터 문서데이터 문자데이터 음성파일 비디오 이미지 AI Vision 서비스

16 Polly 음성합성 (TTS, text-to-speech) 서비스 AI Speech 서비스 다양한국가의언어지원 ( 한국어 : 서연 ) SSML(Speech Synthesis Markup Language) W3C 표준에기반하여의미적음성합성마크업언어인 SSML 1.1 지원 음성속도, 볼륨, 피치, 끊어읽기등다양한표현지원 AWS에서자체적으로지정한추가기능도지원 변환된음성파일의자유로운저장, 재생, 배포가능

17 Polly Customer cases 음성합성 AI Speech 서비스 Polly 가조선일보뉴스를들려드립니다 노컷뉴스, 기사읽어주는음성서비스 노보 (NOVO) 론칭

고객에대한인사이트글로벌서비스맞춤형광고아카이브검색 서비스확장 ( 수요증가 ) https://aws.

18 Transcribe 음성인식 음성입력정보에대한스크립트를자동으로생성해내는완전관리형음성인식 (ASR) 서비스 AI Speech 서비스 Transcribe 를이용한자동자막생성하기 Transcribe 고객에대한인사이트글로벌서비스맞춤형광고아카이브검색 서비스확장 ( 수요증가 )

$start_transcription_job( TranscriptionJobName='transcribe-demo', Media={'MediaFileUri':$

19 Transcribe 음성인식 AI Speech 서비스 Transcribe 에서제공하는다양한인터페이스를통해목적에맞춰편리하게음성 - 텍스트변환작업을수행할수있습니다. - AWS Console 기반 - AWS CLI/SDK 기반 transcribe.start_transcription_job( TranscriptionJobName='transcribe-demo', Media={'MediaFileUri': ' MediaFormat='wav', LanguageCode='en-US', MediaSampleRateHertz=16000 )

20 Transcribe 음성인식 AI Speech 서비스 Transcribe 는다양한기능과특징을통해더현실적이고효용성높은음성 - 텍스트변환결과를제공합니다. Hello/ Hola 일반음성데이터, ( 낮은음질의 ) 전화음성데이터모두지원 타임스탬프 Confidence score 문장부호반영, 문장스타일링 영어, 스페인어, 프랑스어, 이탈리아어지원 ( 향후지속적인확대 ) S3 S3 와손쉬운통합 다자간대화시화자 (speaker) 별추적 맞춤형어휘집구축제공 독일어및한국어로음성텍스트변환지원! 3/

22 Comprehend 자연어처리 AI Text 서비스 Comprehend 는 Deep Learning 기반의 NLP 엔진이탑재된완전관리형 AWS 의자연언어처리서비스입니다. 감정분석엔티티추출언어핵심문구주제모델링 NEW! 한국어포함추가 6 개언어지원! 11/ Aurora 데이터베이스에서바로자연어처리가능 11/

23 Comprehend 자연어처리 AI Text 서비스 A m a z o n. c o m, I n c. i s l o c a t e d i n S e a t t l e, W A a n d w a s f o u n d e d J u l y 5 t h, b y J e f f B e z o s. O u r c u s t o m e r s l o v e b u y i n g e v e r y t h i n g f r o m b o o k s t o b l e n d e r s at g r e a t prices TOPIC MODELING Keywords Topic Groups Topic Term Weight Document Relationship to Topics Document Topic Proportion Named Entities.com : Organization Seattle, WA : Location July 5th, 1994 : Date Jeff Bezos : Person Key Phrases Our customers books blenders great prices Sentiment Positive 0 Washington.89 1 Silicon Valley.67 2 Roasting.91 Doc.txt 0.89 Doc.txt 1.67 Doc.txt 2.91 Language English

24 Comprehend 자연어처리 AI Text 서비스 신규기능 - 한국어지원 import boto3 import json comprehend = boto3.client(service_name='comprehend', region_name='region') text = " 오늘은하루종일비가내려서우울하다. 맛있는부침개가생각나는날이다." print(json.dumps(comprehend.detect_sentiment(text=text, LanguageCode='ko'), sort_keys=true, indent=4)) {. } "SentimentScore": { "Mixed": , "Positive": , "Neutral": , "Negative": }, "Sentiment": "NEGATIVE", "LanguageCode": "ko"

25 Comprehend 자연어처리 AI Text 서비스 신규기능 - Aurora, 데이터베이스에서직접 Machine Learning 지원 SELECT comment_text, aws_comprehend_detect_sentiment(comment_text, 'en') AS sentiment, aws_comprehend_detect_sentiment_confidence(comment_text, 'en ) AS confidence FROM comments;

Smart Chat App categorizing topics in real-time

26 Comprehend Customer Cases 자연어처리 AI Text 서비스 ClearView Social Comprehend 기반소셜공유효과측정 at AWS Machine Learning Blog Smart Chat App categorizing topics in real-time (conversation-aware chat room) at PubNub Tech blog Tag Heatmap (from Comprehend)

Encoder-Decoder Convolutional Transformer Web Services es una colección de servicios de computación en la nube

27 Translate AI Text 서비스 번역 Translate 는높은퀄리티로다양한언어에대해대량의컨텐트번역, 실시간번역을제공하는완전관리형 Neural Machine Translation 서비스입니다. 글로벌확장을위한필수요소 다양한활용사례를통한대규모처리 " Web Services is a collection of cloud computing services" Neural Architecture Encoder-Decoder Convolutional Transformer Web Services es una colección de servicios de computación en la nube Context aware: knows not to translate to as ( Jungle) Learns to re-order words & phrases according to the grammar of each language

28 Translate AI Text 서비스 번역 Translate 는다음과같은주요기능을제공하며한국어를포함한 54 개언어간의번역을지원합니다. 총 54 개언어에대해번역서비스제공 대용량컨텐트 번역 실시간번역 번역대상언어 자동탐지 Arabic, Chinese, French, German, Portuguese, Spanish

29 Translate - 주요활용사례 AI Text 서비스 Twitch 스트리밍텍스트데이터의실시간번역

30 Lex Chatbot 텍스트및음성이해 : Alexa 와같은기술기반 한번의 Build 로다양한플랫폼에적용 대화형서비스구축을위한직관적인도구제공 엔터프라이즈 SaaS 커넥터제공 : 엔터프라이즈시스템연동 지속적인학습 : 봇을모니터링하고개선

31 Lex - 적용기술및서비스 Chatbot

모바일어플리케이션에강력한인터페이스연계 기업생산성봇 Enterprise Productivity

(IoT) Bots 디바이스상호작용에서인터페이스를통한대화 ( 컨트롤 ) 가능 뉴스업데이트

32 Lex 사용예시 정보봇서비스 - Informational Bots 모든고객의매일일상적질의에대한챗봇서비스 어플리케이션봇 - Application Bots 모바일어플리케이션에강력한인터페이스연계 기업생산성봇 Enterprise Productivity Bots 기업의업무에서생산성향상과업무과정상에지원 IoT 봇 Internet of Things (IoT) Bots 디바이스상호작용에서인터페이스를통한대화 ( 컨트롤 ) 가능 뉴스업데이트 날씨정보 스포츠경기스코어 티켓예약 식사주문 은행계좌관리등 매출확인 마케팅상황 / 결과 실시간재고파악 웨어러블 원격어플리케이션 자동화

34 Pairing ML Services AWS 에서제공하는 ML 관련서비스들을서로연동시켜서더다양한분야에폭넓게적용시킬수있습니다. Transcribe Transcribe Transcribe Translate Connect Connect Rekognition Comprehend Translate Comprehend Lex Transcribe

35 Vision 서비스를활용한문서데이터활용 Textract 를활용하면이미지로부터문서 ( 문자 ) 데이터를추출하여필요한언어기능을적용하여새로운인사이트를얻을수있습니다. 사람 대화 의미 자연어처리 Comprehend ( 감정 / 구문분석, 엔터티인식 ) 예시 : Comprehend 도서태깅, 설문지를통한고객피드백분석 Comprehend Medical : 의료문서분석 Translate 영문서적스캔본자동번역 Polly : 동화책읽어주는로봇 언어 데이터 음성 음성인식 (STT) Text to Speech Polly 문자인식 (OCR) 문자 Textract 문서데이터음성데이터문자데이터음성파일비디오이미지 문서인식 (OCR+) 번역 Translate 다른언어 음성 문자

Textract Reference architecture Extract for NLP Input Uploaded

patient forms S3 Uploaded documents are stored in S3 Textract

Use natural language processing to extract insights from medical

data and text insights Output Discover medical insights to

36 Textract Reference architecture Extract for NLP Input Uploaded document images of medical notes, explanation of benefits, and patient forms S3 Uploaded documents are stored in S3 Textract Automatically extract words and lines of text, and tables NLP Use natural language processing to extract insights from medical documents Elasticsearch Service Easily search through extracted data and text insights Output Discover medical insights to improve patient care Quickly turn extracted text/data into actionable insights

37 번역서비스를중심으로언어지원확대 Translate 를중심으로현재특정언어를지원하지않는서비스기능을활용할수있습니다. 사람 대화 Lex 의미 자연어처리 Comprehend ( 감정 / 구문분석, 엔터티인식 ) 예시 : Comprehend 각국소셜미디어, 뉴스동향분석 글로벌 e-commerce 고객후기분석 Transcribe 해외연사강연시동시번역기 언어 데이터 음성 Transcribe 음성인식 (STT) Text to Speech 문자인식 (OCR) 문서데이터음성데이터문자데이터 번역음성문자 Translate Textract 문서인식 (OCR+) 다른언어 문자 음성파일 비디오 이미지

39 Demo : Serverless Subtitles 동영상이업로드되면자동으로자막을생성 (Transcribe) 하고, 각언어별자막을제공하는 (Translate) 서버리스애플리케이션 * 예제는한글지원을하지않으나간단히코드에언어코드 ( ko ) 를수정하여구성가능

40 Demo Video : Serverless Subtitles

41 정리하면 AWS AI 언어서비스를활용하면많은인공지능기술이나인력없이도손쉽게자연어처리기능을활용하실수있습니다. AWS에서제공하는 ML 관련서비스들을서로연동시켜서더다양한분야에폭넓게적용시킬수있습니다. Textract를활용하면이미지로부터문서 ( 문자 ) 데이터를추출하여필요한언어기능을적용하여새로운인사이트를얻을수있습니다. Translate를중심으로현재한국어등특정언어를지원하지않는서비스기능을활용할수있습니다.

AWS 머신러닝 (ML) 교육및자격증 의개발자와데이터과학자를교육하는데직접활용되었던커리큘럼을기반으로학습하세요!

데이터플랫폼엔지니어등역할에따라제공되는맞춤형학습경로를확인하세요. 원하는방법으로!

전문강사를통해실습과실적용의기회가제공되는강의실교육이준비되어있습니다. https://aws.amazon.

42 AWS 머신러닝 (ML) 교육및자격증 의개발자와데이터과학자를교육하는데직접활용되었던커리큘럼을기반으로학습하세요! 전체팀을위한머신러닝교육 비즈니스의사결정자, 데이터과학자, 개발자, 데이터플랫폼엔지니어등역할에따라제공되는맞춤형학습경로를확인하세요. 원하는방법으로! 교육유연성제공 약 65 개이상의온라인과정및 AWS 전문강사를통해실습과실적용의기회가제공되는강의실교육이준비되어있습니다. learning-paths/machine-learning/ 전문성에대한검증 업계에서인정받는 AWS 공인머신러닝 전문분야 자격증을통해머신러닝모델을구축, 학습, 튜닝및배포하는데필요한전문지식이있음을입증할수있습니다.

강창훈

강창훈 51 4. 2 4?? 1 3B 1 1 3 1 1?? C 3? /3 A 23 C 3? /3 A 23 C 3? /3 A 23 1 2 3 3 1 1 3 1 C 3? A3 /3 A 23.1? A3 /3 A 23. / / 23? / / 1.1 Microsoft Bot Framework? 마이크로소프트사의소프트웨어기반봇개발프레임워크. Bot Framework 는강력하고인텔리전트한봇을구축하고연결하며테스트,