기술 Roadmap

Similar documents
PowerPoint 프레젠테이션

<4D F736F F D20B1E2C8B9BDC3B8AEC1EE2DC0E5C7F5>

RNN & NLP Application

김기남_ATDC2016_160620_[키노트].key

Multi-pass Sieve를 이용한 한국어 상호참조해결 반-자동 태깅 도구

(JBE Vol. 23, No. 2, March 2018) (Special Paper) 23 2, (JBE Vol. 23, No. 2, March 2018) ISSN

Delving Deeper into Convolutional Networks for Learning Video Representations - Nicolas Ballas, Li Yao, Chris Pal, Aaron Courville arXiv:

DIY 챗봇 - LangCon

THE JOURNAL OF KOREAN INSTITUTE OF ELECTROMAGNETIC ENGINEERING AND SCIENCE Jul.; 29(7),

Ch 1 머신러닝 개요.pptx

2 : (EunJu Lee et al.: Speed-limit Sign Recognition Using Convolutional Neural Network Based on Random Forest). (Advanced Driver Assistant System, ADA

(JBE Vol. 24, No. 2, March 2019) (Special Paper) 24 2, (JBE Vol. 24, No. 2, March 2019) ISSN

<4D F736F F F696E74202D F ABFACB1B8C8B85FBEF0BEEEC3B3B8AEBFCDB1E2B0E8B9F8BFAAC7F6C8B228C1F6C3A2C1F829>

Software Requirrment Analysis를 위한 정보 검색 기술의 응용

Microsoft PowerPoint - 실습소개와 AI_ML_DL_배포용.pptx

(JBE Vol. 24, No. 1, January 2019) (Special Paper) 24 1, (JBE Vol. 24, No. 1, January 2019) ISSN 2287-

2 : (Seungsoo Lee et al.: Generating a Reflectance Image from a Low-Light Image Using Convolutional Neural Network) (Regular Paper) 24 4, (JBE

<313120C0AFC0FCC0DA5FBECBB0EDB8AEC1F2C0BB5FC0CCBFEBC7D15FB1E8C0BAC5C25FBCF6C1A42E687770>

_KrlGF발표자료_AI

(JBE Vol. 23, No. 2, March 2018) (Special Paper) 23 2, (JBE Vol. 23, No. 2, March 2018) ISSN

R을 이용한 텍스트 감정분석

09권오설_ok.hwp

Structural SVMs 및 Pegasos 알고리즘을 이용한 한국어 개체명 인식

Data Industry White Paper

Artificial Intelligence: Assignment 6 Seung-Hoon Na December 15, Sarsa와 Q-learning Windy Gridworld Windy Gridworld의 원문은 다음 Sutton 교재의 연습문제

딥러닝 첫걸음

01 AI Definition 02 Deep Learning Theory - Linear Regression - Cost Function - Gradient Descendent - Logistic Regression - Activation Function - Conce

<C5D8BDBAC6AEBEF0BEEEC7D02D3336C1FD2E687770>

딥러닝NLP응용_이창기

PowerPoint Presentation

example code are examined in this stage The low pressure pressurizer reactor trip module of the Plant Protection System was programmed as subject for

2 : (Juhyeok Mun et al.: Visual Object Tracking by Using Multiple Random Walkers) (Special Paper) 21 6, (JBE Vol. 21, No. 6, November 2016) ht

High Resolution Disparity Map Generation Using TOF Depth Camera In this paper, we propose a high-resolution disparity map generation method using a lo

PowerPoint 프레젠테이션

untitled

Structural SVMs 및 Pegasos 알고리즘을 이용한 한국어 개체명 인식

歯15-ROMPLD.PDF

02( ) SAV12-19.hwp

방송공학회논문지 제18권 제2호

본문01


Output file

지능정보연구제 16 권제 1 호 2010 년 3 월 (pp.71~92),.,.,., Support Vector Machines,,., KOSPI200.,. * 지능정보연구제 16 권제 1 호 2010 년 3 월

보고싶었던 Deep Learning과 OpenCV를이용한이미지처리과정에대해공부를해볼수있으며더나아가 Deep Learning기술을이용하여논문을작성하는데많은도움을받을수있으며아직배우는단계에있는저에게는기존의연구를따라해보는것만으로도큰발전이있다고생각했습니다. 그래서이번 DSP스마

PowerPoint 프레젠테이션

<4D F736F F D20C3D6BDC C0CCBDB4202D20BAB9BBE7BABB>

*º¹ÁöÁöµµµµÅ¥-¸Ô2Ä)

김경재 안현철 지능정보연구제 17 권제 4 호 2011 년 12 월

PowerPoint Presentation

6주차.key

4 : CNN (Sangwon Suh et al.: Dual CNN Structured Sound Event Detection Algorithm Based on Real Life Acoustic Dataset) (Regular Paper) 23 6, (J

Naver.NLP.Workshop.SRL.Sogang_Alzzam

3 Gas Champion : MBB : IBM BCS PO : 2 BBc : : /45

°í¼®ÁÖ Ãâ·Â

272 石 堂 論 叢 49집 기꾼이 많이 확인된 결과라 할 수 있다. 그리고 이야기의 유형이 가족 담, 도깨비담, 동물담, 지명유래담 등으로 한정되어 있음도 확인하였 다. 전국적인 광포성을 보이는 이인담이나 저승담, 지혜담 등이 많이 조사되지 않은 점도 특징이다. 아울

Manufacturing6

(JBE Vol. 22, No. 2, March 2017) (Special Paper) 22 2, (JBE Vol. 22, No. 2, March 2017) ISSN

다중 곡면 검출 및 추적을 이용한 증강현실 책

(JBE Vol. 24, No. 4, July 2019) (Special Paper) 24 4, (JBE Vol. 24, No. 4, July 2019) ISSN

融合先验信息到三维重建 组会报 告[2]

4 : (Hyo-Jin Cho et al.: Audio High-Band Coding based on Autoencoder with Side Information) (Special Paper) 24 3, (JBE Vol. 24, No. 3, May 2019

PowerPoint 프레젠테이션

,. 3D 2D 3D. 3D. 3D.. 3D 90. Ross. Ross [1]. T. Okino MTD(modified time difference) [2], Y. Matsumoto (motion parallax) [3]. [4], [5,6,7,8] D/3

Gray level 변환 및 Arithmetic 연산을 사용한 영상 개선

07.045~051(D04_신상욱).fm

2 : CNN (Jaeyoung Kim et al.: Experimental Comparison of CNN-based Steganalysis Methods with Structural Differences) (Regular Paper) 24 2, (JBE

자연언어처리


정보기술응용학회 발표

Page 2 of 5 아니다 means to not be, and is therefore the opposite of 이다. While English simply turns words like to be or to exist negative by adding not,

Microsoft PowerPoint - 알고리즘_5주차_1차시.pptx

U.Tu System Application DW Service AGENDA 1. 개요 4. 솔루션 모음 1.1. 제안의 배경 및 목적 4.1. 고객정의 DW구축에 필요한 메타정보 생성 1.2. 제품 개요 4.2. 사전 변경 관리 1.3. 제품 특장점 4.3. 부품화형

09È«¼®¿µ 5~152s

3 : OpenCL Embedded GPU (Seung Heon Kang et al. : Parallelization of Feature Detection and Panorama Image Generation using OpenCL and Embedded GPU). e

[ReadyToCameral]RUF¹öÆÛ(CSTA02-29).hwp

6 : (Gicheol Kim et al.: Object Tracking Method using Deep Learing and Kalman Filter) (Regular Paper) 24 3, (JBE Vol. 24, No. 3, May 2019) http

PCServerMgmt7

KCC2011 우수발표논문 휴먼오피니언자동분류시스템구현을위한비결정오피니언형용사구문에대한연구 1) Study on Domain-dependent Keywords Co-occurring with the Adjectives of Non-deterministic Opinion

2002년 2학기 자료구조

<4D F736F F F696E74202D203137C0E55FBFACBDC0B9AEC1A6BCD6B7E7BCC72E707074>

Stage 2 First Phonics

PowerPoint 프레젠테이션

<4D F736F F D20C3D6BDC C0CCBDB4202D20BAB9BBE7BABB>

15_3oracle

PowerPoint 프레젠테이션

160322_ADOP 상품 소개서_1.0

Microsoft PowerPoint - Java7.pptx

산선생의 집입니다. 환영해요

BSC Discussion 1

ps

1-1-basic-43p

종합설계 I (Xcode and Source Control )

<3130C0E5>


SchoolNet튜토리얼.PDF

04_오픈지엘API.key


ETL_project_best_practice1.ppt

Oracle Apps Day_SEM

Disclaimer IPO Presentation,. Presentation...,,,,, E.,,., Presentation,., Representative...

Transcription:

Deep Learning 기술의 Commerce 적용사례 2016. 12. 2. SK planet Machine Intelligence Lab. 전병기

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

SK planet 2

SK planet 3

SK planet 4

SK planet 5

SK planet 6

Trucks on Demand 어디서나쉽고빠르게트럭을부를수있는서비스

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

Deep Learning - Artificial Neural Networks Perceptron (Rosenblatt, 1958) 16

Deep Learning - Deep Neural Networks & Difficulties Hidden Input Output It can be optimized by the back propagation algorithm. But, the training is not easy. Vanishing gradient problem: problems with non-linear activation Typically requires lots of labeled data Overfitting problem: Given limited amounts of labeled data, training via back-propagation does not work well Get stuck in local minima(?) 17

Deep Learning - Genealogy 참고 : KAIST 김준모교수 18

Deep Learning - 1st Breakthrough by Hinton et al. (2006) DBN (Deep Belief Networks) Unsupervised pre-training (greedy layer-wise training) Supervised top-down training as final step Linear classifier Fine-tuning (supervised, MLP) Pretraining (unsupervised) P(x, h1, h2, h3) = P(x h1) P(h1 h2) P(h2,h3) 19

Deep Learning - 2nd Breakthrough by Krizhevsky et al. (2012) AlexNet (Convolutional Neural Networks): ImageNet Challenge Winner (2012) Same model as LeNet (LeCun 1989) but, Bigger model (7 hidden layers, 0.65M neurons, 60M parameters) More data (1M vs 1K images) Trained on 2 GPUs for a week (50x speedup over CPU) Better regularization (DropOut) + ReLU (Nair 2010) 20

Deep Learning - Why again? 음성인식, 문자 / 얼굴및객체인식등의분야에는이미 human accuracy 에근접하거나능가할정도이며자연어처리, 의료, 유전자분석, 금융등타영역에서앞다투어성능검증이시도되고있음 High Performance 고속연산이가능한 GPU 기술및병렬처리기술이급격히발전하여예전에불가능했던연산들이가능해지고있음 (Google 은 16,000 개의 CPU 를연결하여고양이인식을시도함 ) New Algorithms Big Data HW (GPU) 예전에는풀리지않았던복잡한문제에대한실용적인해결책들이쏟아져나오고있음 정교한 model 이나 feature 대신 big data 의입력만으로훌륭한학습이가능하다고알려지고있는데다 data 에대한접근성이좋아짐 Human Perception Human brain 신호처리과정에서의계층적구조를닮은 / 흉내낸 machine learning 알고리즘 21

Potential of Deep Learning Linear classification 은 vector space 를 linear 하게분할하는것입니다.

아래 data 는 linear classification 할수있습니까? Linear 하게나누려면어떻게하면될까요?

이렇게하면됩니다.

Deep Learning 은 layer 를겹겹이쌓아 space 를 warping 함으로써복잡한 nonlinear 문제에대한해결가능성을보여주었습니다. (2 차부흥?) f

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

요구사항 30

Optical Charter Recognition (OCR 문제 ) 예 ) 자동차번호판인식, 명함인식

전통적인방법 숫자위치검출 숫자특징추출 숫자분류 32

전통적인방법 숫자위치검출 숫자특징추출 숫자분류 33

전통적인방법 숫자위치검출 숫자특징추출 숫자분류 34

전통적인방법 숫자위치검출 숫자특징추출 숫자분류 1 2 3 8 9 0 Artificial Neural Network 35

전통적인방법 숫자위치검출 숫자특징추출 숫자분류 1 2 4 3 Support Vector Machine 36

전통적인방법의한계 복잡한배경 / 훼손된카드에서성능이떨어짐 37

전통적인방법의한계 형태왜곡, 조명변화에민감함 38

Deep Learning (Deep Neural Network)

전통적방법과의차이 영상처리 (= 인간의경험 ) 기계학습 숫자위치검출특징추출숫자분류 기계학습 Deep Learning 숫자위치검출특징추출숫자분류 41

Deep Learning (Deep Neural Network) Neural Network 을깊게만들어학습시키는것 Machine Learning 알고리즘중최고의성능을보임 특징 학습을위해많은데이터가필요함 학습시간도오래걸림 GPU 로병렬처리가능 종류 DBN, RNN, CNN, 42

CNN (Convolutional Neural Network) 0 1 Convolution Layer Pooling Layer A Z Fully Connected Layer 43

44 CNN (Convolutional Neural Network) 0 1 A Z Convolution Layer Pooling Layer Fully Connected Layer Convolution 9) ( 8) ( 7) ( 6) ( 5) ( 4) ( 3) ( 2) ( 1) ( 9 8 7 6 5 4 3 2 1 i h g f e d c b a i h g f e d c b a * 영상에서특징을추출하는역할

CNN (Convolutional Neural Network) 0 1 Convolution Layer Pooling Layer A Z Fully Connected Layer 1 2 1 0 0 0 1 2 1 45

CNN (Convolutional Neural Network) 0 1 Convolution Layer Pooling Layer A Z Fully Connected Layer 1 0 1 2 0 2 1 0 1 46

CNN (Convolutional Neural Network) 0 1 Pooling Layer A Z Convolution Layer Fully Connected Layer Pooling (sub-sampling) 영상에서크기를줄여줌 Weight 개수축소 ( 효율적계산 ) 영상을추상화 ( 왜곡에 robust) 47

CNN (Convolutional Neural Network) 특징추출 인식 0 1 Convolution Layer Pooling Layer A Z Fully Connected Layer 48

Deep Learning 기반 신용카드번호인식기

전체 flow Deep Neural Network 번호영역검출기 (CNN) reject reject 번호인식기 (CNN) 4 1 1 9 0 5 7 0 0 1 0 3 (0.99) (0.98) (0.90) (0.89) (0.99) (0.97) (0.97) (0.99) (0.91) (0.89) (0.99) (0.96) Check Sum (Lunh algorithm) 4119 0570 0103 - XXXX 50

번호검출기와인식기 (CNN) 검출기 인식기 4 51

번호검출기와인식기 (CNN) Convolution Pooling 4 Convolution Pooling 52

53

DB 수집방법 카드수집 카드촬영 ( 조명 / 단말 / 촬영왜곡 variation) 번호라벨링 augmentation overfitting 방지 ( 테스트셋기준, 6%p 성능향상 ) Data Augmentation (scale/rotation/translation/contrast/blur variation) 54

55

Mobile 최적화방법 ( 속도, 용량 )

속도최적화 57

CNN weights 줄이기 (Precision) Double Precision / 8 bytes Single Precision / 4 bytes Half Precision / 2 bytes 58

CNN weights 줄이기 (Quantization) -0.29 1.40 1.71 code book -0.31 1.70-2.9 1.40-0.33 1.39 1.69 1.41 1.40-0.28-0.28-0.31 1.50 1.39 1.69 1.71 1.37 1.40 1.39-0.31 1.37 1.71-0.29 1.71 input layer hidden layer output layer 59

CNN weights 줄이기 (Quantization) -0.29 1.40 1.71 code book -0.31 1.70-2.9 1.40-0.33 1.39 1.69 1.41 1.40-0.28-0.28-0.31 1.50 1.39 1.69 1.71 1.37 1.40 1.39-0.31 1.37 1.71-0.29 1.71 input layer hidden layer output layer 60

용량최적화 항목 OpenCV Torch7 Network App 리소스합계.apk 용량 2.36MB 2.08MB 2.7MB 0.3MB 7.44MB 4.0MB 용량 ( 최적화후 ) 0MB 1.76MB 0.7MB 0.3MB 2.76MB 1.13MB 61

성능비교

Deep learning vs 전통적방법 50% 45% 40% 35% 30% 25% 20% NN SVM DNN 분류신뢰도 0 0.9912 1 0.0026 4 0.0059 8 0.0071 9 0.0184 15% 10% 5% 0% error rate 63

Global 상용라이브러리와비교 9 8 7 6 5 4 APK 용량 (MB) 3 2 1 0 A 사 B 사 Ours 64

Global 상용라이브러리와비교 100 80 60 40 인식율 20 0 A 사 B 사 Ours 65

Global 상용라이브러리와비교 66

Global 상용라이브러리와비교 67

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

Motivation

Motivation Global 사업확장으로인한자동번역시스템의필요성증대 중문 11번가 : http://www.11street.com.cn/html/main.html 시럽스타일중국향서비스 11street for china Syrup style for china Commerce 특화한 - 중자동번역기술 70

Motivation Deep-learning 기반기계번역의가능성확인 WMT 2016 기준다수의번역케이스에서 Neural Machine Translation (NMT) 기술이최상위권에포진 네이버, 구글등번역서비스를개발하는회사들에서최근가장관심을보이는기술 WMT 2016 BLEU score results 71

History

Machine Translation History Rule-Based Machine Translation (RBMT) 형태소분석, 품사태깅등의분석과정과변환사전참조를통해번역문장을생성하는방식 다양한형태의구구조 (phrase structure) 및문법에대한법칙이정의되어있는사전이존재 Source language dictionary : 원시언어에대한법칙사전 Target language dictionary : 목적언어에대한법칙사전 Bilingual dictionary : 원시언어의단어및구를목적언어에맞게변형하는사전 장점 다량의 Bilingual corpus data 가필요없음 사전의수에따라번역품질에한계가없음 제작자혹은관리자에의해완벽히통제될수있음 단점 모든경우의사전제작이사실상불가능 문법 (= 사전의법칙 ) 에맞지않는형태의입력에취약 73

Machine Translation History Statistical Machine Translation (SMT) 다량의말뭉치 (=corpus) 로부터번역모델과언어모델을학습하여자연스러운번역문장을생성하는방식 번역모델 (=Translation model) : 생성된문장이원문에얼마나가까운정도인지를나타내는확률모델 언어모델 (=Language model): 생성된번역문장이얼마나자연스러운가를나타내는확률모델 디코더 : 원시언어문장으로부터번역모델과언어모델을통해나온확률값의결합을통해타깃언어문장을찾아내는과정 장점 다량의데이터를통해모델이학습되므로각각의법칙들을전부수작업으로제작해야하는 RBMT 에비해제작이용이 언어모델사용으로자연스러운번역이가능 단점 다량의데이터가필요 특별한오류는예측이나수정이쉽지않음 서로다른단어배치를가지는언어들에대해서취약함 (ex. 한 영 ) 74

Machine Translation History Neural Machine Translation (NMT) 다량의말뭉치 (=corpus) 로부터복잡한구문분석없이원시언어와목적언어를대응하여신경망을학습하여 end-to-end 형태로번역을수행하는방식 Encoder : 원시언어를특정 embedding vector 형태로압축하여신경망학습에이용 Decoder : 신경망을통과하여생성된 vector 를목적언어로변환 장점 다량의데이터만있으면쉽게학습이가능 문장전체의정보를이용하므로 SMT에비해컨텍스트정보의반영이쉬움 : 서로다른정렬형태를가지는언어들사이의번역에유리 단점 다량의데이터가필요 오류의예측및수정이쉽지않음 학습이느리고, GPU를사용하기때문에비싼리소스를사용해야함 75

Planet NMT( 가칭 )

Planet NMT System flowchart Neural machine translation (NMT) 은 end-to-end 시스템으로입력언어문장이출력언어문장으로바로번역이됨 전 / 후처리기를사용하여목적에맞게튜닝가능 Source sentence Preprocessor Planet NMT Postprocessor Target sentence Brief machine translation flowchart 77

Planet NMT Bilingual Corpus 구축 여러종류의데이터로구성되어있는데이터구축 문장길이 : 짧은문장 : 긴문장 문장분야 확보방법 : 커머스, 정치, 경제, 사회, 문화, 기술, 스포츠 Open corpus 회사에서보유하고있는 corpus : 중문 11 번가, 시럽스타일등 Corpus 구매 78

Planet NMT Pre-processing 번체간체변환 학습데이터및테스트데이터에간헐적으로존재하는번체로인한문제점보완 변환시전체중국어어휘감소및 segmenter의입력이정규화됨 구분 BLEU 전각반각변환 적용전적용후 반각이권장되는문자들에대하여전각을반각으로교체하여통일성유지 구분 반각이권장되는문자들예시 반각! " # 0? { ~ U+ U+0021 U+0022 U+0023 U+0030 U+003F U+007B U+007E 전각! " # 0? { ~ U+ U+FF01 U+FF02 U+FF03 U+FF10 U+FF1F U+FF5B U+FF5E 79

Planet NMT Pre-processing 사전에존재하지않는단어처리 사전에존재하지않은단어들을정확히번역해내기위한장치 숫자 / 영어약자등은사전에존재하지는않지만정확히번역해야함 인명, 지명등의경우사전등록이불가능 : 유명한인명, 지명을제외한경우에도일관성있는번역이되게끔처리 구분 예시 한국어저는 7404 년의 NewYorkee 에서왔습니다. 중국어我來自 7404 年的 NewYorkee. 80

Planet NMT Preprocessing Tokenizer 각단어를일정한의미가있는말의가장작은단위인형태소로분절 : 한국어의경우표층형과형태소단위에서의성능차이가미미하여표층형형태로분절 : 중국어의경우 Conditional Random Field (CRF) 기반의 segmenter 를사용하여 word 단위로분절 구분 원문 표층형분절 형태소분석 예시 주식시장반등의선도하에지난주 (4 월 11 일부터 15 일까지 ) 중국펀드순자산가치는총체적으로상승했으며상하이 선전 ( 上海, 深圳 ) 펀드지수도상승폭이나타났다. 주식시장반등의선도하에지난주 ( 4 월 11 일부터 15 일까지 ) 중국펀드순자산가치는총체적으로상승했으며상하이 선전 ( 上海, 深圳 ) 펀드지수도상승폭이나타났다. 주식 /NNG 시장 /NNG 반 /NNG 등 /NNB 의 /JKG 선도 /NNG 하 /XSN 에 /JKB 지난 /N NG 주 /NNG (/SSO 4/SN 월 /NNBC 11/SN 일 /NNBC 부터 /JX 15/SN 일 /NNBC 까지 /JX )/SSC 중국 /NNP 펀드 /NNG 순 /NNG 자산 /NNG 가치 /NNG 는 /JX 총체 /NN G 적 /XSN 으로 /JKB 상승 /NNG 하 /XSV 았 /EP 으며 /EC 상하이 /NNP /SY 선전 /N NG (/SSO 上海 /NNG / 深圳 /NNG )/SSC 펀드 /NNG 지수 /NNG 도 /JX 상승 /NNG 폭 /NNG 이 /JKS 나타나 /VV 았 /EP 다 /EF./SF 81

Recurrent Neural Network (RNN) CNN RNN 82

RNN unfolding 83

RNN state 84

RNN LSTM Long Short-Term Memory (LSTM) 기존의 RNN의문제점인 gradient vanishing problem을해결 Input / Output / Forget 3개의 gate를두어정보를갱신, 불러오기, 유지하는기능을수행 85

RNN Applications Sequence-to-Sequence model 86

RNN Applications Sequence-to-Sequence model 87

RNN Applications Sequence-to-Sequence model 88

RNN Applications Sequence-to-Sequence model 89

RNN Applications Sequence-to-Sequence model 90

Planet NMT Sequence-to-sequence model Encoder 와 decoder 로구성되어있음 Encoder Decoder 韩语翻译成汉语 <EOS> 한국어를중국어로번역합니다 <EOS> 韩语翻译成汉语 Sequence to sequence model 91

Planet NMT Encoder Word embedding: 단어를컴퓨터가이해할수있는숫자로표현하는방식 One-hot representation : N 개의단어가존재하는사전에서의단어를표현할때 N 차원의 vector 를사용 : 가장간단하지만단어들사이의유사성및차이점을표현할수없음 Word2Vec : 단어가가지는의미를기반으로단어를다차원공간에서 벡터화 함 92

Planet NMT Word2Vec Word representations with relationship between words 93

Planet NMT Sequence-to-sequence model with attention Decoder 韩语翻译成汉语 <EOS> 한국어를중국어로번역합니다 <EOS> Encoder Attention mechanism (from google) 94

Planet NMT Sequence-to-sequence model with attention Attention layer Input feeding 95

Performance

Results 대내외비교 비교군 : 네이버, Baidu, Planet SMT(baseline), Planet NMT SMT : Hierarchical phrase-based machine translation NMT : Sequence-to-sequence with attention model 정량평가 97

Results 대내외비교 정성평가 정치 / 경제 / 사회 / 문화 / 커머스각 20 문장씩총 100문장사용 : 0 해석불가, 1 이해할수있음, 2 훌륭함평가 : 200점만점기준 98

Results Example 1 원문 海太制果 2 日表示, 据统计, 以 10 月底为准, 蜂蜜黄油薯片的累计销售额突破 2000 亿韩元 번역문 2 일해태제과는 10 월말기준허니버터칩누적매출액이 2000 억원을넘은것으로집계됐다 고밝혔다. Planet NMT 해태제과는 2 일 "10 월말기준으로허니버터칩의누적매출액이 2000 억원을돌파한것으로집계됐다 " 고밝혔다. A 해태제과 통계에따르면 10 월말기준으로허니버터칩의누적매출 2000 억원을돌파하고있다. 이 2 일밝혔다. B 해태시스템과 2 일대해 통계에따르면으로 10 월말까지기준으로꿀버터포테이토칩누적판매돌파 2000 억원. C 해태시스템과 2 일대해 ' 통계에따르면으로 10 월말까지기준으로꿀버터포테이토칩누적판매돌파 2000 억원. " 99

Results Example 2 원문 赛季 10 次进入前十名, 作为韩国选手在本赛季最高世界排名第 3 位 奖金排名第 4 位 (1 45 万美元 ) 上写上了自己的名字 번역문 10 차례나톱 10 에들어한국선수로는가장높은세계랭킹 3 위, 상금랭킹 4 위 (145 만달러 ) 에이름을올렸다. Planet NMT 시즌 10 차례톱 10 에들며한국선수로는시즌세계랭킹 3 위, 상금랭킹 4 위 (145 만달러 ) 에자신의이름을썼다. A 시즌 10 회로상위권에들어가는올시즌한국최고선수세계랭킹 3 위상금랭킹 4 위, (145 만달러 ) 에서자신의이름을썼다. B 시즌 10 번진입전열명으로한국선수이번시즌최고세계랭킹세번째, 보너스랭킹 4 분 (145 만달러 ) 위에자신의이름을썼다. C 한국의가장높은세계에서이번시즌세를기록으로시즌 10 위 (10) 가완료되면, 상금순위 4 위 ($ 1.45 백만 ) 에자신의이름을작성합니다. 100

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

개발배경 상품검색을좀더쉽고편하게! 검색할상품이다양하고많고자주바뀜 102

개발배경 상품검색을좀더쉽고편하게! 검색할상품이다양하고많고자주바뀜 Text 검색의어려움 Open Market 의특성상판매자의다량의상품이미지와설명이정제할수없을정도로많이올라옴 상품정제에대한많은노력이필요하나리소스의한계 중복상품이조금다른이미지와다양한설명으로등록 ( 판매자는검색상에서노출이매출을올리는궁극적목적이기때문 ) Keyword 트렌치코트 버튼 벨트 103

개발배경 상품검색을좀더쉽고편하게! 검색할상품이다양하고많고자주바뀜 Text 검색의어려움 Open Market 의특성상판매자의다량의상품이미지와설명이정제할수없을정도로많이올라옴 상품정제에대한많은노력이필요하나리소스의한계 중복상품이조금다른이미지와다양한설명으로등록 ( 판매자는검색상에서노출이매출을올리는궁극적목적이기때문 ) 사용자가쉽게상품을찾을수있도록도와주는똑똑한 (= 사람의생각처럼동작하는 ) 검색 104

개발목표 영상을 Query 로검색을가능하게하여사용자편의성을증대 To 소비자 : 제한된상황에서도소비자의의도를파악하여정확한상품을검색할수있도록해준다. To 판매자 : 상품관리 ( 이미지, 설명 ) 를보다쉽게하고, 상품노출을확장시켜준다. To 시장 : 효율적이고똑똑한검색을제공해준다. 핵심기능 Machine Learning 을통한이미지분류및상품설명분류 매우빠른 full search 유사성측정및구분 이미지와검색키워드의메타 DB 화를통한사용자 intention 기반 CMS 105

전통적방법

전체 flow Deep learning 기술적용 티셔츠, 가방, 신발등카테고리예측 카테고리예측 카테고리 : 티셔츠 관심영역추출 Grab-cut + Saliency HoG+SVM 를통한검증 특징추출 Pattern feature Color feature 107

카테고리예측 동의어처리 정확한카테고리? Convolution ReLU activation Subsample pooling Fully connected layer Dropout Softmax convolution kernel Deng, Jia, et al. "Hedging your bets: Optimizing accuracy-specificity tradeoffs in large scale visual recognition," CVPR 2012 108

관심영역검출 영역검증 Dense HoG + SVM 109

관심영역검출결과 110

Visual Search 결과 질의영상 결과 111

Deep Learning 기반개선

전통방식에의한검색결과고찰 결과가좋은가? 결과가괜찮다. 단, Single object 에대해서는 단순한배경에대해서는 그렇다면진짜잘된것인가? 실제상황은? Multi-object 야외에서의자유로운촬영 주관적판단 유사상품? 113

개선방향 여러상품이있어도모두검색할수있도록 Multi-object detection 기술적용 야외에서촬영한것도검색이잘되도록 Deep learning 을적용한 feature extraction 누구나유사하다느낄수있도록 Attribute 기반의인식및분류 114

http://arxiv.org/abs/1609.07859 - Open discussion - Ongoing project

http://qz.com/821512/artificial-intelligence-for-fashion/

Deep Learning 기반개선 : Detection

개발목표 영상내의 Multi-Object 에대해모두검출수행 Faster RCNN 적용 RPN 을 CNN 이후에적용 ROI Pooling layer 를이용각 Region Proposal 에대해 classification 수행 S. Ren et al, Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, NIPS 2015 118

Detection 실험결과 119

Deep Learning 기반개선 : Features

Feature Extraction Deep features Feature visualization of convolutional net trained on ImageNet (Zeiler & Fergus, 2013) 121

Feature Extraction Deep features C. Szegedy et al. "Going deeper with convolutions," CVPR 2015 122

Feature Extraction Deep feature evaluation 유사상품에대한 ground truth를만드는것은매우어려움 검색결과가명확한공개 DB를대상으로가능성평가하기로함 UKBench DB 대상검색실험 map 0.929 Deep feature is more suitable for a sort of semantic similarity retrieval application. 123

Deep Learning 기반개선 : Attributes

Attribute Classification / Recognition 어떤것이비슷한것인가? 동일한 / 유사한속성이있는의류를검색하자! 125

Fashion Attribute DB More than 1 million images More than 90 attributes (thousands of unique fashion-styles by their combinations) Maximum 100 MM Almost 1 year Includes ROIs for a fashion item (for detection) 126

Fashion Attribute DB Multi-label classification task 127

Attribute Classification Simple classification? FC1 FC2 FCN SM1 SM2 SMN Category Collar Sleeve Length Fully Connected Layer Softmax Layer 128

Attribute Classification Multi-label classification as sequence generation by using the RNNs RNN 으로접근가능 129

Our vision encoder network ResCeption (Residual + Inception) K. He et al. Deep residual learning for image recognition," CVPR 2016. 130

Performance evaluation of ResCeption 131

Result of Attribute Classification 132

Result of Attribute Classification 133

Result of Attribute Classification 134

Deep Learning 기반개선 : Guided Search

Guide information 필요성 사진에서가장두드려져보이는상품은? 사용자가관심있는상품은? 판매자가팔고자하는상품은? 영상에잘인식되는제품이아니라, 판매자가팔고자하는상품이검색되도록, 더나아가서는사용자가관심있는상품이검색되도록!!! 136

Guided Attribute Sequence Generation 가방 137

Guide information extraction - NLP Parsing & Morphological Analysis Synonym & Stopword dictionary a) Women, cardigan, knit, round-nect b) Women, blouse 138

Attribute Classification Results The same inputs but different results by guiding fashion-product information (sequence generation in RNNs) 139

패션상품 이미지검색시스템

Overall Flow 141

Guided Retrieval Results Guide: Jacket - The Guide is automatically extracted from the meta information uploaded by the seller. - User input is also possible! 142

Guided Retrieval Results Guide: Bag - The Guide is automatically extracted from the meta information uploaded by the seller. - User input is also possible! 143

Guided Retrieval Results Guide: Shoes - The Guide is automatically extracted from the meta information uploaded by the seller. - User input is also possible! 144

Other Results 145

Other Results 146

Other Results 147

1. SK플래닛소개 2. Deep Learning의가능성 3. 모바일신용카드인식기술 4. 자동번역기술 5. 패션이미지검색기술 6. 맺음말

High Performance New Algorithms Big Data HW (GPU) Human Perception 149

Thank you. http://readme.skplanet.com standard@sk.com