O2O Commerce를 위한 최신기술 소개 2014. 9. 전윤호, Ph. D. CTO SK planet
Content I. Introduction SK planet 소개 O2O 커머스 개요 SK planet O2O 커머스 서비스 현황 II. O2O 커머스를 위한 기술 위치측위 관련 기술 HTML5 활용 기술 Image 관련 기술 III. Q&A 1
1. SK플래닛 소개 통신사업 플랫폼 사업 EST. Oct. 2011 Revenue 1.5B USD / # of Emp. 2,300 commerceplanet USA Singapore Japan Turkey Indonesia 2
SK플래닛 소개 3
O2O Commerce 개요 4
O2O Commerce 현황 Offline Store Player Walmart : 모바일을 활용하여 자사 오프라인 매장으로 고객 유입 시도 - Walmart 모바일 App에 In-store 모드 지원, Scan & Go Best Buy : 온/오프라인 고객 정보, 재고 통합으로 On-line 채널 강화 - 접속지역 기반의 개인화 구매 기능, Price Matching 기능 제공 Online Store Player Amazon : 편의점 연계 주문 배송시스템, 동네 서점연계 Kindle 판매 시행 - Amazon Lockers 프로그램, Amazon Source프로그램 Dash, Fire phone 출시 ebay : 온/오프라인 통합검색제공, Retailer와 협력하여 옴니채널 강화 - RedLaser 온/오프라인 검색기능, 제휴 오프라인 매장에 digital store front 개설 (w/ sony). - Milo: 실시간 오프라인 매장 제고 및 가격정보 검색 Mobile Platform Player Apple : Local Store 연계하는 LBS/IPS 서비스 강화, 오프라인 생태계 구축 - ios 7의 ibeacon, ios 8의 Apple Pay Google: 오프라인 매장에서 Wallet을 통한 결재 기능 제공, 당일배송 서비스 제공 - Google Wallet 카드 출시, Google Shopping Express Program 5
SK planet의 O2O 커머스 서비스 현황 6
SK planet의 O2O 커머스 서비스 현황 OK Cashbag by Syrup Syrup (Smart Wallet) Syrup Gifticon 7
O2O 커머스를 위한 기술 : 위치측위 관련 기술 8
위치측위 관련 기술 Technology GPS Cell tower localization WiFi positioning Dead reckoning Barometer Bluetooth (classic, LE) Sound NFC Application Positioning Car/pedestrian navigation Indoor navigation Check-in Geofencing Proximity notification/marketing Tracking Transaction Criteria/Issues Coverage Accuracy Battery consumption H/W compatibility Privacy & regulation UX 9
위치측위 관련 기술: Geofencing Geofencing 정의 지오펜스는 지구, 토양 등의 뜻인 접두어인 Geo 와 울타리를 의미하는 fence 가 결합한 단어로 실제 지형에 구획된 가상의 경계선(a virtual perimeter for a real-world geographic area) 을 생성하는 기술 Geofencing 활용 Zone에 진입 시 주변의 맛집 정보, 쇼핑 도우미, 기프티 콘, 할인쿠폰, 이벤트 등의 정보서비스를 고객에게 제공 가능 Target marketing tool로 사용 가능 특정 매장을 찾아가는 방법은? AP의 SSID를 활용하여 매장 검색 가맹점(ex, 홈플러스)과 SSID를 매핑하여 단말 check-in 서비스 기능 연계 홈플러스 * SSID(Service Set Identifier) 무선랜을 통해 전송되는 모든 패킷의 헤더에 존재하는 고유 식별자 10
위치측위 관련 기술: SK planet Geofencing Geo-fence 주요 특징 지원단말 : 안드로이드 2.3이상, ios 6.0이상 지원 Geo-fence/BLE 통합 SDK 당사 BLE Beacon과 통합된 SDK로 배포 예정 지원형태 : Radius 형태 지원반경 : 최소 150m 이상 Zone 지원 개수 : 안드로이드 100개, ios 20개 제공 Smart State Management 제공 Sensor를 활용하여 사용의 움직임이 감지될 경우 위치 측 위를 Resume 시키고, 움직임이 없을 경우 Pause 시키는 기능으로 정확도 향상 및 배터리 저전력 소모기능 제공 서버에서 단말 Agent에 대한 Control 환경 제공 단말 SDK에서 사용되는 데이터의 주기적 업데이트 Polling 단말 SDK 위치 측위 간격 조정 서비스 : 전국 90여개의 상용 Zone으로 운영(14년 7월~) (서울, 의정부, 동탄, 수원, 분당, 인천, 대구, 부산, 제주) 11
위치측위 관련 기술: SK planet Geofencing 12
위치측위 관련기술: Geofencing 기술 적용 예 - 모바일전단 OK CASHBAG 모바일 전단 시연영상 OK CASHBAG App 실행 후 특정 공간에서 BLE를 활용하여 모바일 전단을 받을 경우 우측 화면과 같이 실행됨 13
위치측위 관련 기술: Bluetooth Low Energy BLE (Bluetooth Low Energy, Bluetooth Smart) 2010년 Bluetooth 4.0의 표준 Spec에 포함 기존 Classic Bluetooth(~3.0)와 비교하여 낮은 전력 소모가 특징 2.4 GHz의 주파수를 사용하고 50m의 인식거리 제공 Proximity Sensor의 한 종류로 오프라인 매장의 Check-in 기능에 활용 Proximity Sensing 기술의 일종 NFC Tag, Bluetooth LE, Wi-Fi, Sound, LTE Direct 등과 같은 근접 사용자 Sensing 및 인지기술 제공 실시간 이벤트, Promotion,쿠폰 등 서비스 제공 가능 Why BLE? 스마트 폰 내부 탑재 용이성과 배터리 소모량이 적은 장점 실내에서는 GPS 대비 정교한 위치 파악이 가능 NFC와 같이 접촉식의 행동보다는 넓은 영역에서 Sensing으로 다양한 활용 범위를 기대 Apple의 ibeacon이 BLE Beacon을 주도하여 IPS 솔루션의 생태계 구축 14
위치측위 관련 기술: Bluetooth Low Energy Apple의 ibeacon 시범서비스(2013년 11월) Macy s 백화점 매장에 Shop Beacon 을 활용하여 입장 고객에게 환영 메시지 및 상품정보 노출 기능 제공 시나리오 처음 방문시 Kick Point 지급, Event 응모 시(구매, 상품 바코드 Scan) * Shop Beacon : Shopkick에서 ibeacon 기술을 적용하여 만든 BLE Beacon Device 명칭 (ios7 iphone과 Android jelly bean 4.3 Phone에서 인식 가능) 입장 환영 메시지 I 현재 진행 중인 Event 정보 제공 15
위치측위 관련 기술: SK planet Smart BLE Smart Beacon Wi-Fi와 BLE가 하이브리드로 적용된 Beacon 솔루션 Smart Beacon 주요 특징 BLE (ibeacon profile) broadcasting, - Wi-Fi Broadcasting, BT Classic scanning 기능 BLE를 활용한 check-in 제공 WiFi를 활용한 Beacon 인지 및 check-in 기능 최대 전송거리 : 50M 제공 Smart Beacon 장점 사용자 스마트 폰 과 Beacon간 Connecting 가능 Beacon의 인터넷 연결로 다양한 서비스 확대 가능 BLE의 SDK가 탑재된 단말의 배터리 소모 최소화 스마트폰 기종 BT on 시 BLE on(30초 주기) 차액(전원 추가 소모) LG G2Pro 89.34% 88.67% -0.67% 갤럭시 S4 77.17% 77.10% -0.07% 갤럭시S3 87.31% 87.09% -0.22% 갤럭시 S4 88.10% 87.96% -0.14% 16
위치측위 관련 기술 비교 Bluetooth LE(BLE) NFC Tag WiFi Sound (저/고주파) LTE Direct 접촉 방식 / 거리 비접촉 / 50M 이하 접촉 / 0.1M 이하 (Mobile : 0.04M 이하) 비접촉 / 35M 이하 비접촉 / 10M 이하 비접촉 / 500M 이하 주파수 2.4 ~ 2.5 GHz 13.56 MHz 2.4 GHz 18 ~ 20 KHz 2 GHz Availability Android : 4.3 이상 ios : 6 이상 Android : 2.3 이상 ios : 불가 Android : 가능 ios : 가능 Android : 가능 ios : 가능 Android / ios : 특정버전에서 가능 설정 Action Bluetooth On LCD On, NFC On WiFi On - - App 설치 필요 불필요 필요 필요 - 자동 Invoke 가능(iOS7) 가능 불가 불가 가능 비고 서비스 Zone 에서 User Action이 비교적 적음 전용 App 설치없이 Mobile Web Browser 로 서비스 가능 기존 Infra를 활용한 서 비스 제공 측면에서 의미 신호 도달 거리가 짧아 Infra 구축 비용이 증가 표준화 및 기술 성숙도는 2014년 말 이 후로 예상 시사점 현재 기술 수준에서 고객의 편의성이 가장 높은 Bluetooth LE 기술이 가장 유망 LTE Direct는 현재 기술을 넘어서는 기술로 진화 가능성이 높아 지속적인 표준화 참여 및 진행 상황 모니터링 (Broadcasting data rate : 128bit/s, 전류소모 : 기존 LTE 전력 소모와 유사) NFC Tag는 사업 특성 및 국가별 환경에 따라 타 기술과 병행하여 점진적인 발전이 예상됨 17
위치측위 관련 기술: 무선 충전 18
위치측위 관련 기술: 무선 충전 무선충전 방식 구 분 전자기 유도 자기 공명 충전 방법 충전기와 접촉 필요 충전기와 일정 거리 내에서 충전 장점 높은 충전 효율 (유선 대비 90% 이상) 원거리 충전 단점 충전기에 근접 상태에서만 충전 가능 상대적으로 떨어지는 충전 효율 표준 협회 WPC (삼성, LG, 소니, 노키아 등 121개) A4WP (삼성, SKT, 퀄컴 등 7개 기업 주도) 대표 기기 갤럭시 S3, 옵티머스LTE2 없음 19
위치측위 관련 기술: 무선 충전 Commerce 분야 활용 Merchant Customer Operator 실시간 쿠폰 제공 Table 주문/결제 개인별 주문 내역 관리 마케팅 활동 충전 앱을 통한 이력 관리 - 점포명 - 방문/체류 시간 - 동행인 등 고객 Loyalty 제고 - 고객 차별화 가능 광고 Push 각종 VAS 연계 고객 충전 수신기 ID 파악이 전력 송/수신기에서만 가능 Infra 구축자의 독점적인 서비스 창출 수익 기대 Captive Market ㆍ인프라 제공자의 eco 형성 ㆍ매장 특성에 따른 다양한 연계 서비스 개발 20
O2O 커머스를 위한 기술 : HTML5 21
HTML5 + JavaScript as a Client Platform Rendering is still not fast enough! Browser is complex & not optimized to specific OS or H/W Webkit engine SKP 중점 개발 분야 22
HTML5 Technologies in SK planet 23
planet.js framework example T store 3.0 시연 영상 24
WebView Acceleration for Hybrid Apps WebSocket_shim.js WebSocket WebSocket... NativeWebSocket WebView HTML WebView Canvas NativeWebSocketImpl NativeWebSocketImpl... NativeWebSocket SurfaceView 25
planet.webview Example 26
Web-based Web-app Authoring Tool 27
planet.make Example 28
HTML5 Animation 29
HTML5 Animation Example Planet.animate 시연 영상 Planet.text animator 시연 영상 30
Web Games 31
Web Games 게임 시연 pwgedemo.html (only 크롬 브라우저에서 실행) 32
Web Games CUBE 게임 영상 스마트 폰에서 실행해보려면 URL로 접속 URL : http://skpla.net/gp OCB App설치 후 실행 가능 (T store에서 D/L 가능) 33
O2O 커머스를 위한 기술 : Image Processing 34
Image Processing Technologies for O2O Commerce Input Bar code / QR code OCR Object recognition Segmentation Face detection, verification 3D reconstruction In-store analytics Output Filtering Visual effects, especially 3D visualization Augmented reality 35
Object Recognition Amazon Firefly 이미지 인식 텍스트 인식 사운드 인식 36
Object Recognition Amazon Firefly - 사용된 기술 - Adaptive local contrast enhancement Adaptive noise reduction Glare detection Shadow removal Underline removal Two phase MSER scanning Orientation normalization Multiframe combination Multiple OCR engines Page layout analysis Truncation filtering Multiframe super-resolution Confidence filtering Hybrid 2-pass scanning Adaptive scaling Automatic cropping Flexible orientation Accumulated signed gradient patch operation 37
Dynamic Perspective 38
3D perception by Dynamic Perspective 39
3D Effect Other Examples 40
3D Effect Other Examples 41
3D Effect - SK planet 개발 현황 입체적 상품 표현을 위한 영상 기반 UX 기술 개발 <Parallax Effect> 상품 이미지의 상품과 배경을 분리하고, mobile device 의 움직임에 따라 상품의 이미지와 배경 이미지의 이동 속도를 달리하여 시차를 발생시키는 기술 [Parallax effect prototype 동영상] 42
3D Effect - SK planet 개발 현황 <Head Tracking> 실시간으로 얼굴의 위치, 회전 등을 추적하는 기술 개발 상용 기술 수준보다 우수한 얼굴 감지 기술을 확보하여 얼굴 추적 기술에 적용 모바일 용으로도 개발되어 다양한 UX 형태로 적용을 시도 중 [Head tracking을 parallax effect에 적용한 demo 동영상] 43
3D Effect - SK planet 개발 현황 <3D Reconstruction> 이미지의 3차원 정보를 추출하는 기술을 개발하여 보다 효과적인 입체적 시각을 제공 할 수 있도록 개발 진행 중 [촬영된 이미지] [Depth 이미지를 바탕으로 focus blur 적용 이미지] [Depth 이미지] 44
3D Effect - SK planet 개발 현황 <3D Reconstruction> 이미지의 3차원 정보를 추출하는 기술을 개발하여 보다 효과적인 입체적 시각을 제공 할 수 있도록 개발 진행 중 [2장의 이미지로부터 3D reconstruction된 결과] 45
Object Recognition 의류 <유사 의류 검색> StyleTag, 11번가 등의 패션 관련 서비스를 위한 유사 의류 상품 검색 시스템 개발 의류 색상을 통한 유사 상품 검색 기술 개발 완료 의류의 패턴(텍스처)을 이용한 유사 상품 검색 기술 개발 중 [색상을 통한 유사 상품 검색 결과] 입력(query) 이미지의 색상 값이 지정이 되면 상품 DB내 이미지의 색상 유사도 값을 계산하여 유사 상품 결과 제공 46
Object Recognition Credit Card <카드 번호 OCR(Optical Character Recognition)> [card.io] [Jumio] 신용카드 번호 인식 기능 Paypal에 인수되어 Uber 등에서 사용 신용카드, 신분증 등 카드 내 문자 인식 Apple ios 8 내 Safari 브라우저에서 신용카드 번호 인식기로 탑재 47
Object Recognition Credit Card <카드 번호 OCR (Optical Character Recognition)> Syrup, High5 (미국향 기프트 카드 플랫폼 서비스)등을 위한 멤버십 카드 및 기프트 카드 번호 및 카드 종류 인식기 개발 중 번호 인식의 성능을 높이기 위해 deep learning 기반으로 개발 현재 99.5% 인식률 (신용카드 양각 숫자 기준, 소수(약 72,000개)의 training set) [카드 검출 및 바코드 인식 prototype 동영상] 48
Object Recognition Deep Learning 대량의 데이터의 관계와 패턴을 컴퓨터가 스스로 학습하는 machine learning의 일종 80년대부터 신경세포의 동작방식을 모방한 Neural Network이 많이 연구되었으나 internal representation을 담당하는 hidden layer의 수가 많아질수록 학습이 급격히 어 려워지는 문제가 있었음 기존의 통계적 방식의 machine learning에 비해 더 어려운 문제를 풀 수 있는 가능성을 가지고 있음 49
Object Recognition Deep Learning Google Brain Team (Head: Andrew Ng, 2012): Unlabeled YouTube video로부 터 고양이 등 임의의 object recognition (link) Geoffrey Hinton 영입 및 DNN Research 인수 (2013) DeepMind 인수 ($0.4B, 2013): Hinton & LeCun 제자들이 주축 음성인식, Street View 주소 인식/POI update 활용 Artificial Intelligence Lab. Head로 NYU의 Yann LeCun (Hinton교수와 쌍벽)를 영입 (2013) 얼굴인식 (DeepFace), Landmark 인식 Netflix: Cloud/GPU 기반 비디오 추천 서비스 추진 Naver: 음성인식 50
Object Recognition Deep Learning CNN(Convolutional Neural Network) 예시 *CNN: Deep learning의 가장 대표적 구조 Classical Neural Networks Deep learning : input과 output 사이의 hidden layer가 여러 개 존재하는 neural network (Training할 weight 수는 경우에 따라 다르나 수백, 수천만개에서 수억개 이상 될 수 있어 computational cost가 큼 / 인간의 뇌는 약 100조개임) 51
Q & A 52