CORPORATE INTRODUCTION
품질이야말로 최고의사업계획서 John Lasster PIXAR COO
서비스의품질은사업의성공을위한가장확실한방법이며 NGLE의핵심가치또한서비스의품질입니다. NHN, 위메이드, 스마일게이트, NC소프트등 IT 기업출신의 QA 전문가들로구성된 NGLE은다양한프로젝트경험과고도화된기술을바탕으로최상의품질을추구합니다. CORPORATE INTRODUCTION 2017 3
PLATFORM 인증, 빌링, 소셜등 GAME SERVICE WEB, APP PC MOBILE SMARTV VR 고객의사업특성, 비즈니스영역에맞춰 품질향상과성능검증에가장효과적인테스트를진행합니다. CORPORATE INTRODUCTION 2017 4
OUR BUSINESS 품질활동효과의극대화를위한 NGLE 의전문적인플랜을경험하세요. 소프트웨어테스팅 다양한테스트도구를활용하여품질향상과성능검증에 가장효과적인테스트를진행 품질컨설팅 고객사의소프트웨어특징을파악하여품질활동효과의극대화를위한 맞춤형 QA Framework 을제안 마켓관리지원 Apple app store, Google play, One store, Steam, Oculus 등마켓별정책대응 Know-how 및 Featured 전략에대해가이드 CORPORATE INTRODUCTION 2017 5
CLIENTS CORPORATE INTRODUCTION 2017 14
OUR Project 사례 Mobile Game 국내뿐아니라다수의글로벌프로젝트경험보유 kakao & kakao games 에서게임퍼블리싱 준비 or 오픈 타이틀에대한품질보증전체리딩 그외 N 사와 I 사에서진행하는 PC & 모바일게임프로젝트에대한기능및호환성테스트프로젝트수행 놀러와마이홈몬스터슈퍼리그 CBT 히어로스톤슈퍼스타테니스쿵푸팬더 3 스타나이츠프렌즈사천성프렌즈팝콘원티드킬러음양사 CORPORATE INTRODUCTION 2017 15
OUR Project 사례 Mobile Service (Web, App) 상점, 커뮤니티, 게임텝, 웹게임외기업용사내메신저등다양한형태의모바일 WEB, APP 서비스에대한프로젝트진행 리그오브레전즈웹모바일상점 For 라이엇게임즈 게임별 for Kakao SNACKGAMEfor Kakao 게임텝 for Kakao Kakaogame 카페톡 CORPORATE INTRODUCTION 2017 16
OUR Project 사례 Dev. & Service Platform UI 가없는다양한형태의공통플랫폼들에대해 TestApp 개발및 API 레벨기능검증노하우보유 Regression Test Automation 를통한효율적인테스트수행 Client Gateway Game Platform Server SDK (ios) Session Auth Infodesk Item Delivery K 사와 N 사에서제공하는게임퍼블리싱플랫폼들에대한 QA 업무수행 SDK (Android) Open API Simple Login Push Promotion SDK 에서제공하는 APIs 및서버 Open APIs 검수및자동화 SDK (Unity) Profile Presence Log Bucket Analyze BI Coupon Leaderboard Test Application 제작을통한 SDK 연동테스트 Timeline Social Chatting SDK 개발자가이드검수 ( 샘플코드 ) 퍼블리싱을위한기본기능 마케팅지원기능 Platform 서버성능테스트 User Service Management Tool Management Tool 검수및전체플랫폼통합기능테스트 In App View Platform App Platform Admin Monitoring Server Deploy CORPORATE INTRODUCTION 2017 17
OUR Project 사례 Automation 플랫폼 SDK 검증을위한 Test Client 를제작하고, ios 개발툴인 xcode 에서지원하는 Test Automation Framework 을사용하여자동화구현 Test Client Platform Server Auth Push XCTest Automation Item Delivery Promotion Test Client 실행화면 테스트자동화구현영역 플랫폼영역 테스트프레임워크영역 Etc 플랫폼 SDK 와 OpenAPI 전체기능에대한자동화진행! Test Client 통해 SDK 와 Open API 에서제공하는기능을자동으로실행하고, Return 되는값을 Expected Result 값과비교하는방식 CORPORATE INTRODUCTION 2017 18
OUR Project 사례 AI, IoTSolution & Service 인공지능스피커 & 자전거도난방지시스템 & 서비스 App 에대한분석 / 설계 / 테스트수행 인공지능스피커 (N 사, S 사 ) Alton 도난방지 IoT (H 사 ) 서비스 App 검증 디바이스검증 발화문명령어테스트 연동서비스 / 시스템 시스템 / 서비스연동검증 QA 주요산출물 Error, Crash Log 수집 결함및이슈리포트 인공지능스피커 발화명령 QA Plan 기능 / 비기능 / 연동 Test Case 발화 Test Case 이슈리포트 (= 결함리포트 ) QA 결과분석리포트 CORPORATE INTRODUCTION 2017 19
OUR Project 사례 분석시스템 국내최대고객사를보유하고있는 NHN D&T 사의 AceCounter 신규버전에대한 시스템분석 / 테스트설계 / 기능및데이터검증 CORPORATE INTRODUCTION 2017 20
OUR Project 사례 Performance test (Server Side) Server Side 성능테스트를통해 Application 로직검증및 H/W 용량산정, 시스템최적화등을통해인프라비용절감 & 안정적인서비스운영지원 주요검증항목및목적 인프라점검및최적화 Application Logic 성능검증 시스템성능점검및최적화 운영시스템 H/W 용량검증 과부하시병목구간파악 / 제거 CORPORATE INTRODUCTION 2017 22
OUR Project 사례 Performance test (Server Side) Server Side 성능테스트를통해 Application 로직검증및 H/W 용량산정, 시스템최적화등을통해인프라비용절감 & 안정적인서비스운영지원 ngrinder Controller Load Agent PC VUser 성능 Script Analysis 성능목표 ( 수용유저기준 ) 5 분동접기준 : 20,000 User (DAU 100,000) 서버 1 대기준 : 1,000 User 성능테스트대상 대상 Server(WEB) (8 대 ) 대상 Server 는최대 8 대까지만성능테스트진행 성능테스트결과기준으로사업목표 2 만수용가능한서버수량산정 Game DB (Mysql) : 2 대 (Master-Slave 구조 ) Gate 서버 : 2 대 Gate DB (Mysql) : 2 대 (Master-Slave 구조 ) Cache 서버 (Redis) : 1 대 Chat 서버 : 4 대 (Chat Controller 1 대, Chat Gate 3 대 ) Gate 서버부하로게임서버로진입하는유저수저하및 Gate 서버의에러리턴하는문제발생 Nginx 옵션변경과 Gate 서버앞단에 L4 구성으로이중화구성으로성능개선 User Session Data 를관리하는 Cache Server 1 대로구성되어있어장애발생시서비스전체에영향 Cache Server 가받는부하량이높지않아, Cache 서버의 H/W 사양을낮추고이중화제안으로해결 CORPORATE INTRODUCTION 2017 24
QA/Testing & ML/DL 소프트웨어공학과 DL 의만남
Test Automation DevOps SWTesting Trends 2018 Mobile Test Automation Combine Manual & Automated Testing API & Services Test Automation Integration
Intelligent Test Automation and Analytics with AI/ML Automated Testing Test Case Generation Test Scripts Generation Test Data Generation Maintaining & Reusing Test Scripts Application Analytics: Predicting Apps Behavior, Areas and Levels of Test
Imitation Learning 목표를달성하기위해서사람의행위를따라하는기술 Techniques aim to mimic human behavior at a given task Image Source: GRASP lab - University of Pennsylvania
필요한기술입니까? 따라하는학습은뇌과학에기초한사람의학습에있어서매우중요한형태이다. 작업에대한최소의전문지식을기초로하여로봇에게복잡한작업을가르칠수있다. 작업별프로그래밍을하거나혹은보상함수를설계하지않는다. 가능성이열렸다. 최신센서들은대용량의데이터를수집하여고속으로전송할수있다. HPC 에대한비용이빠른속도로저렴해지고있다. 다양한형태의가상환경기술을통한상호작용및실험이가능하다.
응용분야
자율주행
로봇수술
산업자동화
보조로봇
소프트웨어테스팅
어떻게
Imitation Learning 문제는 Markov Decision Process 로정의! = #, %, & ', ( ), * Problem Definition State space S Action space A Transition Probability &: # % #; & / 0, 1 0 = 2 / 034 / 0, 1 0 ) Reward function: r: # % R; ' / 0, 1 0 = ' 0 Initial state ( ) Temporal discount factor *
접근방법
Expert Play Capture Screen Capture Touch Analyze Reward
THANK YOU www.ngle.co.kr