PowerPoint 演示文稿

Transcription

1 WeTest 테스트솔루션 For Mobile Games

2 Content 서비스영역 서비스기능및장점 협력사례

3 개요 게임개발수명주기를위한원스톱테스트플랫폼 첫번째버전 옴니 (Omni) 채널출시 반복 (Iteration) 게임플레이평가 보안테스트 호환성테스트 클라이언트 / 서버성능테스트 응용프로그램크래쉬 / 성능모니터 콘텐츠및게임플레이방법평가 선제적인보안위험대응 300 개이상테스트기기보유. 인기브랜드, OS, 다양한 Display 를통한호환성테스트진행 병목현상, 취약한네트워크상황및배터리소모테스트등 호환성테스트 보안테스트 소셜미디어모니터링플레이어피드백을적시에획득

4 WeTest Testing Solution for Games 클라우드테스트 성능테스트 보안테스트 결제테스트 지역화서비스 (Localization) 소셜미디어 (Social Media) 모니터링

5 01 클라우드테스트 자동화기능테스트 호환성서비스

6 클라우드테스트 - 자동화기능테스트 글로벌주요자동화테스트프레임워크지원- Appium, Robotium, UIAutomator, and GAutomator. 테스트보고서제공 사용자테스트결과 Feedback Use Case 분석 성능보고서 디바이스분석 테스트보고서 Sample Report

7 클라우드테스트 - 자동화기능테스트 테스트보고서 테스트개요 Use Case분석 적용대상사용자수 문제유형 발생한이슈의심각도 디바이스목록 디바이스테스트프로세스 Log ( 문제스택의강조표시 ) 성능데이터 프로세스비디오 문제목록 발생한이슈수준 시간축 오류발생시, 스크린샷촬영 전체테스트프로세스비디오촬영 원클릭디버깅및반복 클라이언트성능 각모델에대한성능데이터 테스트된모델의성능분포범위 Worst 5 모델

8 클라우드테스트 - 자동화기능테스트 테스트보고서

9 클라우드테스트 - 자동화기능테스트 크래시 & 무응답 (ANR) Voice Block UI 오류 호환성결함 보유디바이스모델 2000+, 화면크기 15+ OS 8+ CPU 20+ GPU 20+ 상위인기모델보유한디바이스랩운영 (300 개이상 ) 실제테스트환경에서테스트진행

10 클라우드테스트 - 호환성테스트 표준테스트 자동화테스트 (with Script) 매뉴얼테스트 기기당 5 분 설치, 실행, 멍키테스트, 게임삭제 기기당 30 분 설치, 실행, 초보자가이드, 게임삭제 기기당 20 분 /50 분 설치, 실행, 초보자가이드, 핵심플롯, 게임삭제 간편함 : 원클릭으로게임파일제출 빠른테스트진행 (4 시간안에테스트완료 ) 요구사항에맞는테스트케이스및스크립트변경 주요프레임워크지원 Appium, Robotium, UIAutomator and GAutomator 전문가테스트케이스디자인, 대부분의주요핵심기능 100 % 커버리지 로그, 스냅샷등으로버그에대한다차원정보제공 인적자원, 제품개발단계및기술투자를고려하여고객필요에맞게솔루션이용가능 각서비스별테스트범위 표준테스트 자동화테스트 (with 스크립트 ) 매뉴얼테스트

11 클라우드테스트 - 호환성테스트 GAutomator ( 게임오토메이터 ) 는유니티 / UE4 게임을위한오픈소스테스트자동화프레임워크 Unity/UE4 게임 WeTest SDK dll Crash monitor jar UI object Android standard object UIAutomator 모바일게임최적화된커스터마이즈 View Unity/UE objects Drive game ADB Android standard object Unity UE4 24 개텐센트개발게임적용 GAutomatorView Python scripts

12 클라우드테스트 - 클라우드 ( 실제디바이스운영 ) 전문디바이스랩구성 클라우드를통한실제디바이스운영 유럽, 미국, 일본, 동남아시아등 화면캐비닛- 격리신호 독점네트워크라인제공 : 안정적인네트워크속도확보실시간테스트보고서 시간과장소를제약받지않는테스트환경 실시간의테스트보고서제공 전력소모 원격디버깅 한번의클릭으로 APP 를업로드, 설치및 실행 유저원격제어 : 스크린샷, Log 활성화, 디버깅종료 원활한원격제어환경 주류디바이스모델보유, 인기모델실시간 업데이트, 다양한브랜드, 화면해상도및 OS, 높은 / 중간 / 낮은수준의디바이스보유 WeTest 독점자체개발전력 consumption box 다차원그래픽데이터표시 전력데이터, CPU 데이터, 메모리 데이터, 트래픽데이터, FPS 데이터등

13 클라우드테스트 - 클라우드 ( 실제디바이스운영 ) 원격디버깅

14 클라우드실제장치및전력소비상자 (Power Consumption Box) 유지보수효율다운로드성공률랩용량 방음캐비닛 신호저항캐비닛 + 빠른 WLAN 테스트성공률 99.3% 독립제작 USB 허브 24/7 상시안정적이고빠른자동유지보수

15 클라우드테스트 - 클라우드테스트랩 높은 USB 연결안정성 환경에의한간섭감소 장치에 대한 대기 시간단축 오류로인한자동복구 높은원격유지보수효율 소음방지및보안 24/7 모니터링및경보 우분투서버 컨테이너 스마트큐모델 자동복구시스템 添加内容

16 클라우드테스트 - 테스트랩기반개방형 API 테스트랩을기반으로테스트서비스를사용자지정할수있는 DevOps 팀에개방형 API 제공 ( 현재의인터페이스에서 WeTest 플랫폼에연결할수있음 ) ARM 및 X86을기반으로안드로이드시뮬레이터제공. 수치밸런스테스트지원, 원격사용자연구등. WeTest+WeCha t WeTest+Ngame 기본서비스 Wechat Morefun/Timi Riot 부적성테스트 Mini program: Private Cloud XXXXXXX 서비스 기능테스트원격디버깅 auto-verification test automation Performance test Automation XXXXXXXXXXXX XXXXXXXXX 원격사용자연구 XXXXXXXXX XXXXXXXXXX 장치목록 장치상태 장치데이터 클라우드 ID PaaS API 스크립트제출 디버그 작업상태 Adb 디버그 테스트데이터 테스트레코드 자동유지보수시스템 인프라 Shenzhen Shanghai Chengdu HongKong Simulator Group

17 독자적인클라우드아키텍처 표준서비스 맞춤형서비스 표준호환성 원격디버깅 IEG Timi Cloud CDG Advertising Cloud SaaS 기능자동화 딥호환성 성능자동화 하드웨어전력소비 IEG L&Q Cloud Overseas Riot Cloud CSIG Mobile Map PCG Wesee Cloud 자동화된호환성 취약네트워크테스트 Overseas SuperCell Cloud WXG WeChat Cloud 내부오픈소스테스트프레임워크 외부오픈소스테스트프레임워크 기타툴서비스 apaas GAutomator Lyra QTA PyUIAutomator WeChat testing framework Robotium Netease AirTest Google UIAutomator Appium Facebook WDA PerfDog H5 Argus Crash/ANR Check Cube UPA STP Unit Testing Blurred screen recognition 오픈 API ipaas Mobile dispatcher Proprietary cloud manager Self-define image Containerization execution Mobile controller IaaS 스마트하드웨어 안정적인환경 Android Mobile Cloud 모바일용외부전원공급장치 고밀도 WiFi 프라이빗네트워크 ios Mobile Cloud 프로그래밍가능한 USB 허브 신호차폐캐비닛 Android Container Cloud 전용 PCIE 확장카드 항온실험실 Android Custom Mobile Cloud 모바일오디오컬렉션 텐센트클라우드프라이빗라인액세스 통합작동및유지보수시스템

18 클라우드테스트 - 활용사례 PuBG Mobile Pubg Mobile은 WeTest 자동테스트를사용하여복잡한게임시나리오에대한호환성테스트를완료했으며, 보고서는장치에대한실제시장데이터를커버하여게임의안정성을평가하여팀의테스트효율성을크게향상 클라우드장치는문제가있는모델을식별한후원격으로디버깅하는데사용 글로벌 TOP 600 모델커버리지의기능은해외출시에대한호환성과제를완벽하게해결

19 클라우드테스트 - 활용사례

20 클라우드테스트 - 활용사례 Ngame: 자동화된성능 / 기능 / 호환성테스트 테스트계획 :GAutomator+CubeX+AI 전체체인자동화 구성가능한사례 병렬로실행되는클라우드 / 로컬장치 빠른성능테스트 효율성개선 CI: 일일제작버전 앱 스크립트 WeTest API + 장치 게임서버 보고서 일일작업 테스트사례 수동테스트에서테스트자동화로의효율성향상 신규역할효율 900% 계정 CrashSight 모니터링 신규게임효율 400% 반복작업 400%

21 02 네트워크테스트

22 네트워크테스트 Weak 네트워크테스트 패킷손실로네트워크지터 / 레이턴시상황에서게임의실행효과를확인, 대기시간및패킷손실에대한최대허용오차를평가하려면 테스트표준 연결해제및재연결메커니즘은클라이언트의핵심장면에대한필수이며클라이언트는다음요구사항에따라자격을갖추어야합니다. 불평등한소득과지출의상황, 고객붙어 / 충돌이나타나지않아야 UI 및게임내핵심장면 ( 로그인, 결제, PVP/PVE 등 ) 의상호작용에문제가없어야합니다. 플레이어에게해를끼치거나플레이어가추가로이익을얻을수있는문제가없어야합니다.. 로그인인터페이스에다시모든연결을피하기위해합리적인연결해제및다시연결 메커니즘이있어야합니다.. 네트워크대기시간에대한합리적인표시가필요합니다. 기능취약네트워크테스트 요청및응답시간타임아웃테스트 네트워크지터테스트 테스트내용 ( 장면적용 ) 로그인 결제및구매 이익취득 주요기능 인터페이스스위칭...

23 네트워크테스트 취약한네트워크 허용치 (Tolerance) 다양한네트워크환경에서주요게임시나리오의성능을테스트합니다. 높은대기시간, 높은지터, 2G /3G / 4G / WIFI 및기타일반적인네트워크스위치시나리오를포함 출시될영역에서게임의네트워크저항, 즉게임이견딜수있는최대지연및패킷손실을테스트 네트워크저항을로컬경쟁업체와비교 다변량매개변수구성 상하향지연, 상하향지연지터, 상하향대역폭, 상하향랜덤패킷손실 ; 상하향연속패킷손실 ; TCP/UDP 프로토콜디멘젼테스트 취약한네트워크환경에서성능에집중. 기본네트워크및제한값 플레이경험에영향을주거나플레이할수없음 취약한네트워크의흐름도, 지연, 효과적인대응, 기동성, 안정성및기타차원의성능측정치를사용하여네트워크허용오차를결정

24 03 클라이언트성능솔루션 클라이언트성능분석도구 위테스트어시스트 (WeTest Assistant) 모바일플랫폼성능도구 퍼프독 (PerfDog) 애플리케이션성능모니터 퍼프사이트 (PerfSight) 예외모니터및업그레이드관리 크레시사이트 (CrashSight)

25 클라이언트성능분석도구 - WeTest Assistant 일반성능 FPS, CPU 등과같은기본성능데이터 Drawcal, triangle number 와같은게임렌더링데이터. 딥퍼포먼스 루트또는 SDK 액세스불필요 성능관련심층데이터 시간이많이소요되는기능 리소스 (Resource) 메모리 리소스테스트 루트 (ROOT) 필요 텍스처, 그리드, 애니메이션및오디오리소스의사용을표시 모노메모리분석 루트 (ROOT) 필요 모노힙 (Heap) 의메모리할당을표시, 정확한할당스택과개체간의참조관계

26 Client Performance Analyzing Tool - WeTest Assistant 테스트프로세스 코드수정없이프로그램설치후사용가능 성능문제를빠르게찾아보고보고서제공 일반앱및다양한게임엔진지원 테스트할제품및테스트 영역선택 테스트를실행하려는 테스트유형을선택 테스트결과보기

27 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 전체모바일플랫폼 (ios 및 Android) 용성능테스트및분석도구 모든유형의응용프로그램 ( 게임, 앱, 브라우저, 미니프로그램, 미니게임, H5, 배경시스템프로세스등 ) 루트 / 탈옥없이성능문제탐지 플러그앤플레이, 하드웨어또는앱에대한추가수정불필요 다양한루트 / 탈옥방법시도 여러도구가필요 제한사항 다양한 XCode 소스코드컴파일필요 도구공실 (tool vacancy) 필요한재테스트 부정확성

28 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 전체모바일플랫폼 다양한시스템 ( 안드로이드 /ios) 다양한디바이스 : 모바일폰, 패드, 시계, 안드로이드시뮬레이터 Windows & Mac No ROOT for 안드로이드 No Jailbreak for ios 루트 / 탈옥없음 데이터정확도 CPU에미치는성능영향 (1% 미만 ) FPS에성능에無영향 스크린샷기록 FPS, Jank, Ftime CPU, GPU, 메모리 배터리, 네트워크, Ctemp 데이터통합성

29 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 모든응용프로그램 모든종류의어플리케이션 모바일게임 미니프로그램, 미니게임 클라우드기반대시보드 데이터저장, 시각화, 편집, 관리, 결과데이터다운로드 언제어디서나테스트가능 H5 웹싸이트 작업설정 설치없음 플러그앤플레이 Tool 유용성 팀원및관련자초대 작업진행상황공유, 검토 팀워크기능

30 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 성능데이터수집 ios Screenshot FPS- Avg(FPS),VAR(FPS),Drop(FPS) Jank Ftime- Avg ( FTime),Delta(FTime) CPU Usage-Total,App Memory(Footprint) XCode Memory Real Memory Wakeups CSwitch GPU Utilization- Render, Tilter, Device Network(Recv/Send) Battery Power-Current, Voltage, Power Log Android Screenshot FPS- Avg(FPS),VAR(FPS),Drop(FPS) Jank- BigJank(1s), Jank(10min), BigJank(10min) Ftime- Avg ( FTime),Delta(FTime) CPU Usage-Total, App CPU Clock Memory(PSS Memory) Swap Memory Memory Detail(Native PSS, GFX, GL, Unknown) GPU Usage(Qualcomm chip only) GPU Frequency(Qualcomm chip only) Network(Recv/Send) CTemp Battery Power-Current, Voltage, Power Log

31 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) PerfDog 사용순서 Step 1 Step 2 Step 3 Step 4 작업관리 장치추가 테스트실행 보고서보기 / 공유 퍼프독클라이언트의압축해제 PC/Mac 에서시작 클라우드대시보드에서테스트작업생성 작업관리 팀구성원관리 PC/Mac 과 USB 로휴대폰연결 PerfDog 는연결된장치를자동으로감지하고 [ 장치목록 ] 에추가 - ios : 플러그앤플레이, 더이상작업없음 - Android : 2 개모드, 비설치모드 & 설치모드 ( 디바이스에서성능수치표시 ) 테스트모드선택 - USB 모드 - WiFi 모드 PerfDog 에서휴대전화의응용프로그램을선택하고휴대전화에서실행 클라우드대시보드에서테스트보고서보기 / 또는로컬 팀구성원과데이터공유 로컬파일 (Excel) 을가져와서레코드를재생

32 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) PerfDog 클라이언트인터페이스 모바일앱인터페이스

33 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 수집할특정지표선택 성능데이터저장및업로드 그래픽데이터표시선택 기록및저장시작 수집선택 클라우드에업로드 로컬저장

34 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 클라우드및로컬보고서 (Excel)

35 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 주석, 박스선택, 라벨 (Label), 성능측정치임계값 (Threshold) Right click your mouse to save

36 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 로그켜기데이터수집중지 데이터수집중지

37 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) 작업관리, 데이터공유, 클라우드기반대시보드의작업데이터

38 모바일플랫폼성능측정도구 - 퍼프독 (PerfDog) Case 간비교보고서

39 퍼프독 (PerfDog) - 활용사례 베틀그라운드 (Game for Peace) - 메모리과부하, - CPU 멀티코어, - GPU 가열및렌더링병목현상 PUBG( 중국및전세계와동남아시아 ) - 성능문제를해결한후가장높은 DAU 기록 텐센트내부온라인게임에심도있게적용 : AOV, Game for Peace, QQ Speed, CODM 또한, 텐센트내부핵심모바일앱에적용 : WeChat, QQ, Tencent Video. Game for Peace: App Store 의베스트셀러게임 100 대중 76 개가 PerfDog 를사용 Game for Peace: 전세계 10 개이상의국가에서사용

40 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) Tencent cloud PerfSight는 R&D에서운영단계에이르는게임의전체수명주기를모니터링이가능 합니다. Silicon Valley Cloud 1 3 Serve for mobile games Data parsing Data parsing China IDC Statistic Singapore Cloudal analysis Performance monitoring closed loop 2 4 PerfSight는 FPS, PSS, CPU 사용량, 네트워크지연시간을포함한실제사용자성능데이터를수집하고시간별통계표시, 버전및시나리오에따라지원합니다. 1 모바일게임도적용 2 완벽한지표및치수 실제사용자성능데이터수집 클라우드에서분석및컴퓨팅후디스플레이 3 성능모니터링순환루프 4 게임개발의전체주기적용

41 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) PerfSight 모바일게임을위한적용 주류게임엔진과호환 매우낮은성능영향 간단한플러그인 높은신뢰성 1 data acquisition thread 8 개의 API 100 Billion 데이터 自研引擎 自研引擎 Tencent 자체개발엔진 Resident in memory buffer area1.5mb Android crash rate< 1/50W ios crash rate< 1/100W SDK performance impact< 1/1Wframe No data report in core scenarios Data generated in 2 1 명의개발자 1 시간내플러그인완료 0 건의운영사고 亿数据 0 运营事故 Flexible gray level - 灵活的灰度机制 mechanism User quantity gray level Model gray level Manufacturer gray level System Version gray level - 云端全功能开关 클라우드-엔드간풀기능 consecutive hours of game < 스위치 800K SDK size 300K

42 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) All-round Monitoring of x Multidimensional Counting x 7*24 Monitoring 만능 (All-round) 모니터링 다차원 (Multi-dimensional) 카운팅 Fluency 지표 네트워크및 HW 지표 장치유형통계 게임피쳐통계 FPS mean Disconnection(custom) brand 버전 시나리오 FPS jitter Packet loss(custom) Operating system 디바이스유형 FPS jank Latency(custom) RAM 시나리오로드시간 FPS low frame PSS peak GPU model Simulator Determination Pull back(custom) CPU mean OpenGL ES version Front and back stage Temperature determination of app Core 화질통계 연중무휴 (7*24) 서비스 5 분내단일사용자데이터지연 1 시간내통계데이터지연

43 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 게임성능모니터링순환루프 오버뷰 (FPS, PSS Ring ratio) 버전비교 ( 모델세분화, FPS, PSS) 비교 모니터링 성능일일흐름 PerfSight 일일메일 핫모델 하드웨어정보 Monitoring 순환루프 버전분석 시나리오분석 장치분석 단일사용자백트레이싱 (30 일, 시나리오세분화 ) 원인파악 경보 PerfSight 알람메일 ( 조정가능한임계값, impact surface ) PerfSight 일일기준선 데모 :

44 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 전체생명주기서비스 : R&D 단계및운영단계의성능모니터링방식 R&D 단계 Online 운영단계 TDR/PR 성능테스트 대량자동화된테스트데이터분석 최적화효과검증 온라인성능모니터링 단일사용자문제찾기 버전간의성능비교 탈옥없이 ios 성능의빠른확보 (FPS,PSS, etc.) 안드로이드성능 자동화된컴퓨팅버전데이터일일 R&D (On going) R & D 버전 비교 만능 (all-around) 모니터링다차원계수 (counting) 항시 (7*24) 모니터링 작업순서에서 OpenId을추출하고데이터의진의 (authenticity) 를신속하게결정하고리얼사용현황을이해 운영버전비교 운영솔루션은 R&D 단계에서완벽하게재사용할수있어, 성능테스트, 모니터링, 통계및기타작업을간소화합니다.

45 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) PerfSight 응용시나리오 사용자의피드백에따라문제찾기 버전간의성능변화평가 온라인장치의최적화요구사항 알아보기 새버전의성능모니터링 1 5 R&D 에서 ios 용성능테스트도구로 사용

46 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 새버전성능모니터링 PerfSight 알람구성 1 시간효과적 전체모니터링 Dimensions 조정가능한임계값 메일푸시 PerfSight Daily 구성 최소세분단위일 장치에대한정교함수준 2 일간의실적변화비교 성능일일흐름 시간별통계 전 latitude 모니터링 신속한문제감지

47 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 성능열역학차트 로그인변환유입경로 자체정의데이터

48 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 변경된버전대비비교 플레이어에대한빅데이터 직관적인디스플레이 버전간의성능변화평가 경고건수의변화관찰 빅데이터 성능문제에직접대응

49 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 사용자의피드백에따라문제찾기 게시판 (BBS)/ 고객서비스 (CS) 피드백 사용자 Openid 단일쿼리 시나리오세분화의사용자 데이터 문제의영향확인 정확한검색 네트워크이슈 조건부검색 시나리오이슈 사용자장치유형

50 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) 장치에서최적화요구사항알아보기 핫모델보기 온라인모델성능 핫모델의데이터 간단한통계에서더많은클라이언트성능문제얻기 모델의유지 모델의 Retention 페이지 해당모델의성능상태를얻기위해 사용자리텐션을신속하게개선

51 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) R&D 중 ios 성능테스트실시 테스트도구테스트 PerfSight 테스트 탈옥 (Jailbreak) 직접게임시작 도구로 PSS 수집 VS 한번의사용자쿼리로보고서조회 도구로 FPS 수집 수작업집계보고서

52 애플리케이션성능모니터 - 퍼프사이트 (PerfSight) PerfSight Best Practice : PUBG Mobile 80개이상의텐센트모바일게임에적용 일일보고서메일 600+ 알람메일 500+( 수작업보다일찍감지 ) PUBG 모바일성공사례 일일보고서메일 120+ 알람메일 100+,Effective 경보 80+, 우선순위가높은버그 7 클라우드제어에의한클라이언트화질, 언제어디서나런타임, 클라이언트업데이트중위험감소 PUBG가 2가지옵션에서 6가지옵션으로화질을최적화하는데도움 일상적인성능테스트대신단일사용자백트레이싱페이지사용

53 CrashSight 는게임의런타임동안게임품질과사용자경험을보장함 CrashSight 는터미널이상과충돌을실시간으로포착하고, 적시에경보를울리고, 문제를분석하고찾는데도움이되는이상정보를수집할수있습니다.. 기술 호환성테스트 클라이언트성능테스트 보안테스트 사용자크래시및 ANR 실시간모니터링 취약네트워크테스트 서버성능테스트 기능테스트 전체체인애플리케이션성능모니터링 전력소모테스트 출시전 출시후 대량사용자경험테스트 플레이어감성및시장성과모니터링 ANR(Application No Response, 애플리케이션응답없음 ) 설계

54 게임전체플랫폼예외보고및분석플랫폼 글로벌모바일개발자가예외를보고하고개발자가예외를신속하게찾고해결할수있도록도와주는제품. PC 게임, 모바일게임, 콘솔게임등 3가지유형의단말기를다룹니다. 글로벌주류지역규정준수요구사항을준수하고, 글로벌배포를지원하며, 해외게임에대한신뢰할수있는고객예외진단서비스를제공합니다.. CrashSight 는모바일게임에서클라이언트예외를진단할수 있는기능을제공 포괄적인모니터링 : 24 시간실시간모니터링및경고, 적시에 모바일버전 10 년이상의모바일클라이언트에대한예외진단경험, 수백만명의모바일개발자의깊은사용과신뢰 비정상적인문제를찾을수있음 지능형분석 : 지능형병합및분류, 실행상태분석, 장치분포, 시스템 분포, 오늘의최상위이상을적시에파악하고, 예외의응용프로그램 버전을이해하고, 모델 / 시스템적응이유를확인하고, 메모리문제를 PC 버전 콘솔버전 PC 클라이언트에대한예외모니터링및보고 40 개이상의 PC 게임에제공, LoL, Cross Fire, Blade & Soul, 등. 개발중콘솔버전에대한예외모니터링서비스를제공 3 콘솔플랫폼 : Switch, PS4, Xbox 신속하게찾음. 네이티브, 유니티 & UE4 크래시보고 : 최초로안드로이드 ARM / X86 플랫폼, C / C + + 유형크래시보고를지원, 주류게임엔진스크립트예외의힙 (Heap) 전체캡처. 다차원의정확한검색 : 버전 / 패키지이름, 채널, 충돌유형, 보고시간, 크래시버전.

55 CrashSight 장점 : 포괄적이고정확하며스마트함 네이티브, 유니티및 UE4 크래시보고 Android 응용프로그램의경우 ARM/X86 플랫폼에대한 C/C++ 유형충돌보고를최초지원 게임엔진스크립트이상힙전체캡처 실시간 24 시간크래시데이터모니터링 재밍및 ANR 예외에대한보고서 응용프로그램을아주유연하게동작하도록함 다차원정밀검색 버전 / 패키지이름채널크래시 (Crash) 유형보고시간충돌버전 크래시 (Crash) 사용자모델 (of aircraft) 오류프로세스오류스택 ( 컴퓨팅 ) 오류스레드 ( 컴퓨팅 ) 지능형분석 지능형병합분류및운영상태분석 장비분배, 시스템분배, ROOT 비율 메모리잔여비율 SD 카드잔여비율 하드디스크잔여비율

56 CrashSight 기능업그레이드 Full Platform Exception Reporting System SDK, unified web data platform, customizable features 글로벌게임의예외모니터링및진단중국어버전국제버전 게임플랫폼 3 종커버 모바일 PC 콘솔 심화기능 게임엔진측에서캡처할수있는기능향상 : 모노엔진의관리스택캡처지원 Java, C++ 및 C# 스택을포함하여 Unity 엔진측면에 3 개의새로운스택 UE 엔진크래시캡처지원. 회사이메일로그인일반기능 새로운고급구성모듈 문제표시최적화 새로운시스템시간구성기능 새로운시간당충돌비교기능 보고로봇 데이터보고 : PC 최종게임클라이언트의예외정보를보고 정확한위치 : 크래시코드위치, 오류유형및기타정보를정확하게찾음 전문적인분석 : 쿠래시의원인을분석하고크래시문제해결에직접적인지원. XBOX, PS4, Switch 및기타주류콘솔모니터링을지원하여고급구성모듈추가 기존호스트의프레젠테이션에최적화 강력한예외보고기능 스마트분석기능 전체데이터액세스체인 전체플랫폼지원 프라이빗디플로이

57 문제점 1: 온라인환경은복잡하고비정상적인오류를찾기가어렵습니다. 해결책 : CrashSight 의비정상적인오류의완전한수집기능 ( 크래시, 셔터, ANR, 오류 ) 네이티브크래시보고 : 안드로이드응용 프로그램의경우최초로 ARM / X86 플랫폼, C / C + + 유형충돌보고를지원 유니티 & UE4 충돌보고 : 게임엔진스크립트이상 힙 (Heap) 풀캐치 포괄적인정보 : 오류스택외에도오류실행시 풍부한정보가수집되어크래시를찾고 해결하는데더많은단서를제공 주류플랫폼및시스템지원지원되는플랫폼 : 모바일 : ios, Android PC: Windows (under development) 호스트 : Switch, PS4, XOBX (under development) 지원언어 : C/C++/C#, Java, Object-C/Swift 게임엔진 : Unity, UE4, Cocos

58 문제점 2: 비정상적인오류는찾기어렵고, 건초더미에서바늘찾기 같은낮은효율과높은문제해결비용발생 해결책 : 버전간오류분석 문제를찾는데도움이되는자동태그지정 더큰효율성을위한고급검색 CrashSight 교차버전분석을통해이상수정상태를확인하는데도움이됩니다. 해당버전의오류분포는? 어떤어플리케이션버전에서주로발생하는가? 업데이트된버전은문제에대한효과적인해결책인가? 예외라벨링 : 각문제에다른레이블을 추가하여특정유형의예외를쉽게 분류하고찾을수있음 크래시고급검색기능 : 예외를 해결하려는팀의효율성을향상시키는 업계최고의크래시검색기능

59 문제점 3: 중요한문제에대해놓칠까봐두려워? 핵심문제에집중하는방법은? 해결책 : 오류및예외에대한즉각적인보고 주요이상징후발생시신속한경고 실시간으로오류의예비분류, 문제를쉽게찾을수있음 24 시간실시간모니터링기능 : 실시간 보고, 응용프로그램크래시 (Crash) 이상에대한즉각적인이해. 유연한고급구성설정 : 사용자정의 알람구성, 다양한알람조건, 수신기 구성에대한지원

60 문제점 4: 데이터컴플라이언스 해결책 : 텐센트의클라우드서버와컴퓨팅서비스는싱가포르와실리콘밸리에디프로이드 (deploy) 됨 텐센트의수많은해외게임사례 싱가포르데이터센터 실리콘밸리데이터센터 중국데이터센터

61 사례 1: 제품비즈니스논리문제모니터링 예 : 크레시율 (Crash rate) 흐름 전술경쟁게임 : ios 에서크레시 (Crash) 가빈번히발생, CrashSightSight 에적시에파악됨, CrashSightSight 에의해보고된스택정보에나타남, 비즈니스논리문제로정확하게찾음, GC(Garbage Collection) 주기및리듬문제, 크레시율이정상수준으로빠르게전환된후문제가해결됨.

62 사례 2: 특정시스템문제모니터링 카드게임 : CrashSight 에서충돌이 Android 5 모델에집중되어있으며 CrashSight 스택분석은시스템관련 API 호출문제를찾을수있음

63 그들은 CrashSight 를 사용하고있습니다. 매일수억명의사용자를커버하고, 평균크래시율을 90% 가까이줄입니다.

64 Exception Monitor - CrashSight CrashSight 는모바일개발자를위한전문적인예외보고및운영통계를제공, 개발자가예외를신속하게검색및해결하고, 제품운영역학을파악후사용자피드백을적시에후속할수있도록지원합니다. 앱예외모니터링및분석 CrashSight 서비스 모바일앱의운영통계 앱업그레이드를위한원스톱솔루션

65 Exception Monitor - CrashSight 전문적이고포괄적인예외모니터링및솔루션을통해개발자는적시에응용프로그램예외를찾고풍부한로컬정보를통해문제를신속하게찾고해결하는데도움이됨 만능모니터링 24 시간실시간모니터링및알람기능제공, 실시간으로비정상적인문제를찾을수있고, 작은오류사항도놓치지않음 지능형분석 완벽한빅데이터분석기능을통해예외의원인을지능적으로찾고, 제거하며문제를신속하게해결할수있음 Shutters Crash 일일최고예외파악 예외버전알아보기 장치유형 / 시스템적응원인조사 빠른찾기메모리문제

66 Exception Monitor - CrashSight 현장에서수집한다량의오류데이터를통해비정상적인문제를신속하게찾을수있습니다. 다차원검색서비스를사용하면주요예외를신속하게찾을수있습니다. 풍부한로컬정보 정확한검색 전체오류스택정보 특정화된사용자피드백 자세한응용프로그램런타임데이터 특정화된장치유형문제 자체정의로그 / 매개변수 특정화된모듈문제 자체정의시나리오 / 모듈 특정화된시나리오문제

67 Exception Monitor - CrashSight 모바일앱의운영통계 운영추세 사용자분석 채널분석 응용프로그램의전반적인작업을이해하는데도움이되는응용프로그램의새사용자, 활성사용자, 시작시간, 사용시간및추세표시기를명확하게표시 사용자품질및충성도를분석하는데도움이되는사용자사용시간및빈도데이터뿐만아니라각버전에대한일일및월별사용자보존데이터제공 포괄적인신규, 사용, 보존및기타채널데이터를통해사용자의품질과각채널의사용을이해하고채널의프로모션효과를평가하는데도움

68 Exception Monitor - CrashSight 앱업그레이드를위한원스톱솔루션 앱스토어리뷰와작별 버전업그레이드는 App Store에의존하지않으며, 팝업창으로앱내부의새버전으로업그레이드하고응용프로그램업그레이드율및제품활동을개선하도록사용자에게적극적으로상기시킬수있음 Hot 업데이트를통해패치패키지를보내사용자의인식없이버그복구를완료 업그레이드범위를정밀하게제어 팝업윈도우업데이트 (Pop-up window upgrade): 버전별다차원의정밀한제어를지원, 채널, 네트워크환경, 다운로드및활성사용자수 Hot 업데이트 : 업데이트범위는시스템버전, 개발환경 / 프로덕션환경, 다운로드수및기타차원에따라설정 운영데이터를명확하게파악 디버깅및분석로그를위한통계코드의동적추가및수정을지원하며특정사용자에대한코드논리를조정할수있음 A/B 테스트를사용하여제품기능을신속하게확인하여사용자의사용데이터를명확하게이해

69 04 서버성능솔루션 로드마스터 (LoadMaster)

70 서버성능테스트의필요성 서버성능의중요성 최적화없이서버에과부화가걸릴경우, 프로젝트팀운영및유지보수사용자 양호 응답시간 > 2s 명백한지연경험, 인내심없는플레이서손실 트래픽볼륨? 중간 로그인실패, 대기열 사용자손실, 심지어부정적인코멘트를발생 출시전최적화 사용자경험및작업인덱스 엄청난트래픽에서의성능? 심함 서버크래시 (Crash) 불만팽배 (jammed), 막대한경제적손실

71 서버성능솔루션 - 로드마스터 (LoadMaster) WeTest는사용사례설계, 구성, 실행, 보고서분석, 보고서의전문가현장해석, 문제위치포지셔닝및최적화조언을제공합니다. How to find out server performance issues? 근본적인문제원인및최적화제안 분산 Pressure 소스지원 벤치마킹 검증테스트 용량테스트 ProtoBuf 및기타사용자정의키값프로토콜과같은바이너리데이터흐름으로 TCP / UDP / WebSocket 지원 기존시스템성능수준및관련지표찾기 시스템성능수용, 현장기능의정확한감지 비즈니스목표및최적화효과확인 시스템의성능병목현상감지 비즈니스최적화를위한방향제공. HTTP 및 HTTPS 프로토콜지원등. 전자 상거래, 정부, 생활서비스및기타앱및웹 사이트 Pressure 테스트 WeChat 로그인전용지원

72 서버성능솔루션 - 로드마스터 (LoadMaster) LoadMaster Modern DevOps 팀을위한 SaaS 서버성능테스트솔루션 테스트차원 스트레스테스트 동시성테스트 용량테스트 10% 5% Check In 스트레스테스트데모 25% Start 21% Login 5% View Scenario 20% Get Gift 15% 실제상태시뮬레이션 안정성테스트 View Shop Instance View Friend List 계정 VS 동작 View the Rank 용량테스트 항상 CPU 사용량이 70% 미만, 표준서버하드웨어 포괄적인시나리오테스트중모든성능기준요구사항을충족하고, 트랜잭션응답시간의 90% 는 1 초미만이어야하며거래성공률은 99.9% 이상이어야함 안정성테스트 재부팅, 메모리누출없이 12 시간이상연속실행, 모든거래성공률은 99.9% 이상 표준서버하드웨어 :6 코어 CPU, 15G 메모리, 150G 하드디스크

73 서버성능솔루션 - 로드마스터 (LoadMaster) 요구사항유형 명확한동시성요구사항을사용하여지정된동시성으로응답시간확인이필요 명확한 TPS 요구사항 WeTest 에대한일반적인비즈니스데이터를제공하여팩트에따라동시성을추정할수있는명시적요구사항이없음 응답시간 종속변수 동시성 목표값 독립변수

74 서버성능솔루션 - 로드마스터 (LoadMaster) 01 셀프서비스 WeTest 는모든스트레스소스관련리소스를제공 클라이언트는온라인으로테스트사례를구성하고테스트를시작 서비스형태 심층성능테스트서비스 Apr- Jun WeTest 는테스트사례설계, 구성, 실행, 보고및기타모든테스트서비스의영역을 포함 현장전문가서비스 Jul-Sep 전문가가현장에서문제를해결하고최적화솔루션을제공 04 위챗미니프로그램서비스 Oct- Des WeChat 미니프로그램테스트를독점적으로지원 실제 WeChat 테스트계정제공

75 서버성능솔루션 - 로드마스터 (LoadMaster) 활용사례 서비스에대한완전한회귀테스트 서버응용프로그램의품질향상 무엇이우리를괴롭히는가? 사용자는큐에서기다리는동안로그인할수없습니다 일부서비스는항상크래시 (Crash) 가발생합니다 일부서비스는예상대로작동하지않습니다 완벽한테스트및위험제거 새빌드릴리스전에위험제거

76 서버성능솔루션 - 로드마스터 (LoadMaster) 사례 - 운영프로세스링크의성능테스트 적용가능한시나리오 펀드 / 주식선택 매수 로그인 지불 결제결과리턴 LoadMaster 가제공하는가치 사용자의전체작업의페이지 / 인터페이스는실행가능한스크립트로구성후가상로봇은스크립트의모든링크를실행하고비즈니스가문제가있는노드를측정하는데도움이되도록각노드의동시성, 응답시간및성공률을판단. 개발팀이최적화할수있는병목현상노드분석 테스트된시스템이장시간큰동시성을수행하여결론을내릴수있는지확인

77 서버성능솔루션 - 로드마스터 (LoadMaster) 테스트보고서

78 05 보안솔루션 침투테스트 보안검색 - 보안레이더도구 모바일게임강화 (Reinforcement) - MTP GDPR 컴플라이언스검사

79 모바일게임보안솔루션 취약점유형 기능취약점 리소스크래킹 SDK 리스크 28% 중간위험 신용카드사기 결제보안 21% 치명적인위험 5% 낮은위험 정보보안 메모리누수 46% 심각한위험 피싱공격 트로이목마 전파 (transmission) 디도스 플랫폼보안 프로토콜취약점

80 모바일게임보안솔루션 모바일게임이직면한문제점 플러그인으로인해막대한손실에직면한모바일게임산업 비대응 경제적손실로고통 일부모바일게임은플러그인으로심각한피해를입고있음 많은플레이어가게임플러그인경험 플러그인은게임의정상적인가치를조작, 임의로고가의재화를횡령 게임의공정성에큰손상, 일반플레이어의손실로이어짐 게임제작자의브랜드평판에나쁜영향을줌 자체대응팀 역량부족 / 너무낮은비용대비성능

81 모바일게임보안솔루션 숨겨진취약점으로운영위험이증가합니다. 클라이언트취약점 서버취약점 외부플레이어와플러그인스튜디오는게임의역분석및크래킹 (Cracking) 을수행 토큰도둑질, 무적의 seckilling 및기타문제 운영비용증가, 기업수익감소, 플레이어이탈, 게임의수명주기단축 외부플레이어와플러그인스튜디오는서비스거부로서버를공격하기위해서버취약점을악용 일부서비스가일시중단되고호스트가크래시 (Crash) 의원인이됨 게임플레이어와게임개발사의이익을직접손상 침투테스트 플러그인방지 보강크래시취약점감지침투테스트

82 침투테스트 Game communication protocol Client function security 테스트방법 Script logic Memory security Static resource security. 그레이박스블랙박스테스트테스트 숙련된전문가텐센트 IEG 모바일게임보안테스트팀 게임카테고리별대상취약점샘플데이터베이스보유 700개이상의제품, 전용침투테스트솔루션제공 스타스탠다드 텐센트 6성급게임 QS, 최고수준의테스트서비스품질에대한액세스 "King Glory, Crossing the Fire 등 편리성및안전과함께비용절감 SDK에액세스할필요없음 게임자체에영향을미치지않음 엄격한비밀보장, 취약점의세부사항은공개되지않음 게임프로토콜구조파일필요 테스터의관점에서게임의취약점활용 파일불필요 공격자의관점에서게임의취약점공격 Unity 3D 및 UE4 엔진지원

83 모바일게임보안강화 - MTP(Mobile Tencent Protect) 기능 So(Shared Object), Dll 암호화 Dll 보강혼란 리소스파일보호 디버깅방지 04 IDA(The Interactive Disassemer) 및기타도구에의한역분석을방지하기위해 So 및 Dll 파일의엄격한암호화를통한보호 게임의핵심모듈을효과적으로보호 Unity 게임의경우 Dll 모듈의변수이름, 함수이름및클래스이름이암호화되어정적분석의임계값을효과적으로개선하는데혼선을줌. 추가, 삭제, 수정작업을를피하기위해효과적으로게임크랙버전을방지. IDA 및기타디버깅도구의동적디버깅및크래킹을방지 동적분석의임계값을효과적으로개선.

84 모바일게임보안강화 - MTP(Mobile Tencent Protect) 특징 전체기능을갖춤 자원의강력한보호 기능및변수보호, 디컴파일레이션보호 secondary 패키징방지디버깅방지메모리덤프방지네이티브런타임종속성및 C# 런타임종속성게임종료확인 so 파일암호화보호 & Dll 암호화보호, 리소스지문확인 (fingerprint verification), 등. 게임리소스를추가, 삭제하거나변경하면즉시게임종료를트리거 낮은성능소비 메모리사용량감소보장 Shelling 시간단축초기시작시간에게임을 Take-over 게임시작하자마자쉘코드를초기화하고안전한샌드박스환경구성 분리하기어려움 전반적인커플링향상 보안구성요소의런타임종속성향상 실행중인 SO, DLL 및기타코드파일모니터링 교체시즉시종료 강력한호환성 가능한한최소한의기본시스템과상호작용 내결함성 (The Interactive Disassembler) 보안논리 많은유형의장치적용보장

85 모바일게임보안강화 - MTP(Mobile Tencent Protect) 서비스프로세스 게임등록 설치패키지업로드 보강 패키지다운로드 게임의이름을채우기 패키지 :1.5GB 이하 게임을위한보강 변조방지보호 게임카테고리선택 솔루션제공 받기 멀티채널패킹도구 제공

86 GDPR 컴플라이언스검사서비스 시나리오및 Pain Points GDPR 위반은심각한결과에직면 유럽연합국가에서운영되는모든제품은일반데이터보호규정 (GDPR) 을준수해야합니다. GDPR은법률및규정위반에대해최대 2천만유로또는전년도전세계매출액의 4% 에벌금을부과합니다. 제공서비스 게임제조업체를위한 GDPR 컴플라이언스테스트 패키지스캐닝 응용프로그램콘텐츠확인 동적캡처패킷분석 제출된규정준수자료검토 테스트결과분석

87 GDPR 컴플라이언스검사서비스 서비스콘텐츠 자동스캐닝및수동테스트와결합하여기업을위한전문 GDPR 규정준수테스트서비스를제공합니다. 서비스에는개인정보보호허가확인, 개인정보보호데이터확인및공식적인규정준수검사가포함됩니다. 프라이버시승인점검 개인정보보호항목에대한검색 개인정보보호권한최소화보장 개인정보보호데이터확인 데이터수집, 처리, 저장, 반환등을 감지 데이터보안및암호화 공식적인규정준수검사 아동보호, 사용자동의, 주제권등의 내용을검토

88 GDPR 컴플라이언스검사서비스 서비스프로세스 요구사항협의제출실행보고서 게임의 APK/IPA 패키지제출 기타자료제출 : 질문목록, 개인정보보호데이터수집및개인정보보호권한사용사양 자동스캐닝 수동감지 결과분석 보고서요약 GDPR 컴플라이언스테스트결과 수동테스트결과 안드로이드셀프스캐닝결과 ios 자체스캔결과

89 GDPR 컴플라이언스검사서비스 서비스강점 전문가팀 넓은범위 심층감지 쉽고 & 빠름 컴플라이언스검사에대한풍부한경험 텐센트의내부게임에성공적으로적용경험 자동스캐닝및수동검사와결합 게임디자인평가 기본데이터조사 다양한독자적인자체연구기술 게임디자인평가 코드수준에서감지 SDK 불필요 게임의성능에영향을미치지않음 기업의높은프라이버시보장

90 06 결제테스트

91 결제테스트솔루션 결제채널의큰차이가존재 다양한특수결제시나리오 Pain Points 주류 ios 와 Google Play 결제채널외에도다른결제시스템 간의결제구조및프로세스차이는게임개발사가모두 확인하기에광범위함 동남아시아의예 : 태국 : Airplay, Gerana storage card, Gerana shells, True money, Ais SMS, DTAC SMS 베트남 : Vietnam Airpay, Vinaphone, Mobifone, Vettel, ATM 인도네시아 : Gerana prepaid card, Telkomsel, Unipin 싱가포르 & 말레이지아 & 필리핀 : Alipay, Gerena, Mol Card, Mol Wallet 20 개이상의제 3 자결제채널이존재함 테스터에의해커버하기어려운복잡한논리가있는많은경우의수의지불시나리오가있음 통화 ( 환율 ) 문제 일관되지않은결제기간및스토어가격 방문자는네트워크연결끊겨진타사지불채널전달문제를볼수없음 게임재시작의재전송문제 모든종류의비정상적인작업및중단등.. WeTest 해결방안 다지역유통의테스트문제를해결하기위해북미지역과같은주류게임배포영역을포함합니다. 앱스토어, 구글플레이및특별한채널의테스트기능을위해기타일반적인 3 자결제채널을커버합니다. 재배송, 플랫폼간결제, 크로스채널결제등다양하고특수한시나리오까지다루고있습니다.

92 결제테스트솔루션 제품기능모바일게임에대한결제테스트는앱스토어, 구글레이및주요 3 자결제채널을포함하며, Service Process 고객에게샌드박스환경또는현재네트워크환경에서결제테스트를제공합니다. 2 일 요구사항협의테스트준비테스트실행보고서전달 테스트환경 현재네트워크 샌드박스 소요기간 : 2 일. 필수구성요소 테스트리소스준비 환경디버깅완료 고객의협조필요 탐지가능한시나리오 결제디스플레이통화변환미납계정알림 플랫폼간결제 크로스시스템 / 채널결제 안드로이드지불호환성 퍼스트요금어워드 충전기프트 UI 기능확인재배송 스토어구매 기타특별시나리오

93 결제테스트솔루션 상품기능 환경감지상태지원 App store 현재네트워크 퍼블리시된게임만지원 샌드박스 지원 Google play 지원지원 Third-Party 지원미지원 3 자테스트감지경험 적용된 3 자결제테스트 대만 싱가포르 말레이지안 필리핀 인도네시아 베트남 태국 다른지역은요청시, 추가확인이필요

94 결제테스트솔루션 상품기능 리소스충전위험 테스트시간의정의 감지모드. 현재네트워크테스트의경우재충전비용 - 수요측 only 미국의카드만충전 - 충전리소스구매시채널위험및전송위험 1 회테스트 : 단일국가 + 단일채널 + 단일환경 도구를거의사용하지않는 수동테스트

95 07 현지화서비스 현지화번역 현지화 QA 사용자 Grey Level 서비스

96 로컬라이제이션서비스 - 현지화번역 게임해외출시와관련된이슈의첫번째단계는완벽히현지화된번역입니다. 동북아동남아시아유럽 + 북미남아메리카중동 Traditional Chinese(HK) Thai English Spanish (Latin America) Arabic Traditional Chinese (Taiwan) Vietnamese German Portuguese (Brazil) Japanese Indonesian French Korean Hindi Russian Filipino Malay Italian Turkish

97 로컬라이제이션서비스 - 현지화번역 상품이점 풍부한번역시나리오지원 01 전문적인게임산업경험 멀티카테고리해외게임번역경험 멀티카테고리게임렉시콘 3개번역수준지원 읽기수준 전문적인수준 모국어수준 우수한번역가 해당국가출신번역가보유 장기간의게임번역경험 다국어동시번역 다국어동시번역지원 실시간오버프레임상황지원 번역품질보장 넓은언어범위 다양한언어구사 전세계대부분의지역지원

98 로컬라이제이션서비스 - 현지화 QA 사용시나리오및 Pain Points 콘텐츠및문화매치 플레이어의경험 텍스트세부정보 해외로배포되는게임은번역이단순텍스트번역만완료한경우로컬문화또는 UI 내부와실제로일치하는지보장하지않습니다. 글로벌게이머들에게는실제현지화와완전한몰입감이매우중요합니다. 현지화된번역후, 현지화QA. 서비스는부적절한번역의미체계, 프레임초과, UI 적응성, 문화적감수성및기타측면을감지하고해당제안을제공합니다.

99 로컬라이제이션서비스 - 현지화 QA 서비스기능 부적절한의미번역 번역의미체계검사 번역이게임콘텐츠와지역문화배경을준수하는지여부에초점 너무긴번역 번역된텍스트는현재 UI 의텍스트상자를초과할수있음 약어형또는재번역을제공 특수글꼴모양 일부개별언어의경우텍스트상자가잘리거나초과될수있음 ( 예 : 중국어, 일본어, 한국어 ) 라틴어서체는라인브레이킹문제가발생할수있음 글꼴 UI 적응불가 굵은글꼴은흐리거나미적상황을초래할수있음 복잡한스트로크를가진전통중국어, 태국어및기타언어. 민감한단어 각국가의다양한언어와문화 게임에서특정단어의사용에더민감 로컬 QA 가해결책을제공

100 로컬라이제이션서비스 - 현지화 QA 서비스강점 전문로컬 QA Deep Match 번역 포괄적인 UI 적응감지 테스트직원은지역문화를 이해하는게임산업을이해하는 전문번역가보유 번역된텍스트가게임내용과지역문화배경에부합하는지확인 민감한단어를최적화하는방법에대해제안 UI 검색번역길이초과, 특수글꼴 초과, 글꼴 UI 부적절한등의모든 영역을검토

101 사용자 Grey Level 서비스 익숙하지않은국가에배포 알수없는플레이어피드백 게임플레이검증 도달하기어려운플레이어 Pain Points 알파테스트하는동안사용자피드백을알기를기대하지만, 채널이없음 런칭국가플레이어의사용자습관을완전히파악하지못하면, 시장을검증하기어려움 핵심플레이어를찾는방법을모름 런칭국가게임시장의경쟁사에대한파악하기어려우며, 부주의한런칭은플레이어의좋은않은피드백을받을가능성이높음 WeTest 해결방안 전문게임평가자가테스트계획을커스터마이즈지원 현지플레이어를모집하여게임에대해심도있는의견을제시 고객요구사항에따라핵심플레이어선별 전문보고서출력

102 사용자 Grey Level 서비스 서비스기능 개발된게임의알파테스트기간동안, 타겟국가를대상으로플레이어모집및게임 플레이를통해플레이어의게임에대한피드백을수집하고분석함 서비스프로세스 요구사항커뮤니케이션 플레이어선별테스트실행보고서전달 소요기간 : 2-4 주 평가과정 게임체험개인평가그룹토론요약된보고서 지원국가 일본 & 한국 보고서내용 요약된보고서 ( 의견 + 최적화제안 ) 오리지널사용자설문지

103 사용자 Grey Level 서비스 보고서의내용 다양한관점에서의게임채점 게임의장점과단점에대한분석 테스트플레이어의평가요약 시장경쟁자요약 WeTest 강점 전문게임평가자는테스트설계지원 플레이어와보안계약체결 전문게임평가보고서 로컬플레이어, 실제피드백, 다양한유형에대한직접액세스

104 사용자 Grey Level 서비스 적용사례 게임카테고리서비스유형테스트목표 Action 일반적인유형설문 & 주요문제에대한해결책 온라인게임의재고및크립톤비율감소에대한이유를알아보기 MORPG 일반적인유형설문 & 주요문제에대한해결책 특별한문제의해결방법검색 MOBA 난이도설정설문조사일본에배포하기전에시장검증 Puzzle RPG 정성적조사경쟁업체와수평비교

105 08 ios 사전리뷰서비스

106 순기능 - ios 사전검토 게임리뷰의합격률을높이기위해사전검토팀은여러차원에서앱스토어및 Google Play 검토규칙을분석하고 ios/android 프로젝트에대한사전검토서비스를제공 ios 사전검토유형사전검토적용방법? 자동테스트 사전리뷰콘텐츠 Pre-review Time Private API Hot upgrades Third-party payment, info.plist file checking, resource file checking 수작업테스트 ios 프로젝트가 Apple 의 5 차원감사조건을준수하는지확인 신청 신청패키지 포스터 동영상 버전설명 시험용제출 사전검토실행 보고서 2 hours 성공 정식검토프로세스 클라이언트검사 배경구성검사 실패 게임콘텐츠검사 리소스인스펙션검토 사전검토회귀프로세스 구성검사검토.

107 기능

108 Fsight 소개 모바일게임을위한전문적인구전 (WOM:Word Of Mouth) 및사용자피드백플랫폼 정확한데이터및오프라인분석보고서비스 게임품질을개선하고사용자경험을향상시키며커뮤니티운영을위한이론적기반을제공하는문제점찾기 글로벌채널모니터링 로컬환경탐구 더큰영향력의기초 텐센트의 16년이상게임산업경험 PUBG 모바일은 100 개이상의해외국가출시및안정화지원 Fsight는채널모니터링에사용되며분석보고서제공 해외채널의사용자피드백 We 미디어의운영피드백 다양한게임유형, 게임캐릭터, 플레이스타일등에대한특별지식보유 지역화된결합 사용자피드백콘텐츠식별 NLP에의해게임경험과문제를분류 핫토픽및핫워드클라우드 모든게임산업채널및온라인미디어모니터링 부정적인의견이발생하면통보 부정적인정보의특정소스를지적 전세계경쟁업체의브랜드인지도및영향력비교 운영결과측정및시각화

109 제품개선 (Construction) 아이디어 데이터모니터링 알고리즘분석 민심 (Public sentiment) 역량 경고및대응 대규모데이터 소셜플랫폼 앱스토어 미디어범위 실시간데이터 여러차원 You Tube App Store 정부 FB reddit TW Live Android 게임산업 시간별업데이트 기존 : 이미지, 텍스트, 커멘트, 라이브,KOL (Key Opinion Leader) 예정 : 팔로워수, 상호작용수, 짧은비디오 자체개발알고리즘모델 필터 콘텐츠분류 감성분석 토픽분석 주제식별 전파연쇄 (Propagation Chain) 분석 인덱스모델최적화 기술전문가참여 비즈니스검증및조정 인덱스기능 지수평가시스템기준수립 분석기능 사용자프로파일링관점생성 문제원인분석 데이터응용 ( 경고 + 권장사항 ) 키워드경고메커니즘 High frequency 항목으로핫작동콘텐츠추천 부정경고운영경고품질경고업데이트피드백경고 모니터및경고 분석및수정핫토픽푸시버전최적화최적화 마케팅홍보운영 PD/ 개발자 효과적인후속조치 기본기능 ( 데이터 + 플랫폼 ) 데이터채널기반구축 플랫폼역량구축 사용자경험의초점핫토픽, 개인화된콘텐츠, 배치전략사용자이미지

110 사용자감성 (Sentiment) 모니터링 - 시장성과 & 미디어모니터링 Full-scale WOM 특별유저맞춤형분석 다차원위험경보 WeTest FSight 업계미디어동향 앱스토어실적 전파채널품질

111 사용자감성 (Sentiment) 모니터링 해외사례 해외목록실시간업데이트 해외미디어 : 추가 15 채널및 10,000+ 정보 / 일 해외앱스토어 : 50%: 핵심시장, 기타시장 : 20% 앱스토어랭킹리스트 38 국가 / 지역 베스트셀러무료목록지불목록

112 사용자감성 (Sentiment) 모니터링 Full-scale 사용자구전 (WOM:Word Of Mouth) 사전정의및자동검색 감성라벨 언어분포

113 사용자감성 (Sentiment) 모니터링 위험대비다차원 FCW(Forward Collision Warning) 위챗실시간푸시 정의된키워드푸시 사용자생성컨텐츠 (UGC) 피드백및업계부정컨텐츠 다차원문제에대한실시간경보 사용자생성컨텐츠 (UGC: User Generated Content) 식별을위한자연어처리 (NLP: Natural Language Processing) 서비스모드 실시간알람세부정보 실시간품질경고 알고리즘모드 + 임계값구성 비정상적인변화추세감지, 잘못된콘텐츠제외 실시간 / 시간별 / 일별 자체정의된키워드경고 자체정의워드뱅크 + 임계값구성 제품수명주기, 이벤트관련정보, 자체정의된모니터링의다양한버전 범용템플릿 + 사용자지정템플릿

114 사용자감성 (Sentiment) 모니터링 특별사용자정의분석 사용자서비스 여러제품의각개발단계적용 비즈니스와의깊은조합 경쟁사전체시장동적목록운영 WOM 분석문제경고산업미디어모니터링 프로모션기간 이상모니터링 앱스토어개요 게임캐릭터 KOL(Key Opinion Leader) 모니터링 버전보고서 지식자료 초기버전 숙련된서버모니터링 경쟁사분석 경쟁사역학 (Dynamics) 경고 비즈니스양식메일푸시위챗푸시웹페이지 API 기본데이터 인터넷댓글 / 게임미디어 / 구름글 (bullet screen)/ 게임내부의댓글

115 사용자감성 (Sentiment) 모니터링 특별사용자정의분석 Hero Index WOM 트렌드및주제 히어로지표 (Hero index) 기술자료와결합된게임요소의 WOM 에대한심층분석 주간주제랭킹목록 긍정 TOP 10 부정 TOP 10 볼륨및 WOM 트렌드 일일토픽 TOP 10 긍정 TOP 10 부정 TOP 10

116 소셜미디어모니터링 특별분석보고서 댓글데이터유형 댓글데이터소스 컨텐츠분석 전체여론볼륨 플레이어의핫토픽 버전, 새로운히어로의상황 전체네트워크데이터수집, 정리, 데이터및기능추출, 효과적인여과 주요영웅및이벤트등과같은사용자지정된요구사항에대한수동주석 전체네트워크데이터마이닝 여론, 감정, 화제카테고리, 히어로즈 WOM 사용자지정주제에대한데이터분석및마이닝 데이터통계및시각화 결과분석및보고 새로운히어로에대중평가 새로운히어로에대한일일코멘트새로운히어로에대한감정긍정부정 새로운히어로에대한매일의감성 중립

117 소셜미디어모니터링 게임지수 (Game Index) 게임 WOM ( 최근주요업데이트비교 ) 콘텐츠디자인및경험 콘텐츠디자인및경험 콘텐츠디자인및경험 게임 UI 및그래픽 게임밸런스 게임 UI 및그래픽 게임밸런스 게임 UI 및그래픽 게임밸런스 네트워크서버 단일전투의길이 네트워크서버 단일전투의길이 네트워크서버 단일전투의길이 Sub-dimensional score

118 앱스토어실적

119 사용자감성 (Sentiment) 모니터링 산업분석 미디어의 WOM 여론볼륨 업계보고서 주간업계 미디어의 WOM WOM 목록 미디어의볼륨 관련기사 WOM 분포

120 사용자감성 (Sentiment) 모니터링 UGC 를위한번역 GLS(GLobal Store) 와의협업 입력댓글에대한실시간번역

121 사용자감성 (Sentiment) 모니터링 지식베이스 평가지표 혁신성 일부사용자는플레이방법, 스타일및독창성관점에서게임평가 매력적인포스 ( 품질 ) 일부사용자는크립톤골드의정도, 밸런스, 어려움의수준으로게임을평가 종합평가 많은사용자의코멘트는아무이유없이 ' 흥미로운 ' 또는쓰레기 ' 와같은간단한단어가포함되어있음 평가차원 모든지표와차원간의교차분석 게임전체 게임경험관련 지정된주제가없는플레이어의게임의견은일반적으로 20 단어미만의짧은문장 전투및 EDU 경험, 스타일과품질경험, 기본운영품질에대한평가포함 비관련게임경험 게임개발및운영기업에대한플레이어평가및해당게임에참여한 IP

122 데이터기능

123 사용자감성 (Sentiment) 모니터링 데이터크롤링 (Crawling) 자체개발된분산크롤러 (crawler) 기술, 정확하고측정구성변경가능 여러유형의데이터수집 문자메시지 이미지 비디오 동적콘텐츠 전문앱크래킹기술전문가 멀티터미널동시시뮬레이션크롤링 (crawling) 을위한로그인프로세스를시뮬레이션하는클라우드기계 / 클라우드시뮬레이터를기반으로하는독점기술

124 사용자감성 (Sentiment) 모니터링 데이터수량 크롤링기술 자체개발분산크롤링기술 데이터크기 1,000,000+ 데이터를매일수집 실시간성능 시스템에데이터입력후 5 분지연수집 수집대상 중국의주류게임데이터소스 29개국의데이터소스 18 해외미디어 시스템데이터볼륨 100 million 이상

125 사용자감성 (Sentiment) 모니터링 Sentiment Analysis 전체데이터 객체지향감정분석기술 감정분석은앱스토어리뷰, 포럼사용자의 UGC, 소셜미디어, 업계미디어기사등다양한채널을통해수행함. 깊이학습기술, 별도로학습된모델및감정분석을위한표적최적화사용. 정확도비율 : 90% 이상 딥러닝기술분야의주의메커니즘및기타최신성과사용 " 좋은 "/" 나쁜 것뿐만아니라, 무엇이좋은것인지무엇이나쁜지알아냄 차원, 부정경보등 WOM 과같은제품양식에적용. 정확도 : 80% 이상 긍정 GOOD 의의미를표현하는다양한문구 부정 불만의의미를표현하는다양한문구 긍정 제목에인터넷팝단어와미디어기사

126 사용자감성 (Sentiment) 모니터링 주제나누기 활성추출 사용자및산업미디어코퍼스의자동클러스터링및코퍼스의핫스팟추출 사용자가문제를찾고식별하고핫스팟을찾을수있도록지원 핫스팟발견 절대적인크기와급격한증가추세지표를통해핫스팟찾기 다차원마이닝 단어, 단어집계, 주제클러스터링등. Voice BGM Central Vector Noise Frequent Item set Central Vector Frequent Item set

127 사용자감성 (Sentiment) 모니터링 제품구전 (WOM) 분석기술 핫스팟검색기술을사용하여제품 / 브랜드 WOM 을계산하여변화의매크로추세를보여줌. 감정분석, 클러스터링기술및커뮤니티파티션알고리즘의알고리즘기능을기반으로 WOM 의변화의깊은이유를추가적으로탐구함. WOM 트렌드 WOM 주제 AOV(Arena of Valor)

128 사용자감성 (Sentiment) 모니터링 Alarm Technology 실시간이상징후경보 비정상적인상황에대한실시간알람. 메일, WeChat 알림을지원. 관련대중의견을파악하여여론의변화를감지 다양한요구사항을지원하는미리정의된 + 맞춤형 + 기계학습모델 다양한시나리오를지원하는실시간스트리밍처리 + 오프라인작업 고품질데이터정리 + 규칙최적화를통해정확도, 90% 이상의품질 FCW 를개선 이상징후알람메일 정보푸시 키워드댓글, 핫포스트, 앱스토어데이터푸시, 메일푸시, 위챗, SMS 및기타정보푸시방법을제공할수있습니다. 키워드댓글푸시핫포스트푸시키워드알람 AppStore 데이터푸시 AppStore 알람

129 사용자감성 (Sentiment) 모니터링 축적및 Precipitation 분석계층 (Analysis Layer) 감성모델 ( 사용자감성, 미디어감성, OOE) 토픽모델 ( 자동검색및모니터링, 다양한사이클, 브레이킹및루틴 ) 오피니언추출 ( 추가집계, 추출, 요약 ) 데이터계층 (Data Layer) 외부사용자프로필 ( 코어 사용자, 크로스플랫폼 ) 버티칼피드 (Vertical field) 의지식베이스 ( 게임엔티티, 평가, 질문은행 ) 버티칼필드 (Vertical Field) 의샘플라이브러리 ( 텍스트카테고리, 감성, 주제 )

130 원스톱사용자및산업구전 (WOM:Word Of Mouth) 데이터분석시스템 비즈니스서비스 기본분석도구 ( 시장데이터 핫스팟푸시 셀프서비스보고서 경쟁사분석 ) 연결된셀프서비스도구 (index WOM volume sent iment- topic industry) 이상경보 ( 품질및부정평가 ) 의사결정기준 ( 사용자분석 신규게임검색 커뮤니티마이닝 특별보고서 ) 심층서비스 (special collaboration, 딥마이닝 (Deep Mining)) NLP( 자연어처리 ) & 데이터마이닝 기본 NLP 텍스트분류 감정분석 주제발견 오피니언마이닝 사용자분석 데이터스토리지가공및처리 실시간스트리밍계산 빅데이터오프라인스토리지및계산 온라인정보검색 BBS 커뮤니티데이터 뉴스미디어데이터 비디오정보 라이브정보 해외웹사이트콘텐츠 데이터가져오기

131 사용자감성 (Sentiment) 모니터링 적용사례 플레이어댓글분석 긍정과부정댓글분포 핫토픽에대한전형적인코멘트 마케팅효과평가 앱스토어리소스배치모니터링 업계의기사태도모니터링 KOL 데이터모니터링 비정상적인위기발견 앱스토어순위모니터링 키워드검색증가모니터링 경쟁사모니터링 ios 데이터푸시 ( 목록, 코멘트스타 ) 경쟁제품에대한특별보고서 전체데이터통합 응용프로그램상점, 포럼, 소셜플랫폼, Q & A, 커뮤니티, 동영상 20+ 업계미디어 개인데이터를가져오는 APIs 글로벌여론청취 29 국가 / 지역 해외미디어 : Facebook YouTube twitter reddit 분석및보고서 주제보고서 : 주간및격주전체여론, 영웅 / 활동 / 버전보고서, 100+ 효과적인제안앱스토어프로필 : 앱스토어및 6 주요응용프로그램시장등급, 동향및이유 협력사례펜타스톰 (Arena of Valor) WOM 및핫토픽 품질및기타 영웅 WOM 지수 (index): 보이스 / 감정및기타다차원마이닝, 문제집계및추출, 정확도 : 90% 이상 KOL(Key Opinion Leader) 인기 / 활동분석 : 전체채널커버리지, 핫토픽의모든차원의포괄적인출력, 잠재 KOL 발굴 서버버그추출경험 : 거의 100 개의주요이슈를조기에감지기타 : Zhihu.com 부정적및비정상적인푸시, 실시간문제조기경보, 경쟁제품분석등

132 Q&A