슬라이드 1

Similar documents
슬라이드 1

슬라이드 1


CONTENTS CONTENTS CONTENT 1. SSD & HDD 비교 2. SSD 서버 & HDD 서버 비교 3. LSD SSD 서버 & HDD 서버 비교 4. LSD SSD 서버 & 글로벌 SSD 서버 비교 2

solution map_....

리뉴얼 xtremI 최종 softcopy

클라우드스토리지서비스 N 드라이브 NHN Business Platform 저장시스템개발팀 / 전성원 2011 NHN Corporation

Microsoft PowerPoint - eSlim SV [080116]

초보자를 위한 분산 캐시 활용 전략

Microsoft PowerPoint - eSlim SV [ ]

항목

Microsoft PowerPoint - 알고리즘_1주차_2차시.pptx

PowerPoint 프레젠테이션

Storage advances and Ne over fabric

Microsoft PowerPoint - CNVZNGWAIYSE.pptx

PowerPoint 프레젠테이션

디지털데일리_스페셜리포트 1부.indd

Microsoft PowerPoint - 알고리즘_5주차_1차시.pptx

SANsymphony-V

<4D F736F F F696E74202D20BCD2C7C1C6AEBFFEBEEEC6AFB7D03038B3E22E BC8A3C8AF20B8F0B5E55D>

슬라이드 1

Slide 1

vm-웨어-01장

Title Slide with Name

목 차

Oracle9i Real Application Clusters

VNX 성능 및 경쟁사 제품 포지셔닝

PowerPoint 프레젠테이션

(72) 발명자 이동희 서울 동작구 여의대방로44길 10, 101동 802호 (대 방동, 대림아파트) 노삼혁 서울 중구 정동길 21-31, B동 404호 (정동, 정동상 림원) 이 발명을 지원한 국가연구개발사업 과제고유번호 부처명 교육과학기술부

슬라이드 1

6.24-9년 6월

결과보고서

Web Application Hosting in the AWS Cloud Contents 개요 가용성과 확장성이 높은 웹 호스팅은 복잡하고 비용이 많이 드는 사업이 될 수 있습니다. 전통적인 웹 확장 아키텍처는 높은 수준의 안정성을 보장하기 위해 복잡한 솔루션으로 구현

PowerPoint 프레젠테이션

PowerPoint 프레젠테이션

<목 차 > 제 1장 일반사항 4 I.사업의 개요 4 1.사업명 4 2.사업의 목적 4 3.입찰 방식 4 4.입찰 참가 자격 4 5.사업 및 계약 기간 5 6.추진 일정 6 7.사업 범위 및 내용 6 II.사업시행 주요 요건 8 1.사업시행 조건 8 2.계약보증 9 3

Microsoft PowerPoint - 알고리즘_2주차_1차시.pptx

Microsoft Word - zfs-storage-family_ko.doc

CONTENTS 목차 1. 전원 및 설치시 주의사항 2 2. 시스템 사용시 바른 자세 4 3. 시스템 구성품 확인 5 슬림형 케이스1 6 슬림형 케이스2 7 타워형 케이스1 8 타워형 케이스2 9 일체형 케이스1 10 망분리형 케이스 시스템 시작 및 종료

TITLE

PowerPoint Presentation

Hitachi Content Platform 클라우드 & 소프트웨어정의클라우드오브젝트플랫폼 Hitachi Content Platform Hitachi Data Ingestor Hitachi Content Platform Anywhere REVISION NO

Samsung SDS Enterprise Cloud Networking CDN Load Balancer WAN

Dell EMC Korea Partner Summit 2017

vm-웨어-앞부속

Cloud Friendly System Architecture

PowerPoint 프레젠테이션

<4D F736F F D205B4354BDC9C3FEB8AEC6F7C6AE5D3131C8A35FC5ACB6F3BFECB5E520C4C4C7BBC6C320B1E2BCFA20B5BFC7E2>

Oracle Database 10g: Self-Managing Database DB TSC

자동화된 소프트웨어 정의 데이터센터

PowerPoint Presentation

Integ

The Pocket Guide to TCP/IP Sockets: C Version

자동화된 소프트웨어 정의 데이터센터

1217 WebTrafMon II

Dell과 함께라면 가능합니다. 처음 도입하는 서버 또는 두 번째로 도입하는 서버이거나 네트워크를 확장시키거나 관리 기능을 강화하는 등의 모든 요구 사항을 Dell은 지원할 수 있습니다. Dell은 특성이 각기 다른 모든 조직과 회사마다 서로 다른 시점에 서로 다른 요

PowerPoint Presentation

금오공대 컴퓨터공학전공 강의자료

목차 1. 제품 소개 특징 개요 Function table 기능 소개 Copy Compare Copy & Compare Erase

PowerPoint 프레젠테이션

김기남_ATDC2016_160620_[키노트].key

Microsoft PowerPoint - Flash Memory Based Bottom Up Analysis for Smart Phone System _Final [호환 모드]

Hyosung Information Systems 활용사례 클라우드 통합 플랫폼 Smart Factory 인프라 하이브리드 클라우드 전환 기존 환경 그대로 정책 기반 NAS를 재정의하다 NAS = 파일공유 스토리지? 이제는 편견에서 벗어날 때입니다 HNAS(Hitach

PowerPoint 프레젠테이션

PowerPoint Presentation

목차 BUG offline replicator 에서유효하지않은로그를읽을경우비정상종료할수있다... 3 BUG 각 partition 이서로다른 tablespace 를가지고, column type 이 CLOB 이며, 해당 table 을 truncate

PowerPoint 프레젠테이션

PowerPoint Presentation

공개 SW 기술지원센터

슬라이드 1

Agenda 오픈소스 트렌드 전망 Red Hat Enterprise Virtualization Red Hat Enterprise Linux OpenStack Platform Open Hybrid Cloud

2 / 26

[Brochure] KOR_TunA

62

<C0CCBCBCBFB52DC1A4B4EBBFF82DBCAEBBE7B3EDB9AE2D D382E687770>

이도경, 최덕재 Dokyeong Lee, Deokjai Choi 1. 서론

슬라이드 1

RED HAT JBoss Data Grid (JDG)? KANGWUK HEO Middleware Solu6on Architect Service Team, Red Hat Korea 1

<49534F C0CEC1F520BBE7C8C4BDC9BBE720C4C1BCB3C6C320B9D D20BDC3BDBAC5DB20B0EDB5B5C8AD20C1A6BEC8BFE4C3BBBCAD2E687770>

AGENDA 모바일 산업의 환경변화 모바일 클라우드 서비스의 등장 모바일 클라우드 서비스 융합사례

PRO1_04E [읽기 전용]

Simplify your Job Automatic Storage Management DB TSC

스포일러 스포일러 기획 이슈 학교 미디어교육을 위한 협력의 물꼬를 트다 Contents 스포일러 새롭고 여전한 미디어현장을 만들어가는 사람들 기획 + 특집 학교 미디어교육을 위한 협력의 물꼬를 트다 문연옥 인물 + 인터뷰 성서공동체FM 정수경 대표 정보 + 기술 이현주

wtu05_ÃÖÁ¾

PowerPoint Presentation

PowerPoint Presentation

_LG히다찌 브로슈어

Microsoft PowerPoint - o8.pptx

X86 Customer, BP, and Sales Enablement Organization

Solaris System Administration

(Microsoft PowerPoint - vForum_Public Cloud_IBM_v1.0_\271\350\306\367.pptx)

DBPIA-NURIMEDIA

NoSQL

Secure Programming Lecture1 : Introduction

PowerPoint 프레젠테이션


1 법적 고지 사항 SK hynix Inc.는 사전 통보 없이 제품, 정보 및 사양을 변경할 권리를 보유합니다. 본 문서의 제품 및 사양은 참조용입니다. 본 문서의 모든 정보는 어떠한 형태의 보증 없이 있는 그대로 제공됩니다. 본 문서와 여기 포함된 모든 정보는 SK

Master presentation template three line maximum — First Lastname Job Title


MS-SQL SERVER 대비 기능

Transcription:

Lessons learned from deploying SSD in NAVER services NVRAMOS 2014 2014-10-30 Naver Labs 김태웅

목차 Naver Labs 네이버의데이터저장플랫폼 네이버서비스에서 SSD 활용 결론 2

3

https://www.facebook.com/naverlabs 4 4

역할 네이버의핵심기술의연구 / 개발을통해기술을내재화 학생및개발자들을대상으로기술과꿈을나누는조직 5

개발자컨퍼런스 DEVIEW http://deview.kr/2014/main 6

목차 Naver Labs 네이버의데이터저장플랫폼 네이버서비스에서 SSD 활용 결론 7

The era of data explosion 매 1 분마다 유튜브는 72시간분량의신규동영상업로드이메일사용자는 2억개이상의메일발송구글은 4M개검색질의처리페이스북사용자는약 2.5M개의컨텐츠공유트위터는약 280K개의트윗인스타그램은약 220K개의사진업로드 하루최대 130 억건의 communication 분당약 9M 건이상메시지, 동영상, 사진송수신 http://linecorp.com/en/pr/news/en/2014/845 출처 : http://newstex.com/2014/07/12/the-data-explosion-in-2014-minute-by-minute-infographic/ 8

이용자에의해생성되는데이터도있지만 출처 : http://www.pinterest.com/pin/18929260905459702/ 9

네이버의데이터저장플랫폼 파일저장소 분산파일시스템 : OwFS, Papyrus 데이터베이스 DBMS: CUBRID 분산 DB 클러스터링 : nbase-t 분산 Key/value 저장소 nbase-arc 메모리캐시 ARCUS 10

OwFS What is OwFS? Owner-based File System 네이버의포털서비스환경에적합하도록개발한대규모분산파일시스템으로, 여러서버들의디스크공간들을묶어하나의대규모파일저장공간을생성 Owner 서로관련있는파일들을묶어서저장하는단위 (container 개념 ) 수많은 owner의합이전체파일시스템을구성 Owner 별로 3개의복제본을서로다른서버에저장 OwFS 의특징 가용성 확장성 성능 운영편의성 점검시서비스 downtime 이없음 Owner map 캐시 응용서버 Owner 조회 파일 I/O Owner 의복제본정보 메타데이터서버 (MDS) DS1 DS2 DS3 홍길동변학도 홍길동성춘향 홍길동이몽룡 Owner map Owner 이름 복제본 홍길동 1,2,3 이몽룡 3,4,5 성춘향 2,5,6 변학도 1,4,6 DS4 DS5 DS6 이몽룡변학도 성춘향이몽룡 성춘향변학도 데이터서버 (DS) 11

OwFS 적용서비스 네이버 /LINE/NHN Entertainment 의 200 개이상서비스 일반적으로데이터저장서버는대용량의 SATA 디스크기반으로구축 고성능을위해서최신데이터는 SSD 에우선저장하고일정기간후 HDD 로이동시키는 tiering 을적용하기도함 범용파일저장목적외에 ViSTO (Virtual iscsi Storage over OwFS): Amazon EBS 와유사하게네이버내부개발자클라우드의 VM 환경에서동적으로블록스토리지를제공 12

Papyrus 분산파일시스템의 Storage tiering 에서 secondary storage 저장비용이효율이좋은파일 archive 용스토리지 특징 OwFS 와같은복제본기반의데이터가용성을사용하지않고 Erasure coding 을사용한데이터저장방식사용 file D0 D1 file D2 D3 C0 C1 encoding D0 D1 D2 D3 C0 C1 Papyrus 13

Papyrus architecture Cover, TOC, Index, Page 서버군으로구성 Application Cover Get section of chapter /foo TOC Chapter to Section Mapping write( /foo/bar ) Index Get pages map of /foo Section to Pages Mapping D0 D1 D2 D3 D4 D5 C0 C1 C2 Page Section 14

CUBRID DBMS 네이버의오픈소스 DBMS http://www.cubrid.org 15

CUBRID 적용서비스 메일, 사전, Naver me, 네이버캐스트, N 드라이브등 NAVER 주요서비스에적용 사내시스템모니터링사이트인 Nsight 등사내주요서비스에적용 16

nbase-t nbase-t 분산과확장성을제공하는 DB middleware 분산키별로 container 라는개별공간을제공. container 별로 RDBMS 기능을지원 Online data migration 을통한노드증설 / 감설 / 물리이전 / 밸런싱기능을제공 주요기능 Online data migration 병렬작업에대한스케쥴링및로드관리 Membership 상태및메타데이터관리 Distributed query processing 등 Node1 Node2 Application NodeN Management + Server + nbase + nbase + nbase + nbase... + nbase + nbase CUBRID HA or MySQL MMM 적용서비스 네이버 : 메일, 블로그, 라인 : 분산코인시스템, 세션 / 인증, 게임 DB, 기타라인플레이게임 DB, NHN ENT 게임메일 / 게임 DB CUBRID HA or MySQL MMM CUBRID HA or MySQL MMM 17

nbase-arc Redis 기반의분산메모리저장소로다양한구조체에대한 in-memory 고속연산을분산환경에서동일하게제공 고가용 Multi-Cluster service pool 일관성을보장하는복제 layer 기반의복제그룹의집합이며, nbase-arc 는복수의 cluster 를운용 페타바이트급대용량이기종클러스터드 DBMS SW 개발 ( 과제번호 10041311) 18

ARCUS ( 메모리캐시클라우드 ) 19

서비스와플랫폼개발및구축시고려사항 Better Solution? Faster Cheaper 데이터스토리지관점에서 Better 데이터의 durability를높이려면더많은복제본을동기적으로기록 Faster 데이터 IO의 latency를줄이려면메모리와같은고속매체의존성이높아짐 Cheaper 비용만생각한다면성능과품질의희생이필요 20

목차 Naver Labs 네이버의데이터저장플랫폼 네이버서비스에서 SSD 활용 결론 21

A brief retrospect 네이버는 2010 년부터 SSD 도입시작 고성능 DB 서버에 SSD 장착, 높은 IOPS 를요구하는서비스에시범적용 SSD 에대한막연한불안감 수명과안정성을고려하여 SLC 모델위주도입 GC 로인한성능저하를우려하여용량기준을 85% 만사용하는것을기준 2011 년 DBMS는대부분 SAS 디스크를사용 읽기부하가높은 DB 서비스는메모리캐시 + DBMS 조합으로구성 쓰기부하가높은 DB에만 SSD 장착 2012 년 ~ DB 쓰기부하가높은응용의요구사항증가 SSD 의구축비중이높아짐 22

SSD 도입시고려했던사항 SSD 의장점 성능관점 : HDD 에비해우수한성능 (random I/O) IDC 운영관점 : 소음과발열이적고소비전력과상면공간절약 SSD 의단점 높은비용과소용량 ( vs. HDD) 쓰기회수제한 ( 데이터의성격에따라다름 ) Write Once Read Many 성격의사진, 뮤직, 동영상서비스에는우수 데이터베이스와같이데이터의삽입, 삭제, 변경이많은경우는내구성문제 스토리지구축시 HDD/SSD 선택기준 요청처리량, 목표응답시간, 워크로드특성 ( 읽기 : 쓰기비율 ) 성능요구사항에부합되는비용효율성고려 DB 서버의 scale up, scale out시비용 메모리캐시클라우드의활용시비용 23

SSD 사용현황 SSD 는어떤용도로주로사용되는가? 고성능데이터베이스서버 고성능파일서비스를위해 SSD-HDD로 Tiering 24

SSD 의고장률통계 Type 별장애비율 Type 장애비율 SATA 1.57% SAS 1.21% SSD 0.41% SSD 고장이발생시 RAID 로구성된다른 SSD 도고장날가능성이높다는것을경험하였고 SSD 의수명을예측하고대비하는것이매우중요 25

PCIe Flash card Fusion-io 의 iodrive, ioscale 초고성능 DB 서버구축시주로사용 PCIe Flash Card 의경우문제점 운영관점 : 저장장치고장시교체의문제 비용관점 : SSD 에가격이매우비쌈 DB 와 I/O intensive 서버들은상대적으로 CPU utilization 이낮으므로이런서버들을 consolidation 하는용도로도 PCIe Flash Card 를활용가능 26

DBMS Page buffer 와디스크간 I/O 는 random I/O 27

SSD 도입으로인한 SELECT 성능향상 YCSB 를이용한성능측정 DB 데이터버퍼크기와저장매체간의성능변화상관관계 CUBRID의버퍼크기를변경하면서 SELECT TPS 측정 http://helloworld.naver.com/helloworld/7005 28

분산파일시스템에서 Tiering OwFS Instance SSD Group 1 *1 SATA Group 1 SSD Group 2 *2 SATA Group 2 MDS *2 SATA Group 3 *1 파일 write 직후 async 하게복제 *2 일정기간경과후 SSD Group 의복제본을제거하고 SATA 그룹내에서 3 copy 복제 29

Many small files 저장문제 1GB 블록디바이스를각각 Ext4, XFS 로파일시스템을만든후디렉토리당 1KB 크기의파일을 10,000 개씩생성 1GB 는약 1,000,000 KB 이므로, 백만개에근접한개수의파일을저장하는것을기대 파일시스템 File system full File system usage Ext4 65,518 개파일생성 31% XFS 234,482 개파일생성 100% mkfs 의 default 옵션 : 파일시스템의블록크기 4KB, ext4 의경우 1GB 파티션의경우 inode 개수가 65,536 개로파일시스템이만들어짐 파일시스템 Tuning 파일시스템 File system full mkfs 명령옵션 Ext4 796,702개파일생성 -b 1024 N 810000 XFS 810,172개파일생성 -bsize=1024 -imaxpct=0 30

Many small files 저장문제 ( 계속 ) 파일저장서버 12 디스크 bay, 4TB SATA 디스크 RAID5 구성으로 6개씩구성하면 20TB 볼륨 2개 RAID5 구성으로 12개를구성하면 44TB 볼륨 1개 4KB 미만의가변크기의작은파일을저장한다면, 20TB 볼륨에는최소 50 억개이상의파일이저장됨 (5,3 Billion) 44TB 볼륨에는최소 110 억개이상의파일이저장됨 (11.8 Billion) 디렉토리블록과 inode 블록을메모리에충분히캐싱하기어려움 파일을접근하려면로컬파일시스템에서지속적인 random I/O 유발 따라서, Many small files 저장서버구성시 HDD 보다는 SSD 가유리그러나, 문제는비용 31

Many small files 에유리한저장구조 Small 파일을파일시스템상의개별파일로저장하지않고 Container 파일에 append하여저장 Container Index Pathname /foo /bar/file1 /bar/file2 /baz/file Offset Header Header Header Header Pathname File size Creation time Deleted flag Deleted time Checksum Index 를메모리에전부올려처리하는것이최선 Index 를 SSD 에저장하는것이차선책 32

목차 Naver Labs 네이버의데이터저장플랫폼 네이버서비스에서 SSD 활용 결론 33

SSD 에대한요구사항 Random I/O 성능극대화 복제를이용한가용성제공및고장복구 SSD 에 RAM 버퍼를두고쓰기요청을 RAM 버퍼에기록하고반환해도허용될수있는여지가있음 Maximum read latency 최소화 Average read latency 도중요하지만 maximum read latency 가더중요 SSD 내부에서읽기요청을쓰기요청보다높은우선순위로처리하거나 GC 의수행주기등을조절하여읽기요청의응답시간편차를감소 DBMS 에서단일페이지의 atomic write DBMS 가사용하는페이지크기와 SSD 내부의페이지크기가일치하지않으면, 단일페이지쓰기가 SSD 내부에서복수의페이지쓰기가될수있음 이러한 mismatch 에대비하여 DBMS 들은보완책을사용하게되는데 SSD 의내부페이지크기를응용이요구하는크기로맞출수있다면좋겠음 박준현, 신기빈, 송창현, IDC 에서의애플리케이션이슈와 SSD 요구특성, 전자공학회지 (The Magazine of the IEEK) 제 41 권 5 호, pp.57-67, 2014 년 5 월 34

SSD 에대한요구사항 SSD 내부동작상태의조회기능 SSD 내부의페이지 / 블록크기, GC 수행시점과주기, wear leveling, 에러수정 (error correction), read-ahead 등의내부상태를조회하는기능 SSD 내부동작의제어기능 SSD 내부동작을제어할수있다면, 응용상황에맞게 SSD 를사용할수있음 Ex) GC 수행기준이나주기를제어하여, latency 또는 throughput 성능을조절하거나 GC 의일시적중지 / 재개를통해쓰기요청과 GC 작업의간섭최소화 Transparent compression 파일저장목적으로사용하려면 SSD 가자동압축 / 해제기능을지원 Over-provisioning SSD 용량을 full 로사용하더라도성능저하나고장이발생하지않도록 SSD 내부의예비공간을충분히제공 박준현, 신기빈, 송창현, IDC 에서의애플리케이션이슈와 SSD 요구특성, 전자공학회지 (The Magazine of the IEEK) 제 41 권 5 호, pp.57-67, 2014 년 5 월 35