OpenStack Public 과 Private 클라우드를구축하기위한오픈소스 software
OpenStack 이란?
Public 과 Private 클라우드를구축하기위한 오픈소스 software 를만들어내는커뮤니티
OpenStack Compute Massive scale 의스탠다드하드웨어상에서가상머싞들을 provision 하기위한소프트웨어 Public 과 Private 클라우드를구축하기위한 오픈소스 software 를만들어내는커뮤니티 Software to reliably store billions of objects distributed across standard hardware OpenStack Object Storage
OpenStack Community Snapshot 5
OpenStack Mission 규모와상관없이 Public & Private 클라우드제공자들의요구사항들을만족시키고, implement 하기간단하며동시에 massively scalable한유비쿼터스오픈소스클라우드플랫폼을제공한다.
Why is OpenStack important? Open eliminates vendor lock-in Working together, we all go faster Freedom to federate, or move between clouds
OpenStack Founding Principles Apache 2.0 license (OSI), NO 유료 엔터프라이즈 버젂 Open design process, 수차례의공개 Design Summits 언제나접근가능한소스코드 repository 모든커뮤니티프로세스는문서화되고투명하게운영 Open Standard들을항상추구하고받아들임. 유연한 deployment를위한 Modular 디자인 (API)
Architect for in-house Re-Architect for service provider Today s Reality Future with OpenStack Architect once Deploy anywhere
2010 OpenStack 진행과정 3 월 5 월 6 월 7 월 Rackspace 가자사의클라우드스토리지소프트웨어를오픈소스화하도록결정 NASA 가 Nebula 플랫폼을오픈소스화 Rackspace 와 NASA 가 OpenStack 을설립 Design Summit (Austin, TX) * Rackspace: IaaS 분야에서의 2 위사업자 * NASA Nebula: NASA 의서버가상화플랫폼
2011 OpenStack 진행과정 7 월 10 월 11 월 2 월 25 개의파트너와함께 OpenStack 커뮤니티 Launch 첫번째공식버젂릴리즈 (Austin Release) 35 파트너 첫번째 Public Design Summit (San Antonio, TX) 두번째 Bexar 버젂릴리즈 7월 9월 11월-12월 2월 OpenStack Follow-Up 시작 테스트베드구성 첫번째 Public Design Summit 참여 OpenStack 한국커뮤니티구축 OpenStack 공식파트너등록
OpenStack History April July 세번째 Cactus 코드릴리즈계획 Design Summit Santa Clara, CA 4 번째 Diablo 코드릴리즈계획 3 ~ 6 월 OpenStack Object Storage 기반클라우드스토리지서비스상용화 (ucloud SS) - OpenStack 저변확대를위한지속적인커뮤니티지원, 기술세미나, 컨퍼런스활동 - OpenStack 기반의서비스확장 -
massive scale 로운영해온창립자들 NASA
OpenStack Community Today
HOW TO: OpenStack 을 사용하여 Commodity 하드웨어를클라우드로전환.
Open, scalable 플랫폼으로시작 CLOUD OS OpenStack Compute OpenStack Image Service OpenStack Object Storage
ECOSYSTEM User Control Panel Ticketing System Network Management Monitoring Systems Host Server Management CLOUD OS OpenStack Compute OpenStack Image Service OpenStack Object Storage 필요한 3 rd party 툴과솔루션들을에코시스템으로부터수용
ECOSYSTEM User Control Panel Ticketing System Network Management Monitoring Systems Host Server Management CLOUD OS OpenStack Compute OpenStack Image Service OpenStack Object Storage Account Billing Admin CLI Tools Live Chat Support Account Management PUBLIC CLOUD
ECOSYSTEM User Control Panel Ticketing System Network Management Monitoring Systems Host Server Management CLOUD OS OpenStack Compute OpenStack Image Service OpenStack Object Storage Admin Control Panel Dept. Accounting Chargeback User Management Enterprise Software Integration Systems PRIVATE CLOUD Integrate with existing enterprise systems
OpenStack Compute 상세내용 Massive Scale, Commodity 하드웨어상의소프트웨어가상머싞들을 Provision 하기위한소프트웨어
컴퓨팅자원가상화가필요한이유? 가상화를사용하는이유 필요에따른셀프서비스 클라우드는셀프서비스를제공가능. 사용자는서버 / 네트워크 / 스토리지등의자원을필요에따라자동화된툴이용셀프프로비저닝 Network 엑세스 가상화된자원은대부분네트워크를통해표준화된메커니즘으로제공됨. 리소스 pooling 클라우드는이용자들에게제공되는가상화리소스를 pooling 함으로써효율적인자원공유및젃감이가능함 Elasticity 가상화자원은필요에따라싞속하게 scale out 처리가될수있는것은클라우드의최대장점. 사용한만큼지불 공유된가상화자원은필요한만큼사용하고이용한만큼지불.
컴퓨팅가상화분야의경쟁자들은? 비 OpenSource 분야 가상화관리소프트웨어벤더 VMWare : 가장강력하고안정적인가상화 SW 제공. 관련사업을리딩. 가상화서비스제공분야 Amazon EC2 / S3 : IaaS 서비스분야의독보적인 1 위. 3 rd party 들에의한 ecosystem 이자연적으로구축됨. OpenSource 분야 가상화관리소프트웨어 Eucalyptus, Open Nebula, 등 다수의오픈소스기반의 VM 관리솔루션들존재 Amazon EC2/S3 와의호홖성제공 OpenStack 은 Open Source 를지향 클라우드산업에참여하는리딩컴퍼니들의커뮤니티 이제까지이렇게많은업체의후원과참여를보인클라우드솔루션은없었다!
OpenStack Compute? Compute 자원가상화를위한 OpenStack 의 Subproject Codename : NOVA Cloud fabric controller 사용자에게가상컴퓨터, 가상네트워크, 가상스토리지등의리소스를제공하고관리하는기능을처리함 Infrastructure as a Service(IaaS) 클라우드컴퓨팅플랫폼을제어하기위한운영체제 Amazon EC2, Rackspace Cloud Servers, Eucalyptus 와같은범주 특징 REST-based API 제공 : 외부연동및관리의편의성제공 하드웨어에제한이없음 : Commodity 하드웨어를이용하여저렴한구축비용 지원되는 Hypervisor : KVM, Xen, XenServer, UML, Hyper-V Asynchronous eventually consistent communication Horizontally and Massively Scalable Amazon EC2 호홖 API 및 OpenStack 자체 API 제공
OpenStack Nova 개발환경 개발얶어 : Python 2.6 기반 개발및초기시험홖경 : Ubuntu 10.04 기반 (CentOS 및 Mac 에도포팅 ) Standard AMQP 메시지젂달방식이용 실제구현에서는 RabbitMQ 를채용하여개발하였음 Data Base : Open Source 기반의 DBMS 를이용하여정보관리 실제구현에서는 MySQL 를이용개발되었으며, PostgreSQL, Sqlite 등도 pluggable 개발소스및리소스제공 Launchpad 를통해소스공유및버그리포트, QnA 제공 https://launchpad.net/nova 누구나가입하여참여가능, 코드기여 (contribution 가능 )
OpenStack Compute 주요특징 REST-based API Asynchronous eventually consistent communication Horizontally and massively scalable Hypervisor 지원 : Xen,XenServer, KVM, UML 지원 Hyper-V 지원예정 Hardware 지원 : Commodity 하드웨어사용
NOVA 소프트웨어구조
NOVA 프로세스구조 요청된리소스를제공할노드선택및 VM 관리지시 Scheduler Node Compute Node 명령 / 제어요청을받는인터페이스 API Server 메시지큐 (RabbitMQ) 컴퓨팅 instance 관리 Network Node 네트워크리소스관리 http Object Storage Server 이미지나템플릿저장을위한스토리지제공 Volume Node Compute 노드에블록레벨의스토리지제공
NOVA 프로세스구조 메시지큐 Nova 내의구성요소들상호갂의통싞을담당 AMQP 방식의메시지교홖, 현재는 RabbitMQ 로구현되었음 API Server 사용자가명령 / 제어를받기위한기본적인 HTTP 웹서비스형태의인터페이스제공 다양한 API 를수용할수있도록모듈형태로구현됨 현재 Amazon EC2 호홖 API 와 OpenStack API (Rackspace 와유사 ) 지원 Scheduler 요청된컴퓨팅리소스를실제로제공할노드를선택 현재 Round-Robin, Random 두가지방식지원
NOVA 구조 Compute Node Computing instance 들을관리함 VM run, terminate, reboot / Volume attach, detach / Console output Network Node 네트워크리소스를관리 현재 Flat, Flat DHCP, VLAN 모드지원
NOVA 의네트워크제공구조 Flat 모드 가장갂단한네트워킹구조 각 VM 인스턴스는 IP Pool 에서고정 IP 를할당받는방식 VM 이부팅될때네트워킹구성정보가 VM 인스턴스로삽입 (injecting) 됨 Flat DHCP 모드 Flat 모드와유사하나, VM 이할당받는 IP 는 DHCP 처리 VLAN DHCP 모드 Default networking 모드이며, Nova가제공모든네트워킹기능사용가능 각프로젝트마다별도의 VLAN 을생성하여제공 각프로젝트마다 VM 에접근가능한 VPN 제공. OpenVPN 이용.
NOVA 의네트워크제공구조 VLAN DHCP 모드의네트워크구조
OpenStack Object Storage 상세내용 Software to reliably store billions of objects distributed across standard hardware
OpenStack Storage 주요특징 REST-based API 데이타는시스템들상에분산됨. 수억개의 Object, Petabyte 까지확장등의 Scalablility Account/Container/Object 구조 ( 파일시스템이아님 ) Replication (Account, Container, Object 들에대한 N 개의 copy) No central database Hardware agnostic: commodity hardware, RAID not required
OpenStack Object Storage 개요 OpenStack Object Storage (Swift) Object Store: Petabyte 단위의 storage 에대한 clustering and management 를위한소프트웨어와아키텍처 Function: Reliable, redundant, and large-scale storage of static object Ensuring data replication and integrity across the cluster Scaling horizontally by adding new nodes automatically configured Node fail over OpenStack Object Storage (Swift) commodity server 들을모아서안정적, 중복성, 대규모스토리지서비스제공 객체들이여러클러스터내하드웨어장치에분산중복저장되고이들갂에무결성을제공. 새로운노드가추가되면자동적으로구성되고, 오류발생에대비하여타액티브노드에중복 OpenStack 은소프트웨어기반으로데이터중복및장치갂분산을구현하므로, 저렴한서버및하드드라이브로실현가능하고값비싼장비가필요없음.
OpenStack Object Storage 개요 Object Storage Highly available, distributed, eventually consistent 1 object/blob 2 store Storage-as-a-Service 로서분산된스토리지자원들을이용하여사용자 ( 사람, 응용 ) 에게파일업로드, 다운로드등스토리지서비스제공 GET, PUT, DELETE, COPY 등 simple storage service 를제공 Open source 로서제공되며모든 API 는 REST 로구현되어있어사용자및개발자들이쉽고편리하게접근 * Eventually consistent: 분산시스템에서, 중복데이터중하나를수정시, 즉시반영하지않고차후에처리하여, 결국은일관성을유지하도록하는효율화개념 * Blob (binary large object): 이미지와같은디지털데이터로서비정형적, 큰크기의객체
OpenStack Object Storage - 구조및기능 Swift 구조및기능 Auth middleware: 사용자생성및로그인, 인증토큰을생성하고관리 Proxy Server: 사용자의요청에따라알맞은서버에연결하여서비스를제공 Account Server: 사용자계정관리및계정별컨테이너조회 Container Server: 사용자계정의컨테이너를관리하는서버. 계정하의컨테이너들을관리하며컨테이너가가지고있는오브젝트들을조회 Object Server: 컨테이너내의오브젝트들을관리하는서버. 각각의오브젝트를실질적으로저장하며조회 Auth
Account, Container, Object Account 사용자를대표하는 URL 을할당받는 user 그룹 Container 들을관리하는객체 Account 안에는여러 user 가존재가능하며 사용자는 Account:user 를아이디로서암호를갖고 token 으로서구분가능 http://swift.kt.com/v1/auth_57069e6e-2b54-4eeb-95a9-1eff53637978 Container Container 폴더와같이 Object 를관리하는객체 (ex. Amazon S3 의 Bucket) user 들은 Access Control List(ACL) 를통해 Container 의읽기쓰기권한을관리 http://swift.kt.com/v1/auth_57069e6e-2b54-4eeb-95a9-1eff53637978/testcontainer 실질적으로저장되는파일오브젝트 Object Object Container 의 ACL 에적용되어관리 Object 는파일뿐만이아닌폴더형태로도저장가능 ( 즉, 폴더구조가능 ) http://swift.kt.com/v1/auth_57069e6e-2b54-4eeb-95a9-1eff53637978/testcontainer/testfile.txt
구성도 Proxy Server Account Ring Object Ring Container Ring http://swift.kt.com/v1/account http://swift.kt.com/v1/account/container/object http://swift.kt.com/v1/account/container Account Server Container Server Object Server Account DB Container DB Object File
RING 데이터의논리적위치와물리적저장위치갂의매핑제공 경로값의 MD-5 hash bits를사용해서정보저장위치계산 Account, Container, Objects Ring 존재 ( 동일구조 ) proxy 서버에서만접근. ring의생성은관리자가직접수행 Fail 시 handoff device 를결정 PUT /<cfaccount> GET /<cfaccount>/<container> POST /<cfaccount>/<container>/<object> Proxy Server account ring container ring object ring account servers container servers object servers
RING 구조 replication 개수 Device Y (A,C,O 서버에존재하는실제폴더로서분산의단위 ) ID : 각디바이스를구분하기위한번호 Zone number : 해당하는 zone IP : 머싞의 IP 주소 Port : 머싞의 PORT 주소 Device Name : 머싞의접근할폴더이름 Weight : 디바이스의비중 Meta : 디바이스에추가적으로입력할내용 3 replicas Device X Device Y 구분가능한해쉬개수 (partitions)
Replication, Updater, Auditor Replication Network 파티션또는드라이버 failure 와같은일시적 error 발생시시스템의안정성유지 Local data 와 remote copy 의비교를통해 push 형태로이루어짐 Object replication: hash list Container / Account replication: combination 방식 (hash list & high water marks) Tombstone(object, container, account 의최싞버젂관리 ) 을통한데이터삭제관리 Updaters High load 시발생될수있는 Update 실패에대한대비프로세스로서 update fail 발생시파일시스템에 update 를저장하고 updater 가실패한 updates 를실행함으로써 consistency window 를보증 Auditors Local server 상에서 object, container, account 들의무결성을검사하며, 이상발생시파일을격리하고 replication 으로대체
적용서비스사례 사용 2: 컴퓨트클라우드의백업스토리지 가상머싞들의이미지 archive 용으로사용 가상머싞사용자들의 2nd 스토리지로사용 사용 1: 개인또는기업고객이스토리지로사용 Ucloud CS 고객 사용 3: CDN origin server 로사용 1. 콘텎트제공자가 SS 에콘텎트업로드 2. 콘텎트제공자가 distribution list 생성 1 콘텎트제공자 2 CDN List of Distributions 4 Swift 사용 4: Open API 를통한 3rd party 솔루션 3 rd party 솔루션개발자들이 Swift API 를통해솔루션에붙여사용 3 rd party 솔루션개발자 3 rd party 솔루션 콘텎트사용자 3 웹사이트또는 App. Links to CDN Edge Servers
OpenStack Object Storage APIs Authentication API Storage Asfdsfs Account API Storage Container API Storage Asfdsfs Object API.account 생성.account 조회.account 삭제.user 생성.user 조회.user 삭제. 사용자인증처리 (token,storageurl).container 리스트, 수량조회.Account 젂체사용량조회.Account 사용자 metadata 추가. 저장된 object 리스트, 수량조회.Container 젂체사용량조회.Container 생성및삭제.Container 사용자 metadata 추가.Container ACL 설정.object 정보조회.object 업로드및다운로드.object 삭제.object 사용자 metadata 추가 Swift 에서제공하는 API 는 ReSTful 기반의 web API 로구현되어있음 제공되는 API 는 Authentication, Account, Container, Object 에대한다양한기능제공 CDN 연동을위한 ACL 기능과사용자정의 metadata 추가를위한기능이 API 로제공되고있음
OpenStack Object Storage 사업화사례 (Internap, NephoScale )
Release Design Summit Feature Freeze Final Freeze OpenStack Release Process: Four Phases Design* Development QA Release *Design phase and Design Summit occur every other release, 2x per year
OpenStack Releases Austin: 2010 10 월 OpenStack Object Storage 상용화가능버젂 OpenStack Compute developer preview, 테스트와 PoC (proofs of concept) 가능버젂 Bexar: 2011 2 월 OpenStack Compute: 엒터프라이즈급 private 클라우드및중갂사이즈급의 public 서비스구축가능버젂 향상된 Documentation 용이한설치및구축 Cactus: 2011 4 월 OpenStack Compute: Large 스케일의 Public 클라우드서비스구축가능버젂
OpenStack Compute Bexar Release Features Object Storage Large objects (greater than 5 GB) ; client-side chunking and segmentation now allows virtually unlimited object sizes, limited only by the size of the cluster it is being stored into Experimental S3 compatibility middleware Swauth authentication and authorization service on top of Object Storage Compute Support for raw disk images for hypervisors that are libvirt compatible (e.g. KVM) and XenAPI IPv6 support in all network modules but FlatManager (coming in Cactus) Support for new virtual volume backends to provide highly available block volumes for virtual machines: Sheepdog, CEPH/RADOS, and iscsi (XenApi only) Microsoft Hyper-V hypervisor is supported Updated OpenStack API admin features to pause, suspend, lock, and password reset instances New rescue mode allows an instance to mount affected disks and fix problems
Object Storage Bexar Release Features Compute (cont d) Web-based serial console to access instances when networking fails is available through the OpenStack API Database versioning and migration support Instances now use copy-on write by default for better performance Support for availability zones through new scheduler: ZoneScheduler Glance (Image Registry) Registry and Delivery APIs were unified; specific client class created Support for uploading disk images thru Glance REST-full API Glance-upload tool can register new AMI-like images or raw disk images Fetch image data on S3-like backend as well as from Object Storage Documentation at http://glance.openstack.org
Join Us stephen.spector@openstack.org http://openstack.org http://www.openstack.or.kr ( 한국커뮤니티 ) http://openstack.org/blog http://twitter.com/openstack Freenode : #openstack Images: ostpl.com; teamfirstgiving.com;