학과 서버 관리 - 운영 #310

Size: px

Start display at page:

Download "학과 서버 관리 - 운영 #310"

화선 탁
5 years ago
Views:

1 학과서버관리 - 운영 #310 x3650 M3 서버에 titan.cs.gnu.ac.kr 스토리지서버의구축 2016/04/23 21:48 - 성제호 계획 상태 : 완료시작시간 : 2016/03/28 우선순위 : 보통완료기한 : 2016/03/28 담당자 : 성제호진척도 : 67% 범주 : titan.cs.gnu.ac.kr 추정시간 : 0.00 시간 목표버전 : 시작 설명 일감 #301 에서 x3650 M3 서버에서동작하고있던 cs.gnu.ac.kr 를성공적으로이전하였다. ( 자세한과정을기록하지못함을양해해달라, 엄청나게긴작업시간과복잡한삽질로인해모든과정을기록을남길 x3650 M3 는기존에계획한대로, 추가하드디스크와메모리를설치하여스토리지서버로개장할계획이다. 고가의서버한대를굳이 " 스토리지서버 " 라는단일한이유로개장하려는이유는다음과같다. 하드웨어적인측면 1. 하드디스크확장이굉장히용이하다. ( 최대 12 개에달하는 bay, 디스크핫스왑가능, 레이드컨트롤러보유 ) 2. 다수의사용자접근에도충분한처리성능을보유한다 3. 서버의안정성으로장기간기동시안정성을보장한다. 상기의하드웨어적인측면으로, 다음을구축할수있다. 실제구현과운영의측면 1. 상당한하드디스크확장이가능하기때문에 RAID 를통한 redundancy 구현이가능하다. 하드디스크가동시에 2 개이상파손되지않는한, 데이터손실의위험이적다. 2.S.M.A.R.T 를통해디스크오류를빠르게탐지할수있다. 3.NIC Aggregation 을통해대역폭문제를해결할수있다. 4.( 대역폭문제만해결된다면 ) 학과사용자를모두처리할정도로처리가가능하다. 구현방안 1.FreeNAS 같은전문스토리지운영체제를설치하여구축한다. 2.ZFS 파일시스템을사용한다. 엔터프라이즈급스토리지로사용되는용도로는최고의편의와성능을제공한다. 3.RAIDZ2 (Raid 6 와개념상동일 ) 를통해 redundancy 를높인다. 현재박환수조교님과김성언조교님의협의와양해하에, 학과의예산을지출하여파일서버를구축할만한메모리와구매하였다. 이를이용해해당서버에설치하는과정을기록한다. 현재주문은하였으나아직조달은되지않은상태이다. 하위일감 : 운영 # 312: ZFS 파일시스템에서 ZIL 과 L2ARC 의구성 운영 # 318: S.M.A.R.T. 가동작하지않음 운영 # 319: FreeNAS 의 USB 부팅장치의장애발생시의대응 연결된일감 : 다음일감을우선진행 : 학과서버관리 - 할일 (to-do) #285: 파일서버완료구축 2016/03/ /03/27 완료 거절 신규 이력 #1-2016/04/23 21:49 - 성제호 " 예측되는사용량에비해지나치게과다스펙이다 " 스토리지서버에그만큼의컴퓨팅파워가필요한가? 2019/04/05 1/11

2 사실사용량을예측해보면, 과다스펙이라고생각할수있다. 단순히온라인스토리지의역할이라면실제로그만한컴퓨팅파워가필요하지않다. 단순히스토리지의역할만한다면, CPU/Memory 바운드되는 Workload 는아니다. 스토리지라면, 철저하게 I/O 바운드의 Workload 특성을보이기때문에, 사실상고가의 CPU 나 Memory 는필요하지 통상적인스토리지라면 CPU/Memory 는크게필요하지않지만, 본서버는 ZFS 를사용하기때문에조금다른특성을보일반적인스토리지서버는데이터안정성을위해고가의하드디스크와엔터프라이즈급의디스크컨트롤러가필요한데, 이들이수행하는 ZFS 가모두소프트웨어로처리하기때문에메모리와 CPU 사용량이큰편이다. 다만, 이로인해비용이극단적으로낮아질수있다. 때문에현재구매한디스크는모두일반노트북에들어가는 2.5 인치 SATA 하드디스크이다. SAS 하드디스크에들어가는데이터일관성에관련한기능들을 ZFS 에서소프트웨어적으로처리하기때문에가능하다. 그렇다면, 충분한 Bay 가들어간일반컴퓨터를섭외하면되지않느냐는의문이들수도있다. 그지적이타당하며, 개인적으로도추가비용을들일수있다면그편이낭비를줄일수있다고생각한다. 결론부터말하자면, 그런장비를추가로사는비용보다, 현재존재하는 ( 정확히는방치되고있던 ) 자원에하드디스크만추가구매하여편이훨씬비용이적다. 기업급서버의안정성이필요한가? 또한, 기업급서버의안정성이필요한지도의심할여지가충분하다. 본인또한그렇게생각하나, 이서버는스토리지서버라는지점에서안정성이최대한요구된다. 이서버가스토리지서버로서개장된다면, 현재주문한 2Tb * 5 개의디스크가설치된다. 모두일반하드디스크이며, 이는 ZFS 의 RAIDZ2 로운용되어소프트웨어적으로데이터의일관성이보장된다. 최대 8Tb 까지데이터를저장할수있게되는데, 현재학과내에분산되어있는데이터를모두합산해도충분한여유공간이된다. 또한가상서버의이미지를저장하는스토리지서버로서의기능도수행하게될것이다. 만약충분한안정성이보장되지못한다면이는짧게는순간적인운영상의장애가될수도있고, 최악의경우에는 8Tb 에달하는이어질수있다. 안정성을위해서최악의상황을고려한모든조치가행해져야한다. 때문에정상적인운영환경에서는충분히오버스펙이라고생각되지만, 최악의상황을상정하기때문에이러한사용은충분히가치가있 활용방안에대하여 이서버개장을위해투자된비용이약 150 만원에이르기때문에, 이를제대로사용하기위해서는다음의서비스를제공하려한다 1. 현재구축중인학내인프라의안정적인백업수행 2. 학과내의각연구실단위서버들의주기적데이터백업수행 3. 학과내에분산된데이터들의위탁저장 (Redundancy 보장으로철저한데이터안정성을홍보 ) ( 해당서버관리자들과상의하여저장소제공 ) 4. 연구자들을위한클라우드저장소제공 ( 대학원생 50G, 학부생 5G 수준 ) 추후, 서버의활용도에따라추가확장이가능할수도있다. ( 디스크확장, 메모리증설등 ) 여기에사용되는예산은모두학과생들이낸피같은등록금과정부지원금이라는사실을잊지말고최고의서비스를제공한다. 2019/04/05 2/11

3 #2-2016/04/23 22:04 - 성제호 - 파일에 ibm x3650m3.pdf 이 ( 가 ) 추가되었습니다. #3-2016/04/26 07:20 - 성제호 - 파일에 photo_ _ jpg 이 ( 가 ) 추가되었습니다. - 파일에 photo_ _ jpg 이 ( 가 ) 추가되었습니다. x3650 M3 는하드디스크트레이가따로달려있다. 이것이없다면하드디스크를장착할수없다. 44T2216 라는파트번호를가지고 Caddy 있고, Tray 라고불린다. 주문한하드디스크갯수만큼, 총 5개를신청한것으로알고있다. 문제는이트레이를분해하기위해서는 Security Torx 드라이버가필요하다. 흔히별나사라고부르는데, 가운데볼록튀어나온부분이있는 Security 규격이다. " 대만산 YANASE 7 종정밀별렌치 T6 에서 T20" 라는제품이맞는다고하여, 구매하도록한다. #4-2016/04/26 07:48 - 성제호 ZIL 은쓰기캐쉬이고, L2ARC 는읽기캐쉬이다. ZIL 전용의캐쉬로고속의 SSD 가추천되는데, 빠른성능과고신뢰성이요구되나크기는작아도관계가없다. 이런목적으로, `Sandisk ReadyCache(32Gb)` 가적당하다고생각된다. L2ARC 는 512Gb SSD 를사용할예정이다. #5-2016/04/26 07:58 - 성제호 서버에들어가는메모리의경우, 다음을만족해야한다. Installing a memory module The server supports only industry-standard double-data-rate 3 (DDR3), -999, registered or unbuffered, synchronous dynamic random-access mem ules (DIMMs) with error correcting code (ECC). See the IBM System x w emory modules for the server. 상기언급된내용에따라구매에참고해야할사항은 ECC 여부와, Registered / Unbuffered, 그리고클럭혼용만하지않는다면충분히동작할수있다. 메모리상의오류를보정하는 ECC 기능은서버급에서는거의필수적으로들어가나, 이경우에는크게필요하지않을것같다. 물론메모리상의비트오류가발생하지않으리란법은없으나, 재수가좋으면소프트웨어크래쉬나커널패닉이발생할것이고, 운이나쁘다면오류가발생한채로영구히디스크에저장되는경우가될것이다. 미션크리티컬한서버가아니니이정도위험은감수해야할것같다. ECC 메모리는보통의메모리보다 30% 정도비싸다. 현재가격은삼성전자 DDR3 8G PC 가 31,000 ( 정품 ) 원이고, 삼성전자 DDR3 8G PC 은 47,900 ECC 원이다. 2019/04/05 3/11

4 #6-2016/04/26 08:04 - 성제호 titan.cs.gnu.ac.kr 에는 FreeNAS 가올라갈예정이다. FreeBSD 기반의 NAS 전용운영체제이며, 사용자편의를제공한다. 왠만한기업용 NAS 이상의기능과성능을보여준다. 특히 ZFS 가지원되는것이가장중요한장점이다. FreeNAS 를설치하기위해서는반드시하드디스크하나가필요하다. 그러나실제설치되는용량을보면수백 Mb 정도의크기인데, 이를위해수백 Gb 의디스크를낭비하는것은아까운일이다. 현재개인적으로운영중인 NAS 에서는이러한낭비를막기위해 USB 에 FreeNAS 를설치하여사용중인데, 큰문제는없 물론 USB 의장애발생률이아주높지만, 2 개의동일한스펙의 USB 를설치하고 2 개를 Mirror 하여설치하는방법이 USB 2 개를 Mirror 하여설치하는방안에대해서연구한다. 최소 8Gb 크기의 USB 가필요하다. #7-2016/04/26 19:02 - 성제호 - 범주을 ( 를 ) titan.cs.gnu.ac.kr( 으 ) 로지정되었습니다. #8-2016/04/27 04:10 - 성제호 - 목표버전을 ( 를 ) 시작 ( 으 ) 로지정되었습니다. - 상태을 ( 를 ) 신규에서진행 ( 으 ) 로변경되었습니다. - 유형을 ( 를 ) 운영에서제안 ( 으 ) 로변경되었습니다. #9-2016/04/28 00:32 - 성제호 - 상태을 ( 를 ) 진행에서거절 ( 으 ) 로변경되었습니다. 부품이안온다... ㅠㅠㅠㅠㅠㅠ일단부품이올때까지일감을닫습니다. # /04/28 03:52 - 성제호 부품이도착했을때, 이전절차에대해서구상한다. FreeNAS 의신규구성및이전 현재 titan.cs.gnu.ac.kr(freenas) 는 VM 으로동작하고있다. 신규서버개장이완료되면, 해당 VM 은모두물리서버로이전한다. 1.x3650 M3 장비의디스크를모두소거한다. 현재 2 개가 Mirror 되어있으나, 하나는파손된것으로추정된다. 2.RAID 컨트롤러에접속하여독립적인 vdev 를생성한다. 총 5 개의디스크와 1 개의 SSD 를설치한다. ZIL 용디스크는아직구매하지못했는데, 추후장착할수있는지확인할것. 3.2 개의 USB 를 Mirror 하여, FreeNAS 를설치한다. 4.zpool 을 raidz2 로생성한다. 2 개의디스크파손까지버틸수있다. 5. 기존 VM 으로설치했던 titan.cs.gnu.ac.kr 의내용을옮긴다. 바로여기가문제다. 동일한구성으로어떻게옮길수있나? zpool 는스트림으로그대로전송시킬수있을지모른다. 그러나디스크를옮긴다하더라도, FreeNAS 의설정은일일이다시설정하는수밖에없다. 6. 대역폭향상을위해 2 개의회선을묶어준다. xs1.cs.gnu.ac.kr(x3650 M3) 의조치 현재 XenServer 를올려사용하고있는 xs1.cs.gnu.ac.kr 가있다. 이서버를 XenServer 로계속사용할것인지, Openstack 으로변경할것인지고려해야한다. 다수의일반사용자가사용하기위해서는반드시 Openstack 으로변경해야한다. XenServer 가직관적인것은사실이지만, 특정관리자에의해서만운영되어야하므로일반사용자가개입할여지가거의없다. 2019/04/05 4/11

5 1. 새로구성한 zpool 에가상머신이미지용 iscsi 를설정한다. 2.XenServer 의디스크이미지를모두옮긴다. 3.XenServer 의 VM 메타데이터를백업한다. 그대로 XenServer 를사용할경우 1.XenServer 업그레이드 (Dundee 가출시되었을경우 ) Openstack 을설치할경우 1.VM 을모두다른쪽서버로이전시킨다. 2.XenServer 를날리고 Ubuntu 를설치하여 nova-compute 로개장한다. 두가지방식중, 어느쪽이라도안정화되면, 다른쪽으로옮겨졌던서버를다시이전한다. 그러나 Openstack 은설치및운영에상당한시간 (1 달내외 ) 가필요할것으로추정된다. # /04/28 04:20 - 성제호 기존 VM 으로설치했던 titan.cs.gnu.ac.kr 의내용을옮긴다. 바로여기가문제다. 동일한구성으로어떻게옮길수있나? zpool 는스트림으로그대로전송시킬수있을지모른다. 그러나디스크를옮긴다하더라도, FreeNAS 의설정은일일이다시설정하는수밖에없다. FreeNAS 설정의이전 FreeNAS User Guide 에따르면 Save, 9.10 Config 기능으로설정을내려받을수있다고한다. Save Config used to save a backup copy of the current configuration database in t being used to access the administrative interface. It is recommended configuration changes. Note that while FreeNAS automatically backs u morning at 3:45, this backup will not occur if the system is shutdown system dataset is stored on the boot pool and the boot pool becomes u the system dataset using System System Dataset. 데이터셋의이전 zpool 을직접옮기지는못하고, DATASET 단위로원격복제하는것은가능하다 Replication 에따르면, Tasks ZFS 스냅샷을원격지의서버에주기적으로복제하는것이가능하다고한다. 1.DATASET 에주기적스냅샷을걸어놓고 2. 이스냅샷을원격서버에복제한다 이렇게복제가가능하다. VM 의 FreeNAS 를메인터넌스모드로기동하여외부접속을막은뒤, 새로구축한물리서버쪽에복제할수있을것같 2019/04/05 5/11

#12-2016/04/28 04:34 - 성제호 - 파일에 install3.png 이 ( 가 ) 추가되었습니다. USB 설치 1.3.2. 시 Compact or 를참고한다 USB. Flash USB 설치도가능하다고한다. 다만, 너무값싼 USB 는금방고장날우려가있다고한다.

6 # /04/28 04:34 - 성제호 - 파일에 install3.png 이 ( 가 ) 추가되었습니다. USB 설치 시 Compact or 를참고한다 USB. Flash USB 설치도가능하다고한다. 다만, 너무값싼 USB 는금방고장날우려가있다고한다. 개인적으로운영중인 NAS 도 USB 부팅을하는데, 8 천원짜리 USB 로꽤오랜기간사용하고있다. 언제죽을지몰라서동일한 USB 를 2 개소장하고있다. FreeNAS 설치중에설치드라이브를선택하는화면이있는데, 이때 USB 2 개를설치하여 Mirror 설치할수있으리라 Figure 2.3c: Selecting Which Drive to Install Into Use your arrow keys to highlight the USB, compact flash device, or vi If you wish to mirror the boot device, arrow to the second After making device you and selections, press Enter. FreeNAS will issue the warning seen in Figu onto a drive that is meant for storage. Press Enter to advance to the 2019/04/05 6/11

7 # /05/03 15:54 - 성제호 - 상태을 ( 를 ) 거절에서진행 ( 으 ) 로변경되었습니다 ( 금 ) 에주문한장비가도착했다. 추후확인해보니, 하드디스크 ( 시게이트 ) 2Tb * 5 개, 8Gb 메모리 12 개였다. 하드디스크를서버에설치할수있는핫스왑이가능한하드디스크트레이 5 개도함께도착했다. 이를토대로, 본서버의개장을다시진행하였다. # /05/03 16:02 - 성제호 가장처음부딪힌문제는하드디스크트레이였다. Security Torx 라는특이한나사를쓰는데, 이를위해전용드라이버까지사서보냈다. 문제는, 하드디스크트레이에아예나사가안왔다는점이다. 근처컴퓨터수리점에가서수소문해봤지만비슷한나사는찾을수없었고가장작은크기의나사를끼워봤지만아예트레이가서버에삽입되지않았다. 결국기존의하드디스크트레이에설치된 4 개의나사를빼서재활용하기로했다. 나사를단하나만사용하였더니, 트레이에하드디스크가정확히고정되지않았다. 나사를추가로더구해서모두고정시켜야한다그전까지는매우조심히탈착해야한다. 이런식으로총 5 개의하드디스크를설치했고, 1 개의 SSD 를캐쉬로설치했다. 하드디스크트레이는 1 개가남았고, 나사는 2 개가남았다. 기존에설치되었던하드디스크트레이 2 개를분해하였다. 2 개모두 cs.gnu.ac.kr 의내용이담겨있던 mirror 된하드디스크였고, 1 개는완전파손이의심되는증상을보여, 일단은스티커를붙여놓았다. (<--- 추후시리얼을기입할것 ) 이렇게분리된하드디스크를어떻게활용할지고민해봐야겠다. # /05/03 16:07 - 성제호 - 다음일감을우선진행 : 에할일 (to-do) #285: 파일서버구축이 ( 가 ) 추가되었습니다. # /05/03 17:16 - 성제호 두번째문제는메모리였다. 서버는기본적으로 ECC 메모리가들어간다. 그러나현재구매한메모리는비용의문제로일반데스크탑에사용하는메모리를구매하였다. 두메모리의차이는, 메모리상의오류를잡아낼수있느냐의차이이다. 극도의안정성을요구하는서버라면 ECC 메모리를사용한다. 그러나이경우엔미션크리티컬한환경도아니고 ( 의료, 핵발전소, 기타등등 ) 비용의압박이생각보다크기때문에어쩔수없는선택이었다. 2 개의 x3650 M3 에 ECC 메모리가장착되어있었다. 기존 cs.gnu.ac.kr 로쓰던서버에는 ECC 4Gb * 3ea 가설치되어있었다. 2019/04/05 7/11

8 현재 xs1.cs.gnu.ac.kr 로쓰는서버에서는 ECC 4Gb * 2ea 가설치되어있었으나, 이를제거하고 4Gb * 이것을모두통합하여, ECC 4Gb * 5ea 를스토리지서버로설치하고, 새로구입한 8Gb * 12ea 는모두 xs1.cs.gnu.ac.kr 로이전하였다. 4Gb * 4ea 는현재남아있고, 이것은다시조교님께되돌려드리면될것같다. 스토리지서버에 20Gb 면조금작은느낌이있으나, 며칠동안테스트를해서계속이구성으로갈지, 8Gb 메모리몇개를떼어교체할지생각해봐야할것같다. 다만이경우에는 ECC 메모리와일반메모리의혼용이금지, 크기가다른메모리혼용금지가되기때문에아무래도낭비되는메모추후추가로 ECC 4Gb 메모리를 4 개정도더설치하여 36Gb 수준으로맞추는것이좋을것같다. 현재설치된메모리는다음과같다. x3650 M3 (xs1.cs.gnu.ac.kr) Unbuffered 8Gb * 12ea x3650 M3 (titan.cs.gnu.ac.kr) ECC Registered 4Gb * 5ea # /05/03 18:41 - 성제호 기존 VM 에동작하고있던 FreeNAS 의정보를옮겨야했다. 크게두가지로나눌수있다. 1. 설정 2. 데이터셋 설정을옮기는것은쉬운데 5.2., General 항목에서 Save Config 를통해설정을 DB 로내려받을수있다. 이렇게내려받은설정을다시 upload 하면몇번의재부팅을통해설정이그대로올라온다. 다만, 이과정에서는설정만이전되기때문에데이터셋은이전되지않는다. 데이터셋을옮기는것은 snapshot 을통한 replication 을통해이전할수있는데, ZFS 는데이터셋을스트림으로날릴수있다. 문제는, 동일한경로에옮겨지질않아서 ( 기존시스템의시스템데이터셋이새로운시스템에덮어씌워지는걸막기위해 ) 하위데이터셋복제했는데, 이것이원래상태로이전이안되어서날렸다. 데이터셋의이름 ( 혹은경로 ) 를디렉토리수정하듯쉽게바꿀수가없었기때문이다. 그러나이부분은내가충분히찾아보지않고단정지었기때문에다시시도해볼가치가있다. ZFS 에서의데이터셋 replication 은다음과같은원리로동작한다. push 방식의데이터셋복제 ( 원본 -> 원격 ) 원본서버 1. 주기적 snapshot 을생성 2. 주기적 replication 을설정이때, 원격서버의어느데이터셋이넣을지결정해야한다. 주기적복제작업을등록하자마자성공 / 실패여부가자동으로표시된다. 원격서버 1. 원본서버 root 의복제키 (ssh 공개키 ) 를, 원격서버 root 의공개키에넣는다. ZFS 의파일전송이 ssh 서비스의 root 를통해전송되기때문이다. 이렇게설정해놓고몇분정도기다리면자동으로전송이시작된다 push 방식과 pull 방식의 replication FreeNAS 에서제공하는 ZFS 데이터셋의복제방식은크게 push 와 pull 방식으로나누어진다. push 방식은원본서버에서대상서버로밀어넣는 (push) 형태의복제를말하며, /data/ssh/replication 비밀키와 /data/ssh/replication.pub 공개키를사용하여 ssh 접속을 따라서, push 방식으로설정할때에는원본서버의공개키를확보하여, 이를대상서버의 root 계정의공개키항목에넣어주 2019/04/05 8/11

1. 원본서버에서복제용공개키를확인하기공개키위해보기를누른다. 2. 원본서버에서복제용공개키를확보 3. 대상서버에서복제용공개키를 root 에추가 4.

원격지의서버의데이터셋을주기적으로복제할때사용할수있다. #18-2016/05/03 19:09 - 성제호 - 파일에 2016-05-03_18-51-45.

png이 ( 가 ) 추가되었습니다. - 파일에 2016-05-03_18-43-19.png이 ( 가 ) 추가되었습니다. #19-2016/05/03 19:44 - 성제호 - 파일에 2016-05-03_19-19-52.

문제는, 이데이터셋을 WebGUI 상에서옮길수가없다. CLI 에서 ZFS 명령어를통해 rename 을해서옮겨야한다.

( 용량비교등을통해 ) 2. 원본서버의주기적복제작업을중지시킨다. 3. 대상서버에서아래와같은 ZFS 명령으로옮길수있다.

9 1. 원본서버에서복제용공개키를확인하기공개키위해보기를누른다. 2. 원본서버에서복제용공개키를확보 3. 대상서버에서복제용공개키를 root 에추가 4. 원본서버에서복제작업을추가한다. 일정시간이지나면상태가 "running" 으로변하며, 복제가완료되면 "Up to date" 로변경된다. 원격지의서버의데이터셋을주기적으로복제할때사용할수있다. # /05/03 19:09 - 성제호 - 파일에 _ png이 ( 가 ) 추가되었습니다. - 파일에 _ png이 ( 가 ) 추가되었습니다. - 파일에 _ png이 ( 가 ) 추가되었습니다. - 파일에 _ png이 ( 가 ) 추가되었습니다. # /05/03 19:44 - 성제호 - 파일에 _ png 이 ( 가 ) 추가되었습니다. 모든데이터셋의복제가완료되면대상서버에서는아래와같이데이터셋의복제가완료된다. 문제는, 이데이터셋을 WebGUI 상에서옮길수가없다. CLI 에서 ZFS 명령어를통해 rename 을해서옮겨야한다. 단순히복제및보존만을원했다면딱히옮길이유가없지만, 이경우에는기존의데이터를 Migration 하는데에있기때문 1. 모든데이터가무사히대상서버로복제되었는지확인한다. ( 용량비교등을통해 ) 2. 원본서버의주기적복제작업을중지시킨다. 3. 대상서버에서아래와같은 ZFS 명령으로옮길수있다. 다음은예시이므로, 각자의환경에맞게작업한다. 본인은원본서버의 MAIN 이하모든데이터셋을, 대상서버의 MAIN/repl 아래에복제시켰다. 따라서, 대상서버내의 MAIN/repl 에있는모든데이터셋을다시 MAIN 이하로옮기려고한다. 2019/04/05 9/11

10 ~# zfs rename MAIN/repl/share MAIN/share 4. 정상적으로데이터셋이옮겨졌는지확인한다. ~# zfs list MAIN/share NAME USED AVAIL REFER MOUNTPOINT MAIN/share 12.7G 5.14T 235M /mnt/main/share # /05/03 20:38 - 성제호 - 유형을 ( 를 ) 제안에서운영 ( 으 ) 로변경되었습니다. 가장중요한것을설명하지않아추가로적는다. x3650 M3 를구성할때, 디스크를설치하고하드웨어레이드카드를설정했어야했다. 서버급하드디스크의경우, 설치한다고바로인식되는것이아니다. 보통은하드웨어레이드카드를가지고있으며, 이카드를통해서운영체제가디스크를인식한다. 하드웨어레이드컨트롤러카드는매우고가이며안정적이다. 하드디스크가설치되면, 레이드컨트롤러카드에진입하여각디스크가어떻게하나의볼륨을구성하는지설정해야한다. 바로이부분에서보통은 RAID 를설정하곤한다. 따라서물리디스크 n 개를설치하더라도, 레이드설정에의해실제 OS 가인식하는볼륨은 1 개로보이게되는것이다. 다만, 이경우엔하드웨어레이드컨트롤러를사용하지않았다. 정확히말하자면, 하드웨어레이드컨트롤러에서 RAID 를사용하지않았다는편이맞겠다. 디스크 6 개 ( 일반하드 5 개 + SSD 1 개 ) 를설치한다음, 각각의디스크를따로따로볼륨으로생성하였다. 운영체제에서도 6 개의볼륨으로인식하도록하드웨어레이드컨트롤러에서총 6 개의볼륨으로설정하였다. 굳이이렇게한까닭은 ZFS 를설정하기위해서였다. ZFS 는자체적으로소프트웨어형 RAID 구성을지원한다. 통상의경우라면하드웨어타입의 RAID 가우월하지만, ZFS 에서제공하는여러장점을활용하려면직접디스크를제어하게할따라서오히려하드웨어컨트롤러를꺼야했다. 이를이해하기위해서는다음아티클을읽어보기를권장한다 FreeNAS:. A Worst Practices Guide 사실, 가장치명적인문제는다음이다. Finally, most hardware RAID cards will mask the S.M.A.R.T. disk Very health simply, statue disk is connected to the hardware RAID controller card and the disks be smartctl. Without access to this information, the user is left unawar reallocated sector count or unusually high temperature. Even the time i problem. S.M.A.R.T. 는디스크자체적으로디스크의상태를모니터링하고보고할수있는도구로서, 보통의디스크에포함되어있다. 이기능이없다면급격하게상태가나빠지는디스크를모니터링할수없으므로매우위험한상태에놓이게된다. 하드웨어레이드컨트롤러에서는보통이기능을직접담당하기때문에, 뒷단에있는 ZFS 가오히려모니터링을할수없는상태 While some hardware RAID cards may have a pass-through or JBOD mode of the potential masking of S.M.A.R.T. information, high controller cos slower than non-raid target mode results in zero reasons for using a 물론하드웨어레이드보다속도가조금떨어질수있지만, ZFS 에서도충분히데이터일관성과안정성을보장해줄수있는마당레이드컨트롤러를쓸이유는없다. 오히려 pass-trough 하게운용해야할판이다. 결론 : FreeNAS 에하드웨어레이드를사용하지말것. Long story short, using hardware RAID on FreeNAS can lead invest in costly data recovery services. to anything 2019/04/05 10/11

11 Powered by TCPDF ( # /05/03 21:04 - 성제호 titan.cs.gnu.ac.kr 에설치된중요한부품이하나더있다. 부팅용 USB 이다. 별건아니고, 컴퓨터수리점에서 7,700 원에산 16Gb 짜리 USB 이다. 왜 USB 에부팅했냐면, FreeNAS 반드시를설치하려면디스크 1개가필요하기이다때문. FreeNAS 를설치했을경우고작수백Mb 정도의크기이다. 고작이것하나를설치하려고디스크하나를소모하는것은낭비이다. USB 에서도충분히부팅가능하며성능상의이슈는없다. ( 커널은메모리상에모두올라가므로 ) 다만 USB 는소모품이므로, Mirror 구성하여동작시키도록권하고있다. 2 개를사서 Mirror 하게설치했어야했는데, 1 개만사서설치했다. 고장나면하나더설치하면된다. 이 USB 에는 FreeNAS 부팅에관련된내용이담겨있다. 시스템설정과데이터는모두디스크에있으므로, USB 가날아가도큰문제는없을것이다. 다시새로운 USB 를구입해서교체하고, FreeNAS 를재설치하면자동으로인식할것이다. 실제로그러한지테스트해서결과를남기도록하겠다. # /02/13 18:47 - 성제호 - 상태을 ( 를 ) 진행에서완료 ( 으 ) 로변경되었습니다. 이일감에서는최초 VM 으로동작하던 FreeNAS 의정보를 x3650 장비에서동작시키는시나리오를제공하고있었다. 일감자체에서그목표를성공적으로이루었다. 풀데이터를옮기는작업하드웨어레이드카드로인한 SMART 검사의불가 USB 로부팅되는 FreeNAS 에서고려할지점 현재 #323의문제로인해 #328, 에서 FreeNAS 를 VM 으로동작시키고있는데, 이것을다시물리머신으로옮기려고한다. 따라서, 본일감은완료로전환하고새로운일감에서 FreeNAS 이전을고민하도록한다. 파일 ibm x3650m3.pdf 1.02 MB 2016/04/23 성제호 photo_ _ jpg 159 KB 2016/04/25 성제호 photo_ _ jpg 111 KB 2016/04/25 성제호 install3.png 8.38 KB2016/04/27 성제호 _ png 60.6 KB2016/05/03 성제호 _ png 151 KB 2016/05/03 성제호 _ png 273 KB 2016/05/03 성제호 _ png 70.6 KB2016/05/03 성제호 _ png 165 KB 2016/05/03 성제호 2019/04/05 11/11

학과 서버 관리 - 운영 #328

학과 서버 관리 - 운영 #328 학과서버관리 - 운영 #328 장애 # 323 ( 거절 ): x3650 M3 펌웨어업데이트중시스템보드손상추정운영 # 326 ( 거절 ): x3650 M3 의운영형태변경 FreeNAS 의이전시나리오 2016/05/07 06:32 - 성제호 상태 : 완료시작시간 : 2016/05/07 우선순위 : 보통완료기한 : 담당자 : 성제호진척도 : 0% 범주 : titan.cs.gnu.ac.kr