AWS PyTorch Install & Jupyter Notebook 2017.07.15 최건호
INDEX 01 02 03 04 AWS Server Cuda & CuDNN Anaconda PyTorch
인스턴스만들기 https://aws.amazon.com/ko/
https://aws.amazon.com/ko/
로그인
EC2 인스턴스클릭
Launch Instance
ubuntu 16.04 선택
p2.xlarge 서버선택 (gpu instance)
step 6. Configure Security Group 에서 custom tcp/ port range 8888 / source anywhere 추가
확인후 launch
select existing key pair or create a new key pair 에서 create new pair
새로운 key pair 를만들고 download 나중에로그인할때쓰임
Launch 성공
Launch Instance
우분투
우분투 우선 ssh 설치터미널에서 sudo apt-get install openssh-server 또는 sudo apt-get install ssh 설치확인용코드 sudo service ssh status http://ubuntuhandbook.org/index.php/2016/ 04/enable-ssh-ubuntu-16-04-lts/
우분투 요약 sudo apt-get update sudo apt-get install ssh sudo ufw allow 22 설정을바꾸려면 sudo vim /etc/ssh/sshd_config 재시작 sudo service ssh restart http://ubuntuhandbook.org/index.php/2016/ 04/enable-ssh-ubuntu-16-04-lts/
우분투 이후아까받은 keyfile.pem 있는곳에서 chmod 400 File_Name.pem ssh i key_filename DNS Server 주소 http://ubuntuhandbook.org/index.php/2016/ 04/enable-ssh-ubuntu-16-04-lts/
윈도우 connect using putty
윈도우
윈도우
윈도우 Next -> Next -> Install
윈도우 puttygen 프로그램열기
윈도우 다운받아놓은 key 를 load 이때설정은 RSA
윈도우 비밀번호없어도됨. 확인후저장
윈도우 이번에는 putty 열고주소는 aws 페이지에서 connect 눌렀을때나오는주소입력
윈도우 connection SSH Auth 누르고 private key Browse.. 해서열기
윈도우 성공
커맨드창에 mkdir ssl cd ssl sudo openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout "cert.key" -out "cert.pem" -batch
아나콘다설치 https://www.continuum.io/downloads
서버에설치하는것이기때문에파이썬 3.6 linux 버젼링크복사
터미널창에순서대로입력 wget https://repo.continuum.io/archive/anaconda3-4.4.0- Linux-x86_64.sh bash Anaconda3-4.4.0-Linux-x86_64.sh
쭉엔터누르다가 yes 그리고경로나오면엔터
쭉설치가진행됨
경로설정질문에 yes 해도되고아니면연결할때마다 path 를설정해줘야함 export PATH=/home/ubuntu/anaconda3/bin:$PATH source.bashrc 이후 conda list 하면설치된목록이뜸 아나콘다는설치완료!
cuda 8.0 install 아래설치는한줄씩해야함 lspci grep -i NVIDIA CUDA_REPO_PKG=cuda-repo-ubuntu1604_8.0.61-1_amd64.deb wget -O /tmp/${cuda_repo_pkg} http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/${cuda_repo_pkg} sudo dpkg -i /tmp/${cuda_repo_pkg} rm -f /tmp/${cuda_repo_pkg} sudo apt-get update sudo apt-get install cuda-drivers sudo apt-get install cuda sudo reboot ( 출처 : https://docs.microsoft.com/en-us/azure/virtual-machines/linux/n-series-driver-setup)
CuDNN 5.1 for CUDA 8.0 tar xvzf cudnn-8.0-linux-x64-v5.1-ga.tgz sudo cp -P cuda/include/cudnn.h /usr/local/cuda/include sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda/lib64 sudo chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* gedit ~/.bashrc 파일열리면마지막줄에 export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64:/usr/local/cuda/extras/CUPTI/lib64" export CUDA_HOME=/usr/local/cuda 파일닫고 source ~/.bashrc 다운로드링크 -> https://developer.nvidia.com/compute/machinelearning/cudnn/secure/v5.1/prod_20161129/8.0/cudnn-8.0-linux-x64-v5.1-tgz
Anaconda, CUDA, CuDNN 설치완료 이제 PyTorch 설치, Jupyter Notebook 연동만하면됨
conda create -n pytorch python=3.6 ( 파이토치라는이름의가상환경을생성 ) source activate pytorch ( 가상환경시작 )
conda install pytorch torchvision cuda80 -c soumith
proceed? y
내부적으로 ipython, jupyter 설치 conda install ipython conda install jupyter 설치경로는 which jupyter 치면확인이가능함
ipython ipython from IPython.lib import passwd passwd() 비밀번호입력두번하면암호화키가생김
생성된비밀번호 sha 어쩌구 저장후 exit jupyter notebook --generate-config vi ~/.jupyter/jupyter_notebook_config.py 파일열리면
맨위에다음과같이추가 (i 누르면입력가능 ) c = get_config() # get the config object c.notebookapp.certfile = u'/home/ubuntu/ssl/cert.pem' # path to the certificate we generated c.notebookapp.keyfile = u'/home/ubuntu/ssl/cert.key' # path to the certificate key we generated c.ipkernelapp.pylab = 'inline' # in-line figure when using Matplotlib c.notebookapp.ip = '*' # serve the notebooks locally c.notebookapp.open_browser = False # do not open a browser window by default when using notebooks c.notebookapp.password = 아까나온비밀번호 sha 어쩌고 esc -> :wq 쥬피터노트북준비완료 (pytorch) ubuntu@ip-172-31-3-244:~$ jupyter notebook
서버말고본래컴퓨터에서 Public DNS 앞에는 https:// 뒤에는 :8888 붙여서연결 예시 https://ec2-52-79-202-102.ap-northeast-2.compute.amazonaws.com:8888/
고급으로들어가서무시하고연결하면연결완료! 비밀번호는아까 from IPython.lib import passwd passwd() 에서입력한비번
작동확인완료
Q&A