Pytorch 프로젝트 생성, 배포, 유지보수

Pytorch Project Template Overview 

 

1) 초기 단계에서는 대화식 개발 과정이 유리 

$\rightarrow$학습과정과 디버깅 등 지속적인 확인 

 

2) 베포 및 공유 단계에서는 notebook 공유의 어려움 

$\rightarrow$ 쉬운 재현의 어려움, 실행 순서 꼬임 

 

3) DL 코드도 하나의 프로그램 

$\rightarrow$ 개발 용이성 확보와 유지보수 향상 필요 

 

레고 블럭 처럼 

OOP + 모듈 $\rightarrow$ 프로젝트 

다양한 프로젝트 템플릿 존재 

사용자 필요에 따라 수정하여 사용 

실행, 데이터, 모델, 설정, 로깅, 지표, 유틸리티 등 다양한 모듈들을 분리하여 프로젝트 템플릿화

 

 

즉, 한마디로 개발할 때는 대화식 개발로 디버깅하며 모델을 구축하고, 추후 배포와 유지보수를 위해서 모듈화 하자는 것이다. 

 

 

Pytorch Template 추천 Repository 

https://github.com/victoresque/pytorch-template 

GitHub - victoresque/pytorch-template: PyTorch deep learning projects made easy.

 

한번이라도 pytorch 로 학습을 시켜본 사람들은 공감하겠지만, 대화식 구현을 해놓으면 추후 코드를 볼 때 정신이 없다. 

그리하여 다음과 같이 모듈화 해서 관리해야 하는 것이다. 

 

 

Colab 기본기

1) Colab 구글 드라이브 연동 및 파일 다운로드 

1) Colab 에 google drive를 mount 하는 법 

 

2) pytorch-template clone 

 

3) pytorch-template 폴더로 이동 

 

4) new_project 를 MNIST-example 폴더에 실행 (new_project 생성)

 

2) Colab 서버 외부에서 접속하기 

1) ngrock 접속, 하단 Connect your account 의 authtoken 복사 

2) Colab에 Token 입력, password 생성 

3) colab-ssh 설치, 실행 

4) vs code 접속, extension file Remote - SSH 설치 

5) Add New SSH Host, SSH 연결 

6) config 파일 저장 

7) 생성한 SSH HOST 연결, 비밀번호 입력, 접속 완료 

8) vs code에서 colab 실행 

cd 로 colab 폴더를 이동하고, file 을 실행 시킬 수 있음을 확인 

* -c : train.py 파일 이하 command 를 실행하라 

hyperparameter의 값들이 json 파일에 저장되어있는 것을 확인할 수 있다. 

구글 드라이브에 다운로드 파일 저장 

*mkdir 폴더명: 폴더(디렉토리) 생성 

*cp -r 복사할위치 붙여넣기할위치: 드라이브의 하위 디렉토리까지 복사 

폴더가 생성 된 것을 확인할 수 있다.