2022_summer_모각코] 강박이하 팀 - 2차시 결과

목표 : 파이토치 기본 익히기 https://tutorials.pytorch.kr/beginner/basics/intro.html

파이토치(PyTorch) 기본 익히기

 

1) TORCH.AUTOGRAD를 사용한 자동 미분

Computational graph # ( debug 1 )

변화도(Gradient) 계산하기 # ( debug 2 )

변화도 추적 멈추기 # ( debug 3 )

선택적으로 읽기(Optional Reading) # ( debug 4 )

 

2) 모델 매개변수 최적화하기

기본(Pre-requisite) 코드   # ( debug 1 )

하이퍼파라매터(Hyperparameter)  # ( debug 2 )

손실 함수(loss function)  # ( debug 3 )

옵티마이저(Optimizer)  # ( debug 4 )

전체 구현  # ( debug 5 )

 

 

TorchVision 에서 Fashion-MNIST 데이터셋을 불러와서 < 파이토체 신경망 모델 구성하기 > 에서 모델 코드를 통해 실습을 진행한다.

Fashion-MNIST는 Zalando의 기사 이미지 데이터셋으로 60,000개의 학습 예제와 10,000개의 테스트 예제로 이루어져 있다. 각 예제는 흑백(grayscale)의 28x28 이미지와 10개 분류(class) 중 하나인 정답(label)으로 구성된다.

 

MNIST load

최적화

 에폭이라고 부르는 각 반복 단계에서 모델은 출력을 추측하고, 추측과 정답 사이의 오류(손실(loss))를 계산하고, 매개변수에 대한 오류의 도함수를 수집한 뒤, 경사하강법을 사용하여 이 파라매터들을 최적화 진행.

# github 에 올린 source code 주석 참조.

소감.

신경망 모델의 대해서 에폭, loss, 파라미터 등을 직접 다루어보고, MNIST dataset 을 직접 load 해서 다루어보면서 꽤나 재밌게 느껴졌다. 그리고 모델 최적화 과정을 진행해보며 신경망 모델 구성, 모델 구현의 대한 이해를 높일 수 있었다고 생각한다. 올해 1월 부터 딥러닝에 대해 공부해 왔었는데 모델 최적화에 대해 상대적으로 깊게 공부하는 계기가 되서 좋은 기회였다고 생각한다. 다만 이번 학습 내용을 이해하는데 시간을 꽤나 소요해야 했다. 따라서 미리 계획 했었던 (7) 까지는 수행하지 못해 아쉽다고 생각한다. 남은 과정은 이번주에 해결해야겠다.  

 

https://github.com/sangho0804/PyTorch

GitHub - sangho0804/PyTorch