Logical Scribbles

보호되어 있는 글입니다.

보호되어 있는 글입니다.

이번 포스팅에서는 트랜스포머를 구현해보자. 트랜스포머가 소개된 논문은 "Attention Is All You Need"이다. 구조에 대한 설명은 아래 글에서 확인할 수 있다. [논문 리뷰] Attention Is All You Need (Transformer) 오늘은 대망의 'Attention Is All You Need' 논문에 대해서 리뷰해보겠다. Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. stydy-sturdy.tistory.com 다시 한번 전..

이번에는 이 AlexNet의 구조에 대해 빠르게 복습한 후 구현을 해보도록 하자. 구현하는데 있어서 두가지 정도의 어려움이 있었는데, 이후 설명하도록 하겠다. AlexNet에는 5개의 Convolutional layer와 3개의 Fully-connected layer가 존재한다. AlexNet에 입력 되는 이미지의 사이즈는 227 x 227 x 3 이다. 위의 그림에는 224로 되어 있는데 잘못된 것이다. (저자가 이후에 227이 맞다고 정정하였다고 한다.) 이미지의 전처리 과정을 살펴보면 데이터셋의 이미지의 사이즈를 먼저 256*256 사이즈로 crop 한 뒤, 227*227사이즈로 random crop 한다. 이후 horizontal reflection을 적용해야하고, PCA를 적용해야 한다. 이 과..

이번 포스팅은 VGG 논문 구현이다. 만약 VGG 논문 혹은 논문 리뷰를 읽지 않았다면 읽고 보는 것을 추천한다. https://stydy-sturdy.tistory.com/7 [논문 리뷰] Very Deep Convolutional Networks For Large-Scale Image Recognition (VGG) - 구조, Training 그리고 Test 오늘은 ICLR 2015에 개제된 논문 'Very Deep Convolutional Networks For Large-Scale Image Recognition' 에 대해 알아보자. 많이들 'VGG' 라고 부르는 모델을 소개하고 있는 논문이다. https://arxiv.org/pdf/1409.1556v6.pdf 2010년 stydy-sturdy...

이번에는 바로 직전 글이었던 LeNet-5 모델을 직접 Google Colab과 Pytorch를 이용하여 만들어 보기로 하자. https://stydy-sturdy.tistory.com/4 [논문 리뷰] Gradient-Based Learning Applied to Document Recognization(LeNet-5) - 시대 배경 그리고 구조 LeNet-5의 구조만 훑으며 읽고 싶다면 바로 3. LeNet-5를 읽으시면 됩니다. 이번에는 CNN에서의 조상급 논문에 대해 알아보자. 논문을 읽어보기 전, 이 논문이 탄생하게 된 시대 배경을 알고 있으면 더 stydy-sturdy.tistory.com 우선 다시 한번 LeNet-5 모델의 구조를 살펴보자. ※ 본 논문에서는 Loss function을 MS..