Logical Scribbles

지난 포스팅에 이어서 VGG모델의 실험 결과를 살펴보도록 하자. Dataset ILSVRC-2012 dataset(이미지넷)을 사용하였다. 이 데이터셋은 1000개의 class를 포함하고 있고, 3종류로 split 되어 있다. (Training data, Validation data, Testing data) 이러한 데이터셋의 1000개의 class를 classification 하는 것에 있어 performance의 측정 방식은 두가지이다. Top-1 Error : 예측이 잘못된 이미지의 비율 Top-5 Error : 예측된 top-5 class에 정답이 없는 이미지의 비율 ILSVRC-2012에서는 두번째 측정 방식을 주요 평가 지표로 사용하였다고 한다. 또한, 이 실험에서는 이미지넷 데이터셋의 Val..

오늘은 ICLR 2015에 개제된 논문 'Very Deep Convolutional Networks For Large-Scale Image Recognition' 에 대해 알아보자. 많이들 'VGG' 라고 부르는 모델을 소개하고 있는 논문이다. https://arxiv.org/pdf/1409.1556v6.pdf 2010년 컴퓨터 비전 분야에는 ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 라는 대회가 시작 되었다. 이 대회는 'ImageNet'이라는 데이터셋을 이용하여 누가 누가 classification을 잘 하나 겨루는 대회이다. (ImageNet 데이터셋은 2023년 기준으로 1,420만개의 이미지와 20,000개 이상의 카테고리 분류를 제..

이 포스팅에서는 간단히 인터넷을 돌아다니며 찾았던 공부해야 할 목록들, 공부할 때 도움을 받았던 곳을 정리해 보겠다. https://github.com/hoya012/deep_learning_object_detection GitHub - hoya012/deep_learning_object_detection: A paper list of object detection using deep learning. A paper list of object detection using deep learning. - GitHub - hoya012/deep_learning_object_detection: A paper list of object detection using deep learning. github.com 위..

이번에는 바로 직전 글이었던 LeNet-5 모델을 직접 Google Colab과 Pytorch를 이용하여 만들어 보기로 하자. https://stydy-sturdy.tistory.com/4 [논문 리뷰] Gradient-Based Learning Applied to Document Recognization(LeNet-5) - 시대 배경 그리고 구조 LeNet-5의 구조만 훑으며 읽고 싶다면 바로 3. LeNet-5를 읽으시면 됩니다. 이번에는 CNN에서의 조상급 논문에 대해 알아보자. 논문을 읽어보기 전, 이 논문이 탄생하게 된 시대 배경을 알고 있으면 더 stydy-sturdy.tistory.com 우선 다시 한번 LeNet-5 모델의 구조를 살펴보자. ※ 본 논문에서는 Loss function을 MS..

LeNet-5의 구조만 훑으며 읽고 싶다면 바로 3. LeNet-5를 읽으시면 됩니다. 이번에는 CNN에서의 조상급 논문에 대해 알아보자. 논문을 읽어보기 전, 이 논문이 탄생하게 된 시대 배경을 알고 있으면 더 도움이 될 것 같다. 1. 시대 배경 1. 1950년대, 시각피질 구조에 대한 연구가 진행되었다. 실험은 고양이를 이용하였고, 고양이에게 시각 정보가 주어졌을 때, 고양이의 뉴런들에 대해 관찰하는 것이었다. 결과적으로 고양이의 시야에 자극이 들어왔을 때, 전체 뉴런이 아닌 특정한 부분의 뉴런만이 활성화 되는 것을 알게 되었다. 즉, 고양이의 시각 피질 안의 뉴런들은 일정한 시각적 자극에만 반응하는 '국부 수용 영역 (Local receptive field)' 를 갖는다는 것을, 그리고 이 국부 ..

오늘은 2022년 8월 arXiv에 공개된 논문 'Revisiting The Polyak Step Size' (https://arxiv.org/abs/1905.00313)에 대해서 살펴보자. 직접 만든 PPT Slide로 설명하도록 하겠다. 만드느라 힘들었다.. 1. 개요 이 논문의 의의는 크게 두가지로 나눌 수 있다. 첫번째로, 기존의 Polyak step size scheduling이 GD 방식 (gradient discent method)을 통하여 다양한 함수에서 best known convergence rate를 이룰 수 있음 보임에 있다. 저자는 Polyak step size가 gradient bound G를 갖는 non-smooth한 general convex function, beta smo..

공부를 하며 Batch-Nomalization에 대한 정리를 해보았다. 다음과 같은 NN이 있다고 하자. 우리는 mini-batch를 이용하여 NN을 학습시킬 것이다. 하지만! 빨간 점(노드)에 들어오는 input의 distribution은 batch마다 변화할 수 있다. (직관적으로 내가 이해한 바로는 어떤 batch를 잡았을때 그 batch만의 특징이 있을 수 있으며 그 batch마다 고유의 distribution이 있을 것이다. 결론은 이게 NN의 학습에 안좋다고 한다.) 따라서 output의 distribution도 batch마다 변화할 수 있을 것이다. 가령 Update 마다 이러한 분포를 가진 input이 들어온다고 할 때, 이러한 batch의 고유한 distribution은 학습 과정에 방해..