Logical Scribbles

오늘은 ICLR 2015에 개제된 논문 'Very Deep Convolutional Networks For Large-Scale Image Recognition' 에 대해 알아보자. 많이들 'VGG' 라고 부르는 모델을 소개하고 있는 논문이다. https://arxiv.org/pdf/1409.1556v6.pdf 2010년 컴퓨터 비전 분야에는 ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 라는 대회가 시작 되었다. 이 대회는 'ImageNet'이라는 데이터셋을 이용하여 누가 누가 classification을 잘 하나 겨루는 대회이다. (ImageNet 데이터셋은 2023년 기준으로 1,420만개의 이미지와 20,000개 이상의 카테고리 분류를 제..

LeNet-5의 구조만 훑으며 읽고 싶다면 바로 3. LeNet-5를 읽으시면 됩니다. 이번에는 CNN에서의 조상급 논문에 대해 알아보자. 논문을 읽어보기 전, 이 논문이 탄생하게 된 시대 배경을 알고 있으면 더 도움이 될 것 같다. 1. 시대 배경 1. 1950년대, 시각피질 구조에 대한 연구가 진행되었다. 실험은 고양이를 이용하였고, 고양이에게 시각 정보가 주어졌을 때, 고양이의 뉴런들에 대해 관찰하는 것이었다. 결과적으로 고양이의 시야에 자극이 들어왔을 때, 전체 뉴런이 아닌 특정한 부분의 뉴런만이 활성화 되는 것을 알게 되었다. 즉, 고양이의 시각 피질 안의 뉴런들은 일정한 시각적 자극에만 반응하는 '국부 수용 영역 (Local receptive field)' 를 갖는다는 것을, 그리고 이 국부 ..

오늘은 2022년 8월 arXiv에 공개된 논문 'Revisiting The Polyak Step Size' (https://arxiv.org/abs/1905.00313)에 대해서 살펴보자. 직접 만든 PPT Slide로 설명하도록 하겠다. 만드느라 힘들었다.. 1. 개요 이 논문의 의의는 크게 두가지로 나눌 수 있다. 첫번째로, 기존의 Polyak step size scheduling이 GD 방식 (gradient discent method)을 통하여 다양한 함수에서 best known convergence rate를 이룰 수 있음 보임에 있다. 저자는 Polyak step size가 gradient bound G를 갖는 non-smooth한 general convex function, beta smo..