목록Papers (17)
Logical Scribbles
[논문 리뷰] Revisiting The Polyak Step Size
오늘은 2022년 8월 arXiv에 공개된 논문 'Revisiting The Polyak Step Size' (https://arxiv.org/abs/1905.00313)에 대해서 살펴보자. 직접 만든 PPT Slide로 설명하도록 하겠다. 만드느라 힘들었다.. 1. 개요 이 논문의 의의는 크게 두가지로 나눌 수 있다. 첫번째로, 기존의 Polyak step size scheduling이 GD 방식 (gradient discent method)을 통하여 다양한 함수에서 best known convergence rate를 이룰 수 있음 보임에 있다. 저자는 Polyak step size가 gradient bound G를 갖는 non-smooth한 general convex function, beta smo..
Papers/논문 리뷰
2023. 11. 10. 16:27