목록전체 글 (55)
Logical Scribbles
[PyTorch] Cosine Annealing Warm Up Restarts
논문을 읽다보면 학습 과정에서 'Learning rate schedule'를 사용하는 경우를 많이 볼 수 있다. 나는 개인적으로 VPT를 학습시킬 때 모델의 정확도를 최대한 높이기 위해 다양한 scheduler를 사용해 보았다. 딥러닝을 처음 배울 때 혹은 gradient descent 방식을 배울 때 자주 접했을 그림이다. Back propagation을 진행할 때 learning rate를 정하게 되는데, 이 값에 따라 학습의 성능 혹은 속도가 많이 달라진다. 위의 그림에서 맨 왼쪽 그림은 learning rate가 너무 낮을 때 발생할 수 있는 상황을 보여준다. 너무 낮은 값은 많은 가중치 업데이트를 유발하고, 이는 학습을 위한 자원을 많이 소비할 가능성이 있다. 제일 오른쪽 그림은 learning..
보호되어 있는 글입니다.
보호되어 있는 글입니다.
보호되어 있는 글입니다.
자세한 코드와 작성한 소논문 파일은 아래의 깃허브에서 확인 가능합니다. GitHub - KIM-JAKE/Zero-Shot-Photo-Frame-Recommendation: This project introduces a methodology for recommending photo frames usin This project introduces a methodology for recommending photo frames using image similarity and segmentation techniques, by employing hierarchical clustering and K-Means clustering. - GitHub - KIM-J... github.com 개요 본 프로젝트에서는 이미지 ..
[Project] VPT를 이용하여 Segmentation 모델 만들기
코드는 아래 깃허브에서 확인할 수 있습니다. GitHub - KIM-JAKE/Segmentation-Using-VPTContribute to KIM-JAKE/Segmentation-Using-VPT development by creating an account on GitHub.github.com Preliminary Visual Prompt TuningThe current modus operandi in adapting pre-trained models involves updating all the backbone parameters, ie, full fine-tuning. This paper introduces Visual Prompt Tuning (VPT) as an efficient and eff..
보호되어 있는 글입니다.
보호되어 있는 글입니다.