Logical Scribbles

보호되어 있는 글입니다.

보호되어 있는 글입니다.

최근 컴퓨터비전에서 자연어처리의 아이디어를 응용하는 사례가 굉장히 많은 것 같다. Learning How to Ask: Querying LMs with Mixtures of Soft Prompts Natural-language prompts have recently been used to coax pretrained language models into performing other AI tasks, using a fill-in-the-blank paradigm (Petroni et al., 2019) or a few-shot extrapolation paradigm (Brown et al., 2020). For example, language m arxiv.org Prefix-Tuning: Optimi..

시험기간이 끝나고 오랜만에 글을 써본다. 내 공부는 꾸준히 하고 있었지만 시험 기간이 겹쳐 글을 쓸 시간이 도저히 없었다. (핑계..) 오늘은 여러 논문들을 들으며 헷갈렸던 개념들, 특히 'Visual Prompt Tuning' 이라는 논문과 자연어 처리 쪽의 논문들을 읽으며 헷갈렸던 개념들(Prompt tuning, Prefix tuning)에 대해 정리를 해보고 스스로 명확하게 하고자 한다. 'Visual Prompt Tuning' 이라는 논문에 대해서는 추후 리뷰를 작성할 예정이다. 혹시 관심이 있는 분이라면 읽어보시길 바란다! Visual Prompt Tuning The current modus operandi in adapting pre-trained models involves updating..

이번 포스팅에서는 3가지의 이미지들의 유사도를 측정해보자. 학교 수업에서 진행하는 프로젝트 과정에서 이미지 유사도를 측정해야하는 일이 생겨 정리하게 되었다. 먼저 이미지를 불러오고, 이미지들을 확인해보자. 나는 바다 사진 2개와 항공 위성 사진 1개를 준비했다. 바람직한 결과로는 바다 2개의 사진은 유사하다는 결과가, 바다와 항공 위성 사진은 유사하지 않다는 결과가 나와야 할 것이다. import cv2 import numpy as np import matplotlib.pylab as plt image1 = plt.imread('/content/바다_1.jpeg') image2 = plt.imread('/content/바다_2.jpg') image3 = plt.imread('/content/P_SG-KO..

이번 포스팅에서는 전이학습에 대해 알아보자. 우선, 아래의 퀴즈를 풀며 시작해보자. 아르마딜로와 천산갑(Pangolin)을 구분하는 간단한 문제이다. 평소에 아르마딜로와 천산갑의 외형적 차이를 모르는 사람이라도 10초안에 오른쪽 그림이 천산갑임을 알아차릴 수 있을 것이다. 이제 스스로에게 물어보자. 어떻게 정답을 맞추었을까? 나는 처음에 귀의 크기를 보고 판단했다. 아르마딜로는 천산갑에 비해 귀가 상대적으로 크다고 판단했기 때문이다. 정답을 맞춘 후 두 동물의 사진을 다시 보니 천산갑의 비늘이 용의 비늘처럼 특이하다는 것도 알게 되었다. (사람마다 정답을 맞추는 근거는 다를 것이다.) 전통적인 딥러닝 모델에게 똑같은 상황이 주어진다면 (각 동물의 사진이 두장씩 주어지고, 정답을 맞춰야함), 정답을 맞출 ..

이번 포스팅에서는 트랜스포머를 구현해보자. 트랜스포머가 소개된 논문은 "Attention Is All You Need"이다. 구조에 대한 설명은 아래 글에서 확인할 수 있다. [논문 리뷰] Attention Is All You Need (Transformer) 오늘은 대망의 'Attention Is All You Need' 논문에 대해서 리뷰해보겠다. Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. stydy-sturdy.tistory.com 다시 한번 전..

오늘은 대망의 'Attention Is All You Need' 논문에 대해서 리뷰해보겠다. Attention Is All You NeedThe dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 사실 최근의 몇몇 포스팅들이 이 리뷰를 위한 빌드업이었다. 우선 기초 지식을 위해 아래의 내용을 숙..