[Project] zero-Shot Photo Frame Recommendation Using Clustering Algorithms

자세한 코드와 작성한 소논문 파일은 아래의 깃허브에서 확인 가능합니다.

GitHub - KIM-JAKE/Zero-Shot-Photo-Frame-Recommendation: This project introduces a methodology for recommending photo frames usin

개요

본 프로젝트에서는 이미지 유사도와 분할 기법을 이용하여 개인화된 사진 프레임을 추천하는 새로운 방법론을 소개한다. 계층적 클러스터링과 K-Means 클러스터링을 이용하여 히스토그램 기반 방법을 이용하여 사용자가 제공한 사진과의 유사도를 측정하여 이미지를 분할하고 프레임을 추천한다. 이 방법은 이미지 기반 추천 시스템의 효율성과 정확성을 향상시키는 것을 목표로 한다.

주요 특징

Image Segmentation(영상 분할): 계층적 및 K-Means 클러스터링을 활용하여 영상을 분할하며, 최적의 K 값은 Elbow(엘보우) 방법으로 결정된다.

프레임 추천: 히스토그램 상관 계수를 기반으로 분할된 이미지와 사용자 사진의 유사도를 비교하여 사진 프레임을 추천한다.

Simillarity Threshold :  Frame recommendation 에 대한 특정 유사성 임계값을 설정하여 프레임 제안의 관련성과 정확성을 보장한다.

방법론

이미지 분할을 위한 클러스터링: 세부 분할을 위한 계층적 클러스터링과 효율적인 처리를 위한 K-Means 클러스터링을 적용한다. 최적의 K를 결정하기 위해 Elbow 방법을 사용한다.

히스토그램 기반 유사도 측정: 시스템은 사용자 이미지와 잠재적 프레임의 히스토그램을 비교하여 가장 적합한 일치를 식별하여 상관 계수와의 유사도를 정량화합니다.

동적 프레임 추천: 프레임은 사용자의 사진에 대한 유사도가 미리 정해진 임계치를 초과하는 경우에만 추천되어 제안의 관련성을 높였다. 모든 이미지에 대해 유사도를 계산하여 임계치를 찾았다. 이는 일종의 하이퍼파라미터(hyperparameter)이다. 임계치가 높으면 정확한 프레임을 추천하지만, 적은 양의 프레임을 추천한다. 임계치가 낮으면 정확하지는 않지만 다양한 프레임을 사용자에게 추천할 수 있다.

데이터셋

이 프로젝트는 모델을 검증하기 위해 다양한 풍경을 포함하며, Kaggle과 구글에서 수집한 다양한 데이터 세트를 활용한다. 여기에는 도시, 사막, 산, 눈, 초원, 바다와 같은 여러 범주에 걸쳐 레이블링된 이미지와 레이블링되지 않은 이미지가 포함된다.