Session-based Recommendation with Graph Neural Networks
논문 https://arxiv.org/pdf/1811.00855.pdf Abstract 세션 기반 추천의 문제는 익명의 세션을 기반으로 유저들의 행동을 예측하는 데 초점을 두고 있음. 이전 기법들은 세션을 시퀀스로 모델링하고, 추천을 수행하기 위해 아이템 표현 외에 유저 표현도 추정함. 비록 좋은 결과를 얻었지만, 이 기법들은 복잡한 아이템 전환 (Transition) 을 무시하고 세션에서 정확한 유저 벡터를 얻기에 충분하지 않음. 복잡한 아이템 Transition을 고려하고 정확한 아이템 임베딩을 얻기 위해, 새로운 기법 (즉, Session-based Recommendation with Graph Neural Network) 인 SR-GNN을 제시함. 제시된 기법에서, 세션 시퀀스들은 그래프 구조 데..
BPR: Bayesian Personalized Ranking from Implicit Feedback
논문 https://arxiv.org/pdf/1205.2618.pdf Abstract 아이템 추천은 개인 맞춤형 아이템 집합 (ex. 웹사이트, 영화, 상품) 랭킹을 예측하는 태스크임. 이 논문에서, 우리는 Implicit 피드백 (ex. 클릭, 구매) 을 이용한 가장 흔한 시나리오를 살펴봄. Implicit 피드백을 이용하여 아이템을 추천하는 많은 방법들이 있지만, 아래 방법들은 랭킹을 직접 최적화할 수 없음. Matrix Factorization (MF) k-Nearest-Neighbor (kNN) 우리는 개인 맞춤형 랭킹에 대해 포괄적 최적화 기준인 BPR-OPT를 제시함. 이 기준은 베이지안 문제 분석으로 도출된 최대 사후 확률 추정기임. 우리는 또한 BPR-OPT 관점에서 모델을 최적화하는 포괄..
Attention Is All You Need
논문 https://arxiv.org/abs/1706.03762 Abstract 우수한 시퀀스 Transduction 모델은 Encoder & Decoder를 가진 복잡한 RNN 또는 CNN을 기반으로 구성됨. 최고 성능 모델은 또한 어텐션 (Attention) 메커니즘을 통해 Encoder & Decoder를 연결함. 우리는 트랜스포머 (Transformer) 라는 새롭고 간단한 네트워크 아키텍처를 제시함. 이는 Recurrence & Convolution 을 완전히 제외하고, 어텐션 메커니즘만을 기반으로 함. 두 가지 기계 번역 연구 실험에서, 이러한 모델들이 훨씬 병렬적이고 훈련 시간이 더 적게 소요되는 반면, 성능이 우수하다는 것을 보여줌. 1. Introduction RNN (Recurrent ..
Training Deep AutoEncoders for Collaborative Filtering
Abstract 이 논문은 Time-Split 넷플릭스 Dataset에서 이전 모델들 보다 더 나은 성능을 내는 추천 시스템의 등급 예측 작업 모델을 제시함. 우리 모델은 어떠한 Layer-Wise Pre-training 없이 End-to-End 로 학습하며, 6개 계층을 가진 Deep Autoencoder를 기반으로 함. 우리는 이것을 경험적으로 증명함 : a) Deep Autoencoder 모델은 얕은 (Swallow) 모델 보다 훨씬 더 일반화 시킴. b) Negative Part를 이용한 비선형 활성함수는 심층 (Deep) 모델을 훈련하는 데 매우 중요함. c) Overfitting을 방지하기 위해 Dropout 같은 규제 기법을 많이 사용하는 것이 필요함. 또한, 우리는 CF (Collabora..
Wide & Deep Learning for Recommender Systems
Abstract 비선형 Feature Transformation 을 이용한 일반화된 선형 모델은 Sparse Input을 이용하여 대규모 회귀 (Regression) 와 분류 문제에 널리 사용됨. Cross-Product Feature Transformations을 이용한 Wide 집합을 통한 Feature 상호작용 기억 (Memorization of Interaction) 은 효과적이고 해석가능한 반면, 일반화 (Generalization) 는 더 많은 Feature Engineering 이 필요함. 적은 횟수의 Feature Engineering 을 이용하여, Deep Neural Networks은 저차원의 Dense한 임베딩을 통해 일반화 할 수 있음. 그러나, 임베딩을 이용한 Deep Neural..
Item2Vec: Neural Item Embedding for Collaborative Filtering
Abstract 많은 협업 필터링 (CF, Collaborative Filtering) 알고리즘은 아이템 유사도를 생성하기 위해 아이템-아이템 간 관계를 분석한다는 점에서 아이템 기반이라고 할 수 있음. 최근 자연어 처리 분야에서의 연구들 중 일부는 뉴럴 임베딩 알고리즘을 사용하여 단어의 잠재 표현을 학습하는 것을 제시했음. 이 방법들 중 Word2Vec으로 알려진, Negative Sampling 을 이용한 Skip-gram (SGNS) 은 다양한 언어학적 작업에서 좋은 결과를 가져왔음. 이 논문에서, 우리는 아이템 기반 CF가 동일한 프레임워크의 뉴럴 단어 임베딩으로도 만들 수 있다는 것을 보여줌. SGNS에서 영감을 받아, 우리는 Item2Vec이라고 이름 붙인, 잠재 공간에서 아이템에 대한 임베딩..
Matrix Factorization Techniques for Recommender Systems
논문 https://datajobs.com/data-science-repo/Recommender-Systems-[Netflix].pdf Introduction 현대 소비자들은 감당 못할 정도의 많은 선택권들을 제공 받고 있음. 가장 적절한 상품을 소비자들에게 매칭하는 것은 유저의 만족도와 충성도를 향상시키는 핵심적인 역할을 함. 따라서, 더 많은 Retailers가 제품에 대한 유저의 관심 패턴을 분석하여, 유저 취향에 맞는 개인화 추천을 제공하는 추천 시스템에 관심을 갖게 되었음. 좋은 개인화 추천은 또 다른 차원의 유저 경험 (User Experience) 을 추가할 수 있기 때문에, 아마존, 넷플릭스 같은 e-commerce 리더들은 추천 시스템을 웹 사이트의 중요한 부분으로 만들었음. 그러한 시스..
Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction
Abstract 우리는 질문을 바탕으로 가중치가 적응적으로 결정되는 동적 파라미터 계층과 함께 CNN (Convolutional Neural Network) 을 학습하여 이미지 질문 답변 (ImageQA) 문제를 해결함. 적응 파라미터 예측의 경우, 우리는 별도의 (Separate) 파라미터 예측 네트워크를 사용하며, 이는 질문을 input으로 삼는 GRU (Gated Recurrent Unit) 와 Output으로서 일련의 후보 가중치를 생성하는 완전 연결 계층으로 구성된 별도의 파라미터 예측 네트워크를 사용함. 그러나, CNN의 완전 연결된 동적 파라미터 계층에서 다수의 파라미터에 대한 파라미터 예측 네트워크를 설계하는 것은 어려움. 우리는 동적 파라미터 계층에서 개별 가중치들을 결정하기 위해 미리 ..