티스토리 뷰

Paper/Recommendation

Session-based Recommendation with Graph Neural Networks

기내식은수박바 2020. 3. 28. 00:47
반응형

논문

 

Abstract

  • 세션 기반 추천의 문제는 익명의 세션을 기반으로 유저들의 행동을 예측하는 데 초점을 두고 있음.
    • 이전 기법들은 세션을 시퀀스로 모델링하고, 추천을 수행하기 위해 아이템 표현 외에 유저 표현도 추정함.
    • 비록 좋은 결과를 얻었지만, 이 기법들은 복잡한 아이템 전환 (Transition) 을 무시하고 세션에서 정확한 유저 벡터를 얻기에 충분하지 않음.
  • 복잡한 아이템 Transition을 고려하고 정확한 아이템 임베딩을 얻기 위해, 새로운 기법 (즉, Session-based Recommendation with Graph Neural Network) 인 SR-GNN을 제시함.
    • 제시된 기법에서, 세션 시퀀스들은 그래프 구조 데이터로 모델링됨.
    • 세션 그래프를 기반으로, GNN은 복잡한 아이템 Transition을 포착할 수 있음.
      • 이는 이전의 전통적인 시퀀셜 기법들에서는 발휘되기 힘들었음.
    • 이후에 각 세션은 어텐션 네트워크를 사용하여 Global 선호와 해당 세션의 현재 관심의 구성으로 표현됨.

 

1. Introduction

  • 인터넷 상의 정보량이 빠르게 증가함에 따라, 추천 시스템은 정보 과부하 문제를 완화하고, 검색, 전자상거래, 미디어 스트리밍 사이트 같은 많은 웹 애플리케이션에서 흥미로운 정보를 선택하는 데 도움을 주는 기초가 됨.
  • 기존 추천 시스템 대부분은 유저 프로필과 과거 행동 데이터들이 끊임없이 저장된다고 가정함.
    • 하지만, 많은 서비스에서 유저 신원을 모를 수도 있고, 진행 중인 세션 내의 유저 행동 기록만을 사용할 수 있음.
  • 따라서, 한 세션에서 제한된 행동 기록들을 모델링하고 그에 맞춰 추천을 생성하는 것이 매우 중요함.
  • 정반대로, 충분한 유저-아이템 Interactions에 의존하는 기존 추천 기법들은 이러한 상황에서 정확한 결과를 도출하는 데 문제가 있음.
  • 실용성이 매우 높기 때문에, 이 문제에 대한 연구 관심도가 증가하는 것을 관찰할 수 있으며, 세션 기반 추천에 대한 다양한 연구가 제안되었음.

Markov Chain

RNN (Recurrent Neural Network)

비록 위의 기법들이 만족스러운 결과들을 달성하고 최신 기술이 됐지만, 여전히 일부 한계들을 가짐.

  1. 한 세션에서 충분한 유저 행동 기록없이는 유저 표현을 추정하기 어려움.
    • 보통, 이러한 RNN 기법들의 Hidden 벡터를 유저 표현으로 다루며, 예를 들면 NARM의 Global 추천처럼 이러한 표현들을 기반으로 추천을 수행할 수 있음.
    • 그러나 세션 기반 추천 시스템에서, 세션들은 대부분 익명이고 방대하며, 세션 클릭과 관련된 유저 행동은 종종 한정돼있음.
    • 따라서, 각 세션에서 각 유저 표현을 정확하게 추정하는 것은 어려움.
  2. 이전 연구들은 아이템 Transition 패턴이 중요하고, 이 패턴이 세션 기반 추천에서 Local 요인으로 사용될 수 있음.
    • 하지만 이러한 기법들은 항상 연속적인 아이템 간의 Single-way Transition을 모델링하고, Contexts (즉, 세션 내 다른 여러 아이템들) 간의 Transition을 무시함.
    • 따라서 멀리 떨어진 아이템들 사이의 복잡한 Transition은 종종 이러한 기법들에 의해 간과되는 경우가 많음.
  • 위에서 언급한 한계들을 극복하기 위해, 우리는 새로운 기법인 SR-GNN을 제시함.
    • 이는 아이템 간의 풍부한 Transition을 탐색하고, 정확한 아이템 잠재 벡터들을 생성함.
  • GNN (Graph Neural Network, Gated graph sequence neural networks) 는 그래프에 대한 표현을 생성하기 위해 설계됨.
    • 최근에는 스크립트 이벤트 예측, 상황 인식, 이미지 분류 등 NLP & 컴퓨터 비전 애플리케이션을 위한 그래프 구조 의존성을 모델링하기 위해 사용되고 있음.
  • 세션 기반 추천의 경우, 먼저 우리는 과거 세션 시퀀스를 가지고 방향 그래프를 구축함.
    • 세션 그래프를 기반으로, GNN은 아이템 Transition을 포착하고, 이에 해당하는 정확한 아이템 임베딩 벡터를 생성할 수 있음.
      • 이는 MC (Markov Chain) & RNN 기반 기법들 같은 전통적인 시퀀셜 기법들에서 발현되기는 어려움.
    • 정확한 아이템 임베딩 벡터를 기반으로, 제시된 SR-GNN은 더 신뢰할 수 있는 세션 표현을 설계하고, 다음에 클릭될 아이템을 추론할 수 있음.
  • Figure 1은 제시된 SR-GNN 기법의 작업 흐름을 설명함.

  • 처음에는, 모든 세션 시퀀스가 방향 세션 그래프로 모델링됨.
    • 여기서 각 세션 시퀀스는 하위 그래프로 다뤄질 수 있음.
  • 그런 다음, 각 세션 그래프는 연속적으로 진행되고, 각 그래프와 관련된 모든 노드의 잠재 벡터들은 Gated GNN을 통해 얻을 수 있음.
  • 그 후에, 우리는 해당 세션에서 현재 유저의 흥미와 Global 선호 구성으로 각 세션을 표현함.
    • 여기서 이러한 Global & Local 세션 임베딩 벡터 모두 노드의 잠재 벡터로 구성됨.
  • 마지막으로, 각 세션에 대해, 우리는 각 아이템이 다음에 클릭될 확률을 예측함.

연구의 주요 기여도 요약

  1. 우리는 별도의 세션 시퀀스를 그래프 구조 데이터로 모델링하고, 복잡한 아이템 Transition을 포착하기 위해 GNN을 사용함.
    • 우리가 알고 있는 한, 세션 기반 추천 시나리오에서 모델링에 대한 새로운 관점을 제시함.
  2. 세션 기반 추천을 수행하기 위해, 우리는 유저 표현에 의존하지 않고 세션 임베딩을 사용함.
    • 세션 임베딩은 각 단일 세션과 관련된 아이템의 잠재 벡터를 기반으로 얻을 수 있음.
  3. 실제 데이터셋에서 실시한 대규모 실험에서는 SR-GNN이 명백하게 좋은 성능을 내는 것을 보여줌.
  • 우리의 결과를 충분히 재현할 수 있도록, 모든 관련 소스코드는 URL에 공개되있음.

 

2. Related Work

  • 이 Section에서, 우리는 세션 기반 추천 시스템과 관련된 다음과 같은 일부 연구들을 리뷰함.
    • MC (Markov Chains) 기반 시퀀셜 모델
    • RNN 기반 모델
  • 그런 다음, GNN을 소개함.

Conventional Recommendation Methods

Matrix Factorization (Probabilistic matrix factorization, Matrix factorization techniques for recommender systems, Advances in collaborative filtering)

  • MF는 추천 시스템의 일반적인 기법임.
    • 기본 목적은 유저-아이템 등급 행렬을 두 개의 낮은 랭크 행렬로 분해하는 것임.
      • 각 행렬들은 유저 또는 아이템의 잠재 요인을 표현함.
  • MF는 세션 기반 추천에서 굉장히 적절하지 못함.
    • 왜냐하면 유저 선호도가 일부 Positive 클릭에 의해서만 제공되기 때문임.
  • 아이템 기반 이웃 (Neighborhood) 기법은 아이템 유사도가 동일한 세션에서 동시 발생에 대해 계산되는 자연스러운 해결책임.
  • 이러한 기법들은 아이템의 시퀀셜 순서를 고려하는 데 어려움이 있고, 단지 마지막 클릭을 바탕으로 예측을 수행함.

Markov Chain

  • 마르코프 연쇄 기반 시퀀셜 기법들이 제시됨.
    • 이 기법들은 이전 유저 행동 하나를 바탕으로 다음 행동을 예측함.
    • 추천 생성을 시퀀셜 최적화 문제로 다루는, An mdp-based recommender system은 MDPs (Markov Decision Processes) 를 솔루션으로 사용함.
  • 유저의 개인 맞춤형 확률 Transition 행렬 분해를 통해, FPMC (Factorizing personalized markov chains for next-basket recommendation) 는 모든 두 개의 인접한 클릭 사이의 시퀀셜 행동을 모델링하고, 각 시퀀스에 대해 더 정확한 예측을 제공함.
    • 하지만, 마르코프 연쇄 기반 모델의 가장 큰 결점은 이 모델들이 과거 구성요소들을 독립적으로 결합한다는 것임.
    • 그러한 독립 가정은 너무 강력하기 때문에 예측 정확도를 국한시킴.

Deep-learning-based Methods

Neural network on graphs

  • 오늘날, 신경망은 그래프 구조 데이터에 대한 표현을 생성하기 위해 사용됨.
    • ex) Social Network, Knowledge Bases.
  • Word2Vec을 확장한, 비지도 알고리즘 DeepWalk는 Random Walk에 기반한 그래프 노드 표현을 학습하기 위해 설계됨.
    • DeepWalk에 이어, 비지도 네트워크 임베딩 알고리즘인 LINE & Node2Vec이 가장 대표적인 기법이 됨.
  • 한편, 전통적인 신경망 CNN & RNN도 그래프 구조 데이터에 배치됨.
  • 그러나, 이러한 기법들은 무방향 그래프에서만 구현할 수 있음.
    • 이전에는 RNN 형태로, GNN이 방향 그래프에서 동작하도록 제시되었음.
    • GNN의 개정판으로써, Gated GNN은 GRU (Gated Recurrent Units) 를 사용하고, 시간 경과에 따른 역전파 (BPTT, Back-Propagation Through Time) 를 사용하여 Gradients를 계산함.
  • 최근에는, GNN이 여러 다른 태스크에 널리 적용됨.

 

3. The Proposed Method

  • 이 Section에서, 우리는 제시된 SR-GNN을 소개함.
    • 이는 GNN을 세션 기반 추천에 적용한 것임.
  • 우리는 먼저 문제를 공식화한 다음, 세션으로 그래프를 구축하는 방법을 설명하고, 마지막으로 SR-GNN 기법을 자세히 설명함.

Notations

  • 세션 기반 추천은 장기 선호도 프로필 접근 없이 유저의 현재 시퀀셜 세션 데이터만을 기반으로 유저가 다음에 클릭할 아이템이 무엇인지 예측하는 것에 초점을 둠.
    • 여기서 우리는 아래와 같이 공식화함.
  • 세션 기반 추천에서, 모든 세션과 관련된 유일한 아이템 집합을 \(V = \{v_{1}, v_{2}, \cdots, v_{m}\}\) 로 나타내겠음.
    • 익명 세션 시퀀스 \(s\)는 Timestamps에 의해 정렬된 리스트 \(s = [v_{s,1}, v_{s,2}, \cdots, v_{s,n}]\) 로 표현될 수 있음.
      • 여기서 \(v_{s,i} \in V\) 는 유저가 세션 \(s\) 내에 클릭한 아이템을 표현함.
    • 세션 기반 추천의 목표는 다음 클릭을 예측하는 것임.
      • 즉, 세션 \(s\) 에 대한 시퀀스 레이블 \(v_{s, n + 1}\).
    • 세션 기반 추천 모델 하에, 세션 \(s\)의 경우, 우리는 가능한 모든 아이템에 대한 확률 \(\hat{\mathbf{y}}\) 을 Output함.
      • 여기서 벡터 \(\hat{\mathbf{y}}\) 의 원소 값은 해당하는 아이템의 추천 점수를 의미함.
      • \(\hat{\mathbf{y}}\) 에서 top-\(K\) 값을 가진 아이템이 추천 후보 아이템이 될 것임.

Constructing Session Graphs

  • 각 세션 시퀀스 \(s\) 는 방향 그래프 \(\mathcal{G}_{s} = (\mathcal{V}_{s}, \mathcal{E}_{s})\) 로 모델링될 수 있음.
    • 이 세션 그래프에서, 각 노드는 아이템 \(v_{s, i} \in V\) 를 표현함.
    • 각 간선 \((v_{s, i - 1}, v_{s, i}) \in \mathcal{E}_{s}\) 은 세션 \(s\) 에서 유저가 아이템 \(v_{s, i - 1}\) 를 클릭한 후에 아이템 \(v_{s, i}\) 를 클릭하는 것을 의미함.
    • 일부 아이템이 반복적으로 시퀀스에 나타날 수 있으므로, 우리는 각 간선을 정규화된 가중치로 할당함.
      • 가중치는 간선의 시작 노드의 출력차수 (Outdegree) 로 나눈 간선의 발생도로 계산됨.
    • 우리는 모든 아이템 \(v \in V\) 을 통합된 임베딩 공간에 임베딩하며, 노드 벡터 \(\mathbf{v} \in \mathbb{R}^{d}\) 는 GNN을 통해 학습된 아이템 \(v\) 의 잠재 벡터를 나타냄.
      • 여기서 \(d\) 는 차원을 의미함.
    • 노드 벡터를 기반으로, 각 세션 \(s\) 은 임베딩 벡터 \(s\) 로 표현될 수 있음.
      • 이 벡터는 해당 그래프에서 사용된 노드 벡터로 구성됨.

Learning Item Embedding on Session Graphs

  • 우리는 GNN을 통해 노드의 잠재 벡터들을 얻는 방법을 제시함.
  • Vanilla GNN은 그래프 구조 데이터를 처리하는 신경망 기법을 확장함.
  • GNN은 세션 기반 추천에 대해 적합함.
    • 그 이유는 풍부한 노드 연결을 고려하여 자동으로 세션 그래프의 Features를 추출할 수 있기 때문임.
  • 우리는 먼저 노드 벡터의 학습 처리를 설명함.
    • 형식적으로, 그래프 \(\mathcal{G}_{s}\) 의 노드 \(v_{s, i}\) 의 경우, 다음과 같이 갱신 함수가 주어짐:

  • 파라미터 설명 :
    • \(\mathbf{H} \in \mathbb{R}^{d \times 2d}\) : 가중치를 조절
    • \(\mathbf{z}_{s, i}\) & \(\mathbf{r}_{s, i}\) : 각각 Reset & Update Gate를 의미
    • \([\mathbf{v}^{t-1}_{1}, \cdots, \mathbf{v}^{t-1}_{n}]\) : 세션 \(s\) 의 노드 벡터 리스트
    • \(\sigma(\cdot)\) : 시그모이드 함수
    • \(\odot\) : Element-wise 곱셈 연산자
    • \(\mathbf{v}_{i} \in \mathbb{R}^{d}\) : 노드 \(v_{s, i\cdot}\) 의 잠재 벡터를 표현
    • 연결 행렬 \(\mathbf{A}_{s} \in \mathbb{R}^{n \times 2n}\) : 그래프의 노드가 서로 얼마나 소통하는지
    • \(\mathbf{A}_{s, i:} \in \mathbb{R}^{1 \times 2n}\) : \(\mathbf{A}_{s}\) 에서 노드 \(v_{s, i\cdot}\) 에 해당하는 두 개의 Column 블록임.
  • 여기서 \(\mathbf{A}_{s}\) 는 두 개의 인접 행렬 \(\mathbf{A}^{(out)}_{s}\) & \(\mathbf{A}^{(in)}_{s}\) 의 연결로 정의됨.
    • 이는 세션 그래프에서 각각 진입 & 진출 간선의 가중치 연결을 표현함.
  • 예를 들어, 세션 \(s = [v_{1}, v_{2}, v_{3}, v_{2}, v_{4}]\) 를 고려해볼 때, 해당하는 그래프 \(\mathcal{G}_{s}\) & 행렬 \(\mathbf{A}_{s}\) 는 Figure 2와 같이 보여짐.

  • SR-GNN은 구축된 다양한 종류의 세션 그래프에 대한 행렬 \(\mathbf{A}\)의 서로 다른 연결을 지원할 수 있다는 것을 유의해야 함.
    • 만약 세션 그래프를 구축할 때 다른 전략을 사용했다면, 연결 행렬 \(\mathbf{A}_{s}\) 도 그에 따라 바뀔 것임.
  • 게다가, 컨텐츠 노드 Features (설명, 카테고리 정보) 가 존재할 때, 기법은 추가로 일반화될 수 있음.
    • 구체적으로, 우리가 그러한 정보를 다루기 위해 노드 벡터와 Features를 연결할 수 있음.
  • 각 세션 그래프 \(\mathcal{G}_{s}\) 의 경우, Gated GNN은 동시에 노드들을 처리함.
    • 수식 (1) 은 행렬 \(\mathbf{A}_{s}\) 에 의해 주어진 제한 하에 서로 다른 노드 사이의 정보 전파를 위해 사용됨.
      • 구체적으로, 이웃 잠재 벡터들을 추출하고, 이 잠재 벡터들을 GNN의 Input으로 공급함.
      • 그리고 두 개의 게이트 (즉, Reset & Update) 가 각각 어떤 정보를 버리고 보존할 것인지를 결정함.
      • 그 이후에, 우리는 수식 (4) 에 설명된 것과 같이 이전, 현재 State 및 Reset 게이트를 이용하여 후보 State를 구축함.
      • 이제 마지막 State는 Update 게이트의 통제 하에 이전 Hidden State와 후보 State의 결합으로 이루어짐.
    • 세션 그래프에서 모든 노드가 수렴할 때까지 갱신된 후에, 우리는 최종 노드 벡터들을 획득할 수 있음.

Generating Session Embeddings

  • 이전 세션 기반 추천 기법들은 항상 각 세션마다 유저의 뚜렷한 잠재 벡터들이 존재한다고 가정했음.
    • 이와는 반대로, 제시된 SR-GNN 기법은 해당 벡터에 어떠한 가정도 하지 않음.
      • 대신, 세션은 해당 세션과 관련있는 노드에 의해 즉시 표현됨.
    • 유저의 다음 클릭을 더 잘 예측하기 위해, 우리는 세션의 현재 관심사와 장기 선호도를 결합하는 전략을 개발하고, 이 결합된 임베딩을 세션 임베딩으로 사용하려고 계획함.
  • 모든 세션 그래프를 Gated GNN에 공급한 후에, 우리는 모든 노드의 벡터들을 얻음.
    • 그런 다음, 각 세션을 임베딩 벡터 \(\mathbf{s} \in \mathbb{R}^{d}\) 로 표현하기 위해, 우리는 먼저 세션 \(s\) 의 Local 임베딩 \(\mathbf{s}_{\mathbf{l}}\)을 고려함.
    • 세션 \(s = [v_{s, 1}, v_{s, 2}, \cdots, v_{s, n}]\) 의 경우, Local 임베딩을 마지막으로 클릭된 아이템 \(v_{s, n}\) 의 \(\mathbf{v}_{n}\) (즉, \(\mathbf{s}_{\mathbf{l}} = \mathbf{v}_{n}\)) 로 간단하게 정의할 수 있음.
  • 그리고, 우리는 모든 노드 벡터를 종합하여 세션 그래프 \(\mathcal{G}_{s}\) 의 Global 임베딩 \(\mathbf{s}_{\mathbf{g}}\) 을 고려함.
    • 이러한 임베딩 정보의 우선순위 레벨이 다를 수 있다는 점을 고려하여, 우리는 Global 세션 선호도를 더 잘 표현하기 위해 소프트-어텐션 메커니즘을 추가로 채택함.

  • 파라미터 설명 :
    • \(\mathbf{q} \in \mathbb{R}^{d}\) & \(\mathbf{W}_{1}, \mathbf{W}_{2} \in \mathbb{R}^{d \times d}\) : 아이템 임베딩 벡터의 가중치를 통제함.
  • 결국, 우리는 Local & Global 임베딩 벡터 결합에 선형 변환을 하여 하이브리드 임베딩 \(\mathbf{s}_{\mathrm{h}}\) 을 계산함.

  • 행렬 \(\mathbf{W}_{3} \in \mathbb{R}^{d \times 2d}\) 는 결합된 두 임베딩 벡터들을 잠재 공간 \(\mathbb{R}^{d}\) 에 압축함.

Making Recommendation and Model Training

  • 각 세션 임베딩을 얻은 후에, 우리는 세션 표현 \(\mathbf{s}_{\mathrm{h}}\) 에 아이템 임베딩 \(\mathbf{v}_{i}\) 을 곱하여, 각 후보 아이템 \(v_{i} \in V\) 에 대한 점수 \(\hat{\mathbf{z}_{i}}\) 를 계산함.
    • 이는 다음과 같이 정의할 수 있음 :

  • 그리고 우리는 모델의 Output 벡터 \(\hat{\mathbf{y}}\) 를 얻기 위해 소프트맥스 함수를 적용함 :

  • 파라미터 설명 :
    • \(\hat{\mathbf{z}} \in \mathbb{R}^{m}\) : 모든 후보 아이템에 대한 추천 점수를 나타냄.
    • \(\hat{\mathbf{y}} \in \mathbb{R}^{m}\) : 세션 \(s\) 에서 다음번에 클릭할 것 같은 노드의 확률을 나타냄.
  • 각 세션 그래프의 경우, 손실 함수는 예측과 Ground Truth의 Cross-Entropy로 정의됨. 
    • 이는 다음과 같이 작성될 수 있음 :

  • \(\mathbf{y}\) : Ground Truth 아이템의 원-핫 인코딩 벡터를 나타냄.
  • 결국, 우리는 제시된 SR-GNN 모델을 훈련시키기 위해 BPTT (Back-Propagation Through Time) 알고리즘을 사용함.
    • 세션 기반 추천 시나리오에서, 대부분의 세션은 상대적으로 짧은 길이를 가진다는 것을 유의해야함.
    • 따라서, 오버피팅을 예방하기 위해 비교적 적은 수의 훈련 스텝을 선택하는 것을 제안함.

 

4. Experiments and Analysis

  • 이 Section에서, 우리는 먼저 실험에서 사용된 데이터셋, 평가 지표와 비교된 기법들을 설명함.
    • 그런 다음, 우리는 SR-GNN을 다른 기법들과 비교함.
    • 마지막으로 우리는 서로 다른 실험 환경 하에 SR-GNN의 자세한 분석을 수행함.

Datasets

  • 우리는 실제 두 개의 대표적인 데이터셋 (즉, Yoochoose & Diginetica) 으로 제시된 기법을 추정함.
  • Yoochoose 데이터셋은 RecSys 챌린지 2015에서 얻을 수 있음.
    • 이 데이터셋은 e-Commerce 웹사이트에서 6개월이내 유저가 클릭 Stream을 포함함.
  • Diginetica 데이터셋은 CIKM Cup 2016에서 가져왔음.
    • 이 데이터셋은 거래 데이터만 사용됨.
  • 공정한 비교를 위해, 아래 두 논문에 따라, 두 데이터셋에서 길이 1의 모든 세션과 5회 미만의 아이템은 걸러냄.
  • 남은 7,981,580 세션과 37,483 아이템은 Yoochoose 데이터셋으로 구성되고, 204,771 세션과 43,097 아이템은 Diginetica 데이터셋으로 구성됨.
    • 추가로, 아래 논문과 유사하게, 우리는 Input 시퀀스를 나눠서 시퀀스와 이와 부합하는 레이블을 생성함.
    • 구체적으로, 우리는 다음 날의 세션을 Yoochoose에 대한 테스트셋으로 설정하고, 다음 주의 세션을 Diginetica에 대한 테스트셋으로 설정함.
      • 예를 들어, Input 세션 \(s = [v_{s, 1}, v_{s, 2}, \cdots, v_{s, n}]\)의 경우, 우리는 시퀀스와 레이블 시리즈 \(([v_{s, 1}], v_{s, 2}), ([v_{s, 1}, v_{s, 2}], v_{s, 3}), \cdots, ([v_{s, 1}, v_{s, 2}, \cdots, v_{s, n-1}], v_{s, n})\) 을 생성함.
        • 여기서 \([v_{s, 1}, v_{s, 2}, \cdots, v_{s, n-1}]\) 는 생성된 시퀀스이고, \(v_{s, n}\) 는 다음 클릭 아이템 (즉, 시퀀스 레이블) 을 나타냄.
  • 아래 두 논문에 따라, 우리는 최신 부분 중 1 / 64 와 Yoochoose의 훈련 시퀀스의 1 / 4을 사용함.
  • 데이터셋의 통계는 Table 1에 요약되어 있음.

Baseline Algorithms

  • 제시된 기법의 성능을 평가하기 위해, 우리는 아래와 같은 대표적인 베이스라인들과 비교함 :
    • POP & S-POP : 훈련집합과 현재 세션에서 각각 빈번하게 등장한 top-\(N\) 개의 아이템들을 추천함.
    • Item-KNN : 세션에서 이전에 클릭된 것과 유사한 아이템을 추천함.
      • 유사도는 세션 벡터 사이의 코사인 유사도로 정의됨.
    • BPR-MF : SGD (Stochastic Gradient Descent) 를 통해 Pairwise 랭킹 목적 함수를 최적화함.
    • FPMC : 마르코프 연쇄 기반 시퀀셜 예측 기법임.
    • GRU4REC : 세션 기반 추천에 대해 유저 시퀀스를 모델링하는 RNN을 사용함.
    • NARM : 유저의 핵심 목적과 시퀀셜 행동을 포착하는 어텐션 메커니즘 RNN을 사용함.
    • STAMP : 유저의 일반적인 선호도와 현재 세션에서의 마지막 클릭을 통한 현재 관심사를 포착함.

Evaluation Metrics

  • 비교 기법들을 평가하기 위해 다음과 같은 지표들을 사용함.
    • P@20 (Precision) : 예측 정확도 측정치로 널리 사용됨.
      • top-20 아이템들 중에서 정확하게 추천된 아이템의 비율을 나타냄.
    • MRR@20 (Mean Reciprocal Rank) : 정확하게 추천된 아이템의 역순위 평균임.
      • 역순위가 20을 초과할 때는 0으로 설정됨.
      • MRR 측정치는 추천 랭킹 순서를 고려함.
        • 여기서 MMR 값이 크면 Top 랭킹 리스트에 정확한 추천이 나타남.

Parameter Setup

  • 이전 기법들 (NARM, STAMP) 에 따라, 우리는 두 데이터셋에 대해 잠재 벡터의 차원을 \(d = 100\) 으로 설정함.
    • 그 외에, 우리는 훈련 집합의 무작위 10% 하위 집합인 검증집합에서 또 다른 하이퍼파라미터들을 선택함.
      • 모든 파라미터들은 평균 = 0, 표준 편차 = 0.1을 가진 가우시안 분포를 사용하여 초기화됨.
      • Mini-batch 아담 옵티마이저는 이러한 파라미터들을 최적화 하기 위해 발휘되며, 초기 학습률은 0.001로 설정되고 3 Epochs 후에 0.1씩 감소함.
      • 더욱이, Batch 크기와 L2 패널티는 각각 100과 \(10^{-5}\) 로 설정됨.

Comparison with Baseline Methods

  • 제시된 모델의 종합적인 성능을 증명하기 위해, 우리는 다른 최신 세션 기반 추천 기법들과 비교함.
  • P@20 & MRR@20의 관점에서 종합적인 성능은 Table 2에 보여지며, 가장 좋은 결과는 굵은 글씨로 강조됨.

  • NARM 논문과 같이 FPMC를 초기화하기에 충분하지 못한 메모리 때문에 Yoochoose 1 / 4 의 성능은 기록되지 않은 것을 유의해야 함.
  • SR-GNN은 분리된 세션 시퀀스를 그래프 구조 데이터로 종합함.
    • 이 모델에서, 우리는 Global 세션 선호도 뿐만 아니라 Local 흥미도 공동으로 고려함.
    • 실험에 따르면, 제시된 SR-GNN 기법이 P@20 & MRR@20의 관점으로 세 가지 모든 데이터셋에서 가장 좋은 성능을 달성했다는 것은 분명함.
  • POP & S-POP 같은 전통적인 알고리즘 관점에서, 이들의 성능은 상대적으로 좋지 않음.
    • 이러한 단순한 모델들은 반복적으로 동시에 발생한 아이템 또는 연속적인 아이템만을 기반으로 추천을 수행함.
      • 이는 세션 기반 추천 시나리오에서는 문제가 됨.
    • 그렇기는 하지만, S-POP은 여전히 POP, BPR-MF, FPMC 같은 경쟁 모델들 보다 좋은 성능을 내며, 세션 맥락 정보의 중요성을 보여줌.
  • Item-KNN은 마르코프 연쇄 기반 FPMC 보다 더 좋은 결과를 달성함.
    • Item-KNN이 시퀀셜 정보 고려없이 아이템 사이의 유사도만을 사용한다는 것을 유의해야 함.
      • 이는 전통적인 MC 기반 기법들이 대부분 의존하는, 연속적인 아이템의 독립성에 대한 가정이 현실적이지 않다는 것을 나타냄.
  • NARM & STAMP 같은 신경망 기반 기법들은 전통적인 기법들보다 좋은 성능을 발휘하며, 이 도메인에서 딥러닝 채택의 힘을 입증함.
  • GRU4REC & NARM 같은 Short / Long-term 메모리 모델들은 유저의 일반적인 선호도를 포착하기 위해 순환 유닛들을 사용하는 반면, STAMP는 마지막으로 클릭된 아이템을 사용하여 Short-term 메모리를 향상시킴.
    • 이러한 기법들은 명시적으로 유저의 Global 행동 선호도를 모델링하고 유저의 이전 행동과 다음 클릭 사이의 Transition을 고려함.
      • 이는 이러한 전통적인 기법들에 비해 우수한 성능으로 이끔.
    • 그러나, 이들의 성능은 제시된 기법과 비교하여 여전히 부족함.
    • NARM & STAMP 같은 최신 기법들과 비교하여, SR-GNN은 세션에서 아이템 사이의 전환을 추가로 고려하고, 따라서 모든 세션을 그래프로 모델링함.
      • 이는 유저 클릭 사이의 더 복잡하고 Implicit한 연결들을 포착할 수 있음.
    • 반면에 NARM & GRU4REC는 각 유저를 명시적으로 모델링하고, 아이템 사이의 가능한 Interactive 관계를 무시하고 별도의 세션 시퀀스를 통해 유저 표현을 얻음.
    • 따라서, 제시된 모델은 세션 행동을 모델링하는 데 더욱 강력함.
  • 게다가, SR-GNN은 자동으로 가장 중요한 아이템 Transition을 선택할 수 있는 세션 표현을 생성하고, 노이즈와 현재 세션에서 효과적이지 않은 유저 행동을 무시할 수 있는 소프트-어텐션 메커니즘을 채택함.
    • 대조적으로, STAMP는 마지막으로 클릭된 아이템과 이전 행동 사이의 Transition만을 사용함.
      • 이는 충분하지 않을 수 있음.
    • GRU4REC & NARM 같은 다른 RNN 모델들도 마찬가지로 Propagation 처리동안 영향을 주는 정보를 선택하지 못함.
    • 이 방법들은 유저의 일반적인 선호도를 나타내는 벡터를 얻기 위해 이전의 모든 아이템을 사용함.
    • 유저 행동이 목적이 없거나, 현재 세션에서 관심이 빠르게 이동하는 경우, 기존 모델들은 노이즈 세션에 대처하는 데 효과적이지 않음.

Comparision with Variants of Connection Schemes

  • 제시된 SR-GNN 기법은 그래프에서 아이템 사이의 관계 연결을 구축하는 데 유연함.
  • 세션에서의 유저 행동은 제한적이기 때문에, 우리는 각 세션 그래프의 아이템간 제한된 관계를 증가시키기 위해 이 Section에서 두 개의 또 다른 형태의 연결을 제시함.
    • 첫 번째로, 우리는 모든 세션 시퀀스를 함께 종합하고, 이것들을 전체 아이템 방향 그래프로 모델링 함.
      • 이를 향후에 Global 그래프라 부름.
      • Global 그래프에서, 각 노드는 유일한 아이템을 나타내며, 각 간선은 한 아이템에서 다른 아이템으로의 방향 Transition을 나타냄.
    • 두 번째로, 한 세션 내의 아이템간 높은 순위의 모든 관계들을 명시적으로 직접 연결하여 모델링함.
      • 요약하자면, SR-GNN과 비교하기 위해 다음과 같은 두 가지 연결 방식을 제시함 :
  1. 정규화된 Global 연결을 이용한 SR-GNN (SR-GNN-NGC) 은 SR-GNN에 기초한 Global 그래프에서 추출한 간선 가중치로 연결 행렬을 대체함.
  2. 전체 연결을 이용한 SR-GNN (SR-GNN-FC) 은 Boolean 가중치를 사용하는 모든 상위 관계들을 나타내고, 이에 해당하는 연결 행렬을 SR-GNN에 추가함.
  • 다른 연결 방법들의 결과는 Figure 3에서 보여짐.

  • 그림에서 보면, 세 연결 방식 모두 STAMP & NARM 기법 같은 최신 모델들보다 더 좋거나 거의 동일한 성능을 달성하며, 그래프로써 세션 모델링의 유용성을 확인할 수 있는 것으로 보임.
  • SR-GNN과 비교하여, 각 세션의 경우 SR-GNN-NGC는 현재 세션의 아이템 외에 다른 세션의 영향을 고려사항으로 가져가고, 그 결과 현재 세션 그래프 내에서 높은 차수를 가진 노드에 연결된 간선의 영향을 감소시킴.
    • 그러한 융합 기법들은 특히 그래프에서 간선 가중치가 달라져 성능 저하를 초래할 때 현재 세션의 무결성에 현저하게 영향을 미침.
  • SR-GNN & SR-GNN-FC의 관점에서, 전자는 연속적인 아이템간 정확한 관계을 모델링할 뿐이고, 후자는 모든 높은 순위의 관계를 직접 연결하여 명시적으로 고려함.
    • 두 가지 방법의 실험 결과는 큰 차이가 없지만, SR-GNN-FC가 SR-GNN보다 더 안좋은 성능을 내는 것으로 기록됨.
    • 그러한 결과의 작은 차이가 대부분의 추천 시나리오에서 모든 높은 순위 변환이 직선 연결로 직접 변환될 수 있는 것은 아니며, 높은 순위 아이템 간의 중간 단계가 여전히 필수 조건임을 시사함.
    • 예를 들어, 유저가 웹 사이트를 검색할 때 다음 페이지를 본 경우 : A → B → C, A와 C 사이의 직접 연결이 부족하기 때문에 중간 페이지 B가 없이 A 다음에 바로 C 페이지를 추천하는 것은 적절하지 않음.

Comparison with Different Session Embeddings

  • 우리는 다음과 같은 세 가지 접근을 이용한 세션 임베딩 전략을 비교함 :
    • (1) Local 임베딩만 사용 (SR-GNN-L)
    • (2) 평균 Pooling을 사용한 Global 임베딩 (SR-GNN-AVG)
    • (3) 어텐션 메커니즘을 사용한 Global 임베딩 (SR-GNN-ATT)
  • 세 가지 다른 임베딩 전략들을 이용한 결과들은 Figure 4에서 보여짐.

  • 그림에서 보면, 하이브리드 임베딩 기법 SR-GNN이 세 가지 모든 데이터셋을 기반으로 가장 좋은 결과를 달성한 것을 볼 수 있음.
    • 이는 장기 선호도를 이용한 현재 세션 흥미를 명시적으로 통합하는 것에 대한 중요성을 검증함.
    • 게다가, SR-GNN-ATT가 세 가지 데이터셋에서 평균 Pooling을 이용한 SR-GNN-AVG보다 더 좋은 성능을 냄.
    • 이는 세션이 독립적으로 다룰 수 없는 일부 노이즈 행동을 포함할 수도 있다는 것을 나타냄.
    • 이외에, 어텐션 메커니즘은 장기 선호도를 구축하기 위해세션 데이터에서 중요 행동을 추출하는데 도움을 준다는 것을 보여줌.
  • SR-GNN의 하위버전인 SR-GNN-L이 여전히 SR-GNN-AVG보다 여전히 좋은 성능을 내고, SR-GNN-ATT와 거의 동일한 성능을 달성한다는 것을 유의해야함.
    • 이는 현재 흥미와 장기 선호도 모두 세션 기반 추천에서 중요하다는 사실을 뒷받침함.

Analysis on Session Sequence Lengths

  • 우리는 서로 다른 길이의 세션에 대처하기 위해 다른 모델의 능력을 추가로 분석함.
  • 비교를 위해, 우리는 Yoochoose 1 / 64 & Diginetica의 세션을 두 그룹으로 나눔.
    • 여기서 "Short"는 세션 길이가 5보다 작거나 같고, "Long"에서의 각 세션은 5개 이상의 아이템을 가지는 것을 나타냄.
    • 피벗 값 5는 모든 데이터셋에서 전체 세션의 평균 길이에 가장 근접한 정수이기 때문에 선택됨.
    • Short 그룹과 Long 그룹에 속한 세션의 비율은 각각 Yoochoose에서 0.701 / 0.299 이고, Diginetica 데이터에서 0.764 / 0.236임.
    • 각 기법의 경우, 우리는 Table 3의 P@20의 관점으로 추정한 결과들을 기록함.

  • 우리가 제시한 SR-GNN과 다른 형태 기법들은 서로 다른 세션 길이를 가진 두 가지 데이터셋에서 안정적으로 수행함.
    • 이는 제시된 기법의 우수한 성능과 세션 기반 추천에서 GNN 적응성을 증명함.
  • 대조적으로, STAMP의 성능은 Short & Long 그룹에서 크게 변화함.
    • STAMP에서는 복제된 액션에 따라 그러한 차이를 설명함.
    • 이는 어텐션 메커니즘을 채택했기 때문에, 유저 표현을 얻을 때 복제된 아이템들이 무시될 수 있음.
  • STAMP와 유사하게, Yoochoose에서 NARM은 Short 그룹에서 좋은 성능을 달성했지만, 세션 길이가 증가할수록 성능은 빠르게 떨어짐.
    • 이는 부분적으로 RNN 모델이 긴 시퀀스를 대처하는 데 어려움을 겪기 때문임.
  • 그런 다음, 우리는 서로 다른 세션 표현을 가지고 SR-GNN-L, SR-GNN-ATT, SR-GNN의 성능을 분석함.
    • 이러한 세 가지 기법들은 STAMP & NARM과 비교할 때 좋은 결과들을 달성함.
    • 이는 아마도 GNN 학습 프레임워크에 기반하여 우리 기법들이 더 정확한 노드 벡터들을 얻을 수 있기 때문일 것임.
    • 그러한 노드 임베딩은 노드의 잠재 Features를 포착할 뿐만 아니라 노드 연결들을 Global로 모델링할 수 있음.
  • 이와 같이, SR-GNN의 다른 형태들 사이에서 성능은 안정적이며, 두 가지 최첨단 기법의 성능은 Short & Long 데이터셋에서 상당히 변동함.
    • 게다가, 테이블에서는 SR-GNN-L이 비록 Local 세션 임베딩만을 사용하지만 좋은 결과를 달성했다는 것을 보여줌.
    • 이는 아마도 SR-GNN-L이 세션 그래프에서 1차 노드와 상위 노드의 속성을 암묵적으로 고려하기 때문일 것임.
  • 이러한 결과들은 Figure 4를 통해 검증됨.
    • 여기서 SR-GNN-L & SR-GNN-ATT 둘 모두 최적의 성능을 달성했음.

 

5. Conclusions

  • 세션 기반 추천은 유저 선호도와 기록 내역들을 얻기 어려울 때 필수적임.
    • 이 논문은 그래프 모델을 세션 시퀀스 표현으로 표현하기 위해 통합하는 세션 기반 추천에 대한 새로운 아키텍처를 제시함.
  • 제시된 기법은 세션 시퀀스 아이템 간의 복잡한 구조와 Transition을 고려할 뿐만 아니라 유저의 다음 행동을 더 잘 예측하기 위해 장기 선호도와 현재 세션에서의 흥미를 결합하는 전략을 개발함.
  • 종합적인 실험들은 제시된 알고리즘이 다른 최신 기법들보다 일관적으로 좋은 성능을 내는 것을 입증함.
반응형

'Paper > Recommendation' 카테고리의 다른 글

BPR: Bayesian Personalized Ranking from Implicit Feedback  (1) 2020.02.23
Training Deep AutoEncoders for Collaborative Filtering  (0) 2020.01.20
Wide & Deep Learning for Recommender Systems  (0) 2020.01.19
Item2Vec: Neural Item Embedding for Collaborative Filtering  (2) 2020.01.01
Matrix Factorization Techniques for Recommender Systems  (0) 2019.12.14
댓글
반응형
공지사항
최근에 올라온 글
최근에 달린 댓글
Total
Today
Yesterday
링크
TAG
more
«   2024/11   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
글 보관함