Graph Masked Autoencoder for Sequential Recommendation

본 게시글은 Graph Masked Autoencoder for Sequential Recommendation, Yaowen Ye, Lianghao Xia, Chao Huang을 읽고 작성한 글입니다.

 

1. Title

Graph Masked Autoencoder for Sequential Recommendation

 

2. Abstract

현재의 순차적 추천 시스템은 레이블이 부족한 상황에서 성능이 저하된다.

이에 대한 해결을 위해 대조학습이 주목받지만, CL 기반 모델들은 다양한 순차적 추천 작업에서 일관된 성능을 내지 못하며 노이즈에 취약하다.

따라서 적응형 그래프 마스크 오토 인코더 기반 순차적 추천 시스템을 제안하여 임베딩 대조 뷰 구축에 대한 의존성을 줄이고,

순차적 추천에서 정보력 있는 증강을 위해 장거리 아이템 의존성 모델링과 통합된 적응형 데이터 재구성 패러다임을 설계한다.

결과적으로 이는 최신 기준 모델들을 능가하여 노이즈와 희소성에 대응한 정확한 표현을 학습할 수 있게 된다.

 

3. 목표

의존적인 기존 대조학습 기반 순차적 추천 방법의 한계 및 노이즈 문제를 해결하는 모델을 만드는 것

 

4. 방법

(1) 적응형 전이 경로 마스킹 (Adaptive Transition Path Masking)

마스크된 경로 구성을 위한 앵커 노드를 자동 발견하는 마스크 학습

그래프 구조에서 정보력 있는 전이 패턴을 담은 경로를 마스킹하는 Transition Path Masking

작업 적응형 컨택스트로 자기지도 그래프의 마스킹을 재보정하는 Task-Adaptive Augmentation

 

(2) 그래프 마스크 오토 인코더

가벼운 구조의 그래프 임베딩 인코더를 활용하는 GCN 기반 그래프 인코더

마스킹된 아이템 전이 관계 재구성을 위한 크로스 레이어 MLP 활용을 통한 전이 경로 재구성용 디코더

마스킹된 글로벌 아이템 전이 경로를 복구하여 자기지도 신호를 생성하는 SSL 기반 재구성 목표

 

(3) Sequence Encoder Transformer

포지셔널 임베딩과 아이템 임베딩을 결합한 초기 시퀀스 임베딩 생성

복잡한 순차적 패턴 포착을 위한 트랜스포머 구조를 활용하는 멀티헤드 셀프어텐션 블록

 

(4) 멀티태스크 학습

주요 추천 작업과 자기지도 학습 신호를 결합한 멀티태스크 손실 함수 활용

적응형 마스킹 손실, 재구성 손실, 추천 손실을 통합해 모델 최적화

 

5. 결과

기존 모델 대비 우수한 성능,

데이터 희소성 및 노이즈에 대한 강건성,

빠른 수렴 속도와 효율성

 

6. 향후 계획

분포 외 시퀀스에 대한 일반화,

데이터 분포 변화 대응,

새로운 아이템 시퀀스에 대한 일반화