BERT4Rec: Sequential Recommendation with BidirectionalEncoder Representations from Transformer

본 게시글은 BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer를 읽고 작성한 글입니다.

 

1. Title

BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer

 

2. Abstract

사용자의 과거 상호작용을 양방향으로 분석하는 순차 추천 모델 BERT4Rec

 

3. 목표

기존 단방향 순차 추천 모델의 한계(사용자 행동 시퀀스에서 숨겨진 표현의 능력 제한 / 정렬 시퀀스를 가정하지만, 실제 환경에서 항상 적용 불가능) 극복

 

4. 방법

(1) 양방향 Self-Attention

트랜스포머 기반 심층 양방향 셀프 어텐션 매커니즘 도입

 

(2) Cloze 학습 

정보 유출 방지 및 효율적 훈련을 위해, 시퀀스 내에서 무작위로 마스킹된 아이템을 주변 문맥을 통해 예측하는 Cloze 목표 채택

각 아이템이 좌우 양쪽의 문맥 정보 활용 가능

 

(3) 다층 트랜스포머 아키텍처

여러 층의 트랜스포머 레이어를 쌓아 더 복잡한 아이템 전환 패턴 학습

전체 사용자 행동 시퀀스에서 아이템-아이템 상호작용 포착 가능

 

(4) 위치 임베딩

입력 시퀀스 순서 정보 활용을 위해 위치 임베딩 사용

 

5. 결과

기존의 순차 추천 모델들에 비해 더 나은 성능을 보였으며,

양방향 셀프 어텐션이 사용자 행동 시퀀스를 더 효과적으로 모델링할 수 있음을 증명하였고,

Cloze 목표가 양방향 모델 훈련에 효과적임을 입증하였다.

 

6. 향후계획

feature를 늘리고, 사용자 모델링을 위해 요소를 추가할 수 있도록 한다.