추천 시스템 분석
원문: Deconstructing Recommender Systems - How Amazon and Netflix predict your preferences and prod you to purchase
저자: Joseph A. Konstan and John Riedl, 미네소타 대학 교수
들어가기 전
추천 시스템은 1990년대에 시작된 이후, 꾸준히 발전해왔습니다. 초기에는 비교적 조잡하고 부정확한 형태였으나, 데이터가 많아질수록 알고리즘은 더욱 혁신적이고 정교해졌습니다. 현재는 아마존 상품 추천, 넷플릭스 영화 추천, 페이스북 친구 추천 등 대형 서비스와 함께 점점 더 중요한 기술로 자리잡고 있습니다. 대학들에서는 추천 시스템을 정규 코스로 추진하고 있으며, 통신사들도 고객 이탈 예측에 활용하고 있습니다.
추천 효과
- Netflix: 대여되는 영화의 2/3가 추천으로 발생
- Google News: 38% 이상의 조회가 추천에 의해 발생
- Amazon: 판매의 35%가 추천으로 발생
Netflix Prize (~2009): Netflix에서 주관한 경연대회에서 영화 선호도를 가장 잘 예측하는 협업 필터링 알고리즘에 수상 (US$1,000,000)
협업 필터링(Collaborative Filtering)
추천의 근간이 되는 유사도를 분류하는 방식으로 협업 필터링(Collaborative Filtering) 기법이 사용됩니다. 사전 데이터를 이용해 분류하고, 이 기준을 통해 새로운 데이터에 대입하여 추천합니다. 협업 필터링은 두 가지 주요 분류 기준이 있습니다.
사용자 기반 (User-User)
사용자 간 공통 아이템을 기반으로 유사도를 측정하여 추천합니다. 예를 들어, 두 사용자가 동일한 영화에 비슷한 평점을 주면, 그들의 추천은 더 유사할 확률이 높습니다. 하지만 이 방법은 데이터 부족으로 인해 추천에 어려움이 있을 수 있습니다.
아이템 기반 (Item-Item)
아이템 간 유사성을 기준으로 추천합니다. 예를 들어, 톰 클랜시의 책을 좋아하는 사람은 클라이브 커슬러의 책도 좋아할 확률이 높습니다. 아이템 기반 방식은 데이터가 누적될수록 정확도가 높아집니다.
추천 시스템의 문제점
비율의 일관성 (Inconsistency of Ratings)
추천 시스템에서 같은 아이템에 대해 평가가 일관되지 않을 수 있습니다. 예를 들어, 사용자 취향은 시간이 지나면서 변할 수 있기 때문에, 동일한 아이템에 대해 평가가 달라질 수 있습니다.
유사 아이템 추천
기본적인 알고리즘은 유사 아이템을 기준으로 추천하지만, 세부적인 취향을 반영하기 어려운 경우가 많습니다. 이를 해결하기 위해 차원 축소 기법이 사용됩니다.
차원 축소 (Dimensionality Reduction)
차원 축소는 사용자의 취향을 요약하여 추천 시스템이 더 효율적으로 작동하도록 합니다. 예를 들어, 수천 가지 음식을 비교할 때, 취향을 특정 범주로 축소하여 추천할 수 있습니다. 이러한 방식은 새로운 아이템을 추천할 때 유효합니다. 차원 축소에는 Singular Value Decomposition(SVD) 기법이 사용됩니다.
추천 시스템의 정확성
아마존과 같은 플랫폼에서는 사용자의 행동 데이터를 기반으로 성향을 파악하고 추천을 제공합니다. 이를 통해 추천의 정확성을 높이고, 판매자의 수익을 증대시킵니다.
비즈니스 규칙 (Business Rules)
잘못된 추천을 방지하고 사용자의 신뢰를 유지하기 위해 비즈니스 규칙이 적용됩니다. 예를 들어, 인기 있는 제품을 추천할 때, 실제 구매가 이루어질 가능성을 고려하여 추천을 제공합니다.
추천 시스템 적용 예시
추천 시스템은 다양한 산업에서 활용되고 있으며, 예를 들어, DAISY는 Apache Mahout 기반으로 추천 엔진을 구현하고 있습니다.
