추천 시스템 성능 평가

※ CTR은 광고가 클릭된 횟수를 광고가 게재된 횟수로 나눈 값 (클릭수 ÷ 노출수 = CTR) 

품질 관점은 공학만이 아니라, UX, marketing 관점을 포함하고 있다. 

 

 

단순한 성능 비교와 유사 

 

 

연구단에서도 많이 언급되는 이슈이다. 생성되는 데이터로 다시 모델을 학습시키는 형태는 offline test와 다른 양상을 띄게 만드는 결정적 이슈이다. 이를 serving bias 라고 한다. 

 

Offline Test의 지표

(랭킹, 예측)

예측은 머신러닝 metric과 동일하기에 여기서는 추천 모델에서만 등장하는 ranking metric을 다룬다. 

 

 

Precision@5 

: 예측한 5 개중 실제 유저가 관심있는 아이템의 비율 

Recall@5 

: 유저가 관심 있는 전체 아이템 5개 가운데, 우리가 추천한 아이템의 비율 

 

 

AP@5: 

Precision@K 와는 다르게, 

Precision 1 .. Precision 5 까지의 평균값이다. 

즉, 순서가 상관 없던 Precision 5와는 달리 관련 아이템이 빨리나오면 빨리 나올 수록 전체 평균 값이 높아진다. 

 

MAP@5 

모든 유저에 대한 Average Precision의 평균 

 

추천 시스템에서 가장 많이 사용되는 지표 중 하나라고 한다. 첫 등장은 검색의 성능 측정이라고 한다. 

 

 

연관성을 확인할 때 binary (1,0) 이 아닌 '수치' 를 활용한다. 당연히 더 디테일한 방법이다. 

 

 

예시를 통해 확인해보자. 

전제 조건은 (offline test이기에) 아이템의 순서와, 각 아이템의 관련도를 알고 있다는 전제하이다. 

 

 

즉 ideal 한 값과 추천 결과를 통해 얻은 결과로 NDCG를 구한다. 

 

 

현업에서는 성능 지표보다는 매출, CTR 지표로 의사가 결정된다.