Beam Search

Sequence to sequence model이 output을 예측할 때 발생할 수 있는 이슈가 있다. 

바로 우리가 찾고자 한 결과물이 he hit me with a pie 일 때, 

output이 he, hit, 으로 나오다가 갑자기 a 가 등장하면 더 이상 우리가 원하는 결과물을 얻기 힘들어진다. 

 

 

이에 따라 조건부 확률을 최대로 하는 결과를 모두 찾아보는 방법을 택할 수도 있지만 

 

 

이는 모든 가능성을 확인해본다는 점에서 가능성이 기하급수적으로 증가한다. 즉 좋은 선택지가 아니다. 

 

이에 따라 두 방법의 절충안인 특정 개수를 정해서 그 개수만큼만 가능한 결과물을 확인해보는 방법이 있다. 

 

---

※ 점수를 구할 때 왜 log를 취하는 경우. 

 

보통 log를 계산의 단순화를 위해 취한다. 

 

이 경우, 확률 값은 0~1 이고 log 1 = 0 이므로 

즉 1보다 작은 log 값은 점점 단조 증가하여 1에 도달할 때 0에 수렴한다. 

 

 

어차피 단조증가하므로 log를 취해줘도 결과값에 변화가 없다. 

---

k = 2 라고 할 때,