강화학습 복습 자료 4: Discounted future reward

만약 선택할 수 있는 action이 두 개 이상이라면, 그 중 어느 것을 선택해야 효율적일까?

다음 식을 떠올려보자.

 

Q(s, a) = r + max(a') Q(s', a')

 

r은 s에서 a를 취해 즉각적으로 얻은 reward이며

max(a') Q(s', a')은 그 이후 단계에서 얻을 최대 reward를 뜻함을 앞에서 보았다.

 

위의 질문의 답은, 즉각적인 reward r에 더 큰 가치를 두는 것이다.

이를 식으로 표현하기 위해 max(a') Q(s', a') 을 discount 시킨다. 즉,

 

Q(s, a) = r + γ max(a') Q(s', a') (γ = 0.9)

 

 

 

Reference: Sung Kim 모두를 위한 RL강좌 정리

작성일: 2018. 10. 4.