강화학습 복습 자료 5: Stochastic World

지금까지는 의도한대로 행동한 Deterministic world 를 배경으로 논했다.

하지만 현실 세계는 의도한대로 되지 않는 Non-deterministic (Stochastic) world 이다.

 

예컨대 Frozen lake에서

down 하고자 했는데 (의도) 실제로는 right 되어 (실제) 성공했다면

down 했을 때 성공했다고 정보가 전달되어 Q값이 왜곡될 수 있다는 것이다.

 

Frozen lake에서 이처럼 stochastic 한 환경을 만들기 위해서

slippery 요소를 true로 설정했던 것을 떠올려보자.

 

이 문제의 솔루션은 실제 멘토의 조언을 들을 때와 유사하다고 설명한다.

즉 하고 싶은 대로 하되, 멘토의 조언은 조금만 반영하라는 것이다.

(물론 여기서 멘토의 조언은 Q값을 의미한다.)

 

지난 번까지 Discounted future reward까지 반영한 식은 다음과 같았다.

Q(s, a) = r + γ max(a') Q(s', a') (γ = 0.9)

 

이 식은 최종 식의 일부로 등장한다. 최종 식은 다음과 같다.

Q(s, a) ← (1-α) Q(s, a) + α (r + γ max(a') Q(s', a')) (α = 0.1, γ = 0.9)

 

α는 learning rate라고 하고, 빨리 학습 시키려면 α값을 키우면 된다.

 

여기서 왼쪽의 Q(s, a)는 새로운 값, 오른쪽의 Q(s, a)는 기존 값이라고 생각하자.

꽤 높은 확률로 하고 싶은 대로 하게 두고, 조언은 조금만 들으라고 한다는 것을 알 수 있다.

 

이렇게 Dummy Q-learning을 지나, complete Q-learning algorithm까지 살펴보았다.

 

 

 

Reference: Sung Kim 모두를 위한 RL강좌 정리

작성일: 2018. 10. 4.