ㅁ 정책 기법

ㅇ 정의:
정책 기법은 강화학습에서 최적의 정책을 찾기 위해 사용되는 방법론으로, 주어진 상태에서 최적 행동을 결정하는 알고리즘을 포함합니다.

ㅇ 특징:
– 상태와 행동의 공간이 클 경우 계산량이 증가합니다.
– 최적화된 정책을 도출하기 위해 반복적인 계산이 필요합니다.
– 동적 프로그래밍 접근법을 사용하여 문제를 해결합니다.

ㅇ 적합한 경우:
– 상태와 행동의 공간이 비교적 작거나 중간 크기일 때.
– 명확한 보상 구조와 전이 확률이 주어진 환경에서.

ㅇ 시험 함정:
– 정책 기법과 가치 함수 기법을 혼동하는 경우.
– 알고리즘의 수렴 조건과 계산 복잡도를 정확히 이해하지 못하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 정책 기법은 상태-행동 공간이 작을수록 효율적이다.
X: 정책 기법은 항상 가치 함수 기법보다 빠르게 수렴한다.

================================

1. Value Iteration

ㅇ 정의:
Value Iteration은 동적 프로그래밍을 기반으로 한 알고리즘으로, 모든 상태에 대해 가치 함수를 반복적으로 계산하여 최적의 정책을 도출하는 방법입니다.

ㅇ 특징:
– Bellman 방정식을 사용하여 상태 가치의 반복 계산을 수행합니다.
– 계산이 수렴하면 최적의 정책을 생성합니다.
– 상태 공간이 크면 계산량이 기하급수적으로 증가합니다.

ㅇ 적합한 경우:
– 전이 확률과 보상이 명확히 정의된 환경에서.
– 상태와 행동의 수가 상대적으로 작거나 중간 크기인 문제에서.

ㅇ 시험 함정:
– Value Iteration과 Policy Iteration을 혼동하는 경우.
– 수렴 조건을 정확히 이해하지 못하고 계산을 멈추는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Value Iteration은 Bellman 방정식을 기반으로 한다.
X: Value Iteration은 정책을 직접 갱신하지 않는다.

ㅁ 추가 학습 내용

1. Bellman Optimality Equation:
– Bellman Optimality Equation은 최적 정책을 찾기 위한 핵심 방정식으로, 각 상태에서의 최적 가치 함수(V*)를 정의합니다.
– 이 방정식은 현재 상태에서 가능한 모든 행동의 보상과 다음 상태의 가치 함수의 기댓값을 고려하여 최적의 행동을 선택하는 방식으로 작동합니다.
– 수식적으로는 다음과 같이 표현됩니다:
V*(s) = max_a [R(s, a) + γ Σ P(s’|s, a) V*(s’)]
– 여기서 R(s, a)는 상태 s에서 행동 a를 수행했을 때의 보상, γ는 할인율, P(s’|s, a)는 상태 전이 확률을 나타냅니다.

2. 계산 복잡도를 줄이기 위한 근사 방법:
– 상태-행동 공간이 큰 경우, 정확한 Value Iteration은 계산 비용이 매우 높아질 수 있습니다. 이를 해결하기 위해 근사 방법을 사용합니다.
– 대표적인 근사 방법으로는 함수 근사(Function Approximation)를 사용할 수 있습니다. 예를 들어, 선형 함수 근사나 신경망 기반의 근사 방법을 통해 상태-가치 함수 또는 행동-가치 함수를 근사할 수 있습니다.
– Monte Carlo 방법이나 Temporal Difference 학습을 활용하여 샘플 기반으로 가치 함수를 업데이트하는 방식도 계산 효율성을 높이는 데 유용합니다.

3. Hierarchical Reinforcement Learning과의 연계:
– Hierarchical Reinforcement Learning(HRL)은 복잡한 문제를 더 작은 하위 문제로 나누어 해결하는 접근 방식입니다.
– HRL을 통해 상태-행동 공간을 계층적으로 구조화하면 계산 복잡도를 줄이고 학습 속도를 높일 수 있습니다.
– 예를 들어, Grid World 환경에서 “방문할 지역을 정하는 상위 정책”과 “그 지역 내에서 세부적으로 이동하는 하위 정책”을 분리하여 학습할 수 있습니다.

4. Grid World 환경에서의 Value Iteration 적용 사례:
– Grid World는 에이전트가 격자로 이루어진 환경에서 특정 목표 지점에 도달하는 문제입니다.
– 각 격자는 상태를 나타내며, 에이전트는 “위로 이동”, “아래로 이동”, “왼쪽으로 이동”, “오른쪽으로 이동”과 같은 행동을 수행할 수 있습니다.
– Value Iteration은 각 상태에서의 최적 가치 함수를 반복적으로 업데이트하여 최적 정책을 도출합니다.
– 예를 들어, 목표 지점에 도달하면 +10의 보상을 받고, 벽에 부딪히거나 잘못된 방향으로 이동하면 -1의 보상을 받는 환경을 가정할 수 있습니다.
– 초기에는 모든 상태의 가치 함수를 0으로 설정하고, Bellman Optimality Equation을 반복적으로 적용하여 각 상태의 최적 가치를 계산합니다.
– 최적 가치 함수가 수렴한 후, 각 상태에서 보상을 최대화하는 행동을 선택하여 최적 정책을 도출합니다.