ㅁ 정책 기법

ㅇ 정의:
정책 기법은 강화학습에서 정책을 직접 최적화하는 방법으로, 주어진 상태에서 최적의 행동을 선택하기 위한 확률적 정책을 학습하는 데 사용된다.

ㅇ 특징:
– 정책 기반 접근법으로, 가치 기반 방법과 달리 행동의 확률 분포를 직접 학습한다.
– 연속적인 행동 공간을 처리하는 데 적합하다.
– 탐색과 최적화를 동시에 수행할 수 있다.

ㅇ 적합한 경우:
– 행동 공간이 연속적이거나 복잡한 경우.
– 가치 기반 방법으로는 학습이 어려운 환경.
– 행동의 미세 조정이 중요한 문제.

ㅇ 시험 함정:
– 정책 기법과 가치 기반 기법의 차이를 혼동할 수 있음.
– 연속적 행동 공간에 대한 적합성을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 정책 기법은 확률적 정책을 학습하며, 연속적 행동 공간에서 효과적이다.
X: 정책 기법은 항상 가치 기반 기법보다 우수하다.

================================

1. Policy Gradient

ㅇ 정의:
Policy Gradient는 정책 기법 중 하나로, 정책의 성능을 직접적으로 최적화하기 위해 경사 상승법을 사용하는 알고리즘이다.

ㅇ 특징:
– 정책의 확률적 분포를 개선하기 위해 기울기를 계산한다.
– Monte Carlo 샘플링을 사용하여 기대 보상을 추정한다.
– 높은 자유도를 가진 환경에서 효과적이다.

ㅇ 적합한 경우:
– 복잡한 정책 구조를 학습해야 하는 경우.
– 연속적인 행동이 필요한 로봇 제어 문제.
– 가치 함수의 학습이 어려운 환경.

ㅇ 시험 함정:
– Policy Gradient와 Q-Learning을 혼동할 가능성.
– Monte Carlo 샘플링의 역할을 과소평가할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Policy Gradient는 정책의 확률적 분포를 최적화하며, Monte Carlo 방법을 사용한다.
X: Policy Gradient는 항상 Q-Learning보다 학습 속도가 빠르다.

ㅁ 추가 학습 내용

Policy Gradient와 관련된 주요 알고리즘의 차이점과 응용 사례, 그리고 수렴 속도와 안정성을 개선하기 위한 기술을 학습하기 위해 다음 내용을 정리합니다.

1. Policy Gradient 주요 알고리즘의 차이점
– REINFORCE:
– REINFORCE는 기본적인 Policy Gradient 알고리즘으로, 에피소드 단위로 정책을 업데이트합니다.
– 정책의 성능을 평가하기 위해 누적 보상을 사용하며, 이로 인해 보상 신호가 고변동성을 가지거나 느리게 수렴할 수 있습니다.
– 간단하고 직관적이지만, 샘플 효율성이 낮고 수렴 속도가 느린 단점이 있습니다.

– Actor-Critic:
– Actor-Critic은 두 가지 구성 요소로 나뉩니다: Actor(정책 업데이트)와 Critic(상태 가치 함수 평가).
– Critic은 상태의 가치를 추정하여 Actor에게 더 나은 방향으로 정책을 업데이트할 수 있도록 돕습니다.
– REINFORCE에 비해 샘플 효율성이 높고, 더 빠르고 안정적으로 수렴할 수 있습니다.
– Actor-Critic은 정책 기반 방법과 가치 기반 방법을 결합한 형태로, 더 복잡한 환경에서도 잘 작동합니다.

2. Policy Gradient 알고리즘의 응용 사례
– 로봇 제어:
– Policy Gradient 알고리즘은 연속적인 행동 공간을 다루는 데 적합하여 로봇 팔 제어, 드론 조종 등 다양한 로봇 제어 문제에 활용됩니다.
– 게임 AI:
– Atari 게임, 체스, 바둑 등의 게임 환경에서 자율적으로 최적의 행동을 학습하는 데 사용됩니다.
– 자율주행:
– 자율주행 차량의 경로 계획 및 행동 결정에서 Policy Gradient 알고리즘이 활용됩니다.
– 금융:
– 강화학습을 통한 포트폴리오 최적화, 옵션 가격 결정 등 금융 분야에서도 응용됩니다.

3. 수렴 속도와 안정성을 개선하기 위한 기술
– Baseline 사용:
– REINFORCE 알고리즘에서는 보상 신호의 분산을 줄이기 위해 Baseline을 도입합니다.
– Baseline은 상태의 평균적인 가치를 나타내며, 이를 통해 정책 업데이트의 변동성을 감소시킬 수 있습니다.
– 일반적으로 상태 가치 함수(V(s))가 Baseline으로 사용됩니다.

– Advantage 함수 도입:
– Advantage 함수(A(s, a))는 상태 가치 함수(V(s))와 행동 가치 함수(Q(s, a))의 차이로 정의됩니다.
– 정책 업데이트 시 Advantage 함수를 사용하면, 특정 행동이 평균적인 행동보다 얼마나 더 좋은지에 대한 정보를 활용할 수 있습니다.
– 이를 통해 학습 효율성과 수렴 속도를 개선할 수 있습니다.

– Entropy Regularization:
– 정책의 탐색성을 높이기 위해 손실 함수에 엔트로피 항을 추가합니다.
– 이는 정책이 지나치게 수렴하여 탐색을 멈추는 현상을 방지하고, 더 다양한 행동을 시도하도록 유도합니다.

– Trust Region Methods:
– 정책 업데이트의 크기를 제한하여 안정성을 개선합니다.
– 대표적인 방법으로는 Trust Region Policy Optimization(TRPO)와 Proximal Policy Optimization(PPO)가 있습니다.

– Batch Normalization 및 Experience Replay:
– 학습 데이터의 분포를 정규화하거나, 과거 데이터를 재사용하여 샘플 효율성을 높이는 기법입니다.
– 이는 안정적인 학습을 도와줍니다.

위 내용을 학습하면 Policy Gradient 알고리즘의 작동 원리, 주요 차이점, 실제 응용 사례, 그리고 수렴 속도와 안정성을 높이기 위한 다양한 기술을 체계적으로 이해할 수 있습니다.