ㅁ 정책 기법

ㅇ 정의:
정책 기법은 강화학습에서 정책을 최적화하기 위해 사용하는 다양한 방법론을 의미하며, 주로 행동과 보상을 기반으로 최적의 의사결정을 도출하는 데 초점을 둔다.

ㅇ 특징:
– 정책 기법은 보상 함수와 정책 함수의 상호작용을 기반으로 작동.
– 모델 기반 및 모델 프리 접근 모두에서 사용 가능.
– 정책 기법은 일반적으로 샘플 효율성이 높은 것이 특징.

ㅇ 적합한 경우:
– 복잡한 환경에서 최적의 행동을 학습해야 할 때.
– 명시적인 정책 표현이 필요한 경우.

ㅇ 시험 함정:
– 정책 기법과 가치 기법의 차이를 혼동할 수 있음.
– 샘플 효율성과 계산 복잡성 간의 트레이드오프에 대한 이해 부족.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 정책 기법은 행동을 직접적으로 모델링하여 최적의 정책을 학습한다.
– X: 정책 기법은 항상 모델 기반 강화학습에서만 사용된다.

================================

1. Actor-Critic

ㅇ 정의:
Actor-Critic은 정책 기반 방법(Actor)과 가치 기반 방법(Critic)을 결합하여 최적의 정책을 학습하는 강화학습 기법이다.

ㅇ 특징:
– Actor는 정책을 업데이트하며 행동을 생성.
– Critic은 가치 함수를 학습하며 Actor의 정책을 평가.
– 정책 기울기 방법을 사용하여 정책을 최적화.

ㅇ 적합한 경우:
– 대규모 상태 공간에서 정책과 가치 함수를 동시에 학습해야 할 때.
– 샘플 효율성과 안정성을 동시에 추구하는 경우.

ㅇ 시험 함정:
– Actor와 Critic의 역할을 혼동할 수 있음.
– Critic의 불안정성이 Actor 학습에 영향을 미칠 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Actor-Critic은 정책과 가치 함수를 동시에 학습하는 강화학습 기법이다.
– X: Actor-Critic은 항상 Actor가 Critic보다 먼저 학습을 완료한다.

ㅁ 추가 학습 내용

Actor-Critic 기법은 강화학습에서 정책 기반과 가치 기반 방법을 결합한 알고리즘입니다. 여기서 Actor는 정책을 학습하고 행동을 선택하며, Critic은 상태-가치 함수를 학습하여 Actor의 행동이 얼마나 좋은지 평가합니다. Actor-Critic 기법의 변형된 형태로 Advantage Actor-Critic(A2C)와 Asynchronous Advantage Actor-Critic(A3C)이 있습니다.

Advantage Actor-Critic(A2C)은 Actor-Critic 구조에서 Advantage 함수를 사용하여 Actor의 정책 업데이트를 더 효과적으로 수행하는 방법입니다. Advantage 함수는 상태-가치 함수와 행동-가치 함수의 차이를 나타내며, 특정 행동이 평균적인 행동보다 얼마나 더 나은지를 평가합니다. A2C는 병렬 환경에서 데이터를 수집하고 이를 동기화하여 업데이트를 수행하는 방식으로 효율성을 높입니다.

Asynchronous Advantage Actor-Critic(A3C)은 A2C와 유사하지만, 여러 작업자(worker)가 병렬로 환경을 탐색하며 데이터를 비동기적으로 수집하고 학습합니다. 이 방식은 계산 자원을 효율적으로 활용할 수 있고, 탐색 과정에서 다양성을 확보하여 학습 성능을 향상시킬 수 있습니다. A3C는 네트워크 병목 현상을 줄이고, 학습이 안정적으로 진행되도록 돕습니다.

Actor-Critic 기법은 다양한 응용 분야에서 실용적으로 사용됩니다. 로봇 제어에서는 로봇 팔의 움직임 최적화나 균형 유지와 같은 작업에 활용됩니다. 게임 플레이에서는 강화학습 에이전트가 복잡한 게임 환경에서 최적의 전략을 학습하는 데 사용됩니다. 자율주행 분야에서는 차량이 교통 상황을 실시간으로 파악하고 최적의 경로를 선택하는 데 도움을 줄 수 있습니다. 이러한 구체적인 응용 사례를 통해 Actor-Critic 기법의 실용성을 이해하고, 학습의 동기를 높일 수 있습니다.