ㅁ 강화학습

ㅇ 정의:
강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 행동을 학습하는 기계학습 방법이다.

ㅇ 특징:
– 에이전트가 환경과 상호작용하며 데이터를 수집한다.
– 보상을 기반으로 정책을 최적화한다.
– 탐험(exploration)과 활용(exploitation) 간의 균형을 유지해야 한다.

ㅇ 적합한 경우:
– 명시적인 데이터셋 없이 환경과의 상호작용을 통해 학습해야 하는 경우.
– 게임, 로봇 제어, 자율주행 등 동적이고 지속적인 의사결정이 필요한 문제.

ㅇ 시험 함정:
– 강화학습은 지도학습(supervised learning)과 동일하다고 간주하는 경우.
– 탐험과 활용의 균형을 무시하고, 탐험만 강조하거나 활용만 중시하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 강화학습은 보상을 기반으로 정책을 최적화한다.
X: 강화학습은 항상 최적의 행동만을 선택한다.

================================

1. DQN

ㅇ 정의:
DQN(Deep Q-Network)은 심층 신경망을 사용하여 Q-러닝의 Q-값 함수를 근사하는 강화학습 알고리즘이다.

ㅇ 특징:
– 심층 신경망을 활용하여 고차원의 상태 공간에서도 학습이 가능하다.
– 경험 재생(Experience Replay)을 사용하여 샘플 효율성을 높이고 학습의 안정성을 개선한다.
– 타깃 네트워크(Target Network)를 사용하여 학습의 수렴성을 향상시킨다.

ㅇ 적합한 경우:
– 상태 공간이 매우 크고 복잡하여 테이블 기반 Q-러닝이 비효율적인 경우.
– 비디오 게임과 같은 고차원 입력 데이터를 처리해야 하는 경우.

ㅇ 시험 함정:
– DQN이 항상 최적의 정책을 찾는다고 오해하는 경우.
– 경험 재생과 타깃 네트워크의 역할을 혼동하거나 무시하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: DQN은 경험 재생을 통해 학습의 안정성을 높인다.
X: DQN은 타깃 네트워크를 사용하지 않는다.

================================

1.1 경험 재생

ㅇ 정의:
경험 재생(Experience Replay)은 에이전트가 환경과 상호작용하며 얻은 경험을 메모리에 저장하고, 무작위로 샘플링하여 학습하는 방법이다.

ㅇ 특징:
– 데이터의 상관성을 줄이고 학습의 안정성을 높인다.
– 동일한 경험을 여러 번 활용하여 샘플 효율성을 개선한다.
– 메모리 크기에 따라 성능이 영향을 받을 수 있다.

ㅇ 적합한 경우:
– 강화학습 환경에서 데이터 효율성을 극대화해야 하는 경우.
– 학습 데이터가 연속적으로 생성되며 상관성이 높은 경우.

ㅇ 시험 함정:
– 경험 재생이 강화학습의 필수 요소라고 간주하는 경우.
– 메모리 크기를 과소평가하거나 과대평가하여 학습 성능을 저해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 경험 재생은 데이터의 상관성을 줄이는 데 도움을 준다.
X: 경험 재생은 모든 강화학습 알고리즘에서 필수적이다.

================================

1.2 타깃 네트워크

ㅇ 정의:
타깃 네트워크(Target Network)는 Q-값을 업데이트할 때 안정성을 높이기 위해 일정 주기마다만 갱신되는 네트워크이다.

ㅇ 특징:
– Q-값 추정의 진동을 줄이고 학습의 수렴성을 향상시킨다.
– 메인 네트워크와 타깃 네트워크가 일정 주기마다 동기화된다.
– 추가적인 계산 비용이 크지 않다.

ㅇ 적합한 경우:
– Q-값 추정의 불안정성이 문제되는 강화학습 환경.
– DQN과 같이 심층 신경망을 사용하는 경우.

ㅇ 시험 함정:
– 타깃 네트워크와 메인 네트워크를 동일하게 갱신하는 것으로 오해하는 경우.
– 타깃 네트워크가 항상 최신 상태를 유지해야 한다고 잘못 이해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 타깃 네트워크는 일정 주기마다 갱신된다.
X: 타깃 네트워크는 메인 네트워크와 항상 동기화된다.

ㅁ 추가 학습 내용

1. DQN의 주요 한계점과 확장 알고리즘:
– DQN의 주요 한계점은 학습 과정에서 Q-값을 과대평가하는 경향이 있다는 점입니다. 이는 Q-값을 업데이트할 때 동일한 네트워크를 사용하여 행동을 선택하고 해당 행동의 Q-값을 평가하기 때문입니다.
– Double DQN은 Q-값의 과대평가 문제를 해결하기 위해 제안되었습니다. Double DQN은 행동을 선택하는 네트워크와 Q-값을 평가하는 네트워크를 분리하여 과대평가를 줄입니다. 구체적으로, 행동 선택에는 현재 네트워크를 사용하고, 평가에는 타깃 네트워크를 사용합니다.
– Dueling DQN은 Q-값을 더 효율적으로 학습하기 위해 상태 가치 함수(V)와 행동 가치를 나타내는 이득 함수(A)를 분리하여 계산합니다. 이를 통해 특정 행동에 대한 가치가 명확하지 않은 경우에도 상태의 전반적인 가치를 학습할 수 있습니다.

2. 강화학습의 탐험과 활용의 균형을 위한 탐험 전략:
– ε-greedy는 탐험과 활용의 균형을 맞추기 위한 간단한 전략입니다. ε의 확률로 무작위 행동(탐험)을 선택하고, 1-ε의 확률로 현재 최적의 행동(활용)을 선택합니다. ε는 학습 초기에 높게 설정하여 탐험을 많이 하도록 하고, 학습이 진행됨에 따라 점차 줄이는 방식으로 활용됩니다.
– UCB(Upper Confidence Bound)는 행동의 평균 보상뿐만 아니라 행동의 불확실성도 고려하여 행동을 선택하는 전략입니다. 이는 탐험이 덜 이루어진 행동에 대해 더 높은 보상을 기대하도록 하여 자연스럽게 탐험을 유도합니다. UCB는 주로 다중 슬롯머신 문제에서 사용되지만, 강화학습에서도 활용될 수 있습니다.

3. DQN의 실제 응용 사례:
– 로봇 제어: DQN은 로봇의 움직임을 최적화하거나 장애물을 회피하는 데 사용될 수 있습니다. 예를 들어, 로봇 팔이 특정 작업을 수행하기 위해 최적의 경로를 학습하거나, 이동 로봇이 새로운 환경에서 자율적으로 탐색할 수 있도록 학습하는 데 활용됩니다.
– 자율주행: DQN은 자율주행 차량의 경로 계획, 충돌 회피, 신호등 인식 등 다양한 의사결정 문제를 해결하는 데 적용될 수 있습니다. 시뮬레이션 환경에서 학습한 후 실제 차량에 적용하여 안전성을 검증하는 방식으로 사용됩니다.
– 게임 외에도 물류 최적화, 에너지 관리, 금융 거래 등 다양한 산업 분야에서 DQN을 활용하여 복잡한 의사결정 문제를 해결하는 사례가 있습니다.