ㅁ 강화학습 응용

ㅇ 정의:
강화학습 응용은 환경과의 상호작용을 통해 보상 신호를 최대화하는 방향으로 정책을 학습하고, 이를 실제 문제 해결에 적용하는 기술 분야를 의미한다.

ㅇ 특징:
– 시뮬레이션이나 실제 환경에서 시행착오를 통해 학습
– 명시적인 지도 데이터 없이도 최적 정책 도출 가능
– 탐험(exploration)과 활용(exploitation) 간 균형 필요

ㅇ 적합한 경우:
– 명확한 보상 구조가 존재하는 게임, 로봇 제어, 자율주행 등
– 환경 모델링이 가능하거나 시뮬레이션 환경이 구축된 경우

ㅇ 시험 함정:
– 지도학습/비지도학습과 혼동
– 보상 신호가 없는 문제에 강화학습 적용 가능하다고 오인

ㅇ 시험 대비 “패턴 보기” 예시:
O: “환경과 상호작용하며 보상 신호를 기반으로 정책을 학습한다.”
X: “강화학습은 반드시 라벨이 있는 데이터셋이 필요하다.”

================================

1. AlphaZero

ㅇ 정의:
AlphaZero는 구글 딥마인드가 개발한 범용 게임 플레이 인공지능으로, 체스, 장기, 바둑 등 규칙 기반 보드게임에서 자가 대국(self-play)과 강화학습, 심층신경망을 결합하여 학습하는 알고리즘이다.

ㅇ 특징:
– 지도학습 없이 자가 대국만으로 학습
– 몬테카를로 트리 탐색(MCTS)과 심층신경망 결합
– 게임 규칙 외에는 사전 지식 없이 범용적으로 적용 가능
– 정책망과 가치망을 동시에 학습

ㅇ 적합한 경우:
– 규칙이 명확하고 상태와 행동 공간이 정의된 게임
– 시뮬레이션을 통해 무제한 대국이 가능한 환경

ㅇ 시험 함정:
– AlphaGo와 AlphaZero의 차이 혼동 (AlphaGo는 인간 기보 데이터로 초기 학습)
– MCTS를 단독으로 사용하는 것으로 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O: “AlphaZero는 자가 대국과 MCTS를 이용하여 지도 데이터 없이 학습한다.”
X: “AlphaZero는 인간 전문가의 기보 데이터로 사전 학습을 수행한다.”

ㅁ 추가 학습 내용

AlphaZero 학습 과정은 다음과 같이 단계별로 이해해야 한다.
1. 초기 무작위 정책으로 시작한다.
2. 자가 대국(self-play)을 통해 데이터를 생성한다.
3. MCTS(몬테카를로 트리 탐색)를 사용하여 탐색을 수행한다.
4. 탐색 결과를 바탕으로 정책망과 가치망을 업데이트한다.

AlphaZero는 범용 강화학습 구조를 갖추었지만, 완전한 범용 인공지능은 아니다.

MCTS의 동작 원리는 다음 네 단계로 구성된다.
– Selection: 현재까지의 탐색 트리를 따라 유망한 노드를 선택한다.
– Expansion: 선택된 노드에서 가능한 다음 수를 확장한다.
– Simulation: 확장된 노드에서 시뮬레이션을 진행하여 결과를 얻는다.
– Backpropagation: 시뮬레이션 결과를 경로를 따라 역전파하여 노드의 값을 갱신한다.

정책망은 다음 수의 확률 분포를 예측하고, 가치망은 현재 상태에서의 승리 확률을 예측한다.

AlphaZero, AlphaGo Zero, AlphaGo의 차이점은 표로 정리해 비교하면 혼동을 줄일 수 있다. 예를 들어, AlphaZero는 장르 불문(바둑, 체스, 쇼기 등) 범용 구조를 사용하고, AlphaGo Zero는 바둑 전용이지만 인간 기보 없이 자가 대국만 사용하며, AlphaGo는 인간 기보 학습과 정책망·가치망을 결합한 구조를 사용한다.