ㅁ 강화학습 응용

ㅇ 정의:
– 강화학습을 실제 산업, 게임, 로봇 제어 등 다양한 분야에 적용하여 성능을 극대화하는 기술 영역.

ㅇ 특징:
– 시뮬레이션 환경에서의 대규모 학습 가능
– 보상 함수를 통해 목표 행동을 학습
– 고난도 전략 및 장기 의사결정 문제 해결에 강점

ㅇ 적합한 경우:
– 명확한 목표와 보상 구조가 정의된 문제
– 시뮬레이션을 통한 반복 학습이 가능한 환경

ㅇ 시험 함정:
– 지도학습, 비지도학습과의 차이를 혼동
– 보상 함수 설계의 중요성을 간과

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 강화학습은 보상 신호를 통해 정책을 학습한다.
– X: 강화학습은 라벨이 있는 데이터셋을 통해 직접 정답을 학습한다.

================================

1. DeepMind AlphaStar

ㅇ 정의:
– 구글 딥마인드가 개발한 실시간 전략 게임 스타크래프트 II에서 인간 프로게이머 수준을 달성한 강화학습 기반 AI 에이전트.

ㅇ 특징:
– 심층신경망과 강화학습, 지도학습을 혼합한 학습 방식
– 다수의 에이전트(Self-Play) 기반 학습
– 장기 전략과 단기 전술을 동시에 최적화
– 대규모 분산 학습 인프라 활용

ㅇ 적합한 경우:
– 복잡한 상태 공간과 장기 계획이 필요한 전략 게임
– 실시간 의사결정과 다중 유닛 제어가 필요한 환경

ㅇ 시험 함정:
– 단일 알고리즘만으로 학습했다고 오해
– 단순한 게임 AI와 동일시하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
– O: AlphaStar는 자가 대전(Self-Play)과 지도학습을 결합하여 학습했다.
– X: AlphaStar는 오직 지도학습만으로 프로게이머를 이겼다.

ㅁ 추가 학습 내용

AlphaStar 학습 과정의 핵심 기법
1. 멀티에이전트 학습: 여러 개의 에이전트를 동시에 학습시켜 서로 경쟁하거나 협력하게 하여 전략 다양성과 성능을 높이는 방법.
2. 커리큘럼 학습: 난이도를 점진적으로 높이는 학습 방식으로, 초기에는 단순한 상황에서 학습하고 점차 복잡한 상황으로 확장하여 안정적인 성능 향상을 유도.
3. 인간 리플레이 데이터 활용: 실제 인간 플레이어의 경기 데이터를 학습 초기 단계에 활용하여 기본 전략과 전술을 빠르게 습득하게 함.

AlphaStar의 의의
– 단순한 게임 특화 AI가 아니라 복잡한 실시간 의사결정 문제 해결의 대표 사례.
– 강화학습이 실제 환경에 적용될 때의 한계도 보여줌.
• 막대한 계산 자원 필요
• 시뮬레이션 환경 의존성
• 학습한 전략의 일반화 어려움

AlphaGo와 AlphaStar 비교
– 게임 형태: AlphaGo는 바둑(턴 기반), AlphaStar는 스타크래프트 II(RTS, 실시간).
– 상태공간: 바둑은 완전정보 게임으로 상태공간이 크지만 명확함, RTS 게임은 불완전정보와 매우 방대한 상태·행동 공간을 가짐.
– 의사결정 방식: AlphaGo는 턴마다 깊은 탐색 가능, AlphaStar는 실시간으로 제한된 시간 안에 의사결정을 내려야 함.