ㅁ 강화학습 응용

1. OpenAI Five

ㅇ 정의:
OpenAI에서 개발한 Dota 2 게임 플레이를 위한 다중 에이전트 강화학습 AI로, 5명의 영웅을 동시에 제어하며 인간 프로게이머 수준의 전략과 전술을 수행하는 시스템.

ㅇ 특징:
– 수천 개의 병렬 환경에서 장기간 자가 대전을 통해 학습.
– 장기 의사결정, 협동 전략, 불확실성 하의 최적 행동 선택 능력을 보유.
– 게임 내 복잡한 상태공간과 행동공간을 실시간으로 처리.
– PPO(Proximal Policy Optimization) 알고리즘 변형을 사용.

ㅇ 적합한 경우:
– 복잡한 다중 에이전트 환경에서의 전략 학습.
– 실시간 의사결정과 장기 보상 최적화가 필요한 문제.
– 팀워크와 협동이 중요한 시뮬레이션 및 게임 AI.

ㅇ 시험 함정:
– OpenAI Five는 단일 에이전트 강화학습이 아닌 다중 에이전트 환경임.
– 지도학습이나 비지도학습과 혼동하는 경우.
– Dota 2의 특정 전략을 하드코딩한 것이 아니라 자율 학습을 통해 획득.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “OpenAI Five는 Dota 2 게임에서 다중 에이전트 강화학습을 적용한 사례이다.”
X: “OpenAI Five는 사전 정의된 전략을 하드코딩하여 동작한다.”
O: “OpenAI Five는 PPO 기반 알고리즘을 변형하여 사용하였다.”
X: “OpenAI Five는 지도학습으로만 학습되었다.”

ㅁ 추가 학습 내용

OpenAI Five는 2018~2019년 사이 프로게이머와의 경기에서 승리하여 강화학습의 확장 가능성을 입증한 사례이다. 학습 환경은 클라우드 기반 수천 개 GPU/TPU를 활용한 병렬 시뮬레이션이었으며, 인간 데이터를 초기화에 사용하지 않고 전적으로 자가 플레이(self-play)로 학습했다. 성능은 게임 규칙 변경이나 패치에 민감하게 반응하는 특징이 있다. 시험에서는 AlphaGo, AlphaStar, OpenAI Five를 비교하는 문제가 출제될 수 있으므로 각 사례의 환경 특성과 사용된 알고리즘의 차이를 구분하는 연습이 필요하다.