ㅁ RLOps 알고리즘/최적화

ㅇ 정의:
강화학습 환경에서 에이전트가 경험한 데이터를 저장하고 재사용하여 학습 효율을 높이는 기법.

ㅇ 특징:
– 샘플 효율성을 개선하여 학습 속도를 향상시킴.
– 과거 경험을 재사용하여 데이터의 다양성을 확보.
– 데이터 분포의 균형을 유지하여 편향 문제를 완화.

ㅇ 적합한 경우:
– 환경 상호작용이 제한적이거나 비용이 높은 경우.
– 학습 데이터가 희소하거나 불균형한 경우.

ㅇ 시험 함정:
– Experience Replay Buffer의 크기가 너무 작으면 데이터 다양성이 부족할 수 있음.
– 너무 큰 경우 메모리 사용량 과다로 성능 저하 가능.
– Buffer 내 샘플링 전략의 중요성을 간과할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 경험 재사용을 통해 데이터 효율성을 높이는 기법이다.
– X: 모든 강화학습 알고리즘에서 필수적으로 사용된다.

================================

1. Experience Replay Buffer

ㅇ 정의:
강화학습에서 에이전트가 환경과 상호작용하여 얻은 경험을 저장하고, 이를 무작위로 샘플링하여 학습에 활용하는 기법.

ㅇ 특징:
– 과거 데이터를 재사용하여 학습 안정성을 높임.
– 샘플링 과정에서 데이터의 순서성을 제거하여 독립성을 확보.
– 학습 초기에는 효과가 제한적일 수 있음.

ㅇ 적합한 경우:
– 비선형 함수 근사기를 사용하는 경우.
– 데이터의 순서성이 학습 성능에 악영향을 미칠 수 있는 경우.

ㅇ 시험 함정:
– Buffer가 너무 오래된 데이터를 포함하면 학습 성능이 저하될 수 있음.
– 샘플링 방식이 데이터의 중요도를 반영하지 않으면 비효율적일 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 무작위 샘플링을 통해 데이터 독립성을 확보한다.
– X: 경험은 항상 최신 데이터만 저장된다.

ㅁ 추가 학습 내용

1. 샘플링 전략
– 우선순위 샘플링: 에이전트가 학습에 중요한 경험(예: TD 오차가 큰 샘플)을 더 자주 선택할 수 있도록 하는 방법. 이로 인해 중요한 경험이 학습에 더 큰 영향을 미칠 수 있음.
– 균일 샘플링: 모든 경험을 동일한 확률로 선택하는 방법. 계산이 단순하지만 중요한 경험을 놓칠 가능성이 있음.
– 샘플링 전략의 비교: 우선순위 샘플링은 학습 속도를 높일 수 있으나, 특정 경험에 과도하게 의존할 위험이 있음. 균일 샘플링은 경험의 다양성을 유지하지만 학습 효율이 낮을 수 있음.

2. 데이터 삭제 정책
– FIFO(First In, First Out): 가장 오래된 데이터를 먼저 삭제하는 방법. 메모리를 효율적으로 관리하지만 오래된 경험이 유용할 경우 손실될 수 있음.
– LRU(Least Recently Used): 최근에 사용되지 않은 데이터를 삭제하는 방법. 자주 사용되는 데이터는 유지되지만 오래된 데이터가 계속해서 유지될 가능성이 있음.
– 삭제 정책의 비교: FIFO는 간단하고 구현이 쉬우며, LRU는 더 복잡하지만 중요한 데이터를 더 오래 유지할 수 있음. 학습 환경에 따라 적합한 정책을 선택해야 함.

3. Replay Buffer 크기의 영향
– 너무 작은 크기: 경험의 다양성이 부족하여 학습이 불안정하거나 비효율적일 수 있음.
– 너무 큰 크기: 오래된 경험이 포함될 수 있어 학습의 최신성을 잃을 가능성이 있음. 또한 메모리와 계산 자원 소모가 커질 수 있음.
– 적절한 크기 선택: 에이전트의 학습 단계와 환경의 복잡성을 고려하여 적절한 크기를 설정하는 것이 중요함.

4. Replay Buffer 크기와 학습 단계 간의 관계
– 초기 학습 단계: 에이전트가 환경을 탐색하며 다양한 경험을 수집하는 시기. 이 단계에서는 Replay Buffer의 크기를 적절히 설정하여 충분히 다양한 경험을 저장하는 것이 중요.
– 후기 학습 단계: 에이전트가 환경에 대한 이해를 깊게 하고 최적의 행동을 학습하는 시기. 이 단계에서는 오래된 경험보다 최근의 경험에 더 중점을 두는 것이 유리할 수 있음.
– 학습 단계에 따라 Replay Buffer의 크기와 삭제 정책을 동적으로 조정할 필요성이 있을 수 있음.