ㅁ 변화와 유형

ㅇ 정의:
스스로 자신의 출력을 점검하고 수정하는 과정을 반복하여 성능을 향상시키는 에이전트 AI 기법. 초기 출력 후 피드백 루프를 통해 오류를 줄이고 품질을 개선함.

ㅇ 특징:
– 출력물에 대한 자기 평가(Self-critique)와 수정(Self-revision) 절차 포함
– 외부 피드백 없이도 내부 메커니즘으로 개선 가능
– 반복 횟수와 평가 기준 설계가 성능에 큰 영향

ㅇ 적합한 경우:
– 정답이 명확하나 초기 생성 결과의 품질 편차가 큰 경우
– 창의적 생성보다는 정확성과 완성도가 중요한 과제
– 제한된 외부 데이터나 피드백 환경에서 모델 품질을 높이고자 할 때

ㅇ 시험 함정:
– Self-Refine은 반드시 외부 교정 데이터가 필요한 것으로 오해할 수 있음 (X)
– 단순 반복 생성과는 다름, 평가-수정 구조가 포함되어야 함 (O)
– 모든 작업에서 반복 횟수가 많을수록 무조건 성능이 향상되는 것은 아님 (X)

ㅇ 시험 대비 “패턴 보기” 예시:
– “Self-Refine은 자기 평가와 자기 수정을 포함한 반복적 개선 기법이다.” (O)
– “Self-Refine은 반드시 사람의 피드백을 받아야 작동한다.” (X)
– “Self-Refine은 초기 출력만으로 결과를 확정하는 방식이다.” (X)
– “Self-Refine은 반복 과정에서 평가 기준이 중요하다.” (O)

ㅁ 추가 학습 내용

Self-Refine은 LLM 기반 에이전트 연구에서 주목받는 기법으로, CoT(Chain-of-Thought)와 결합하여 추론 정확도를 향상시키는 사례가 많다.
Self-Refine과 RLHF(Reinforcement Learning from Human Feedback)는 다음과 같이 구분된다.
– Self-Refine: 내부 루프 기반 개선 방식
– RLHF: 외부 인간 피드백을 통한 강화학습 방식

Self-Refine 구현 시 평가 모듈이 rule-based인지, 모델 기반인지에 따라 성능과 자원 소모가 달라진다.
실무에서는 반복 횟수와 평가 기준을 적절히 조정하여 오버피팅이나 불필요한 연산 낭비를 방지하는 것이 중요하다.