ㅁ 프롬프트 엔지니어링 ㅇ 정의: 프롬프트 엔지니어링은 대규모 언어 모델(LLM)과 같은 사전 학습된 모델에 대해 원하는 출력 결과를 얻기 위해 입력 문장(프롬프트)을 설계·조정하는 기법이다. ㅇ 특징: – 모델의 파라미터를 직접 변경하지 않고 입력 문구를 최적화하여 성능을 개선 – 소량의 데이터로도 특정 태스크에 맞춘 성능 향상이 가능 – 자연어 기반 지시문, 예시, 제약 조건 등을 포함하여
ㅁ 최적화 기법 ㅇ 정의: Weight Decay는 신경망 학습 시 가중치 값이 과도하게 커지는 것을 방지하기 위해 가중치에 패널티를 부여하는 정규화 기법으로, L2 정규화와 유사하게 손실 함수에 가중치 제곱합을 추가하여 모델의 복잡도를 줄인다. ㅇ 특징: – 손실 함수에 λ * ||w||² 항을 추가하여 가중치의 크기를 줄이는 방향으로 학습 – 과적합 방지에 효과적 – 학습률과 함께
ㅁ 최적화 기법 ㅇ 정의: 경사하강법(Gradient Descent)의 일종으로, 전체 데이터가 아닌 무작위로 선택된 일부 데이터(미니배치 또는 샘플)만을 사용하여 매개변수를 갱신하는 알고리즘. ㅇ 특징: – 계산 속도가 빠르고 메모리 사용량이 적음. – 데이터가 클수록 효율적. – 매개변수 갱신 시 노이즈가 포함되어 지역 최적점에서 탈출 가능. – 학습 곡선이 불안정할 수 있음. ㅇ 적합한 경우: – 대규모
ㅁ 최적화 기법 1. RMSProp ㅇ 정의: – RMSProp(Root Mean Square Propagation)은 학습률을 각 파라미터마다 적응적으로 조정하는 최적화 알고리즘으로, 기울기 제곱의 이동 평균을 사용하여 학습률을 스케일링한다. ㅇ 특징: – Adagrad의 학습률 감소 문제를 완화하기 위해 고안됨. – 최근 기울기 제곱의 지수이동평균(EMA)을 사용하여 오래된 기울기 정보의 영향력을 줄임. – 학습률이 변동성이 큰 데이터에서도 안정적으로 수렴하도록 도움.
ㅁ 최적화 기법 1. Adam ㅇ 정의: Adaptive Moment Estimation의 약자로, 확률적 경사 하강법(SGD)에 1차 모멘트(평균)와 2차 모멘트(분산)를 모두 고려하여 학습률을 조정하는 최적화 알고리즘. ㅇ 특징: – 모멘텀과 RMSProp의 장점을 결합하여 빠른 수렴과 안정성을 동시에 확보. – 각 파라미터별로 개별 학습률을 적용. – 초기 학습 단계에서 빠르게 수렴하나, 최종 수렴값이 최적값과 약간 차이날 수 있음.
ㅁ 불확실성 추정 ㅇ 정의: 모델이 예측한 확률 값과 실제 정답 간의 일치 정도를 측정하여, 예측의 신뢰도를 평가하는 기법. ㅇ 특징: – 예측 확률이 실제 발생 빈도와 얼마나 일치하는지 확인. – 분류 모델에서 softmax 출력값이 과도하게 자신감 있는 경우(overconfident) 보정 필요. – Reliability diagram, Expected Calibration Error(ECE) 등의 지표 사용. ㅇ 적합한 경우: – 의료
ㅁ 불확실성 추정 ㅇ 정의: 모델이 예측한 결과에 대해 신뢰할 수 있는 정도를 수치로 표현하는 기법. 예측값뿐 아니라 그 예측이 얼마나 불확실한지를 측정하여 의사결정에 반영. ㅇ 특징: – 데이터 분포 외(out-of-distribution) 샘플 탐지 가능 – 예측값의 분산, 확률 분포 등을 활용 – 모델의 안정성과 신뢰성 향상에 기여 ㅇ 적합한 경우: – 의료, 금융 등 오판
ㅁ 불확실성 추정 ㅇ 정의: 모델이 예측한 결과에 대해 신뢰도를 수치로 표현하는 기법으로, 예측값의 변동성이나 불확실성을 정량화하여 의사결정에 활용함. ㅇ 특징: – 단순 정확도 지표 외에 예측의 신뢰도를 제공 – 의료, 자율주행 등 오판이 치명적인 분야에서 중요 – 불확실성은 데이터 불확실성(aleatoric)과 모델 불확실성(epistemic)으로 구분 가능 ㅇ 적합한 경우: – 위험 기반 의사결정이 필요한 경우 –
ㅁ 불확실성 추정 ㅇ 정의: 모델이 예측한 결과에 대해 신뢰도를 수치로 표현하는 기법으로, 예측값의 분포나 변동성을 통해 불확실성을 정량화함. ㅇ 특징: – 단순 확률 출력이 아니라 예측 분포 전체를 모델링함. – 데이터 부족, 노이즈, 모델 구조 한계 등으로 인한 예측 불확실성을 구분 가능. – Bayesian 접근법, 앙상블, 드롭아웃 기반 추정 등 다양한 방법 존재. ㅇ
ㅁ 책임 있는 AI ㅇ 정의: 인공지능 모델의 개발, 배포, 운영 전 과정에서 투명성, 공정성, 안전성, 규제 준수 등을 보장하기 위한 관리 체계. ㅇ 특징: – 모델의 생애주기 전반(Lifecycle)에 걸친 관리 절차 포함 – 데이터, 알고리즘, 결과 해석 가능성, 의사결정 근거 기록 – 규제 기관 및 이해관계자 요구사항 반영 – 리스크 평가 및 완화 계획