[카테고리:] AI 이론

ㅁ 사전학습/언어모델 기법/토큰/Task ㅇ 정의: 사전 학습된 언어 모델에서 특정 토큰을 마스킹하고, 모델이 이를 예측하도록 학습시키는 기법. ㅇ 특징: – 전체 문맥을 고려하여 마스킹된 단어를 예측. – 대규모 데이터셋에서 효과적으로 학습 가능. – 문맥 이해와 언어 생성 능력을 동시에 향상시킴. ㅇ 적합한 경우: – 자연어 처리(NLP) 작업에서 문맥 이해가 중요한 경우. – 문장 내 단어의

ㅁ 사전학습/언어모델 기법/토큰/Task ㅇ 정의: 사전학습된 언어모델에서 문장 간 관계를 학습하기 위해 사용되는 Task로, 두 문장이 연속적인지 여부를 판단하는 방식. ㅇ 특징: – BERT 모델에서 대표적으로 사용된 기법. – 문장 간의 논리적 연결성을 학습하여 문맥 이해도를 향상. – 예/아니오로 분류하는 이진 분류 문제로 구성. ㅇ 적합한 경우: – 문장 간 관계를 파악해야 하는 자연어 처리

ㅁ 사전학습/언어모델 기법/토큰/Task 1. Text Infilling ㅇ 정의: Text Infilling은 주어진 문장에서 빈칸이나 누락된 단어를 채우는 작업으로, 언어 모델이 문맥을 이해하여 적절한 단어를 예측하도록 훈련되는 기법이다. ㅇ 특징: 문장의 전체적인 흐름과 문맥을 고려하여 누락된 부분을 채우며, 데이터의 불완전성을 처리하는 데 유용하다. 이 기법은 생성형 언어 모델을 훈련하는 데 주로 사용된다. ㅇ 적합한 경우: 문장 복원,

ㅁ 사전학습/언어모델 기법/토큰/Task ㅇ 정의: – 사전학습 과정에서 특정 문서나 데이터의 구조를 변경하여 모델의 일반화 능력을 향상시키는 기법. ㅇ 특징: – 데이터 증강의 일종으로, 문서의 순서를 재배치하거나 회전시켜 새로운 입력 데이터를 생성. – 모델이 다양한 형태의 데이터에 적응할 수 있도록 돕는 역할을 함. ㅇ 적합한 경우: – 데이터가 부족하거나 특정 문서 구조에 지나치게 의존하는 모델의

ㅁ PEFT/Fine-tuning ㅇ 정의: – PEFT(Fine-tuning)는 사전 학습된 모델을 특정 작업에 맞게 미세 조정하는 방법으로, 기존 모델의 가중치를 고정하거나 일부만 조정하면서 새로운 작업에 적합하도록 학습하는 기술을 의미한다. ㅇ 특징: – 기존 모델의 성능을 유지하면서 특정 도메인에 적합한 결과를 얻을 수 있다. – 학습 데이터가 제한적일 때도 효과적이다. – 계산 비용과 메모리 사용량을 줄이는 데 유리하다.

ㅁ PEFT/Fine-tuning ㅇ 정의: – PEFT(Fine-tuning)는 사전 학습된 모델을 특정 작업에 맞게 조정하는 방법으로, 모델의 일부 또는 전체를 업데이트하여 새로운 데이터에 적응시키는 과정이다. ㅇ 특징: – 기존 모델의 성능을 유지하면서 특정 작업에 대한 성능을 향상시킬 수 있다. – 데이터 효율적이며, 학습 속도가 빠르다. – 추가적인 하드웨어 자원이 적게 요구된다. ㅇ 적합한 경우: – 사전 학습된

ㅁ PEFT/Fine-tuning ㅇ 정의: ㅇ 특징: ㅇ 적합한 경우: ㅇ 시험 함정: ㅇ 시험 대비 “패턴 보기” 예시: ================================ 1. Prefix Tuning ㅇ 정의: Prefix Tuning은 사전 학습된 언어 모델(Pre-trained Language Model)의 가중치를 고정한 채, 입력 데이터의 prefix(접두어)에 해당하는 작은 파라미터 집합만을 학습시키는 방법이다. 이를 통해 전체 모델을 재학습하지 않고도 특정 태스크에 맞는 성능 개선이

ㅁ PEFT/Fine-tuning ㅇ 정의: PEFT(Fine-tuning)란 사전 학습된 모델을 특정 작업에 맞게 조정하는 기법으로, 모델의 일부 또는 전체를 미세 조정하여 성능을 최적화하는 것을 말한다. ㅇ 특징: – 기존 모델의 가중치를 재사용하여 학습 비용을 절감할 수 있음. – 데이터가 적은 환경에서도 높은 성능을 발휘할 수 있음. ㅇ 적합한 경우: – 특정 도메인에 특화된 모델이 필요한 경우. –

ㅁ PEFT/Fine-tuning ㅇ 정의: – PEFT(Fine-tuning)란 기존의 대형 모델에서 전체 가중치를 업데이트하지 않고, 일부 파라미터만 조정하여 효율적으로 학습을 수행하는 기법을 의미한다. ㅇ 특징: – 전체 모델을 업데이트하지 않아도 되므로 메모리와 계산 자원이 절약된다. – 기존 모델의 성능을 최대한 유지하면서 특정 작업에 맞는 최적화를 수행할 수 있다. – Fine-tuning 과정에서 데이터가 적어도 효과적으로 작동할 수 있다.

ㅁ PEFT/Fine-tuning ㅇ 정의: – PEFT(Fine-tuning)란 사전 학습된 모델을 특정 작업에 맞게 조정하는 기법으로, 모델의 일부 파라미터만 조정하거나 추가적인 파라미터를 최소한으로 추가하여 효율성을 높이는 방법을 포함한다. ㅇ 특징: – 기존 모델의 구조를 최대한 유지하면서도 특정 작업에 적합한 성능을 발휘할 수 있다. – 데이터와 연산 자원을 절약할 수 있는 설계가 가능하다. ㅇ 적합한 경우: – 대규모