ㅁ 최신 알고리즘

ㅇ 정의:
– Sparse Models는 모델의 파라미터나 특징 벡터 중 많은 부분이 0이거나 거의 0인 상태를 유지하도록 설계된 기계학습 모델을 의미함.
– 연산 효율성, 메모리 절감, 해석 가능성을 높이기 위해 사용됨.

ㅇ 특징:
– 주요 가중치만 유지하고 불필요한 파라미터를 제거하여 모델 크기를 줄임.
– L1 정규화(Lasso)나 프루닝(Pruning) 기법을 통해 희소성을 유도.
– 고차원 데이터에서도 과적합 방지에 유리.
– 연산량 감소로 실시간 처리에 적합.

ㅇ 적합한 경우:
– 메모리와 계산 자원이 제한된 환경(모바일, IoT 디바이스 등).
– 해석 가능성을 높여야 하는 경우(특징 선택).
– 고차원 희소 데이터(텍스트, 추천 시스템 등) 처리.

ㅇ 시험 함정:
– Sparse Models가 항상 정확도를 높이는 것은 아님 → 데이터 특성에 따라 성능 저하 가능.
– 희소성은 L1 정규화만으로 달성된다고 단정하면 오답.
– 희소성은 모델 크기 축소와 동일하다고 혼동하면 안 됨.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Sparse Models는 불필요한 파라미터를 줄여 연산 효율성을 높인다.”
– O: “L1 정규화는 희소성을 유도하는 대표적인 방법이다.”
– X: “Sparse Models는 항상 모델의 정확도를 향상시킨다.”
– X: “희소성은 곧 모델의 파라미터 수와 동일하다.”

ㅁ 추가 학습 내용

Sparse Models 학습 시 추가 학습 정리

구현 기법: L1 정규화 외에도 Elastic Net, Dropout, Variational Dropout, Magnitude-based Pruning 등이 사용된다.

하드웨어 최적화: 희소 행렬 연산을 가속하기 위해 CUDA Sparse, MKL Sparse 등 전용 라이브러리와 연계하여 처리 속도를 높인다.

실제 응용 사례: 자연어 처리에서는 단어 벡터 희소화, 컴퓨터 비전에서는 경량 CNN, 추천 시스템에서는 사용자-아이템 매트릭스의 희소성을 활용한다.

한계점: 지나친 희소화는 정보 손실을 유발하여 모델 성능 저하로 이어질 수 있다.

시험 대비 포인트: 희소성과 차원 축소(PCA 등)는 목적과 방식이 다르다는 점을 구분해야 하며, 희소성은 학습 전처리 단계와 학습 중 모두 적용 가능하다는 점을 이해해야 한다.