ㅁ 기법 및 라이브러리 ㅇ 정의: 대규모 AI 모델 학습 시 하나의 장비로 처리하기 어려운 연산을 여러 장비나 GPU에 분산하여 처리하는 방법과 이를 지원하는 라이브러리. ㅇ 특징: – 학습 속도 향상, 메모리 한계 극복 – 통신 오버헤드와 동기화 전략이 성능에 큰 영향을 미침 – 데이터 병렬, 모델 병렬, 샤딩 등 다양한 방식 존재 ㅇ 적합한
ㅁ 도구및 프레임워크 ㅇ 정의: AI 모델 개발 시 학습, 실험, 배포를 효율적으로 지원하는 라이브러리와 툴셋. ㅇ 특징: 반복적인 코드 최소화, 분산 학습 지원, 설정 관리, 메모리 최적화, 대규모 모델 학습 지원 등 다양한 기능 제공. ㅇ 적합한 경우: 대규모 실험 관리, 복잡한 하이퍼파라미터 설정, 다중 GPU/TPU 환경 학습, 메모리 효율화가 필요한 경우. ㅇ 시험
ㅁ 도구 및 방법 ㅇ 정의: 데이터 버전관리를 위해 사용하는 다양한 도구와 접근 방법을 의미하며, 데이터셋, 모델, 실험 결과 등을 추적하고 재현성을 보장하기 위해 활용됨. ㅇ 특징: – 코드 버전관리와 유사하지만, 대용량 데이터와 모델 파일을 효율적으로 관리함. – 협업 환경에서 데이터 변경 이력을 추적 가능. – 재현 가능한 ML 파이프라인 구축에 필수적. ㅇ 적합한 경우:
ㅁ 워크플로우 관리 ㅇ 정의: 데이터 수집, 처리, 적재 등의 전처리 과정을 자동화하고 순서를 제어하는 시스템을 관리하는 활동. ㅇ 특징: – DAG(Directed Acyclic Graph) 기반으로 작업 순서 정의 – 스케줄링, 모니터링, 재시도 로직 제공 – 다양한 데이터 소스 및 처리 엔진과 연동 가능 ㅇ 적합한 경우: – 반복적이고 의존성이 있는 데이터 처리 작업이 많은 경우
ㅁ AI 윤리 ㅇ 정의: 인공지능 기술의 개발, 배포, 활용 과정에서 인간의 가치와 사회적 책임을 고려하여 부작용과 위험을 최소화하는 원칙과 실천 방법. ㅇ 특징: – 기술적 성능뿐만 아니라 사회적 영향과 가치 판단을 포함 – 법적 규제, 산업 표준, 사회적 합의가 복합적으로 작용 – 지속적인 모니터링과 피드백 필요 ㅇ 적합한 경우: – AI 시스템이 사회 전반에
ㅁ 프로젝트와 조직 ㅇ 정의: 인공지능(AI) 및 머신러닝(ML) 프로젝트를 효율적으로 수행하기 위해 팀 구성, 역할 분담, 의사결정 구조, 협업 방식 등을 체계적으로 설계하고 운영하는 것. ㅇ 특징: – 기술, 데이터, 비즈니스 도메인 전문가가 함께 협력 – 프로젝트 특성에 맞춘 유연한 조직 구조 필요 – 커뮤니케이션과 문서화가 중요 ㅇ 적합한 경우: – 복잡한 AI 프로젝트를 여러
ㅁ 대규모 모델 활용 ㅇ 정의: 사전 학습된 초대규모 AI 모델을 다양한 다운스트림 작업에 적용하거나 커스터마이징하여 활용하는 방법. ㅇ 특징: – 대량의 데이터와 연산을 통해 사전 학습됨 – 다양한 태스크에 범용적으로 적용 가능 – 추가 학습 없이도 제로샷/소샷 학습 가능 ㅇ 적합한 경우: – 데이터 수집이 어렵거나 적은 경우 – 빠른 프로토타이핑이 필요한 경우 ㅇ
ㅁ 시스템 구축 1. 컨티뉴얼 러닝 ㅇ 정의: – 데이터가 시간에 따라 순차적으로 도착할 때, 과거 학습 내용을 유지하면서 새로운 데이터를 반영해 모델을 지속적으로 업데이트하는 학습 방식. ㅇ 특징: – 과거 데이터 재학습 없이 새로운 데이터만으로 모델 갱신 가능 – 데이터 분포 변화(Concept Drift)에 대응 – 메모리 및 연산 효율성 중요 ㅇ 적합한 경우: –
ㅁ 실시간 로그 및 피드백 ㅇ 정의: 실시간으로 시스템 사용 중 발생하는 로그 데이터와 사용자 피드백을 수집·분석하여 모델 성능과 사용자 경험을 지속적으로 개선하는 프로세스. ㅇ 특징: – 데이터 수집과 분석이 실시간 또는 준실시간으로 이루어짐. – 사용자 행동 데이터와 시스템 내부 로그를 함께 활용. – 모델 운영 환경에서 직접 성능 변화를 감지 가능. ㅇ 적합한 경우:
ㅁ 웹 배포 및 서버리스 1. 웹 UI ㅇ 정의: 웹 브라우저를 통해 AI 모델의 결과를 시각적으로 제공하고, 사용자가 직접 입력·설정을 할 수 있는 인터페이스. ㅇ 특징: – HTML/CSS/JavaScript 기반으로 구현 – 실시간 상호작용 가능 – 모델 호출은 백엔드 API를 통해 수행 ㅇ 적합한 경우: – 사용자가 직접 결과를 확인하고 조작해야 하는 경우 – 대시보드,