ㅁ 멀티에이전트 협업 ㅇ 정의: 여러 개의 AI 에이전트가 서로 다른 역할을 수행하며 공동의 목표를 달성하도록 협력하는 구조에서, 각 에이전트의 작업을 조율하고 전체 프로세스 흐름을 관리하는 방식. ㅇ 특징: – 에이전트 간 메시지 전달 및 작업 순서 제어 – 전체 목표를 세부 작업으로 분해하여 적절한 에이전트에 할당 – 병렬 처리와 순차 처리를 혼합하여 효율 극대화
ㅁ 멀티에이전트 협업 ㅇ 정의: 여러 개의 AI 에이전트가 특정 목표를 달성하기 위해 역할을 분담하고 상호작용하며 문제를 해결하는 방식. AI Crew는 이러한 멀티에이전트 협업의 한 형태로, 각 에이전트가 전문적인 기능을 수행하며 팀처럼 협력. ㅇ 특징: – 각 에이전트는 독립적인 의사결정 능력을 가짐 – 역할과 책임이 명확하게 구분됨 – 상호 간의 정보 공유 및 의사소통 프로토콜
ㅁ 검색/추천 ㅇ 정의: 벡터 기반 검색과 전통적인 키워드 기반 검색을 결합하여 더 정확하고 유연한 검색 결과를 제공하는 데이터베이스 구조. ㅇ 특징: – 벡터 임베딩을 활용한 의미 기반 검색과 BM25, TF-IDF 등 키워드 매칭을 함께 사용. – 두 검색 결과를 가중치 기반으로 통합하거나 순차적으로 필터링 가능. – 다국어, 동의어, 유사 의미어 검색에서 높은 성능 발휘.
ㅁ 검색/추천 ㅇ 정의: 희소 임베딩(Sparse Embedding)은 단어, 문서 등의 특징을 고차원 공간에 벡터로 표현하되 대부분의 차원이 0인 형태로 구성하는 방식이다. 전통적인 Bag-of-Words(BoW), TF-IDF 등이 대표적이며, 인덱싱과 검색 속도가 빠른 장점이 있다. ㅇ 특징: – 차원이 매우 크고 대부분의 값이 0으로 채워짐 – 역색인 구조를 활용한 빠른 검색 가능 – 의미적 유사도보다는 키워드 기반 매칭에
ㅁ 검색/추천 ㅇ 정의: 벡터 공간 상에서 문서나 아이템을 고차원 실수 벡터로 표현하여 유사도를 계산하는 방식으로, 단어 빈도 기반이 아닌 의미적 유사성을 반영하는 임베딩 기법. ㅇ 특징: – 단어, 문서, 이미지 등을 동일한 벡터 공간에 매핑하여 의미적 거리 계산 가능 – 코사인 유사도, 유클리드 거리 등을 활용한 근접 탐색 – 대규모 데이터셋에서도 의미 기반 검색
ㅁ 토큰 관리 ㅇ 정의: 모델이 한 번에 처리할 수 있는 입력 길이를 초과하는 긴 문서나 대화를 효율적으로 처리하기 위해 토큰을 분할·요약·압축하는 기법. ㅇ 특징: – 컨텍스트 윈도우 한계를 극복하기 위해 입력을 여러 청크(chunk)로 나누거나, 중요 정보를 추출하여 유지. – 메모리 사용량과 처리 속도에 직접적인 영향을 미침. – 긴 시퀀스에서도 의미 연결성을 유지하는 것이 핵심.
ㅁ 토큰 관리 ㅇ 정의: 토큰 관리란 대규모 언어 모델(LLM)에서 입력과 출력에 사용되는 토큰 수를 효율적으로 조절하여 컨텍스트 윈도우 한계를 초과하지 않도록 하는 기법을 의미한다. ㅇ 특징: – 모델 입력에 포함되는 텍스트를 토큰 단위로 계산하여 관리 – 불필요한 과거 대화나 문맥을 제거하거나 요약 – 컨텍스트 윈도우 크기에 따라 전략이 달라짐 ㅇ 적합한 경우: – 장문의
ㅁ 토큰 관리 ㅇ 정의: – Extended Context Window는 기존 모델의 기본 컨텍스트 윈도우 크기보다 더 많은 토큰을 처리할 수 있도록 확장한 기능으로, 긴 문서나 대화 이력을 한 번에 모델에 입력할 수 있게 함. ㅇ 특징: – 수천~수만 토큰까지 확장 가능 (예: 8K → 32K, 100K 이상) – 긴 문맥 유지에 유리하나, 토큰 수 증가에
ㅁ 대형 모델 환경 1. Open-source FM ㅇ 정의: 공개적으로 접근 가능하며, 모델 가중치와 아키텍처, 학습 코드가 모두 공개된 파운데이션 모델(Foundation Model)을 의미한다. 누구나 다운로드, 수정, 재학습, 배포가 가능하다. ㅇ 특징: – 투명성: 모델 구조와 학습 데이터셋 정보가 공개되어 검증 가능 – 커스터마이징 용이: 특정 도메인에 맞춰 파인튜닝 가능 – 커뮤니티 주도 개선: 전 세계
ㅁ 대형 모델 환경 ㅇ 정의: 대형 모델 환경은 수십억 개 이상의 파라미터를 가진 AI 모델이 동작하고 학습되는 하드웨어·소프트웨어 인프라를 의미하며, 대규모 데이터 처리와 병렬 연산을 지원하는 환경을 포함한다. ㅇ 특징: – 대규모 연산을 위한 GPU/TPU 클러스터 사용 – 분산 학습, 모델 병렬화, 데이터 병렬화 적용 – 고속 네트워크와 대용량 스토리지 필요 – AI 모델의