지식 관리
- 데이터 수집 및 관리 - 문서 일괄 업로드, 포맷 지원, 버전, 접근권한 관리
- 데이터 전처리 - Parser, Chunker, Embedding 등
- 데이터 파이프라인 - 구성, 단계별 실행 결과 확인 등
- 데이터 저장 - 메타 데이터 관리, Vector DB 조회 및 관리
LLMOps
- 벡터 DB - 다양한 벡터 DB 설치 및 지원 등
- RAG - 검색 방식 및 파라미터 설정, 소요 시간, Re-ranking, 정밀도 등
- 워크플로우 - No/Low-Code 기반 구성, 시나리오 설정, 베터 및 권한 관리
- 프롬프트 - 템플릿 수집, 버전 관리, 템플릿 내부 수정, 템플릿 기반 앱 배포 등
인프라 관리
- GPU 활용 - 모니터링 대상노드, RBAC, Usage-based Control
- 스토리지 - 스토리지 및 다양한 데이터 소스 연동 등
- 학습 데이터 - 데이터 관리, 업로드/다운로드, 자동 생성 등
- 권한 관리 - 컴퓨팅, 스토리지, 데이터에 대한 개인/팀별 권한 관리
최적화 및 자동화
- 최적화 - 전처리, 검색, 모델, 프롬프트, 답변에 대한 최적화 및 성능 비교
- 자동화 - 전처리, 파인튜닝, 재학습, 배포시 자동화 파이프라인 구축
서비스
- 대화 형식 - 스토리밍, 하이라이트, 멀티 턴 대화 지원
- 부가 기능 - 내부보기, 필터링, 후속 질의, 피드백 주입 등
모델관리
- 파인튜닝 - 다양한 기법 지원, 모니터링, 중간중지 및 저장, 파라미터 설정 등
- 모델 - 외부/내부 모델 등록 배포, 성능 및 버전 관리 등
- 평가 - 평가 기준 및 데이터 관리, 리더보드 제공
반응형