LLM 서비스를 PoC에서 프로덕션으로 끌어올리는 백엔드 로드맵
LLM 서비스를 PoC 수준에서 운영 가능한 백엔드 시스템으로 고도화하기 위한 학습 순서를 API, 캐시, 큐, RAG, Evals, Observability 관점으로 정리합니다.
- LLM
- Backend
- Production
- RAG
- Observability
태그
공개 글 6개
LLM 서비스를 PoC 수준에서 운영 가능한 백엔드 시스템으로 고도화하기 위한 학습 순서를 API, 캐시, 큐, RAG, Evals, Observability 관점으로 정리합니다.
Retrieval Augmented Generation 논문을 백엔드 개발자 관점에서 읽고, parametric memory, non parametric memory, retriever, generator를 서비스 아키텍처로 해석합니다.
PostgreSQL의 pgvector 확장을 사용해 문서 chunk와 embedding을 저장하고, metadata filter와 vector similarity query로 문서형 RAG 서비스를 구현하는 방법을 정리합니다.
GitHub Copilot Memory, Claude Code memory, 장기 기억 벤치마크를 기준으로 AI Memory와 RAG의 차이, Run Ledger, 실패 산출물, memory 승격 정책을 정리합니다.
AI Agent에 온톨로지와 지식그래프가 언제 필요한지 정리합니다. 개인·팀 자동화와 조직 단위 자동화의 차이, RAG의 한계, 의미 불일치 문제를 실무 관점에서 설명합니다.
온톨로지, 지식그래프, RAG, GraphRAG, SHACL, SPARQL의 역할을 AI Agent 자동화 관점에서 정리합니다. 조직 지식 검색과 검증 아키텍처를 실무적으로 설명합니다.