LLM 서비스를 PoC에서 프로덕션으로 끌어올리는 백엔드 로드맵
LLM 서비스를 PoC 수준에서 운영 가능한 백엔드 시스템으로 고도화하기 위한 학습 순서를 API, 캐시, 큐, RAG, Evals, Observability 관점으로 정리합니다.
- LLM
- Backend
- Production
- RAG
- Observability
메뉴
태그
Observability
공개 글 2개
OpenTelemetry로 LLM 요청 Trace 연결하기
LLM 서비스에서 OpenTelemetry를 사용해 API 요청, retrieval, LLM 호출, validation, DB 저장을 하나의 trace로 연결하고 지연과 실패 원인을 분석하는 방법을 정리합니다.
- LLM
- Backend
- OpenTelemetry
- Tracing
- Observability