Redis Cache Aside로 LLM 응답 캐시 설계하기
LLM 서비스에서 Redis Cache Aside 패턴을 이용해 응답 비용과 지연을 줄이는 방법을 cache key, TTL, 개인정보, cache stampede 관점으로 정리합니다.
- LLM
- Backend
- Redis
- Cache
- Cost Optimization
메뉴
태그
Cost Optimization
공개 글 2개
Prompt Caching과 Token Budget
LLM 서비스의 비용과 응답 지연을 줄이기 위해 Prompt Caching, token budget, prompt layout, usage metric을 어떻게 설계해야 하는지 정리합니다.
- LLM
- Backend
- Prompt Caching
- Token Budget
- Cost Optimization