Prompt Caching과 Token Budget
LLM 서비스의 비용과 응답 지연을 줄이기 위해 Prompt Caching, token budget, prompt layout, usage metric을 어떻게 설계해야 하는지 정리합니다.
- LLM
- Backend
- Prompt Caching
- Token Budget
- Cost Optimization
메뉴
태그
Token Budget
공개 글 1개
태그
공개 글 1개
LLM 서비스의 비용과 응답 지연을 줄이기 위해 Prompt Caching, token budget, prompt layout, usage metric을 어떻게 설계해야 하는지 정리합니다.