태그: Prompt Caching
메뉴

태그

Prompt Caching

공개 글 2개

AI Backend

Prompt Caching과 Token Budget

LLM 서비스의 비용과 응답 지연을 줄이기 위해 Prompt Caching, token budget, prompt layout, usage metric을 어떻게 설계해야 하는지 정리합니다.

2026-05-12 · 6분 읽기