O que é Prompt Caching?
Provedores como Anthropic Claude e Google Gemini oferecem cache de contexto: o System Prompt e a Base de Conhecimento são processados apenas uma vez e armazenados em cache pelo provedor.
| Tipo de Processamento | Custo Relativo |
|---|---|
| Cache Write (primeira vez) | 100% do custo normal |
| Cache Read (leituras subsequentes) | ~5-10% do custo normal |
Exemplo Prático
Um agente com System Prompt de 2000 tokens e histórico de 1500 tokens:
- Sem cache: 3500 tokens de entrada × R.01 = R.035 por mensagem
- Com cache (após 1ª msg): 200 tokens (apenas a nova mensagem) × R.01 = R.002
Economia: ~94% nas mensagens subsequentes da mesma conversa.
Configuração
O Orbit Pulse ativa o Prompt Caching automaticamente quando você usa Anthropic Claude ou Google Gemini via BYOK. Nenhuma configuração extra necessária.
Relatórios → Custo de IA → Cache Hit Rate: [% de mensagens que usaram cache] → Economia Estimada: [valor em USD]
Dica: Mantenha o System Prompt estável (sem editar a cada sessão) para maximizar o cache hit rate.