Custos Estimados de LLM

O Inspection Panel estima o uso e os custos de LLM para execuções que usam um provedor personalizado.

Abra uma mensagem do Agente em Chat History e, em seguida, selecione uma execução para ver os detalhes.

O que a inspeção mostra

A seção de custos inclui:

Total de tokens de entrada.
Total de tokens de saída.
Custo total estimado em USD.
Um detalhamento por iteração de modelo, provedor, tokens e custo estimado.

Expanda uma iteração para revisar cada uso de LLM registrado nesse evento. Um evento pode incluir múltiplas chamadas de LLM.

O que está incluído

A estimativa cobre as chamadas de LLM em toda a árvore de execução. Isso inclui:

A execução selecionada e suas execuções filhas.
Tentativas de retry antes e depois da execução selecionada.
Iterações do Agente, nodes de LLM no Workflow, conversões de JSON e tools de suporte.

Isso oferece uma visão consolidada das chamadas de LLM principais, de suporte e repetidas.

Quando os custos ficam disponíveis

As estimativas de custo aparecem somente para execuções que usam um provedor personalizado configurado. O uso do provedor interno da Zaia não é incluído.

Cada chamada de LLM registrada inclui seu modelo, provedor, tokens de entrada e tokens de saída. A Zaia calcula a estimativa usando o preço por milhão de tokens configurado para esse modelo.

Entendendo o N/A

A inspeção mostra N/A quando não é possível produzir uma estimativa confiável. Isso acontece quando:

O modelo não tem preço configurado.
Os dados de tokens de entrada ou saída não estão disponíveis para algum uso registrado.
Um evento de provedor personalizado não tem uso de LLM registrado.

Nesse último caso, o agregado completo mostra N/A. Os totais de tokens de entrada e saída também ficam indisponíveis. Isso evita que um rastreamento incompleto produza um total enganoso.

Configuração relacionada

Adicione seu token de API em Providers antes de selecionar um provedor personalizado para um Agente.